GUÍA PRÁCTICA PARA EL USO DE LA INFORMACIÓN

Transcripción

1 GUÍA PRÁCTICA PARA EL USO DE LA INFORMACIÓN

2

3 GUÍA PRÁCTICA PARA EL USO DE LA INFORMACIÓN

4 En el presente documento se utilizan de manera inclusiva términos como el docente, el estudiante y sus respectivos plurales (así como otros equivalentes en el contexto educativo) para referirse a hombres y mujeres. Esta opción se basa en la convención idiomática de nuestra lengua y tiene por objetivo evitar las fórmulas de acuerdo para aludir a ambos géneros en el idioma español ( o/a, los/las y otras similares), debido a que implican una saturación gráfica que puede dificultar la comprensión de lectura. Guía Práctica para el Uso de la Información Agencia de Calidad de la Educación contacto@agenciaeducacion.cl Morandé 360, piso 9 Santiago de Chile 2014

5 PRESENTACIÓN PRESENTACIÓN La Agencia de Calidad de la Educación es una institución funcionalmente descentralizada que junto con el Ministerio de Educación, el Consejo Nacional de Educación y la Superintendencia de Educación Escolar conforman el Sistema de Aseguramiento de la Calidad 1. En la nueva institucionalidad, la Agencia de Calidad de la Educación es la encargada de evaluar, ordenar, orientar e informar al sistema escolar para contribuir a que los estudiantes accedan a una educación integral de calidad. Bajo este objetivo primordial, las funciones específicas de la Agencia son: Evaluar, mediante las pruebas Simce, los logros de aprendizaje de los estudiantes, de acuerdo al grado de cumplimiento de los Estándares de Aprendizaje 2. Evaluar el grado de cumplimiento de los Otros Indicadores de Calidad Educativa 3. Realizar evaluaciones de desempeño de los establecimientos educacionales y sus sostenedores sobre la base de los Estándares Indicativos de Desempeño. Ordenar a los establecimientos educacionales en función del logro de los Estándares de Aprendizaje y de los Otros Indicadores de Calidad Educativa, considerando también las características de los alumnos, con la finalidad, entre otras, de identificar cuando corresponda, las necesidades de apoyo. Informar sobre las materias pertinentes a la comunidad y promover su correcto uso. En este sentido, la Agencia de Calidad de la Educación es la encargada de entregar y promover el correcto uso de nueva y variada información, como los resultados de las Visitas de Evaluación y Orientación, y de la Ordenación de Establecimientos, información que se suma a los resultados de aprendizaje de las pruebas Simce. 1 Para conocer mayores detalles acerca del Sistema de Aseguramiento de la Calidad visite la página 2 Para conocer los Estándares de Aprendizaje visite la página web de la Unidad de Currículum del Ministerio de Educación ( 3 Los Otros Indicadores de Calidad Educativa fueron elaborados por el Ministerio de Educación. Para encontrar más informaciones visite la página web de la Agencia ( 3

6 GUÍA PRÁCTICA PARA EL USO DE LA INFORMACIÓN Además, la Agencia de Calidad informa a la comunidad escolar a través de distintos documentos y soportes electrónicos y/o impresos, para que los diferentes actores dispongan de variadas fuentes de información. En este sentido, es importante que la comunidad conozca y comprenda adecuadamente esta información, para integrarla a su quehacer educativo, vincularla con las evaluaciones internas del establecimiento y utilizarla como recurso pedagógico en el diseño de los planes de mejoramiento. Esta guía está dirigida a docentes y directivos, y recopila los talleres que a lo largo del 2013 se publicaron en nuestra página web. El propósito es entregar una serie de recursos y herramientas para trabajar los resultados de aprendizaje y potenciar las habilidades de gestión de los establecimientos. 4

7 ÍNDICE ÍNDICE Programa Uso de la Información 7 Talleres Uso de la Información 11 Introducción 13 Talleres de Resultados Simce Equipo Directivo: Análisis de los Resultados Simce 17 Presentación de Resultados Simce 37 Aprendizajes Logrados por los Estudiantes 59 Factores que Explican los Resultados de Aprendizaje 75 Análisis de Resultados de Aprendizaje con los Padres y Apoderados 91 Talleres Ejemplos de Preguntas Pruebas Internacionales TIMSS Matemática 4. básico 115 Competencias Lectoras PISA

8

9 Programa Uso de la Información PROGRAMA USO DE LA INFORMACIÓN Respecto del uso de la información, el propósito de la Agencia de Calidad de la Educación es proporcionar herramientas y orientar el uso eficiente de la información que se entrega a la comunidad educativa como, por ejemplo, los resultados de las evaluaciones de logros de aprendizaje. Para lograr tal objetivo, un primer paso es poder dar a la comunidad educativa información comprensible y práctica, en términos del lenguaje, la presentación, el diseño y el formato de los documentos. Un elemento central en este aspecto es cómo se entrega la información. Esto significa que, en los diferentes productos comunicacionales que la Agencia elabora, se refuerza la importancia de analizar y comparar los resultados de aprendizaje contextualizados a la realidad y particularidad de cada establecimiento (por ejemplo, características demográficas de los estudiantes), incluyendo recomendaciones para su lectura y elementos claves para interpretar los datos. Un segundo paso es proporcionar herramientas que permitan el desarrollo de las habilidades necesarias para acceder, identificar, interpretar y usar esta nueva y variada información, como un insumo para la mejora de las prácticas pedagógicas en aula y la gestión de los establecimientos. En este sentido, la Agencia de Calidad de la Educación durante el año 2013 ha desarrollado el Programa Uso de la Información, que promueve un enfoque comprensivo y formativo de la información que se entrega a los establecimientos. El Programa es un compromiso de la Agencia para orientar a los establecimientos educacionales en el uso adecuado de la información que se entrega. 7

10 GUÍA PRÁCTICA PARA EL USO DE LA INFORMACIÓN A partir de este enfoque, se plantea que el uso sistemático de la información como una de las prácticas del establecimiento, permite: Definir en qué medida los estudiantes logran los aprendizajes señalados en el currículo. Identificar las habilidades y los conocimientos adquiridos por los estudiantes. Determinar las fortalezas y los elementos a mejorar en los planes y programas del establecimiento. En función de lo anterior, se propone un ciclo de uso de la información para la mejora continua: desarrollar un monitoreo constante, identificar fortalezas y debilidades, definir acciones y soluciones, y evaluar los aprendizajes. Figura 1. Ciclo de Uso de la Información Evaluación Acceso y lectura de la información Promover la mejora continua del proceso educativo Definición de compromisos y acciones Análisis e interpretación de la información Figura 1. La figura presenta las diferentes etapas del proceso de uso de la información. Fuente: Adaptación del Ciclo Uso de la Información, de Ellen Mandinach. National Forum on Education Statistics. (2012). Forum Guide to Taking Action with Education Data. (NFES ). U.S. Department of Education. 8

11 Programa Uso de la Información Una de las primeras iniciativas de este Programa fue la elaboración de Talleres para el Uso de la Información, para que los profesionales de la educación internalicen la práctica de utilizar los resultados de las evaluaciones realizadas por la Agencia. La idea es complementar este trabajo con las evaluaciones internas del establecimiento y analizar los resultados en el marco de su contexto y realidad particular, identificando los factores internos y externos con el objetivo de ajustar los planes de mejora. Estos talleres fueron diseñados para ser utilizados de manera independiente, de acuerdo a las necesidades y objetivos de cada establecimiento. Los talleres que se presentan en esta Guía Práctica también se encuentran disponibles en la página web de la Agencia ( Acá podrá encontrar la sección de Uso de la Información. 9

12

13 TALLERES USO DE LA INFORMACIÓN

14

15 INTRODUCCIÓN INTRODUCCIÓN En este apartado encontrará siete talleres, que pueden ser utilizados de manera independiente como módulos de trabajo, adecuándolos a horarios y posibilidades internas del establecimiento. En la primera parte se presentan cinco talleres para el trabajo de los resultados Simce. En la segunda parte se proponen dos talleres para orientar el trabajo docente en las prácticas de evaluación, a través de los marcos de evaluación y ejemplos de preguntas de las pruebas internacionales TIMSS Matemática y PISA Comprensión Lectora. Cada taller contiene una síntesis de las actividades a realizar con sus materiales y responsables de cada actividad. Cada actividad presenta fichas y ejercicios prácticos a realizar, consejos para desarrollar cada etapa y recursos que complementan y apoyan la información. En la medida que la Agencia entregue nueva información, se publicarán en la página web nuevos talleres y orientaciones para analizarla e interpretarla adecuadamente. Los siete talleres que se presentan en esta guía son los siguientes: Talleres de Resultados Simce Equipo Directivo: Análisis de los Resultados Simce Presentación de Resultados Simce Aprendizajes Logrados por los Estudiantes Factores que Explican los Resultados de Aprendizaje Análisis de Resultados de Aprendizaje con los Padres y Apoderados Talleres Ejemplos de Preguntas Pruebas Internacionales: TIMSS Matemática 4. básico Competencias Lectoras PISA

16 GUÍA PRÁCTICA PARA EL USO DE LA INFORMACIÓN Síntesis de las Actividades Síntesis de las actividades con el objetivo de cada actividad, los materiales requeridos, los tiempos propuestos y responsables. Participantes: Modo de trabajo: Sugerencias: Actividad 1 Equipo directivo del establecimiento. Trabajo en equipo. Los tiempos propuestos para este taller pueden ser modificados a partir de las necesidades y posibilidades internas de cada establecimiento. Análisis de los resultados Simce del establecimiento Objetivo Materiales requeridos Responsables Tiempo aproximado Analizar los resultados Simce del establecimiento Ficha del establecimiento en Jefe de UTP o Coordinador Pedagógico 35 minutos a través de comparaciones Informe de Resultados Simce con evaluaciones anteriores para Docentes y Directivos del y con establecimientos establecimiento. de igual GSE y según Estándares de Aprendizaje. Conocer conceptos clave. Material de apoyo para el taller Analizar puntajes promedio del establecimiento. Fichas 1 y 2. Analizar resultados según Estándares de Aprendizaje. Fichas 1 y 3. Actividad 2 Reflexión sobre los resultados Simce del establecimiento Objetivo Materiales requeridos Responsables Tiempo aproximado Reflexionar y dialogar en el equipo directivo sobre los resultados Simce, estableciendo causas y factores que explican los resultados. Jefe de UTP o Coordinador Pedagógico 15 minutos Reflexión en el equipo directivo sobre los resultados Simce del establecimiento. Materiales requeridos en la Actividad 1. Ficha 4. Actividad de cierre: conclusiones y acciones para la presentación de resultados Objetivo Materiales requeridos Responsables Tiempo aproximado Establecer conclusiones Ficha 5. Jefe de UTP o Coordinador 10 minutos respecto a las actividades Pedagógico del taller y definir acciones e información a considerar en la presentación de resultados Simce a la comunidad escolar. 14

17 INTRODUCCIÓN A continuación se muestra un ejemplo de cómo se organiza un taller: Propósito del taller. Objetivo: Modo de trabajo: Responsables: Tiempo aprox.: Actividad 1. Análisis de los resultados Simce del establecimiento Analizar los resultados Simce del establecimiento a través de comparaciones con evaluaciones anteriores y con establecimientos de igual Grupo Socieconómico (GSE) y según Estándares de Aprendizaje. Trabajo en equipo. Equipo directivo del establecimiento. 35 minutos. En cada actividad se explica cómo realizar las diferentes tareas. Qué se propone hacer en esta actividad? Conocer conceptos clave Leer la explicación de los conceptos clave disponibles en Material de apoyo para el taller y luego dialogar sobre estos conceptos resolviendo dudas. Analizar puntajes promedio del establecimiento Comparar los puntajes promedio del establecimiento con la evaluación anterior y con los establecimientos del mismo GSE. Analizar resultados según Estándares de Aprendizaje Analizar los resultados Simce del establecimiento según los Estándares de Aprendizaje. Cómo conocer los conceptos clave? Para conocer los conceptos clave se sugiere la lectura del Material de apoyo para el taller, en el cual se explican conceptos tales como Variación Significativa en los Aprendizajes, Clasificación de los Establecimientos según GSE y Estándares de Aprendizaje. Para la posterior presentación de los resultados Simce del establecimiento a la comunidad escolar, se recomienda al equipo directivo conocer en forma profunda estos conceptos clave para explicarlos de forma simple y clara a la comunidad escolar. Si los actores de la comunidad escolar conocen con claridad los conceptos clave, se facilita el adecuado uso y análisis de los resultados de aprendizaje de los estudiantes. Información que guía y orienta la reflexión. 15

18

19 TALLERES DE RESULTADOS SIMCE TALLER EQUIPO DIRECTIVO: ANÁLISIS DE LOS RESULTADOS SIMCE

20 EQUIPO DIRECTIVO: ANÁLISIS DE LOS RESULTADOS SIMCE TALLER EQUIPO DIRECTIVO: ANÁLISIS DE LOS RESULTADOS SIMCE Por qué es importante que el equipo directivo analice los resultados del establecimiento? Facilitar la comprensión de los resultados de aprendizaje entre los miembros de la comunidad educativa, permite reforzar la colaboración y participación de todos en el quehacer del establecimiento. El análisis previo a la presentación de los resultados de aprendizaje Simce por parte del equipo directivo del establecimiento, puede facilitar la posterior comunicación de los resultados a la comunidad educativa, desde una mirada comprensiva y contextualizada de tales resultados. Mediante este primer paso, el equipo directivo puede avanzar en la comunicación efectiva de los resultados de aprendizaje para conducir las acciones de mejora que se decida implementar. Dado lo anterior, este taller tiene como propósito facilitar el análisis y la reflexión previa de los resultados Simce por parte del equipo directivo del establecimiento, para favorecer la posterior presentación de resultados a la comunidad escolar. En la primera parte se presentan los objetivos del taller; luego se muestra una síntesis de las actividades propuestas y el desarrollo de estas. Finalmente, se incluye material de apoyo para el desarrollo del taller. 18

21 GUÍA PRÁCTICA PARA EL USO DE LA INFORMACIÓN Síntesis de las Actividades Participantes: Modo de trabajo: Sugerencias: Equipo directivo del establecimiento. Trabajo en equipo. Los tiempos propuestos para este taller pueden ser modificados a partir de las necesidades y posibilidades internas de cada establecimiento. Actividad 1 Analizar los resultados Simce del establecimiento a través de comparaciones con evaluaciones anteriores y con establecimientos de igual GSE y según Estándares de Aprendizaje. Análisis de los resultados Simce del establecimiento Objetivo Materiales requeridos Responsables Tiempo aproximado Ficha del establecimiento en Equipo directivo del 35 minutos establecimiento Conocer conceptos clave. Analizar puntajes promedio del establecimiento. Analizar resultados según Estándares de Aprendizaje. Informe de Resultados Simce para Docentes y Directivos del establecimiento. Material de apoyo para el taller Fichas 1 y 2. Fichas 1 y 3. Actividad 2 Reflexión sobre los resultados Simce del establecimiento Objetivo Materiales requeridos Responsables Tiempo aproximado Reflexionar y dialogar en el equipo directivo sobre los resultados Simce, estableciendo causas y factores que explican los resultados. Equipo directivo del establecimiento 15 minutos Reflexión en el equipo directivo sobre los resultados Simce del establecimiento. Materiales requeridos en la Actividad 1. Ficha 4. Actividad de cierre: conclusiones y acciones para la presentación de resultados Objetivo Materiales requeridos Responsables Tiempo aproximado Establecer conclusiones Ficha 5. Equipo directivo del 10 minutos respecto a las actividades establecimiento del taller y definir acciones e información a considerar en la presentación de resultados Simce a la comunidad escolar. 19

22 EQUIPO DIRECTIVO: ANÁLISIS DE LOS RESULTADOS SIMCE Actividad 1. Análisis de los resultados Simce del establecimiento Objetivo: Modo de trabajo: Responsables: Tiempo aprox.: Analizar los resultados Simce del establecimiento a través de comparaciones con evaluaciones anteriores y con establecimientos de igual Grupo Socieconómico (GSE) y según Estándares de Aprendizaje. Trabajo en equipo. Equipo directivo del establecimiento. 35 minutos. Qué se propone hacer en esta actividad? Conocer conceptos clave Leer la explicación de los conceptos clave disponibles en Material de apoyo para el taller y luego dialogar sobre estos conceptos resolviendo dudas. Analizar puntajes promedio del establecimiento Comparar los puntajes promedio del establecimiento con la evaluación anterior y con los establecimientos del mismo GSE. Analizar resultados según Estándares de Aprendizaje Analizar los resultados Simce del establecimiento según los Estándares de Aprendizaje. Cómo conocer los conceptos clave? Para conocer los conceptos clave se sugiere la lectura del Material de apoyo para el taller, en el cual se describen conceptos tales como Variación Significativa en los Aprendizajes, Clasificación de los Establecimientos según GSE y Estándares de Aprendizaje. Para la posterior presentación de los resultados Simce del establecimiento a la comunidad escolar, se recomienda al equipo directivo conocer en forma profunda estos conceptos clave para explicarlos de forma simple y clara a la comunidad escolar. Si los actores de la comunidad escolar conocen con claridad los conceptos clave, se facilita el adecuado uso y análisis de los resultados de aprendizaje de los estudiantes. 20

23 GUÍA PRÁCTICA PARA EL USO DE LA INFORMACIÓN Cómo analizar los puntajes promedio del establecimiento? Para acceder a los puntajes de todas las pruebas Simce del establecimiento, se recomienda ingresar a la ficha Simce del establecimiento, disponible en En esta ficha se encuentran las comparaciones de los resultados Simce del establecimiento con la evaluación anterior y con los resultados de los establecimientos de igual GSE. Tras revisar esta información, se recomienda al equipo directivo completar la tabla que se expone en la Ficha 1. En esta tabla, el equipo directivo debe encerrar cada categoría según corresponda a los resultados obtenidos. Ficha 1. Resultados Simce del establecimiento según puntajes promedio y Estándares de Aprendizaje 1 4. básico Comprensión de Lectura Matemática Historia, Geografía y Ciencias Sociales Esta ficha corresponde a un ejemplo de 4. básico. Se recomienda replicarla en los demás cursos evaluados. Puntaje promedio Simce del establecimiento En comparación con la evaluación anterior los puntajes promedio son: En comparación con los establecimientos de mismo GSE, los puntajes promedio del establecimiento son: En qué nivel se agrupa la mayor cantidad de estudiantes? El porcentaje de estudiantes que alcanza el Nivel Adecuado es mayor, igual o menor que el de la evaluación anterior? 1 El porcentaje de estudiantes que está en el Nivel Insuficiente, es mayor, igual o menor que el de la evaluación anterior? Más altos Similares Más bajos Más altos Similares Más bajos Adecuado Elemental Insuficiente Mayor Igual Menor Mayor Igual Menor Más altos Similares Más bajos Más altos Similares Más bajos Adecuado Elemental Insuficiente Mayor Igual Menor Mayor Igual Menor Más altos Similares Más bajos Más altos Similares Más bajos Adecuado Elemental Insuficiente Mayor Igual Menor Mayor Igual Menor 1 La cantidad y porcentaje de estudiantes en cada Nivel de Aprendizaje, según los resultados Simce 2010 (Historia, Geografía y Ciencias Sociales) y Simce 2011 (Comprensión de Lectura y Matemática), fueron calculados a partir de los rangos de puntaje de los Estándares de Aprendizaje presentados en el Informe de Resultados Simce para Docentes y Directivos de cada establecimiento. Lo anterior, considerando que los Niveles de Logro y los Estándares de Aprendizaje fueron definidos a partir del mismo currículo y con el propósito de facilitar el análisis que realiza cada establecimiento a partir de los resultados Simce. Por este motivo, la información en cada Nivel de Aprendizaje, según los resultados de las pruebas 2010 y 2011 que se presenta, solo puede ser utilizada con el fin pedagógico antes mencionado. 21

24 EQUIPO DIRECTIVO: ANÁLISIS DE LOS RESULTADOS SIMCE De acuerdo a lo respondido en la Ficha 1, se recomienda completar la Ficha 2 para sintetizar los resultados del establecimiento y agruparlos en dos categorías (resultados más altos y resultados más bajos). Ficha 2. Síntesis de los resultados obtenidos por el establecimiento según puntajes promedio 1. En qué prueba o pruebas los resultados del establecimiento son más altos en relación con la evaluación anterior y con los de establecimientos similares? a. Evaluación anterior: b. Establecimientos similares: 2. En qué prueba o pruebas los resultados del establecimiento son más bajos en relación con la evaluación anterior y con los de establecimientos similares? a. Evaluación anterior: b. Establecimientos similares: La comparación de resultados Simce solo es posible entre los puntajes promedio de una misma prueba y no entre los puntajes promedio de pruebas de diferentes asignaturas, pues los puntajes promedio de cada prueba no son equivalentes. En el Material de apoyo para el taller, se presentan ejemplos de usos incorrectos de los resultados Simce. La exposición de comparaciones incorrectas tiene como propósito guiar el uso adecuado y evitar interpretaciones erróneas por parte de docentes y directivos. Es importante que directivos y docentes reflexionen a largo plazo sobre las acciones que han llevado a cabo en el establecimiento y el aprendizaje que demuestran lograr sus estudiantes. Por ello, se sugiere al equipo directivo complementar los resultados Simce más recientes con aquellos que el establecimiento obtuvo en años anteriores. Esta acción permite observar la tendencia de los resultados de aprendizaje Simce en el establecimiento durante un período de tiempo. De igual modo, se recomienda que la comparación de resultados Simce de diversos años se realice considerando los símbolos de la significancia de las diferencias de puntaje entre un año y otro. Cada prueba Simce requiere de un tratamiento estadístico para determinar la significancia de las diferencias de puntaje con la prueba anterior. 22

25 GUÍA PRÁCTICA PARA EL USO DE LA INFORMACIÓN Cómo analizar los resultados según Estándares de Aprendizaje? Para analizar los resultados del establecimiento según Estándares de Aprendizaje, se sugiere al equipo directivo observar la Ficha 1, Ficha 3 del Material de apoyo y responder la Ficha 3. Ficha 3. Análisis de los resultados obtenidos por el establecimiento según Estándares de Aprendizaje 1. Cuál es el Nivel de los Estándares de Aprendizaje en que se encuentra la mayoría de los estudiantes de 4. básico en Comprensión de Lectura, Matemática e Historia, Geografía y Ciencias Sociales? a. Comprensión de Lectura: b. Matemática: c. Historia, Geografía y Ciencias Sociales: 2. A partir de lo anterior, y considerando los Estándares de Aprendizaje Qué aprendizajes ha alcanzado la mayoría los estudiantes de 4. básico en Comprensión de Lectura, Matemática e Historia, Geografía y Ciencias Sociales? a. Comprensión de Lectura: b. Matemática: c. Historia, Geografía y Ciencias Sociales: Nota: Esta ficha considera solo a 4. básico. Esto permite seguir con el ejemplo expuesto en la Ficha 1 de este taller. La Ficha 3 puede adaptarse a cualquier curso evaluado. Los resultados del establecimiento según Estándares de Aprendizaje apoyan la gestión curricular de los equipos directivos, pues permiten: Identificar la asignatura en que se requiere focalizar los esfuerzos para conseguir el logro de mejores aprendizajes. Retroalimentar decisiones y diseñar estrategias pedagógicas más efectivas, considerando habilidades y conocimientos logrados por los estudiantes. Establecer metas o compromisos de gestión educativa, en relación con el porcentaje de estudiantes en cada Nivel de los Estándares de Aprendizaje. 23

26 EQUIPO DIRECTIVO: ANÁLISIS DE LOS RESULTADOS SIMCE Actividad 2. Reflexión sobre los resultados Simce del establecimiento Objetivo: Modo de trabajo: Responsables: Tiempo aprox.: Reflexionar y dialogar en el equipo directivo sobre los resultados Simce, estableciendo causas y factores que explican los resultados. Trabajo en equipo. Equipo directivo. 15 minutos. Qué se propone hacer en esta actividad? Reflexión en el equipo directivo sobre los resultados Simce del establecimiento A partir de la información trabajada en la Actividad 1, reflexionar sobre lo expuesto en la Ficha 4 para sintetizar el análisis. Cómo reflexionar sobre los resultados Simce del establecimiento? Para reflexionar sobre los resultados Simce del establecimiento, se recomienda desarrollar la Ficha 4, considerando la información reportada en las fichas 1, 2 y 3 de la Actividad 1. Este proceso reflexivo en el equipo directivo permite discutir, en un primer momento, sobre las explicaciones de los resultados de aprendizaje para presentarlos a la comunidad escolar en forma clara. Ficha 4. Reflexión y síntesis de los resultados obtenidos por el establecimiento 1. Qué factores y causas en los ámbitos directivo, pedagógico, y de padres y apoderados pueden explicar los resultados del establecimiento? a. Causas del ámbito directivo: b. Causas del ámbito pedagógico: c. Causas del ámbito de los padres y apoderados: Conocer los factores que podrían explicar los resultados Simce del establecimiento, es un paso fundamental para definir estrategias para mejorar los aprendizajes de los estudiantes. 24

27 GUÍA PRÁCTICA PARA EL USO DE LA INFORMACIÓN Actividad de cierre: conclusiones y acciones para la presentación de resultados Objetivo: Modo de trabajo: Responsables: Tiempo aprox.: Establecer conclusiones respecto a las actividades del taller, y definir acciones e información a considerar en la presentación de resultados Simce a la comunidad escolar. Trabajo grupal. Equipo directivo. 10 minutos. Qué se propone hacer en esta actividad? Establecer las principales conclusiones obtenidas, a partir de las actividades del taller, y definir las acciones para la posterior presentación de resultados a la comunidad escolar. Cómo establecer conclusiones y acciones para la posterior presentación de resultados? Para establecer conclusiones y acciones para la posterior presentación de resultados Simce a la comunidad escolar, se sugiere que el equipo directivo dialogue y responda las preguntas de la Ficha 5. 25

28 EQUIPO DIRECTIVO: ANÁLISIS DE LOS RESULTADOS SIMCE Ficha 5. Definición de conclusiones y acciones para la presentación de resultados Simce a la comunidad escolar 1. Cuáles son las principales conclusiones obtenidas a partir de las actividades realizadas en este taller y por qué pueden resultar importantes en la presentación de resultados? 2. Considerando las conclusiones de la pregunta anterior, qué acciones y propuestas (pedagógicas, de gestión, etc.) podría exponer el equipo directivo en la presentación de resultados a la comunidad escolar? 3. Qué información relativa al establecimiento se puede agregar a la presentación de resultados? 4. Qué actores de la comunidad escolar participarán en la presentación de resultados Simce? 5. Cuáles serán los roles de cada integrante del equipo directivo en la presentación? 26

29 GUÍA PRÁCTICA PARA EL USO DE LA INFORMACIÓN MATERIAL DE APOYO PARA EL TALLER 1. Conceptos clave para el análisis de resultados Simce Ficha 1. Esquemas de conceptos clave para el análisis de resultados Simce Cuándo una diferencia de puntaje refleja una variación significativa en los aprendizajes? Simce utiliza los siguientes símbolos para indicar las diferencias: El puntaje promedio es similar al de la evaluación anterior o al de establecimientos del mismo Grupo Socioeconómico (GSE). El puntaje promedio del establecimiento es significativamente más alto respecto a la evaluación anterior o al puntaje de establecimientos del mismo GSE. El puntaje promedio del establecimiento es significativamente más bajo respecto a la evaluación anterior o al puntaje de establecimientos del mismo GSE. Es importante prestar más atención al símbolo que a la diferencia numérica de puntaje. Ficha 2. Clasificación de establecimientos según GSE Los establecimientos son clasificados en cinco grupos socioeconómicos definidos para la prueba Simce: Bajo Alto Medio bajo Medio alto Medio Por qué se clasifica a los establecimientos según GSE? Permite despejar factores externos al establecimiento, como la condición socioeconómica de los estudiantes o el nivel educacional de los padres, para un análisis de resultados más justo. 27

30 EQUIPO DIRECTIVO: ANÁLISIS DE LOS RESULTADOS SIMCE Ficha 3. Estándares de Aprendizaje Qué son? Describen aquello que los estudiantes deben saber y poder hacer en determinados cursos y asignaturas, es decir, expresa la exigencia curricular. Cómo se clasifican? Nivel de Aprendizaje Adecuado Nivel de Aprendizaje Elemental Nivel de Aprendizaje Insuficiente Qué utilidad tienen? Por ejemplo: Comunicar resultados de aprendizaje con mayor significado. Calificar los resultados obtenidos basándose en criterios nacionalmente acordados. Servir de referentes para definir metas y compromisos en el establecimiento. Nota: Para conocer la descripción de cada nivel de aprendizaje para cada grado y asignatura evaluados, visite la página web 28

31 GUÍA PRÁCTICA PARA EL USO DE LA INFORMACIÓN 2. Ejemplos de comparaciones incorrectas de resultados Simce en un mismo año Entre los distintos resultados de aprendizaje entregados por Simce, realizar ciertas comparaciones resulta incorrecto, pues no entregan información acerca de los aprendizajes que logran los estudiantes de los grupos que se desea comparar. A continuación, se presentan ejemplos de comparaciones incorrectas. Ejemplo 1 Se pueden comparar los puntajes promedio Simce que obtienen los estudiantes de un establecimiento en las distintas áreas o asignaturas? En el Informe de Resultados Simce para Docentes y Directivos de su establecimiento, se presentan los puntajes promedio que obtienen sus estudiantes en las pruebas Simce de las distintas áreas o asignaturas. Prueba Puntaje promedio 2012 Análisis incorrecto Comprensión de Lectura 258 Los estudiantes en Comprensión de Matemática 243 Lectura obtienen 15 puntos más que en Matemática y 8 puntos más que en la Historia, Geografía y prueba de Historia, Geografía y Ciencias 250 Ciencias Sociales Sociales. Los resultados de aprendizaje que obtienen los estudiantes en las pruebas Simce de las distintas áreas o asignaturas no son comparables. Lograr 243 puntos en Matemática y 258 puntos en Comprensión de Lectura no permite asegurar que los resultados son más altos en Comprensión de Lectura. Por lo anterior tampoco es posible concluir que los estudiantes obtienen mayores logros de aprendizaje en esta prueba. Cada prueba Simce evalúa habilidades y conocimientos diferentes y representa diversas áreas del conocimiento para cada nivel evaluado. Nota: El ejemplo refiere a una situación ficticia. 29

32 EQUIPO DIRECTIVO: ANÁLISIS DE LOS RESULTADOS SIMCE Ejemplo 2 Se pueden comparar los puntajes promedio Simce de una misma asignatura que obtienen los estudiantes de distintos cursos? A partir de los resultados de aprendizaje entregados en los informes de resultados, el equipo profesional de un establecimiento elaboró la siguiente tabla resumen: Prueba Comprensión de Lectura Comprensión de Lectura 2. básico Comprensión de Lectura 4. básico Comprensión de Lectura 8. básico Comprensión de Lectura II medio Puntaje promedio Análisis incorrecto En la prueba Simce de Comprensión de Lectura, los estudiantes de 4. y 8. básico tienen un resultado similar entre sí. En tanto, existe una brecha de 58 puntos entre los puntajes promedio de 2. básico y II medio. Los resultados de aprendizaje que obtienen los estudiantes en las pruebas Simce de los distintos grados no son comparables. Lograr 237 puntos en 2. básico y 271 puntos en 8. básico no permite asegurar que los resultados son más altos en este último. Por lo anterior tampoco es posible concluir que los estudiantes obtienen mayores logros de aprendizaje en 8. básico. Cada prueba Simce evalúa habilidades y conocimientos diferentes y representa diversas áreas del conocimiento para cada nivel evaluado. Nota: El ejemplo refiere a una situación ficticia. 30

33 GUÍA PRÁCTICA PARA EL USO DE LA INFORMACIÓN Ejemplo 3 Se pueden comparar los puntajes promedio Simce que obtienen los estudiantes de distintos cursos de un mismo establecimiento? A partir de los resultados de aprendizaje entregados en los informes de resultados, el equipo profesional de un establecimiento elaboró la siguiente tabla resumen: Prueba Comprensión de Lectura Puntaje promedio 2. básico A 237 Puntaje promedio 2. básico B 253 Análisis incorrecto En la prueba Simce de Comprensión de Lectura, el resultado de los estudiantes de 2. básico B supera por 16 puntos al obtenido por el 2. básico A. Esto indicaría que el curso B presenta mayores logros de aprendizaje que el curso A. Lograr 253 puntos en el curso B y 237 puntos en el curso A no permite asegurar que los resultados son más altos en el curso B. Por lo anterior, tampoco es posible concluir que los estudiantes obtienen mayores logros en el curso B. Los resultados de aprendizaje que obtienen los estudiantes en las pruebas Simce de los distintos cursos no son directamente comparables, para hacerlo es necesario verificar si las diferencias entre puntajes son significativas, como se observa a continuación: Análisis Correcto Para realizar comparaciones entre dos cursos del mismo establecimiento y saber si la diferencia entre los resultados es significativa, se debe considerar el número de estudiantes por curso. A continuación se presenta una tabla que permite identificar las diferencias de puntaje requeridas entre dos cursos para que estas sean significativas. Por ejemplo, como se muestra en la siguiente tabla, si el curso A tiene 28 estudiantes y el curso B 36, una diferencia de 13 puntos es significativa. Nota: El ejemplo refiere a una situación ficticia. 31

34 EQUIPO DIRECTIVO: ANÁLISIS DE LOS RESULTADOS SIMCE Tabla 1.. Diferencias de puntaje requeridas para que los resultados entre dos cursos en Simce 4. básico 2012 sean significativamente distintos Cantidad de estudiantes Cursos de 10 a 15 estudiantes Cursos de 16 a 20 estudiantes Cursos de 21 a 25 estudiantes Cursos de 26 a 30 estudiantes Cursos de 31 a 35 estudiantes Cursos de 36 o más estudiantes Diferencia de puntaje significativa 19 puntos 16 puntos 14 puntos 13 puntos 11 puntos 10 puntos 1 El curso A tiene 28 estudiantes y el curso B, Identificar la fila que contenga el curso con menos estudiantes. En el ejemplo corresponde a 28 estudiantes. 3 Identificar la diferencia de puntaje requerida para que esta sea significativa. En el ejemplo corresponde a 13 puntos. 4 Comparar ese dato con la diferencia de puntaje de ambos cursos para concluir si esta es significativa. Por lo tanto, si en el ejemplo los cursos A y B tienen una diferencia de 16 puntos, se puede concluir que esa diferencia sí es significativa y que el curso B sí logra mejores resultados que el curso A. Ante eso se recomienda evaluar si los dos cursos tienen las mismas experiencias de aprendizaje e indagar en los factores que podrían estar influyendo en estas diferencias. 32

35 GUÍA PRÁCTICA PARA EL USO DE LA INFORMACIÓN Ejemplo 4 Se pueden comparar los puntajes promedio Simce que obtienen los estudiantes de un establecimiento con los puntajes promedio que obtienen todos los estudiantes del país? En el Informe de Resultados Simce para Docentes y Directivos de su establecimiento, se presentan los puntajes promedio nacionales y por establecimiento que obtienen los estudiantes en las pruebas Simce de las distintas áreas o asignaturas. Comprensión de Lectura Puntajes promedio nacionales Puntajes promedio del establecimiento Prueba Puntaje promedio 2012 Prueba Puntaje promedio Comprensión de Lectura Matemática 261 Matemática 230 Historia, Geografía y Ciencias Sociales 258 Historia, Geografía y Ciencias Sociales Análisis incorrecto En las tres pruebas Simce los estudiantes de 4. básico del establecimiento obtienen resultados más bajos que los estudiantes del país. Es posible comparar para una misma asignatura los resultados de aprendizaje que logran los estudiantes del establecimiento y del país. Sin embargo, esta comparación no es recomendable pues los puntajes promedio nacionales no consideran los contextos de cada establecimiento. En la siguiente página se presenta el análisis correcto. 33

36 EQUIPO DIRECTIVO: ANÁLISIS DE LOS RESULTADOS SIMCE Análisis Correcto Es recomendable comparar y establecer si hubo diferencias significativas o no con otros establecimientos del mismo GSE para dar mayor contexto a los resultados, tal cual aparece en los Informes de Resultados Simce para Docentes y Directivos de los diferentes grados evaluados. Prueba Comprensión de Lectura Puntaje promedio 2012 Variación con respecto a la evaluación anterior Comparación con establecimientos de mismo GSE Matemática Historia, Geografía y Ciencias Sociales Nota: En Material de apoyo, se encuentra el significado de los símbolos que acompañan los puntajes promedio de la tabla. Es importante que al observar los resultados Simce se ponga atención en el puntaje promedio y en el símbolo que lo acompaña más que en la diferencia de puntajes. 34

37 GUÍA PRÁCTICA PARA EL USO DE LA INFORMACIÓN REFERENCIAS Aylwin, M., Muñoz, A., Flanagan, A., Ermter, K., Corthorn, C. y Pérez, L. (2005a). Evaluación de calidad para nuestra comunidad escolar. Guía de apoyo para directoras y directores. Santiago de Chile: MINEDUC / UNICEF. Aylwin, M., Muñoz, A., Flanagan, A., Ermter, K., Corthorn, C. y Pérez, L. (2005b). Buenas prácticas para una pedagogía efectiva. Guía para profesoras y profesores. Santiago de Chile: MINEDUC / UNICEF. Bellei, C., Muñoz, G., Pérez, L. M. y Raczynski, D. (2003). Escuelas efectivas en sectores de pobreza. En R. Hevia (Ed.) La Educación en Chile, hoy (pp ). Santiago de Chile: Ediciones Universidad Diego Portales. Eyzaguirre, B., y Fontaine, L. (1999). Qué mide realmente el SIMCE? En Estudios Públicos, 75, Ministerio de Educación de Chile. (2005). Marco para la Buena Dirección. Santiago: Ministerio de Educación. Ministerio de Educación de Chile. (2008). Marco para la Buena Enseñanza. Santiago: Ministerio de Educación. Ministerio de Educación de Chile. (2013a). Modelo de Calidad de la Gestión Escolar. Santiago de Chile. Ministerio de Educación. Recuperado de Modelo-de-Calidad-del-Gesti%C3%B3n-Escolar.pdf [febrero, 2014]. Ministerio de Educación de Chile. (2013b). Estándares de Aprendizaje. 4 y 8 básico. Lectura, Matemática, Ciencias Naturales, e Historia, Geografía y Ciencias Sociales. Santiago de Chile: Ministerio de Educación Recuperado de &c=6919. pdf [febrero, 2014]. En las siguientes páginas web, podrá encontrar información de apoyo para trabajar este taller:

38

39 TALLERES DE RESULTADOS SIMCE TALLER PRESENTACIÓN DE RESULTADOS SIMCE

40 PRESENTACIÓN DE RESULTADOS SIMCE TALLER PRESENTACIÓN DE RESULTADOS SIMCE Por qué presentar los resultados Simce? La presentación de los resultados Simce es una buena oportunidad para involucrar a la comunidad escolar en el análisis de los aprendizajes que logran los estudiantes del establecimiento. Por esto, es clave que la presentación de resultados sea clara, adecuada y sea un espacio de reflexión colectiva de la comunidad escolar. En este contexto, este taller tiene como propósito que sostenedores, docentes, asistentes de la educación y directivos, conozcan los aprendizajes que los estudiantes demuestran en las pruebas Simce, y que frente a ello, se puedan tomar decisiones en conjunto sobre los resultados. En la primera parte se presentan los objetivos del taller; luego se muestra una síntesis de las actividades propuestas y el desarrollo de estas. Finalmente, en la sección Material de apoyo se incluye información complementaria para el desarrollo del taller. 38

41 GUÍA PRÁCTICA PARA EL USO DE LA INFORMACIÓN Síntesis de las Actividades Participantes: Modo de trabajo: Sugerencias: Sostenedores, docentes, directivos y asistentes de la educación. Exposición oral del responsable del taller, discusión colectiva entre los participantes y plenario. Se propone que el taller se realice durante las horas de Consejo de profesores o en los tiempos que autorice la Secretaría Regional Ministerial de cada región en el calendario escolar. Además, se recomienda al director, jefe de UTP, coordinador académico u otro directivo del establecimiento, elabore una presentación en cualquier formato y recurso con que cuente el establecimiento (proyector multimedia, papelógrafos, documentos escritos, fotocopias, diapositivas, transparencias, etc.). También se propone que en la presentación se incluya parte de las fichas trabajadas en el Taller Equipo Directivo: Análisis de los Resultados Simce, y la síntesis de resultados del establecimiento incluido en el Informe de Resultados Simce para Docentes y Directivos. Finalmente, durante la presentación se sugiere que: Al finalizar cada actividad se realice una puesta en común guiada por el directivo a cargo de la realización de este taller. Se recuerde a los participantes que los resultados de aprendizaje reflejan el trabajo en conjunto realizado por toda la comunidad escolar. Por consiguiente, los resultados no deben atribuirse exclusivamente al trabajo del docente a cargo de la asignatura. En la siguiente página encontrará una síntesis de las actividades de este taller. 39

42 PRESENTACIÓN DE RESULTADOS SIMCE Actividad 1 Presentación de los resultados Simce Objetivo Materiales requeridos Responsables Tiempo aproximado Dar a conocer los resultados Presentación de resultados Jefe de UTP o Coordinador 25 minutos Simce del establecimiento y los aprendizajes que son capaces de demostrar los estudiantes. elaborada por el equipo directivo utilizando recursos y materiales disponibles en el establecimiento. Pedagógico Exponer los conceptos clave. Fichas 1, 2 y 3 del Material de apoyo. Presentar los resultados Simce. Documento Informe de Resultados Simce para Docentes y Directivos del establecimiento. Actividad 2 Reflexión sobre los resultados Simce Objetivo Materiales requeridos Responsables Tiempo aproximado Dialogar y reflexionar colectivamente sobre los resultados Simce presentados, reconociendo la diversidad de desempeños que pueden observarse en cada asignatura. Presentación de resultados elaborada por el equipo directivo utilizando recursos y materiales disponibles en el establecimiento. Jefe de UTP o Coordinador Pedagógico 25 minutos Formar equipos de trabajo. Discutir sobre los resultados Simce presentados por el equipo directivo. Exponer las conclusiones de cada equipo en un plenario. Ficha 1. Pliegos de cartulina, papelógrafos u otro tipo de recursos que permitan la exposición. Actividad de cierre: conclusiones y acciones para la presentación de resultados Objetivo Materiales requeridos Responsables Tiempo aproximado Sistematizar las conclusiones, Ficha 2. Jefe de UTP o Coordinador 10 minutos metas y compromisos Pedagógico acordados para incorporar nuevas acciones al plan de trabajo del establecimiento. Nota: Los tiempos propuestos para este taller pueden ser modificados a partir de las necesidades y posibilidades de cada establecimiento. 40

43 GUÍA PRÁCTICA PARA EL USO DE LA INFORMACIÓN Actividad 1. Presentación de los resultados Simce Objetivo: Modo de trabajo: Responsables: Tiempo aprox.: Dar a conocer los resultados Simce del establecimiento y los aprendizajes que son capaces de demostrar los estudiantes. Exposición oral del responsable del taller. Jefe de UTP o Coordinador Pedagógico. 25 minutos. Qué se propone hacer en esta actividad? Exponer los conceptos clave Presentar y explicar de manera clara los conceptos clave. Presentar los resultados Simce Presentar los resultados de las pruebas Simce, considerando los resultados nacionales y los resultados del establecimiento. Cómo exponer los conceptos clave? Para presentar y explicar los conceptos clave (por ejemplo, GSE, variación significativa, etc.) de manera clara, se recomienda considerar la información y los esquemas incluidos en las Fichas 1, 2 y 3 del Material de Apoyo de este taller. Es importante que durante el análisis de resultados Simce los actores de la comunidad escolar conozcan y manejen los conceptos clave. De este modo se facilita el adecuado uso y análisis de los resultados. 41

44 PRESENTACIÓN DE RESULTADOS SIMCE Cómo presentar los resultados? Para presentar los resultados de las pruebas Simce de cada grado evaluado se sugiere considerar los siguientes aspectos del los informes de resultados Simce para docentes y directivos: Síntesis de resultados nacionales Simce. Síntesis de resultados Simce del establecimiento y comparaciones con evaluación anterior y con establecimientos de igual GSE. Síntesis de resultados según Estándares de Aprendizaje. A continuación se exponen ejemplos de la información a considerar en la presentación de resultados, sugerencias para describir la información y las posibles conclusiones a alcanzar. Cómo presentar los resultados Simce? Resultados según puntajes promedio nacional Simce 4. básico Prueba Puntaje promedio 2012 Puntaje promedio evaluación anterior Variación con respecto a la evaluación anterior Comprensión de Lectura Matemática Historia, Geografía y Ciencias Sociales Se puede concluir que a nivel nacional, se obtiene un resultado similar al de la evaluación anterior, pues tiene 0, 2 y 3 puntos más, diferencia que no es significativa. Nota: La simbología sobre variaciones significativas presentada en la tabla anterior se describe en el Material de apoyo, Ficha 1 del presente taller. Es importante poner mayor atención al símbolo que acompaña al resultado obtenido que a la diferencia de puntaje. No es recomendable comparar los puntajes promedio del establecimiento con los puntajes nacionales, pues estos últimos no consideran los factores externos que pudiesen intervenir en los resultados Simce. 42

45 GUÍA PRÁCTICA PARA EL USO DE LA INFORMACIÓN Resultados según puntajes promedio del establecimiento Simce 4. básico Prueba Comprensión de Lectura Puntaje promedio 2012 Variación con respecto a la evaluación anterior Comparación con establecimientos del mismo GSE Matemática Historia, Geografía y Ciencias Sociales Se puede concluir que el establecimiento obtiene un resultado más alto respecto a otros establecimientos del mismo GSE, pues tiene 5, 13 y 16 puntos más, diferencia que sí es estadísticamente significativa en cada prueba. Se puede concluir que el establecimiento obtiene en Historia, Geografía y Ciencias Sociales un resultado más alto respecto a la evaluación anterior, pues tiene 19 puntos más, diferencia que sí es estadísticamente significativa. Se puede concluir que el establecimiento obtiene en Comprensión de Lectura y Matemática un resultado similar respecto a la evaluación anterior, pues tiene 10 y 1 puntos más, respectivamente, diferencia que no es estadísticamente significativa. Nota 1: La simbología sobre variaciones significativas presentada en la tabla anterior se describe en el Material de Apoyo Ficha 3 del presente taller. Nota 2: El presente ejemplo refiere a una situación ficticia. La comparación de resultados solo puede llevarse a cabo entre los puntajes promedio de una misma prueba y no entre diferentes asignaturas, ya que los puntajes promedio de distintas pruebas no son equivalentes. No es correcto realizar comparaciones de puntaje cuando uno de los establecimientos comparados tiene menos de seis estudiantes. Esto, porque en un grupo pequeño, un estudiante representa un porcentaje muy alto del total del curso. Se sugiere comparar y establecer si hubo diferencias significativas o no con otros establecimientos del mismo GSE para dar mayor contexto a los resultados. Nota: En el Material de apoyo del presente taller encontrará orientaciones para comparar los resultados de aprendizaje. 43

46 PRESENTACIÓN DE RESULTADOS SIMCE Porcentaje de estudiantes del establecimiento en cada Nivel de Aprendizaje según los resultados Simce 4. básico Estándar de Aprendizaje Comprensión de Lectura Matemática Historia, Geografía y Ciencias Sociales Nivel de Aprendizaje Adecuado 59,6% 45,5% 52,3% Nivel de Aprendizaje Elemental 28,1% 45,5% 38,6% Nivel de Aprendizaje Insuficiente 12,4% 9,1% 9,1% La información se puede describir mediante un análisis por cada asignatura y Nivel de Aprendizaje. Por ejemplo: Más de la mitad de los estudiantes ha logrado de modo satisfactorio las exigencias curriculares para Comprensión de Lectura (Nivel de Aprendizaje Adecuado). Casi un tercio ha logrado de modo parcial lo exigido en el currículo (Nivel de Aprendizaje Elemental). Finalmente, un 12% no logra demostrar de modo consistente los aprendizajes elementales esperados para Comprensión de Lectura (Nivel de Aprendizaje Insuficiente). Para un análisis general de los resultados, algunas conclusiones posibles son: Más de la mitad de los estudiantes evaluados de 4. básico logran los aprendizajes exigidos en el currículo para Comprensión de Lectura, Matemática, e Historia, Geografía y Ciencias Sociales. En Matemática, casi un 50% de los estudiantes de 4. básico ha alcanzado de modo parcial los aprendizajes exigidos en el currículo por lo que requieren mayor apoyo en esta asignatura (Nivel de Aprendizaje Elemental). Aproximadamente, un 10% de los estudiantes evaluados en 4. básico no logra demostrar en forma consistente los aprendizajes definidos en el currículo para las asignaturas evaluadas. Nota: El presente ejemplo refiere a una situación ficticia. Si un establecimiento tiene menos de 20 estudiantes, es adecuado realizar las comparaciones observando el número de estudiantes y no el porcentaje de estudiantes en cada nivel. Hay que recordar que, en un grupo pequeño, cada estudiante representa un porcentaje muy alto del total del curso. Es importante que para identificar los aprendizajes logrados por los estudiantes, se complemente el porcentaje de estudiantes en cada nivel. Para esto, se sugiere realizar el taller Aprendizajes logrados por los estudiantes, con la descripción que señala los conocimientos y habilidades adquiridos por ellos. 44