BOLETÍN DIVISIÓN DE ESTUDIOS DE LA AGENCIA DE CALIDAD DE LA EDUCACIÓN

Transcripción

1 Edición abril 2014 BOLETÍN DIVISIÓN DE ESTUDIOS DE LA AGENCIA DE CALIDAD DE LA EDUCACIÓN Abril, 2014 Con este Boletín semestral, queremos mantenerlos al día del trabajo que está llevando a cabo la Agencia de Calidad de la Educación para fomentar la investigación en el ámbito de la educación. El año 2013 la División de Estudios de la Agencia inició la publicación de Apuntes, una serie de estudios breves que han sido elaborados con el propósito de fomentar la investigación y uso de los datos disponibles. Estos estudios se enfocan en cuatro áreas: Resultados de pruebas internacionales La prueba Simce desde nuevas perspectivas Resultados de otros estudios Factores asociados a resultados y Otros Indicadores de Calidad En este Boletín les entregamos un resumen de los Apuntes publicados a la fecha, los cuales se encuentran disponibles en la sección Estudios de la página web de la Agencia. Resultados de pruebas internacionales Las pruebas internacionales en las que Chile ha participado muestran que el país ha logrado claros avances en los resultados promedio, sin embargo, aún queda mucho por hacer en términos de equidad. Calidad y equidad El año 2012, el reporte de los resultados de pruebas estandarizadas en que participa Chile finalizó con los resultados de la prueba TIMSS 2011 aplicada en 4. básico, por primera vez, y en 8. básico en Matemática y Ciencias. Dentro de los resultados más relevantes está que, entre 2003 y 2011, los alumnos de 8. básico aumentaron 29 puntos en Matemática y 48 puntos en Ciencias, ubicando a Chile respectivamente como el cuarto y segundo país con mayor incremento en dicho período. Analizando las distribuciones de puntaje, se pudo apreciar que en Matemática, los resultados se desplazaron sin movimiento de la varianza; pero que en Ciencias, además del aumento de la media, hubo una disminución de la dispersión de los resultados. Lo anterior, origina una pregunta respecto del desafío pedagógico de mejorar el aprendizaje en todo el rango de la distribución de habilidad y en todas las poblaciones. 1

2 La brecha de género En directa relación con lo anterior, un tema relevante ha sido la brecha de género en los resultados de las pruebas estandarizadas en las que Chile participa. Un resultado prevalente son los menores puntajes que obtienen las mujeres en la prueba TIMSS de Matemática y Ciencias, realizada en 4. y 8. básico, y en la prueba PISA de Matemática y Ciencias aplicada a jóvenes entre 15 y 16 años, con respecto a los que obtienen los hombres. Lo anterior contrasta con la tendencia mundial en que la brecha de género en Matemática y Ciencias tiende a disminuir, desaparecer o incluso revertirse por completo. Diferencias actitudinales en Matemática Al analizar los cuestionarios de estudiantes asociados a la prueba PISA, se aprecia una diferencia entre las actitudes de los hombres y las mujeres hacia la Matemática, lo que hemos denominado la brecha actitudinal : las mujeres aparecen como más inseguras frente a esta asignatura, con mayor ansiedad, creen menos en sus habilidades y, en general, presentan menor motivación intrínseca e instrumental para aprender Matemática. También aparece evidencia de estratificación por género, ya que los hombres consideran más que las mujeres la Matemática en las planificaciones de sus estudios y carreras posteriores. En la sala de clases los hombres, más que las mujeres, sienten que sus profesores los estimulan a aprender, usan estrategias que fomentan sus aprendizajes e implementan una evaluación formativa y personalizada. Esto da luces sobre la relevancia de levantar más evidencia, cualitativa y cuantitativa, respecto del origen de las diferencias en los resultados. Apunte 1. Crecer en calidad y equidad Apunte 2. Esa brecha Apunte 3. Brecha de género: Chile en la comparación internacional Apunte 12. Diferencias actitudinales entre hombres y mujeres en Matemática Sobre notas y tecnología: más información de PISA 2012 En el primer Apunte de 2014 (Apunte N. 13, febrero 2014) se analizó la Prueba PISA 2012 en Matemática, a través de dos ejercicios descriptivos. En el primero, se asocian los puntajes de la prueba con las notas escolares en Matemática. En el segundo ejercicio, se extrae información de lo que los jóvenes respondieron en los cuestionarios de contexto, sobre su disponibilidad y uso de la tecnología. Los análisis muestran que existe una asociación positiva entre las notas y los puntajes PISA, sin embargo, las notas de la asignatura no reflejan el mismo nivel de competencias matemáticas en establecimientos de distinta dependencia. Las de los establecimientos particulares, en promedio, se asocian a mayores puntajes PISA de sus alumnos, que las de los establecimientos particulares subvencionados. Y las notas de estos últimos, a su vez, en promedio reflejan mayores competencias matemáticas que las de los establecimientos municipales. En todas las dependencias, las notas de los hombres en Matemática se asocian a mayores puntajes PISA que las de las mujeres. Respecto de la disponibilidad y uso de la tecnología, se observa que las diferencias importantes entre quintiles socioculturales y económicos están presentes solo en los hogares. En los establecimientos educacionales, todos los estudiantes tienen una disponibilidad similar de tecnología y hacen usos semejantes de ella sin importar el quintil del cual provengan. En términos de equidad en la disponibilidad 2

3 de la tecnología fuera del establecimiento, en general, las mayores diferencias se detectan entre el primer quintil y los demás, que aparecen como similares entre sí. Lo mismo ocurre respecto del uso cuando corresponde a actividades escolares. Sin embargo, en relación al primer acceso y la apropiación de la tecnología en la vida personal de los estudiantes, a medida que aumenta el nivel sociocultural y económico de los jóvenes, su primer acercamiento a la tecnología ha ocurrido a una edad más temprana y, en la actualidad, esta es más constitutiva de sus códigos de interacción y comunicación. Apunte 13. Sobre notas y tecnología: más información de PISA 2012 La prueba Simce desde nuevas perspectivas Un foco importante de los Apuntes ha sido analizar los resultados de la prueba Simce con mayor profundidad y desde diferentes perspectivas, lo que ha permitido extraer algunas conclusiones positivas para Chile. Gini al Simce Buscando cuantificar el grado de inequidad de los resultados Simce de los alumnos de 4. básico y II medio, se analizó su distribución en términos de la disparidad de los puntajes. Para esto se empleó el coeficiente de Gini, con el que habitualmente se mide el grado de desigualdad de los ingresos, pero que puede emplearse para evaluar cualquier distribución de resultados. La buena noticia es que la desigualdad de los puntajes Simce, medida con el índice de Gini, es inferior a la desigualdad de ingresos que habitualmente se calcula para Chile y que se estima también a partir de los datos que entregan los cuestionarios Simce de padres y apoderados. A pesar de esto, no todas las pruebas se comportan igual. Se detectó por una parte, que a mayor nivel del grupo socioeconómico del establecimiento, menor la desigualdad, y por otra, que en II medio existe mayor desigualdad de puntajes que en 4. básico, lo que puede deberse tanto a un efecto cohorte, como a un efecto grado. De acuerdo a este análisis, donde se observa mayor desigualdad es en la prueba de Matemática II medio. Relación TIMSS-Simce Además de lo anterior, dado que Chile participa en pruebas internacionales, se hizo uso de esta valiosa información como punto de referencia para nuestras mediciones locales. De esta forma, se sometió la prueba Simce Matemática 4. básico 2010 a un análisis de sus propiedades psicométricas, contrastándola con las de la prueba TIMSS para el mismo grado y área. A partir de ello, se pudo verificar la invarianza del comportamiento de los parámetros de las preguntas para ambas pruebas. Además, se logró establecer que las dos evaluaciones tienen niveles similares de dificultad a lo largo de casi toda la distribución de rendimiento y que sus preguntas tienen un comportamiento psicométrico similar. Con el alineamiento de ambas pruebas, se determinó que el promedio nacional Simce para 4. básico se encuentra en el rango de referencia internacional Intermedio, correspondiente al segundo de cuatro niveles. Apunte 4. Alineamiento de las pruebas de Matemática Simce 2010 y Matemática TIMSS 2011 para 4.º básico Apunte 6. Relación TIMSS-Simce: calidad psicométrica e invarianza de puntajes y parámetros Apunte 9. Gini al Simce: una aplicación del índice de Gini a los puntajes de las pruebas 3

4 Resultados de otros estudios Existen diversas áreas de aprendizaje, además de lenguaje, matemática, ciencias naturales e historia, geografía y ciencias sociales, donde un diagnóstico del estado de situación puede informar a la política pública. Dos ejemplos son inglés y educación física, donde los resultados muestran que aún queda mucho por hacer. Simce de Inglés III medio En el Simce de Inglés realizado en III medio el año 2012, el 18% de los estudiantes demostró manejar el idioma al menos en un nivel elemental, lo que le permitió acceder a un certificado validado por el Marco Común Europeo de Referencia para las Lenguas (MCERL). Al analizar la probabilidad de certificarse en función de algunas variables explicativas, se encontró una relación positiva entre la certificación y más horas de clases de inglés. La distribución de las horas de inglés no se concentra exclusivamente en los establecimientos de mayores recursos. En todas las categorías socioeconómicas, de modalidad, tamaño, ruralidad y dependencia administrativa, hay al menos un 15% donde, de acuerdo a sus alumnos, se imparten cuatro o más horas de inglés a la semana. El coeficiente de horas, aparece como positivo y significativo aun controlando por otras variables que miden exposición al idioma, como la edad de inicio y el idioma en que habla el profesor, además de las características socioeconómicas del alumno y del establecimiento. Adicionalmente, hay alguna evidencia de que el efecto de estar expuesto a más horas de inglés aumenta en los grupos que cuentan con mayores recursos. Es probable que la mayor cantidad de horas de este idioma esté asociada a otros esfuerzos que hacen los establecimientos para que sus alumnos logren comunicarse en inglés, y que corresponden a heterogeneidad no observada. En la medida que un segundo idioma permite a los jóvenes ampliar el horizonte de sus expectativas, sería recomendable investigar este efecto con mayor profundidad. Estudio de Educación Física 8. básico Se analizaron también los resultados del Estudio de Educación Física aplicado a una muestra de alumnos de 8. básico en Con los resultados se caracterizaron aspectos funcionales de la condición física de los estudiantes, buscando identificar qué variables inciden en lograr un nivel satisfactorio. Se detectó que aquí también existen diferencias de género, ya que las mujeres presentan una condición cardiorrespiratoria más deficiente que la de los hombres, lo que se acentúa al ir disminuyendo el nivel socioeconómico de los establecimientos. Una variable que aparece como importante es el nivel de actividad física que realizan los estudiantes fuera de clases, pues un mayor nivel de sedentarismo se asocia a menor condición cardiorrespiratoria. Como este es un hábito modificable, parece un foco temático relevante de investigar. Apunte 5. Las horas de inglés Apunte 8. La importancia de hacer actividad física 4

5 Factores asociados a resultados y Otros Indicadores de Calidad La calidad de la educación no puede ser evaluada solo en términos de lo académico, siendo fundamental tomar en consideración indicadores relativos al desarrollo personal y social de los estudiantes u otros factores contextuales que pueden estar asociados a los resultados alcanzados en las diferentes pruebas estandarizadas en las que Chile participa. Dentro de los Apuntes, se estudiaron indicadores de calidad de la educación que imparten los establecimientos en relación al clima de convivencia escolar, la formación ciudadana, el nivel de participación y el compromiso de los estudiantes con el establecimiento. Clima de convivencia escolar La percepción de conductas agresivas es una variable que atraviesa horizontalmente el proceso educativo, sin embargo, el porcentaje de los establecimientos con alta frecuencia de percepción de conductas agresivas disminuye a medida que aumenta el nivel socioeconómico del establecimiento. Además, mientras más conocido y aplicado es el sistema normativo del establecimiento, menor es la frecuencia de conductas agresivas percibidas. Por otro lado, todos los grupos socioeconómicos comparten porcentajes similares de víctimas de acoso escolar (4%), donde las causas de intimidación predominantes son la personalidad y las características físicas del agredido. Formación y participación ciudadana Para analizar la formación ciudadana al interior de los establecimientos, se construyeron tres índices relativos a la vida democrática, la participación de los estudiantes y la identificación con el establecimiento, observándose diferencias importantes por grupo socioeconómico y dependencia administrativa. Asimismo, consistente con lo hallado en la literatura, en todos los grupos socioeconómicos, los establecimientos que tienen una vida democrática alta o muy activa, tienen promedios en la prueba Simce de Lenguaje y Matemática significativamente más altos que los establecimientos con un índice de Vida democrática más bajo. Además, existe una asociación positiva entre el nivel de vida democrática de los establecimientos y la frecuencia de conductas agresivas, tal como se muestra en la siguiente tabla. Tabla 1. Frecuencia de conductas agresivas según la clasificación de los establecimientos de acuerdo al índice de Vida democrática Frecuencia de conductas agresivas Porcentaje de establecimientos que se encuentran en las siguientes categorías del índice: Vida democrática baja Vida democrática media Vida democrática alta Total establecimientos Frecuencia baja 17,0% 28,5% 59,5% 883 Frecuencia media 42,3% 54,0% 37,4% Frecuencia alta 40,7% 17,6% 3,1% 579 En la Tabla 1 se puede observar que en los establecimientos con una vida democrática alta, se observa una frecuencia claramente menor de conductas agresivas que en los establecimientos con una vida democrática menos activa. 5

6 Algunos índices de recursos Variables como el apoyo que reciben los alumnos en sus hogares y el grado de limpieza de los establecimientos, forman parte de la calidad de la experiencia educativa de los alumnos. Al construir algunos índices en función de las respuestas de los padres y estudiantes de 4. básico 2012 en los Cuestionarios Simce, se encontró que los alumnos de los establecimientos particulares subvencionados son los que perciben recibir mayor apoyo de sus padres respecto de su trabajo escolar, que 54% de los alumnos declaró no contar con papel higiénico y jabón en el baño de su establecimiento y que esta percepción, asociada positivamente a la percepción de limpieza, solo disminuye en los establecimientos particulares pagados y/o de alto nivel socioeconómico. En contraste, alrededor de un 30 % de los padres en todas las dependencias y niveles socioeconómicos, manifestó un grado alto de satisfacción con la limpieza y las instalaciones. Apunte 7. Recursos en el hogar y en el establecimiento: algunos índices Apunte 10. Clima de convivencia escolar según los estudiantes de II medio Apunte 11. Formación ciudadana y participación en los establecimientos educacionales 6