América Latina y las evaluaciones internacionales a gran escala Retos para la política educativa Gilbert. A. Valverde, Ph.D. Universidad de las Américas Puebla Click Departamento to edit Master de Ciencias de subtitle la Educaciónstyle VII Congreso Nacional de Educación: Administración y Política Educativa 1
En esta presentación Abordaremos el tema de la participación de países en América Latina en pruebas internacionales a gran escala. Discutiremos las motivaciones de los países de AL, y lo que ofrecen estas pruebas Utilizando de ejemplo datos de PISA, juzgaremos el valor de la pruebas como fuente de indicadores para monitorear políticas nacionales sobre la calidad de la educación. Concluiremos con consideraciones acerca de las Implicaciones para políticas educativas y agendas de investigación acerca de la calidad de la escolarización en AL 2
Qué es PISA? El Programa para la Evaluación Internacional de Alumnos de la OCDE tiene por objeto evaluar hasta qué punto los alumnos cercanos al final de la educación obligatoria han adquirido algunos de los conocimientos y habilidades necesarios para la participación plena en la sociedad del saber saca a relucir aquellos países que han alcanzado un buen rendimiento y, al mismo tiempo, un reparto equitativo de oportunidades de aprendizaje, ayudando así a establecer metas ambiciosas para otros países. Tomado de PISA en Español : http://www.oecd.org/document/25/0,3343,en_3225235 1_32235731_39733465_1_1_1_1,00.html
La participación en PISA 10 Países Latinomericanos en PISA 8 6 4 Países Latinomericanos en PISA 2 0 2000 2003 2006 2009 2012
Razones para participar. En los países de AL con frecuencia la primera participación en PISA coincide con los años de fundación o de consolidación de los sistemas nacionales de evaluación. PISA representa un tipo de medición distinto a la mayoría de las mediciones nacionales en la región.
Qué es diferente en PISA con respecto a la evaluaciones nacionales más comunes en la región? Permite la rigorosa comparación de resultados de la escolarización en la región con respecto a países fuera de la región. Mide según estándares internacionales de calidad en términos de Validez y confiabilidad.. y ofrece una posibilidad aun casi inexistente en la región: La posibilidad de comparar niveles de logro en el tiempo. A continuación, análisis tomados del Banco Interamericano de Desarrollo* *informes disponibles en http://www.iadb.org/en/topics/education/latin-america-in-pisa-2012,9080.html
América Latina en PISA Entre los países de mas bajo desempeño promedio El estudiante promedio en AL solo alcanza el nivel mas bajo de desempeño en PISA 7
Cambio en el tiempo 8
México Entre los mejores resultados en AL Muy bajos resultados con respecto a otros países de OCDE El equivalente de 2 grados, según el BID En matemática y lectura, mejoró desde 2003 pero dejó de hacerlo a partir de 2009 En ciencias, no ha habido cambio desde 2006 9
Evaluemos dos cosas en PISA: Cuán confiable (creíble) es la evidencia acerca de cambios en el rendimiento del 2000 al 2009? Cómo ha variado el comportamiento de los alumnos (as) latinoamericanos frente a ítems PISA en cuanto a sus tendencias a: No contestar Contestar correctamente Contestar incorrectamente
Los Datos Tomados del informe internacional PISA 2009 versión impresa. También datos sobre 46 ítems comunes a las pruebas de 2000 y 2009 (lectura y matemática)
Primero: Consideremos la evidencia acerca del cambio en lectura A continuación un gráfico: La línea diagonal solida representa el supuesto de que las escalas para 2000 y 2009 son las mismas. Los contratistas de PISA se han esmerado para que así sea! Si el supuesto de la estabilidad de la escala es correcta El cambio (mejoría, estabilidad o deterioro en los niveles de desempeño) se representa por la distancia vertical con respecto a la diagonal
Mejorías notables en Perú y Chile (Brasil) Sin cambio en México Argentina?
continuemos La línea discontinua representa una regresión de los resultados en 2009 contra los resultados de 2000 Es en realidad una representación de una reequiparación de las dos pruebas. Qué efecto tiene esto sobre las inferencias acerca de mejorías, estancamiento, o deterioro en niveles de logro?
Las mejorías de países como Perú ahora parecen menores Chile mejora más que la mayoría, pero también es menos que bajo el modelo anterior Brasil no cambia México ha empeorado Argentina ha empeorado considerablemente
Implicaciones Estas y otras evidencias sugieren que la prueba PISA y su técnica de equiparación está centrado alrededor de la media de la distribución de niveles de logro promedio A mayor distancia de la media, mayor error de equiparación El error parece ser mayor para la parte inferior de la distribución (donde esta Latinoamérica) que en la parte superior
Inestabilidad en las colas Los países de América Latina están en la parte posiblemente mas inestable de la distribución. Mayor estabilidad en la equiparación en el centro de la distribución Mayor inestabilidad en la parte inferior de la distribución.
Cuál es la verdad? Esta simulación no demuestra que la línea discontinua, o la sólida son las verdaderas Sugiere que hay lugar razonable para dudar de la calibración psicométrica de la prueba en especial en los extremos de la distribución. Las posiciones relativas (el ranqueo ) son estables Esto significa que las inferencias sobre la calidad de los resultados de la escolarización en cada aplicación de la prueba en América Latina son válidas y confiables Las inferencias sobre mejoría, deterioro o estancamiento en América Latina son las que debemos volver a examinar. Debemos investigar más acerca de la magnitud y la dirección aparente de los cambios.
Segundo: examinemos el comportamiento de los estudiantes frente a los ítems de 2000 a 2009 Omitido (no intentado) incorrecto correcto
Un ítem de matemáticas (M034Q0T) En varios países Incluyendo México de 2000 a 2009 Disminuyó el número de alumnos renuentes a contestar la pregunta. Aumentó el número que contesta correctamente En Argentina y Brasil Aumentó la frecuencia con que los estudiantes estaban dispuestos a contestar. Aumentó también su tendencia a contestar mal!
Un ítem de lectura (R055Q0T) En México al igual que Perú, Brasil y Chile los alumnos aumentan su tendencia a contestar, y los que contestan, tienden más a contestarlo bien. Curiosamente, en Argentina, contestan menos, pero los que contestan tienden a contestar bien con mayor frecuencia
otro ítem de lectura (R055Q02) Argentina y España son los únicos dos países en que este ítem fue mas difícil en 2009 que en 2000 y en que aumentaron los alumnos que no lo contestaron. En México (y Brasil) la pregunta fue mas difícil, pero mas estudiantes intentaron contestarla. Esta es una característica notable en AL Qué significa?
Lectura de nuevo(r104q02) En todos los países representados, el ítem fue mas difícil en 2009 que en 2000 sólo en Argentina aumentó en vez de disminuir la cantidad de estudiantes que no estuvieron dispuestos a contestarlo De nuevo, hay un patrón en AL de que la tendencia a intentar contestar una pregunta no parece estar relacionado consistentemente, con su nivel de dificultad
Implicaciones? Las pruebas como PISA son prometedoras como medición de la calidad de la escolarización en comparación con otros países Como valorar los problemas específicos que presenta la interpretación de esta pruebas para países de bajo nivel de rendimiento promedio? Todos los países de América Latina se encuentran en ese grupo 24
Fortalezas de las pruebas internacionales Ofrecen comparaciones internacionales de los niveles de logro promedio de estudiantes de AL en cada año de aplicación con niveles altos de confiabilidad y validez información comparativa útil con respecto a niveles relativos de logro dentro y fuera de la región transparencia exhaustiva de todos sus aspectos técnicos bases de datos abiertas a todo investigador 25
Debilidades Las inferencias acerca de cambio en el tiempo para AL no son suficientemente validos o confiables En verdad no sabemos que países mejoran o no, tampoco a que ritmo. El patrón de respuestas omitidas o contestadas en AL también afecta la calidad de la información Los altos números de estudiantes que no contestan preguntas nos deja sin información Inferir que los que no contestan no podrían contestar correctamente no es útil. Parece claro, sin embargo, que el dominio de las materias entre un numero significativo de estudiantes en AL es tan débil, que no son capaces de juzgar el nivel de dificultad de muchas preguntas. 26
Mirando hacia el futuro Como en el resto del mundo, en AL ha tomado raíz la idea que los juicios sobre la calidad de la educación deben basarse sobre evidencias verificables. Cualquier juicio sobre calidad debe ser un juicio auditable. Pero aun no contamos con indicadores óptimos para juzgar la calidad de la educación en AL con respecto a otros países. América Latina debe actuar para adecuar los indicadores internacionales a las apremiantes necesidades de información de sus sistemas educativos. 27
gvalverde@albany.edu MUCHAS GRACIAS! 28