Logros de aprendizaje en América Latina: resultados y desafíos. Coloquio de Medición y Evaluación Educacional M. Paulina Flotts 25 de agosto de 2015

Transcripción

1 Logros de aprendizaje en América Latina: resultados y desafíos Coloquio de Medición y Evaluación Educacional M. Paulina Flotts 25 de agosto de 2015

2 Características generales de TERCE

3 Antecedentes Historia previa: PERCE y SERCE Alineamiento curricular Activa participación de países en todas las fases del proceso

4 Participantes 16 sistemas educativos: 15 países más el estado mexicano de Nuevo León. Argentina, Brasil, Chile, Colombia, Costa Rica, Ecuador, Guatemala, Honduras, México, Nicaragua, Paraguay, Perú, República Dominicana, Paraguay y Uruguay. En total, se evaluaron estudiantes distribuidos en escuelas.

5 Cronología del estudio 2010 Análisis curricular 2012 Adaptaciones nacionales y Pilotaje 2014 Análisis aplicación definitiva 2011 Construcción itemes 2013 Análisis piloto y Aplicación definitiva Informes de resultados y factores asociados

6 Entidades participantes Año Tarea Institución a cargo Análisis curricular ICFES 2011 Elaboración de ítems MIDE UC, países Desarrollo marco de factores MIDE UC, UDP asociados Elaboración de cuestionarios UDP 2012 Diseño muestral OREALC/UNESCO Desarrollo software IEA Arbitraje de muestreo IEA Aplicación piloto MIDE UC, UDP, países 2013 Aplicación definitiva MIDE UC, UDP, países 2014 Análisis y elaboración de MIDE UC, UDP, informes OREALC/UNESCO

7 Qué ámbitos se midieron? Tercer grado Lectura Escritura Matemáticas Sexto grado Lectura Escritura Matemáticas Ciencias naturales

8 Qué aprendizajes se midieron?: Lectura Dominios Comprensión de textos Metalingüístico y teórico Procesos cognitivos Comprensión literal Comprensión inferencial Comprensión crítica

9 Qué aprendizajes se midieron?: Matemáticas Dominios Numérico Geométrico Medición Estadístico Variación Procesos cognitivos Reconocimiento de objetos y elementos Solución de problemas simples Solución de problemas complejos

10 Qué aprendizajes se midieron?: Ciencias Naturales Dominios Salud Seres vivos Ambiente La Tierra y el sistema solar Materia y energía Procesos cognitivos Reconocimiento de información y conceptos Comprensión y aplicación de conceptos Pensamiento científico y resolución de problemas

11 Qué aprendizajes se midieron?: Escritura Dimensión discursiva Propósito, secuencia y adecuación a la consigna Género Registro (solo 6 ) Dimensión textual Coherencia global Concordancia Cohesión Convenciones de legibilidad Ortografía literal inicial Segmentación de palabras Puntuación

12 Cómo se informan los resultados? Puntaje Lectura, Matemáticas y Ciencias Naturales: Puntaje estándar (con promedio 700 y desviación estándar 100) Escritura: Escala de 1 a 4, basada en puntuaciones de las rúbricas utilizadas Niveles de logro Lectura, Matemáticas y Ciencias Naturales: standard setting Escritura: niveles de desempeño establecidos en las rúbricas

13 Principales resultados

14 Lectura

15 Puntaje promedio tercer grado

16 Puntaje promedio por país tercer grado y comparación con promedio regional País Promedio Error estándar Comparación con promedio de países Argentina Brasil Chile Colombia Costa Rica Ecuador Guatemala Honduras México Nicaragua Panamá Paraguay Perú Rep. Dominicana Uruguay Promedio países Nuevo León

17 Variabilidad de las puntuaciones en tercer grado Argentina Brasil Chile Colombia CostaRica Ecuador Guatemala Honduras México Nicaragua Panamá Paraguay Perú Rep.Dominicana Uruguay Total Países Nuevo León P10 P25 P75 P90 Intervalo de Confianza 95% (±1,96 SE)

18 Distribución de estudiantes en niveles de desempeño en tercer grado Nivel IV Nivel III Nivel II Nivel I Lectura 3

19 Puntaje promedio sexto grado

20 Puntaje promedio por país sexto grado y comparación con promedio regional País Promedio Error estándar Comparación con promedio de países Argentina o Brasil Chile Colombia Costa Rica Ecuador Guatemala Honduras México Nicaragua Panamá Paraguay Perú o Rep. Dominicana Uruguay Promedio países Nuevo León

21 Variabilidad de las puntuaciones en sexto grado Argentina Brasil Chile Colombia CostaRica Ecuador Guatemala Honduras México Nicaragua Panamá Paraguay Perú Rep.Dominicana Uruguay Total Países Nuevo León P10 P25 P75 P90 Intervalo de Confianza 95% (±1,96 SE)

22 Distribución de estudiantes en niveles de desempeño en sexto grado Nivel IV Nivel III Nivel II Nivel I Lectura 6

23 Principales desafíos en Lectura Tercer grado Ampliar la comprensión lectora hacia textos menos familiares y donde el estudiante pueda establecer relaciones, interpretar e inferir significados Sexto grado Favorecer en los niños y niñas la capacidad para interpretar expresiones de lenguaje figurado y fortalecer el conocimiento de los componentes del lenguaje y sus funciones

24 Matemáticas

25 Puntaje promedio tercer grado

26 Puntaje promedio por país tercer grado y comparación con promedio regional País Puntaje promedio en Error estándar Comparación con el la prueba promedio de países Argentina Brasil Chile Colombia o Costa Rica Ecuador o Guatemala Honduras México Nicaragua Panamá Paraguay Perú Rep. Dominicana Uruguay Promedio países Nuevo León

27 Variabilidad de las puntuaciones en tercer grado Argentina Brasil Chile Colombia CostaRica Ecuador Guatemala Honduras México Nicaragua Panamá Paraguay Perú Rep.Dominicana Uruguay Total Países Nuevo León P10 P25 P75 P90 Intervalo de Confianza 95% (±1,96 SE)

28 Distribución de estudiantes en niveles de desempeño en tercer grado Matemática 3 Nivel IV Nivel III Nivel II Nivel I

29 Puntaje promedio sexto grado

30 Puntaje promedio por país sexto grado y comparación con promedio regional País Promedio Error estándar Comparación con promedio de países Argentina Brasil o Chile Colombia o Costa Rica Ecuador o Guatemala Honduras México Nicaragua Panamá Paraguay Perú Rep. Dominicana Uruguay Promedio países Nuevo León

31 Variabilidad de las puntuaciones en sexto grado Argentina Brasil Chile Colombia CostaRica Ecuador Guatemala Honduras México Nicaragua Panamá Paraguay Perú Rep.Dominicana Uruguay Total Países Nuevo León P10 P25 P75 P90 Intervalo de Confianza 95% (±1,96 SE)

32 Distribución de estudiantes en niveles de desempeño en sexto grado Matemática 6 Nivel IV Nivel III Nivel II Nivel I

33 Principales desafíos en Matemática Tercer grado Resolución de problemas que requieren aplicar operaciones aritméticas, medidas y figuras geométricas, así como aprender a interpretar información que se presenta en tablas y gráficos Sexto grado Resolución de problemas complejos, que involucran operaciones con números naturales, decimales y fracciones, el cálculo de perímetros y áreas, y otros aspectos, como las unidades de medida y los datos que se presentan en tablas y gráficos

34 Ciencias Naturales

35 Puntaje promedio

36 Puntaje promedio por país y comparación con promedio regional País Promedio Error estándar Comparación con promedio de países Argentina o Brasil o Chile Colombia Costa Rica Ecuador o Guatemala Honduras México Nicaragua Panamá Paraguay Perú o Rep. Dominicana Uruguay Promedio países Nuevo León

37 Variabilidad de las puntuaciones Argentina Brasil Chile Colombia CostaRica Ecuador Guatemala Honduras México Nicaragua Panamá Paraguay Perú Rep.Dominicana Uruguay Total Países Nuevo León P10 P25 P75 P90 Intervalo de Confianza 95% (±1,96 SE)

38 Distribución de estudiantes en niveles de desempeño Nivel IV Nivel III Nivel II Nivel I Ciencias 6

39 Principales desafíos en Ciencias Naturales Sexto grado Fortalecer el pensamiento científico, es decir, la capacidad de formular preguntas, distinguir variables, seleccionar información pertinente y utilizar el conocimiento científico para comprender el entorno

40 Escritura

41 Puntaje promedio tercer grado

42 Puntaje promedio por país tercer grado y comparación con promedio regional País Promedio Error estándar Comparación con promedio de países Argentina Brasil o Chile Colombia o Costa Rica Ecuador o Guatemala Honduras México Nicaragua Panamá o Paraguay Perú Rep. Dominicana Uruguay Promedio países Nuevo León o

43 Ahora visto por dimensión. PAÍS DOMINIO DISCURSIVO DOMINIO TEXTUAL CONVENCIONES DE LEGIBILIDAD Argentina Brasil o 3.31 Chile Colombia 2.58 o 3.06 o 2.47 Costa Rica Ecuador o Guatemala Honduras México Nicaragua o 2.73 Panamá 2.53 o 3.08 o 2.85 o Paraguay 2.48 o o Perú 2.55 o 3.19 o 3.11 Rep. Dominicana Uruguay Promedio países Nuevo León o

44 Puntaje promedio sexto grado

45 Puntaje promedio por país sexto grado y comparación con promedio regional País Promedio Error estándar Comparación con promedio de países Argentina Brasil o Chile Colombia Costa Rica Ecuador Guatemala Honduras México Nicaragua o Panamá o Paraguay Perú o Rep. Dominicana Uruguay o Promedio países Nuevo León

46 Ahora visto por dimensión PAÍS DOMINIO DISCURSIVO DOMINIO TEXTUAL CONVENCIONES DE LEGIBILIDAD Argentina Brasil o 3.53 Chile Colombia 2.99 o Costa Rica Ecuador 2.91 o o Guatemala Honduras México Nicaragua Panamá 3.05 o o Paraguay Perú o 3.45 Rep. Dominicana Uruguay 2.95 o 3.35 o 3.47 Promedio países Nuevo León 3.05 o

47 Conclusiones y desafíos en Escritura Conclusiones El mejor desempeño se observa en el dominio textual. En general, los textos producidos por los niños son coherentes (se aprecia continuidad temática), con concordancia y cohesionados. Desafíos fortalecer el aprendizaje de los aspectos que componen la dimensión discursiva del texto, es decir, la capacidad de producir textos que sean adecuados al propósito comunicativo y al género del mismo.

48 Comparación SERCE-TERCE

49 Breve descripción de los análisis Para realizar la comparación SERCE-TERCE se hizo un ajuste estadístico, equiparando la dificultad de ambas pruebas, utilizando técnicas basadas en bloques ancla entre SERCE y TERCE Para esto, se estimó la dificultad de los ítems en TERCE aplicando los criterios de exclusión muestral de SERCE y el mismo software utilizado para la calibración del SERCE (Winsteps), antes de realizar un linking de parámetros, tomando como referencia las dificultades de los ítems ancla reportados en SERCE Obtenidos los resultados equiparados en TERCE con la escala SERCE, se ajustó el error estándar de cada país y de la región en el TERCE, usando el método reportado en SERCE; se rescató los errores estándar reportados en SERCE; y se estimó el error de link que es propio a este proceso de equiparación

50 Lectura tercer grado SERCE TERCE p q p p q p p p p p p q

51 Lectura sexto grado SERCE TERCE p q p p p p p p p

52 Matemáticas tercer grado SERCE TERCE p p p p p p p p p p p p p

53 Matemáticas sexto grado SERCE TERCE p p p p q p p p p q p p p p

54 Ciencias Naturales SERCE TERCE p p q p p q p p

55 Comentarios finales

56 Comentarios-Reflexiones Aspectos a destacar Participación activa de los países en distintas fases del proceso Alineamiento curricular de las pruebas: información para la gestión educativa Comparabilidad SERCE-TERCE (y actualización de metodologías de análisis) Evaluación de Escritura en sistemas a gran escala Desafíos Uso de la información para la toma de decisiones Incorporación de otros aprendizajes y nuevas formas de evaluación