Agrupación de escuelas y valor agregado Ernesto Treviño Octubre 22, 2010
Agenda Contexto Conceptos Principales resultados Conclusiones
Contexto Proyecto de Ley del Sistema Nacional de Aseguramiento de la Calidad de la Educación Parvularia, Básica y Media Propone agrupación de colegios: Buen Desempeño Desempeño Satisfactorio Desempeño Regular Mal Desempeño Los semáforos del SIMCE son, de facto, un sistema de clasificación de colegios y no reflejan el esfuerzo de las escuelas. Propósito: ofrecer distintas formas de ver el desempeño de las escuelas.
Conceptos Ganancias de aprendizaje SEPA (Sistema de Evaluación del Progreso del Aprendizaje) Superación de expectativa Cuánto más allá de lo esperado
Conceptos Por qué considerar un indicador de valor agregado? Chile: segundo país del mundo donde las desigualdades sociales pesan más sobre el aprendizaje Estudiantes chilenos de élite: obtienen resultados que equivalen a un año menos de educación en comparación con estudiantes de élite de otros países (OCDE, 2008). Los semáforos no reflejan el esfuerzo de las escuelas.
Conceptos Escuela efectiva Valor agregado Equidad Desarrollo integral Aquella que promueve de forma duradera el desarrollo integral de todos y cada uno de los alumnos, más allá de lo que sería previsible teniendo en cuenta su rendimiento inicial y su situación social, económica y cultural. Murillo, 2003
Estudio de agrupación Estudio de agrupación de escuelas (Treviño y Donoso, 2010) con tres clasificaciones en lenguaje y matemática: Promedio SIMCE 2006, 2007 y 2008 de 4º básico Promedio del porcentaje de niños en nivel inicial de aprendizaje 2006, 2007 y 2008 Valor agregado (superación de expectativas), a través del error de estimación, considerando: Recursos del colegio (título y especialización de profesores). Selectividad Nivel socioeconómico y expectativas de los estudiantes. Gasto en educación de las familias. Sólo colegios con 30 o más alumnos evaluados en cada año
Estudio de agrupación Valor agregado visto como superación de expectativas: Recursos del colegio (título y especialización de profesores). Selectividad Nivel socioeconómico y expectativas de los estudiantes. Gasto en educación de las familias. Ecuación 1: Ecuación 2: Y = + β ESTUDIANTE + r ij β β 0 j nj 0 j = γ 0 j + γ mjescuelaj + u0 j ij ij Ecuación 3: β nj = γ n 0 + u nj
Principales resultados
Resultados de agrupar según el promedio del Puntaje SIMCE Lenguaje 4to básico de los establecimientos en los años 2006, 2007 y 2008 Porcentaje de Establecimientos por Grupo según Agrupación SIMCE Lenguaje N = 1946 % Establecimientos con 4 grupos % Establecimientos con 7 grupos % Establecimientos con 8 grupos 33,8% 26,9% 16,3% 8,1% 7,6% 12,8% 10,6% 16,4% 14,2% 23,0% 19,9% 19,6% 18,3% 18,9% 16,8% 14,4% 6,3% 11,2% 4,8% G1 G2 G3 G4 G5 G6 G7 G8
Resultados de agrupar según el promedio del Puntaje SIMCE Lenguaje 4to básico de los establecimientos en los años 2006, 2007 y 2008 Media por Grupo según Agrupación SIMCE Lenguaje N = 1946 Media con 4 grupos Media con 7 grupos Media con 8 grupos 304,6 305,1 297,4 289,4 287,3 271,8 271,9 250,9 275,4 229,0 258,8262,4 250,9 246,6 239,9 233,4 229,6 217,5 215,4 1 2 3 4 5 6 7 8
Resultados de agrupar según el promedio del Puntaje SIMCE Lenguaje 4to básico de los establecimientos en los años 2006, 2007 y 2008 12000 Índice Pseudo F por cluster Agrupación por Puntaje en SIMCE Lenguaje 10,876.68 10000 9,839.42 8,963.57 8000 8,020.46 6,932.26 6000 6,206.05 4000 2000 0 1 2 3 4 5 6 7 8 9 Pseudo F Varianza por Grupo según Agrupación SIMCE Lenguaje N = 1946 Varianza con 4 grupos Varianza con 7 grupos Varianza con 8 grupos 75,9 73,9 37,8 39,7 45,0 36,2 44,9 41,0 17,6 23,4 17,2 16,2 13,2 13,3 14,4 12,5 10,5 9,4 11,0 1 2 3 4 5 6 7 8
Resultados de agrupar según el promedio del Error de Estimación del Puntaje SIMCE Lenguaje 4to básico de los establecimientos en los años 2006, 2007 y 2008 Porcentaje de Establecimientos por Grupo según Agrupación por Error Lenguaje N = 1946 % Establecimientos con 4 grupos % Establecimientos con 7 grupos % Establecimientos con 8 grupos 29,6% 36,5% 14,0% 3,9% 2,7% 14,4% 9,1% 19,1% 20,9% 19,9% 14,4% 16,4% 19,7% 19,1% 17,7% 15,1% 12,8% 7,6% 7,1% 1 2 3 4 5 6 7 8
Resultados de agrupar según el promedio del Error de Estimación del Puntaje SIMCE Lenguaje 4to básico de los establecimientos en los años 2006, 2007 y 2008 Media por Grupo según Agrupación por Error Lenguaje N = 1946 Media con 4 grupos Media con 7 grupos Media con 8 grupos 25,8 23,7 17,0 15,5 13,0 9,5 6,1 6,0 4,2-3,5-14,5-0,2-5,8-0,9-11,7-6,2-19,4-11,8-19,4 1 2 3 4 5 6 7 8
Resultados de agrupar según el promedio del Error de Estimación del Puntaje SIMCE Lenguaje 4to básico de los establecimientos en los años 2006, 2007 y 2008 12.000,00 Índice Pseudo F por cluster Agrupación por Error Lenguaje 10.000,00 8.000,00 6.000,00 4.000,00 4.530,16 5.070,57 5.788,50 6.204,02 6.601,72 7.049,83 2.000,00 0,00 1 2 3 4 5 6 7 8 9 Pseudo F Varianza por Grupo según Agrupación por Error Lenguaje N = 1946 Varianza con 4 grupos Varianza con 7 grupos Varianza con 8 grupos 46,8 40,5 32,5 19,4 11,6 8,2 8,6 11,6 5,6 3,5 2,7 2,8 3,4 4,8 2,7 2,1 2,1 2,5 3,2 1 2 3 4 5 6 7 8
Resultados de agrupar por el promedio del Porcentaje de alumnos en Nivel de Logro Inicial según el Puntaje SIMCE Lenguaje 4to básico de los establecimientos en los años 2006, 2007 y 2008 Porcentaje de Establecimientos por Grupo según Agrupación por Nivel de Logro Inicial Lenguaje N = 1946 % Establecimientos con 4 grupos % Establecimientos con 7 grupos % Establecimientos con 8 grupos 28,8% 27,6% 21,4% 5,8% 5,0% 12,4% 9,8% 22,2% 18,4% 14,7% 17,6% 14,4% 17,8% 15,8% 17,1% 13,4% 14,6% 11,6% 11,5% 1 2 3 4 5 6 7 8
Resultados de agrupar por el promedio del Porcentaje de alumnos en Nivel de Logro Inicial según el Puntaje SIMCE Lenguaje 4to básico de los establecimientos en los años 2006, 2007 y 2008 Media por Grupo según Agrupación por Nivel de Logro Inicial Lenguaje N = 1946 Media con 4 grupos Media con 7 grupos Media con 8 grupos 0,61 0,71 0,70 0,44 0,60 0,59 0,29 0,52 0,50 0,42 0,41 0,34 0,32 0,26 0,22 0,18 0,13 0,10 0,09 G1 G2 G3 G4 G5 G6 G7 G8
Resultados de agrupar por el promedio del Porcentaje de alumnos en Nivel de Logro Inicial según el Puntaje SIMCE Lenguaje 4to básico de los establecimientos en los años 2006, 2007 y 2008 12000 Índice Pseudo F por cluster Agrupación por Nivel de Logro Inicial Lenguaje 12.450,94 10000 9.667,41 10.212,51 11.258,10 8000 8.077,15 6000 6.796,74 4000 2000 0 1 2 3 4 5 6 7 8 9 Pseudo F Varianza por Grupo según Agrupción por Nivel de Logro Inicial Lenguaje N = 1946 Varianza con 4 grupos Varianza con 7 grupos Varianza con 8 grupos 0,0048 0,0026 0,0026 0,0026 0,0019 0,0020 0,0009 0,0007 0,0006 0,0007 0,0007 0,0007 0,0007 0,0010 0,0006 0,0005 0,0012 0,0006 0,0008 G1 G2 G3 G4 G5 G6 G7 G8
Principales resultados Solamente 1946 colegios tienen más de 30 alumnos evaluados en los 3 años Los cambios en SIMCE año a año de colegios con menos de 30 alumnos evaluados son poco confiables 50% de los resultados de aprendizaje dependen de las diferencias socioeconómicas y culturales Clasificación de colegios en las categorías propuestas por la Ley de Aseguramiento de la Calidad
Principales resultados Se agruparon los colegios en las cuatro categorías de la propuesta de ley usando el error de estimación y de acuerdo al siguiente esquema: Buen desempeño: Grupos 1 y 2 de efectividad -las escuelas más efectivas. Desempeño satisfactorio: Grupo 3 de efectividad Desempeño regular: Grupos 4 y 5 de efectividad Mal desempeño: Grupos 6 y 7
Principales resultados LENGUAJE MATEMÁTICAS Puntaje promedio estimado Puntaje promedio obtenido Puntaje promedio estimado Puntaje promedio obtenido Establecimientos Educacionales de Buen Desempeño 256.03 278.87 248.61 270.27 Municipal 246.36 268.57 235.91 256.97 Particular Subvencionado 261.23 284.41 255.19 277.34 Particular Pagado no hay casos no hay casos 302.02 316.97 Establecimientos Educacionales de Desempeño Satisfactorio 257.92 269.81 251.66 260.21 Municipal 247.05 258.74 239.02 247.33 Particular Subvencionado 265.01 277.10 257.89 266.66 Particular Pagado 304.13 314.18 304.57 311.47 Establecimientos Educacionales de Desempeño Regular 260.64 260.42 251.80 248.15 Municipal 247.41 246.73 236.34 232.42 Particular Subvencionado 264.44 264.95 256.47 253.33 Particular Pagado 310.57 307.87 310.60 305.97 Establecimientos Educacionales de Mal Desempeño 257.62 242.43 248.84 230.03 Municipal 247.02 230.87 236.79 216.75 Particular Subvencionado 261.62 247.66 253.89 236.76 Particular Pagado 310.89 298.02 312.54 295.48
Principales resultados - Lenguaje 100,0% 90,0% 80,0% 7,3% 18,2% 70,0% 60,0% 50,0% 40,0% 30,0% 20,0% 2,6% 7,8% 20,9% 4,8% 10,2% 25,3% 49,8% Buen desempeño Desempeño satisfactorio Desempeño regular Mal desempeño 10,0% 0,0% 14,9% 0,3% 3,6% 7,3% 2,4% Municipal Particular Pagado Particular Subvencionado 24,6% Total
Principales resultados - Matemática 100,0% 90,0% 17,2% 80,0% 70,0% 18,7% 60,0% 50,0% 40,0% 30,0% 20,0% 10,0% 6,4% 7,2% 11,5% 21,1% 0,2% 0,4% 1,6% 10,6% 11,1% 6,6% 19,3% 19,7% 44,3% Buen desempeño Desempeño satisfactorio Desempeño regular Mal desempeño 0,0% 4,0% Municipal Particular Pagado Particular Subvencionado Total
Puntaje obtenido y estimado en lenguaje Puntaje obtenido 200 250 300 350 220 240 260 280 300 320 Puntaje estimado
Puntaje obtenido y estimado en matemática Puntaje obtenido 150 200 250 300 350 220 240 260 280 300 320 Puntaje estimado
Conclusiones Solamente 1946 escuelas se pueden evaluar con alto nivel de confiabilidad 16% del total La clasificación de escuelas varía de forma importante de acuerdo al indicador que se use. Los grupos no son homogéneos al interior Problemas para clasificar los extremos de la distribución Estudiantes de élite rendimientos más bajos de lo esperado Qué intervenciones de política se pueden hacer con estos resultados? Sería para el 16% de los colegios Información sólo de rendimiento es insuficiente para intervenciones
Conclusiones Algunas recomendaciones Contemplar un conjunto de indicadores de desempeño en distintos ámbitos de la calidad educativa Directivos Docentes Gestión pedagógica La clasificación en niveles bajos ligada a apoyos para mejorar Rendición de cuentas y consecuencias para las medidas de apoyo Diseñar y estudiar cuidadosamente el sistema antes de implementarlo a nivel nacional