Agrupación de escuelas y valor agregado

Transcripción

1 Agrupación de escuelas y valor agregado Ernesto Treviño Octubre 22, 2010

2 Agenda Contexto Conceptos Principales resultados Conclusiones

3 Contexto Proyecto de Ley del Sistema Nacional de Aseguramiento de la Calidad de la Educación Parvularia, Básica y Media Propone agrupación de colegios: Buen Desempeño Desempeño Satisfactorio Desempeño Regular Mal Desempeño Los semáforos del SIMCE son, de facto, un sistema de clasificación de colegios y no reflejan el esfuerzo de las escuelas. Propósito: ofrecer distintas formas de ver el desempeño de las escuelas.

4 Conceptos Ganancias de aprendizaje SEPA (Sistema de Evaluación del Progreso del Aprendizaje) Superación de expectativa Cuánto más allá de lo esperado

5 Conceptos Por qué considerar un indicador de valor agregado? Chile: segundo país del mundo donde las desigualdades sociales pesan más sobre el aprendizaje Estudiantes chilenos de élite: obtienen resultados que equivalen a un año menos de educación en comparación con estudiantes de élite de otros países (OCDE, 2008). Los semáforos no reflejan el esfuerzo de las escuelas.

6 Conceptos Escuela efectiva Valor agregado Equidad Desarrollo integral Aquella que promueve de forma duradera el desarrollo integral de todos y cada uno de los alumnos, más allá de lo que sería previsible teniendo en cuenta su rendimiento inicial y su situación social, económica y cultural. Murillo, 2003

7 Estudio de agrupación Estudio de agrupación de escuelas (Treviño y Donoso, 2010) con tres clasificaciones en lenguaje y matemática: Promedio SIMCE 2006, 2007 y 2008 de 4º básico Promedio del porcentaje de niños en nivel inicial de aprendizaje 2006, 2007 y 2008 Valor agregado (superación de expectativas), a través del error de estimación, considerando: Recursos del colegio (título y especialización de profesores). Selectividad Nivel socioeconómico y expectativas de los estudiantes. Gasto en educación de las familias. Sólo colegios con 30 o más alumnos evaluados en cada año

8 Estudio de agrupación Valor agregado visto como superación de expectativas: Recursos del colegio (título y especialización de profesores). Selectividad Nivel socioeconómico y expectativas de los estudiantes. Gasto en educación de las familias. Ecuación 1: Ecuación 2: Y = + β ESTUDIANTE + r ij β β 0 j nj 0 j = γ 0 j + γ mjescuelaj + u0 j ij ij Ecuación 3: β nj = γ n 0 + u nj

9 Principales resultados

10 Resultados de agrupar según el promedio del Puntaje SIMCE Lenguaje 4to básico de los establecimientos en los años 2006, 2007 y 2008 Porcentaje de Establecimientos por Grupo según Agrupación SIMCE Lenguaje N = 1946 % Establecimientos con 4 grupos % Establecimientos con 7 grupos % Establecimientos con 8 grupos 33,8% 26,9% 16,3% 8,1% 7,6% 12,8% 10,6% 16,4% 14,2% 23,0% 19,9% 19,6% 18,3% 18,9% 16,8% 14,4% 6,3% 11,2% 4,8% G1 G2 G3 G4 G5 G6 G7 G8

11 Resultados de agrupar según el promedio del Puntaje SIMCE Lenguaje 4to básico de los establecimientos en los años 2006, 2007 y 2008 Media por Grupo según Agrupación SIMCE Lenguaje N = 1946 Media con 4 grupos Media con 7 grupos Media con 8 grupos 304,6 305,1 297,4 289,4 287,3 271,8 271,9 250,9 275,4 229,0 258,8262,4 250,9 246,6 239,9 233,4 229,6 217,5 215,

12 Resultados de agrupar según el promedio del Puntaje SIMCE Lenguaje 4to básico de los establecimientos en los años 2006, 2007 y Índice Pseudo F por cluster Agrupación por Puntaje en SIMCE Lenguaje 10, , , , , , Pseudo F Varianza por Grupo según Agrupación SIMCE Lenguaje N = 1946 Varianza con 4 grupos Varianza con 7 grupos Varianza con 8 grupos 75,9 73,9 37,8 39,7 45,0 36,2 44,9 41,0 17,6 23,4 17,2 16,2 13,2 13,3 14,4 12,5 10,5 9,4 11,

13 Resultados de agrupar según el promedio del Error de Estimación del Puntaje SIMCE Lenguaje 4to básico de los establecimientos en los años 2006, 2007 y 2008 Porcentaje de Establecimientos por Grupo según Agrupación por Error Lenguaje N = 1946 % Establecimientos con 4 grupos % Establecimientos con 7 grupos % Establecimientos con 8 grupos 29,6% 36,5% 14,0% 3,9% 2,7% 14,4% 9,1% 19,1% 20,9% 19,9% 14,4% 16,4% 19,7% 19,1% 17,7% 15,1% 12,8% 7,6% 7,1%

14 Resultados de agrupar según el promedio del Error de Estimación del Puntaje SIMCE Lenguaje 4to básico de los establecimientos en los años 2006, 2007 y 2008 Media por Grupo según Agrupación por Error Lenguaje N = 1946 Media con 4 grupos Media con 7 grupos Media con 8 grupos 25,8 23,7 17,0 15,5 13,0 9,5 6,1 6,0 4,2-3,5-14,5-0,2-5,8-0,9-11,7-6,2-19,4-11,8-19,

15 Resultados de agrupar según el promedio del Error de Estimación del Puntaje SIMCE Lenguaje 4to básico de los establecimientos en los años 2006, 2007 y ,00 Índice Pseudo F por cluster Agrupación por Error Lenguaje , , , , , , , , , , ,00 0, Pseudo F Varianza por Grupo según Agrupación por Error Lenguaje N = 1946 Varianza con 4 grupos Varianza con 7 grupos Varianza con 8 grupos 46,8 40,5 32,5 19,4 11,6 8,2 8,6 11,6 5,6 3,5 2,7 2,8 3,4 4,8 2,7 2,1 2,1 2,5 3,

16 Resultados de agrupar por el promedio del Porcentaje de alumnos en Nivel de Logro Inicial según el Puntaje SIMCE Lenguaje 4to básico de los establecimientos en los años 2006, 2007 y 2008 Porcentaje de Establecimientos por Grupo según Agrupación por Nivel de Logro Inicial Lenguaje N = 1946 % Establecimientos con 4 grupos % Establecimientos con 7 grupos % Establecimientos con 8 grupos 28,8% 27,6% 21,4% 5,8% 5,0% 12,4% 9,8% 22,2% 18,4% 14,7% 17,6% 14,4% 17,8% 15,8% 17,1% 13,4% 14,6% 11,6% 11,5%

17 Resultados de agrupar por el promedio del Porcentaje de alumnos en Nivel de Logro Inicial según el Puntaje SIMCE Lenguaje 4to básico de los establecimientos en los años 2006, 2007 y 2008 Media por Grupo según Agrupación por Nivel de Logro Inicial Lenguaje N = 1946 Media con 4 grupos Media con 7 grupos Media con 8 grupos 0,61 0,71 0,70 0,44 0,60 0,59 0,29 0,52 0,50 0,42 0,41 0,34 0,32 0,26 0,22 0,18 0,13 0,10 0,09 G1 G2 G3 G4 G5 G6 G7 G8

18 Resultados de agrupar por el promedio del Porcentaje de alumnos en Nivel de Logro Inicial según el Puntaje SIMCE Lenguaje 4to básico de los establecimientos en los años 2006, 2007 y Índice Pseudo F por cluster Agrupación por Nivel de Logro Inicial Lenguaje , , , , , , Pseudo F Varianza por Grupo según Agrupción por Nivel de Logro Inicial Lenguaje N = 1946 Varianza con 4 grupos Varianza con 7 grupos Varianza con 8 grupos 0,0048 0,0026 0,0026 0,0026 0,0019 0,0020 0,0009 0,0007 0,0006 0,0007 0,0007 0,0007 0,0007 0,0010 0,0006 0,0005 0,0012 0,0006 0,0008 G1 G2 G3 G4 G5 G6 G7 G8

19 Principales resultados Solamente 1946 colegios tienen más de 30 alumnos evaluados en los 3 años Los cambios en SIMCE año a año de colegios con menos de 30 alumnos evaluados son poco confiables 50% de los resultados de aprendizaje dependen de las diferencias socioeconómicas y culturales Clasificación de colegios en las categorías propuestas por la Ley de Aseguramiento de la Calidad

20 Principales resultados Se agruparon los colegios en las cuatro categorías de la propuesta de ley usando el error de estimación y de acuerdo al siguiente esquema: Buen desempeño: Grupos 1 y 2 de efectividad -las escuelas más efectivas. Desempeño satisfactorio: Grupo 3 de efectividad Desempeño regular: Grupos 4 y 5 de efectividad Mal desempeño: Grupos 6 y 7

21 Principales resultados LENGUAJE MATEMÁTICAS Puntaje promedio estimado Puntaje promedio obtenido Puntaje promedio estimado Puntaje promedio obtenido Establecimientos Educacionales de Buen Desempeño Municipal Particular Subvencionado Particular Pagado no hay casos no hay casos Establecimientos Educacionales de Desempeño Satisfactorio Municipal Particular Subvencionado Particular Pagado Establecimientos Educacionales de Desempeño Regular Municipal Particular Subvencionado Particular Pagado Establecimientos Educacionales de Mal Desempeño Municipal Particular Subvencionado Particular Pagado

22 Principales resultados - Lenguaje 100,0% 90,0% 80,0% 7,3% 18,2% 70,0% 60,0% 50,0% 40,0% 30,0% 20,0% 2,6% 7,8% 20,9% 4,8% 10,2% 25,3% 49,8% Buen desempeño Desempeño satisfactorio Desempeño regular Mal desempeño 10,0% 0,0% 14,9% 0,3% 3,6% 7,3% 2,4% Municipal Particular Pagado Particular Subvencionado 24,6% Total

23 Principales resultados - Matemática 100,0% 90,0% 17,2% 80,0% 70,0% 18,7% 60,0% 50,0% 40,0% 30,0% 20,0% 10,0% 6,4% 7,2% 11,5% 21,1% 0,2% 0,4% 1,6% 10,6% 11,1% 6,6% 19,3% 19,7% 44,3% Buen desempeño Desempeño satisfactorio Desempeño regular Mal desempeño 0,0% 4,0% Municipal Particular Pagado Particular Subvencionado Total

24 Puntaje obtenido y estimado en lenguaje Puntaje obtenido Puntaje estimado

25 Puntaje obtenido y estimado en matemática Puntaje obtenido Puntaje estimado

26 Conclusiones Solamente 1946 escuelas se pueden evaluar con alto nivel de confiabilidad 16% del total La clasificación de escuelas varía de forma importante de acuerdo al indicador que se use. Los grupos no son homogéneos al interior Problemas para clasificar los extremos de la distribución Estudiantes de élite rendimientos más bajos de lo esperado Qué intervenciones de política se pueden hacer con estos resultados? Sería para el 16% de los colegios Información sólo de rendimiento es insuficiente para intervenciones

27 Conclusiones Algunas recomendaciones Contemplar un conjunto de indicadores de desempeño en distintos ámbitos de la calidad educativa Directivos Docentes Gestión pedagógica La clasificación en niveles bajos ligada a apoyos para mejorar Rendición de cuentas y consecuencias para las medidas de apoyo Diseñar y estudiar cuidadosamente el sistema antes de implementarlo a nivel nacional