Sistema de Medición de Calidad de Educación. Medellín, 7 de Febrero de 2013

Transcripción

1 Sistema de Medición de Calidad de Educación Medellín, 7 de Febrero de 2013

2 Contenido 1. Sistema de Medición de la Calidad de las Instituciones Educativas de Medellín 2. Indicador Multivariado 3. Resultados Indicador Multivariado para Medellín 4. Reportes WEB y Aplicativo

3 SIMCIE El Sistema de Medición de la Calidad Educativa es una plataforma informática que evalúa las IE según: Indicador Cuantitativo Indicador Cualitativo Indicador Multidimensional (EAFIT) Rubrica de Gestión Curricular Ambiente Escolar Rendimiento Progreso Coherencia Curricular Planeación Empleo herramientas información Formación Docente

4 Evaluación Cuantitativa- Índice Multivariado Evaluación cualitativa de calidad Rubrica Gestión Curricular Sistema de Medición Calidad Educativa Monitoreo Evaluación Toma de Decisiones Informes Ambiente Escolar Rendimiento y Progreso de las IE Análisis de clústeres: Conocer el nivel de calidad de educación de la IE con respecto a sus pares en condiciones socioeconómicas y de entorno

5 Funciones Sistema Permite ordenar las IE en términos de calidad Permite medir todas las IE con el mismo instrumento Permite comparar las IE en cada categoría con todas las IE de la ciudad y con sus semejantes (definidas por metodología de clústeres) Permite identificar las fortalezas y debilidades de las IE en diferentes dimensiones analizadas: proporciona un índice de calidad por dimensión y su posición con respecto a las otras IE

6 Indicador Multidimensional Análisis por componentes principales El indicador está compuesto de tres dimensiones, donde cada una tiene un peso distinto según su importancia relativa dentro del conjunto total de variables. Dimensión Aporte porcentual máximo al indicador Ambiente Escolar 29.82% Rendimiento 34.80% Progreso 35.38%

7

8 Ambiente Escolar Encuesta de percepción a docentes, padres de familia y estudiantes Muestra representativa a nivel de IE Cuantificación de respuestas cualitativas Pilotos: Evaluación de Escuelas de Calidad para la Equidad y la Convivencia Medellín, 2008 IEs Publicas Medellín, 2011 y 2012 IEs Privadas Medellín, 2012 IEs Publicas Cali, 2011 Revisiones: Secretaria de Educación de Medellín, EAFIT, ExE, Sistema de Evaluación de Escuelas New York

9 Ambiente Escolar Componentes: Expectativas Académicas: si la IE motiva a los estudiantes a cumplir con éxito su formación, objetivos académicos rigurosos y coherentes Comunicación: si la IE mantiene informados a los actores acerca de los objetivos educativos y del progreso del estudiante con respecto a sus resultados académicos Nivel de participación: si la IE incentiva en los actores con la finalidad de comprometerlos con la labor de la institución Seguridad y el respeto: imagen que los actores tienen con relación a la seguridad física y emocional que ofrece la IE

10 Ambiente Escolar Que hemos aprendido: La percepción entre actores no es estadísticamente diferente, lo que valida la agregación de respuestas entre actores La percepción es relativamente alta, aunque si hay variabilidad Hay correlación entre puntaje total y el estimado Comportamiento general entre encuestas: siempre Expectativas Académicas parece estar mejor que las otras categorías pero Seguridad y Respeto menor que el resto Adición de preguntas relacionadas con inclusión, ambientes de aprendizaje

11 Rendimiento Mediana de los resultados en las pruebas SABER Porcentaje de estudiantes en cada rango de calificación pruebas SABER (después de normalizar, el cambio en puntaje para alto no cambia mucho los resultados) Indicadores de aprobación y extra edad Recientemente se adiciono continuidad, pero se esta tratando de crear una nueva dimensión de Retención

12 Indicador de Progreso Objetivo: indicador que permita estimar el avance de las IE en los resultados de la pruebas SABER en el tiempo Limitaciones: no comparabilidad de los resultados entre años Propuesta: crear un indicador ordinal que mida el cambio de cada IE en percentiles con respecto al resto de las IE en misma entidad territorial Indicador no lineal que de mayor peso a aumentos en el percentil cuando la situación inicial de la IE es alta, y menor peso a las que están en posición baja; de igual forma, que de mayor peso a disminuciones en percentil en las posiciones bajas y menor peso en las posiciones altas

13 Indicador de Progreso El progreso se estimó con una función de crecimiento no lineal entre la diferencia del percentil alcanzado en el año 2010 y en el año Se establece una forma exponencial Progresolen11=dlen*(len07)^1.5 + len10^1.5 if dlen > =0 Progresolen11=dlen*((101-len07)) ^1.5+len10^1.5 if dlen <0 En donde, dlen= len10-len07 len10: Percentil que ocupa la IE en el rendimiento en lenguaje en la prueba saber 11 del año 2010 len07: Percentil que ocupa la IE en el rendimiento en lenguaje en la prueba saber 11 del año 2007

14 Indicador de Progreso Con estos valores finalmente se normaliza el indicador para que quede entre 0 y 100: Progresolen11= (Progresolen11+Min)*100/(Max-Min)

15 Indicador de Progreso Dificultades: 1. Muchas IE pueden tener la misma mediana (media?) entonces el percentil asignado depende de la ordenación de las IE a. Corrección por continuidad: todas las IEs con el mismo resultado se le asigna el mismo percentil. El problema es que puede castigar fuertemente a las vecinas. b. Normalizar los puntajes y asignarle los percentiles de la normal, el problema es definir los parámetros 2. Definición en el conjunto de evaluación: país, ciudad, clústeres etc. 3. Forma funcional debería ser resultado de proceso de análisis mejor fundamentado (no ensayo y error)

16 Resultados de la Estimación del Indicador Multivariado de la Calidad Educativa para las IE Oficiales de Medellín

17 Ponderadores Ambiente Escolar Variable Ponderador(Primera componente) Expectativas académicas Comunicación Nivel de participación Seguridad y respeto

18 Ponderadores Rendimiento Variable Ponderador (Primera componente) Promedio del rendimiento en matemáticas saber Promedio del rendimiento en lenguaje saber Porcentaje de los estudiantes que está en el nivel alto en la prueba de matemáticas de saber Porcentaje de los estudiantes que está en el nivel alto en la prueba de lenguaje de saber Promedio del rendimiento en lenguaje saber Promedio del rendimiento en matemáticas saber Porcentaje de los estudiantes que está en el nivel alto en la prueba de matemáticas de saber Porcentaje de los estudiantes que está en el nivel alto en la prueba de lenguaje de saber

19 Ponderadores Rendimiento Variable Porcentaje de estudiantes que está en el nivel alto en la prueba de matemáticas saber Porcentaje de estudiantes que está en el nivel alto en la prueba de lenguaje saber Ponderador (Primera componente) Porcentaje de estudiantes que está en el nivel alto en la prueba de matemáticas saber Porcentaje de estudiantes que está en el nivel alto en la prueba de lenguaje saber Aprobación Aprobación Proporción de personas que presentan la prueba saber 11 en edad esperada

20 Ponderadores Progreso Variable Crecimiento de la posición relativa de la IE en lenguaje en la prueba saber 5 Crecimiento de la posición relativa de la IE en lenguaje en la prueba saber 9 Crecimiento de la posición relativa de la IE en lenguaje en la prueba saber 11 Crecimiento de la posición relativa de la IE en matemática en la prueba saber 5 Crecimiento de la posición relativa de la IE en matemática en la prueba saber 9 Ponderador (Primera componente) Crecimiento de la posición relativa de la IE en matemática en la prueba saber

21 Resultados Indicador Hay imputación de algunos indicadores, pero se excluyen aquellas IEs que requieren mas de una variable de imputación Se genera un Bonus a las IE con alto porcentaje en estrato 1 y 2 que obtienen alto rendimiento en las Olimpiadas del Conocimiento Se hace una lectura cualitativa de los resultados por rangos: categorías Se hace comparación del ranking de la IE con respecto al resto de IE en la ciudad y con respecto a las pertenecientes a su clúster

22 Resultados Indicador Institución educativa Indicador Multivariado indicador M + Bonus Ambiente escolar Rendimiento Progreso Bonus 1 INST EDUC LA PRESENTACION INST EDUC LA SALLE DE CAMPOAMOR INS TEC INDUSTRIAL PASCUAL BRAVO INST EDUC SANTA JUANA DE LESTONAC INST EDUC YERMO Y PARRES INST EDUC SANTO ANGEL INST EDUC INEM JOSE FELIX DE RESTREPO INST EDUC OCTAVIO CALDERON MEJIA INST EDUC JESUS MARIA EL ROSAL INST EDUC FRANCISCO ANTONIO ZEA INST EDUC SANTOS ANGELES CUSTODIOS INST EDUC JOSE ASUNCION SILVA INST EDUC JAVIERA LONDOÑO INST EDUC ESCUELA NORMAL SUPERIOR DE MEDELLIN 15 INST EDUC SOR JUANA INES DE LA CRUZ INST EDUC RAFAEL GARCIA HERREROS INST EDUC SANTA TERESA CENT EDUC PERMANENTE MAZO INST EDUC JOSE EUSEBIO CARO INST EDUC RAFAEL URIBE URIBE

23 Categorías Categoría Cantidad Porcentaje Corte Rango (techo) A 49 25% B 70 35% C 49 25% D 20 10% E 10 5% Según el puntaje obtenido en el indicador se definen unas categorías para las IE, siendo A la mas alta y E la mas baja.

24 Cortes por Dimensión Categoría Corte Ambiente Escolar Corte Rendimiento Corte Progreso A B C D E

25 Distribución del Indicador Indicador/Ambiente Escolar A B C D E Total general A B C D E Total general

26 Distribución del Indicador Indicador/Rendimie nto A B C D E Total general A B C D E Total general

27 Distribución del Indicador Indicador / Progreso A B C D E Total general A B C D E Total general

28 Multivariado - 20 Primeras IES Institución educativa Indicador Ambiente Rendimiento Progreso Multivariado Escolar INST EDUC LA PRESENTACION A A A A INST EDUC LA SALLE DE CAMPOAMOR A A A A INS TEC INDUSTRIAL PASCUAL BRAVO A D A A INST EDUC SANTA JUANA DE LESTONAC A A A A INST EDUC YERMO Y PARRES A C A A INST EDUC SANTO ANGEL A B A A INST EDUC INEM JOSE FELIX DE RESTREPO A B A A INST EDUC OCTAVIO CALDERON MEJIA A A A A INST EDUC JESUS MARIA EL ROSAL A A A A INST EDUC FRANCISCO ANTONIO ZEA A B A A INST EDUC SANTOS ANGELES CUSTODIOS A B A A INST EDUC JOSE ASUNCION SILVA A B A A INST EDUC JAVIERA LONDOÑO A C A A INST EDUC ESCUELA NORMAL SUPERIOR DE MEDELLIN A C A A INST EDUC SOR JUANA INES DE LA CRUZ A B A A INST EDUC RAFAEL GARCIA HERREROS A B B A INST EDUC SANTA TERESA A A A A CENT EDUC PERMANENTE MAZO A A A B INST EDUC JOSE EUSEBIO CARO A E A A

29 Multivariado IES en B Institución educativa Indicador Ambiente Rendimiento Progreso Multivariado Escolar INST EDUC JOSE MARIA BRAVO MARQUEZ B A B B INST EDUC DOCE DE OCTUBRE B A C B INST EDUC SAN ANTONIO DE PRADO B B B B INST EDUC LA ESPERANZA B A B B INST EDUC JOSE MARIA VELAZ B C D A INST EDUC FE Y ALEGRIA AURES B A B B INST EDUC LUIS LOPEZ DE MESA B A B B INST EDUC HORACIO MUÑOZ SUESCUN B B B B INST EDUC CIUDAD DON BOSCO B A A B INST EDUC AURES B C B A INST EDUC TRICENTENARIO B D A A

30 Multivariado IES en C Institución educativa Indicador Multivariado Ambiente Escolar Rendimiento Progreso INST EDUC VILLA DEL SOCORRO C A D B INST EDUC ARZOBISPO TULIO BOTERO SALAZAR C C C B INST EDUC JOSE ROBERTO VASQUEZ C C B C INST EDUC SANTA ROSA DE LIMA C B C C INST EDUC MONSEÑOR FRANCISCO CRISTOBAL C A C C TORO INST EDUC EL PEDREGAL C B B C INST EDUC HECTOR ROGELIO MONTOYA C E C B INST EDUC JORGE ROBLEDO C B C C INST EDUC SAN CRISTOBAL C C C B INST EDUC JOSE MARIA BERNAL C C B C INST EDUC ANTONIO RICAURTE C B A D

31 Multivariado IES en D Institución educativa Indicador Multivariado Ambiente Escolar Rendimiento Progreso CENT EDUC EL SALADO D C D C INST EDUC FELIX HENAO BOTERO D C B D INST EDUC PERPETUO SOCORRO D D B D INST EDUC PBRO ANTONIO JOSE BERNAL D D B C LONDOÑO INST EDUC PRESBITERO JUAN J. ESCOBAR D C C D INST EDUC PEDRO CLAVER AGUIRRE D E B C INST EDUC CIRO MENDIA D D D C INST EDUC SOL DE ORIENTE D C D D INST EDUC FEDERICO OZANAM D D C D INST EDUC ALVARO MARIN VELASCO D E D C

32 Criterios Clúster Población total del barrio en el que se encuentra ubicada la IE Número de homicidios en el barrio en el que se encuentra la IE en el año 2010 Número de alumnos con los que cuenta la IE Proporción de estudiantes de la IE que computador en sus hogares Proporción de estudiantes de la IE que se encuentran en el SISBEN en la categoría 1 Proporción de estudiantes de la IE que se encuentran en el SISBEN en la categoría 2 Proporción de estudiantes de la IE cuyos hogares son estrato 0

33 Criterios Especiales Clúster Clúster 6 Centros Educativos CENT EDUC MEDIA LUNA CENT EDUC PERMANENTE MAZO CENT EDUC PEDREGAL ALTO CENT EDUC LA ALDEA CENT EDUC LAS PLAYAS CENT EDUC EL SALADO CENT EDUC JUAN ANDRES PATINO CENT EDUC EL MANZANILLO CENT EDUC TRAVESIAS EL MORRO Clúster 7 Instituciones Educativas ubicadas en corregimientos INST EDUC DEBORA ARANGO PEREZ INST EDUC SANTA ELENA INST EDUC HECTOR ROGELIO MONTOYA INST EDUC CARLOS ALBERTO CALDERON INST EDUC MARINA ORTH INST EDUC SAN JOSE OBRERO INST EDUC FRANCISCO LUIS HERNANDEZ BETANCUR INST EDUC LA HUERTA Clúster 8 Instituciones educativas nuevas 2011 INST EDUC JORGE ELIECER GAITAN INST EDUC COL LOYOLA PARA LA CIENCIA Y LA INNOVACION INST EDUC MIRAFLORES INST EDUC EL PINAL INST EDUC MANUEL URIBE ANGEL INST EDUC CARLOS VIECO ORTIZ

34 Tamaño Clúster Clúster Tamaño Porcentaje Total

35

36

37 Reporte Aplicativo Web

38 Reporte Aplicativo Web

39 Reporte sistema web

40 Plataforma Informática Diseño de Aplicativo Multiusuario y flexible de manera que permita ser instalado y operado por entidades diferentes a la SE Captura de información de fuentes primarias y secundarias Estimación de indicadores Permite hacer consultas de los datos vía web Integra las fuentes de datos primarias y secundarias para generar informes de progreso de las IE

41 Ventajas del Sistema Mide calidad usando diferentes criterios Centraliza la información y genera informes estándares para todas las IE Se espera adicionar al sistema los resultados del instrumento de gestión de rendimiento escolar que esta piloteando actualmente la SEM Se esta buscando que sea compatible y converse con los sistemas de información del MEN Facilita el monitoreo, la evaluación y la toma de decisiones