Sistema de Medición de Calidad de Educación Medellín, 7 de Febrero de 2013
Contenido 1. Sistema de Medición de la Calidad de las Instituciones Educativas de Medellín 2. Indicador Multivariado 3. Resultados Indicador Multivariado para Medellín 4. Reportes WEB y Aplicativo
SIMCIE El Sistema de Medición de la Calidad Educativa es una plataforma informática que evalúa las IE según: Indicador Cuantitativo Indicador Cualitativo Indicador Multidimensional (EAFIT) Rubrica de Gestión Curricular Ambiente Escolar Rendimiento Progreso Coherencia Curricular Planeación Empleo herramientas información Formación Docente
Evaluación Cuantitativa- Índice Multivariado Evaluación cualitativa de calidad Rubrica Gestión Curricular Sistema de Medición Calidad Educativa Monitoreo Evaluación Toma de Decisiones Informes Ambiente Escolar Rendimiento y Progreso de las IE Análisis de clústeres: Conocer el nivel de calidad de educación de la IE con respecto a sus pares en condiciones socioeconómicas y de entorno
Funciones Sistema Permite ordenar las IE en términos de calidad Permite medir todas las IE con el mismo instrumento Permite comparar las IE en cada categoría con todas las IE de la ciudad y con sus semejantes (definidas por metodología de clústeres) Permite identificar las fortalezas y debilidades de las IE en diferentes dimensiones analizadas: proporciona un índice de calidad por dimensión y su posición con respecto a las otras IE
Indicador Multidimensional Análisis por componentes principales El indicador está compuesto de tres dimensiones, donde cada una tiene un peso distinto según su importancia relativa dentro del conjunto total de variables. Dimensión Aporte porcentual máximo al indicador Ambiente Escolar 29.82% Rendimiento 34.80% Progreso 35.38%
Ambiente Escolar Encuesta de percepción a docentes, padres de familia y estudiantes Muestra representativa a nivel de IE Cuantificación de respuestas cualitativas Pilotos: Evaluación de Escuelas de Calidad para la Equidad y la Convivencia Medellín, 2008 IEs Publicas Medellín, 2011 y 2012 IEs Privadas Medellín, 2012 IEs Publicas Cali, 2011 Revisiones: Secretaria de Educación de Medellín, EAFIT, ExE, Sistema de Evaluación de Escuelas New York
Ambiente Escolar Componentes: Expectativas Académicas: si la IE motiva a los estudiantes a cumplir con éxito su formación, objetivos académicos rigurosos y coherentes Comunicación: si la IE mantiene informados a los actores acerca de los objetivos educativos y del progreso del estudiante con respecto a sus resultados académicos Nivel de participación: si la IE incentiva en los actores con la finalidad de comprometerlos con la labor de la institución Seguridad y el respeto: imagen que los actores tienen con relación a la seguridad física y emocional que ofrece la IE
Ambiente Escolar Que hemos aprendido: La percepción entre actores no es estadísticamente diferente, lo que valida la agregación de respuestas entre actores La percepción es relativamente alta, aunque si hay variabilidad Hay correlación entre puntaje total y el estimado Comportamiento general entre encuestas: siempre Expectativas Académicas parece estar mejor que las otras categorías pero Seguridad y Respeto menor que el resto Adición de preguntas relacionadas con inclusión, ambientes de aprendizaje
Rendimiento Mediana de los resultados en las pruebas SABER Porcentaje de estudiantes en cada rango de calificación pruebas SABER (después de normalizar, el cambio en puntaje para alto no cambia mucho los resultados) Indicadores de aprobación y extra edad Recientemente se adiciono continuidad, pero se esta tratando de crear una nueva dimensión de Retención
Indicador de Progreso Objetivo: indicador que permita estimar el avance de las IE en los resultados de la pruebas SABER en el tiempo Limitaciones: no comparabilidad de los resultados entre años Propuesta: crear un indicador ordinal que mida el cambio de cada IE en percentiles con respecto al resto de las IE en misma entidad territorial Indicador no lineal que de mayor peso a aumentos en el percentil cuando la situación inicial de la IE es alta, y menor peso a las que están en posición baja; de igual forma, que de mayor peso a disminuciones en percentil en las posiciones bajas y menor peso en las posiciones altas
Indicador de Progreso El progreso se estimó con una función de crecimiento no lineal entre la diferencia del percentil alcanzado en el año 2010 y en el año 2007. Se establece una forma exponencial Progresolen11=dlen*(len07)^1.5 + len10^1.5 if dlen > =0 Progresolen11=dlen*((101-len07)) ^1.5+len10^1.5 if dlen <0 En donde, dlen= len10-len07 len10: Percentil que ocupa la IE en el rendimiento en lenguaje en la prueba saber 11 del año 2010 len07: Percentil que ocupa la IE en el rendimiento en lenguaje en la prueba saber 11 del año 2007
Indicador de Progreso Con estos valores finalmente se normaliza el indicador para que quede entre 0 y 100: Progresolen11= (Progresolen11+Min)*100/(Max-Min)
Indicador de Progreso Dificultades: 1. Muchas IE pueden tener la misma mediana (media?) entonces el percentil asignado depende de la ordenación de las IE a. Corrección por continuidad: todas las IEs con el mismo resultado se le asigna el mismo percentil. El problema es que puede castigar fuertemente a las vecinas. b. Normalizar los puntajes y asignarle los percentiles de la normal, el problema es definir los parámetros 2. Definición en el conjunto de evaluación: país, ciudad, clústeres etc. 3. Forma funcional debería ser resultado de proceso de análisis mejor fundamentado (no ensayo y error)
Resultados de la Estimación del Indicador Multivariado de la Calidad Educativa para las IE Oficiales de Medellín
Ponderadores Ambiente Escolar Variable Ponderador(Primera componente) Expectativas académicas 0.5269 Comunicación 0.5151 Nivel de participación 0.5157 Seguridad y respeto 0.4371
Ponderadores Rendimiento Variable Ponderador (Primera componente) Promedio del rendimiento en matemáticas saber 11 0.2636 2007. Promedio del rendimiento en lenguaje saber 11 2007. 0.3347 Porcentaje de los estudiantes que está en el nivel alto 0.1786 en la prueba de matemáticas de saber 11 2007 Porcentaje de los estudiantes que está en el nivel alto 0.1685 en la prueba de lenguaje de saber 11 2007 Promedio del rendimiento en lenguaje saber 11 2010. 0.3190 Promedio del rendimiento en matemáticas saber 11 2010. Porcentaje de los estudiantes que está en el nivel alto en la prueba de matemáticas de saber 11 2010 Porcentaje de los estudiantes que está en el nivel alto en la prueba de lenguaje de saber 11 2010 0.3610 0.2503 0.1132
Ponderadores Rendimiento Variable Porcentaje de estudiantes que está en el nivel alto en la prueba de matemáticas saber 9 2009. Porcentaje de estudiantes que está en el nivel alto en la prueba de lenguaje saber 9 2009 Ponderador (Primera componente) 0.0565 0.2504 Porcentaje de estudiantes que está en el nivel alto en 0.0499 la prueba de matemáticas saber 5 2009. Porcentaje de estudiantes que está en el nivel alto en 0.2479 la prueba de lenguaje saber 5 2009. Aprobación 5 0.3472 Aprobación 9 0.2992 Proporción de personas que presentan la prueba saber 11 en edad esperada 0.3327
Ponderadores Progreso Variable Crecimiento de la posición relativa de la IE en lenguaje en la prueba saber 5 Crecimiento de la posición relativa de la IE en lenguaje en la prueba saber 9 Crecimiento de la posición relativa de la IE en lenguaje en la prueba saber 11 Crecimiento de la posición relativa de la IE en matemática en la prueba saber 5 Crecimiento de la posición relativa de la IE en matemática en la prueba saber 9 Ponderador (Primera componente) 0.5679 0.4130 0.7071 0.5327 0.4724 Crecimiento de la posición relativa de la IE en matemática en la prueba saber 11 0.7071
Resultados Indicador Hay imputación de algunos indicadores, pero se excluyen aquellas IEs que requieren mas de una variable de imputación Se genera un Bonus a las IE con alto porcentaje en estrato 1 y 2 que obtienen alto rendimiento en las Olimpiadas del Conocimiento Se hace una lectura cualitativa de los resultados por rangos: categorías Se hace comparación del ranking de la IE con respecto al resto de IE en la ciudad y con respecto a las pertenecientes a su clúster
Resultados Indicador Institución educativa Indicador Multivariado indicador M + Bonus Ambiente escolar Rendimiento Progreso Bonus 1 INST EDUC LA PRESENTACION 55.15 55.15 16.416 13.995 24.739 0 2 INST EDUC LA SALLE DE CAMPOAMOR 55.022 55.022 16.129 12.563 26.329 0 3 INS TEC INDUSTRIAL PASCUAL BRAVO 53.314 63.314 13.553 13.404 26.357 10 4 INST EDUC SANTA JUANA DE LESTONAC 52.506 62.506 16.965 12.724 22.817 10 5 INST EDUC YERMO Y PARRES 52.042 52.042 14.565 12.458 25.019 0 6 INST EDUC SANTO ANGEL 51.837 51.837 14.868 14.296 22.673 0 7 INST EDUC INEM JOSE FELIX DE RESTREPO 51.374 60.374 14.807 12.082 24.486 9 8 INST EDUC OCTAVIO CALDERON MEJIA 51.218 51.218 15.868 11.69 23.659 0 9 INST EDUC JESUS MARIA EL ROSAL 51.217 51.217 16.009 13.301 21.906 0 10 INST EDUC FRANCISCO ANTONIO ZEA 51.195 51.195 15.114 11.678 24.403 0 11 INST EDUC SANTOS ANGELES CUSTODIOS 50.986 50.986 15.357 12.271 23.358 0 12 INST EDUC JOSE ASUNCION SILVA 50.855 50.855 15.065 11.658 24.133 0 13 INST EDUC JAVIERA LONDOÑO 50.719 50.719 14.546 11.545 24.628 0 14 INST EDUC ESCUELA NORMAL SUPERIOR 50.657 60.657 14.33 13.194 23.133 10 DE MEDELLIN 15 INST EDUC SOR JUANA INES DE LA CRUZ 50.562 50.562 15.309 12.245 23.008 0 16 INST EDUC RAFAEL GARCIA HERREROS 50.226 50.226 15.332 11.085 23.808 0 17 INST EDUC SANTA TERESA 49.933 59.933 15.744 11.817 22.372 10 18 CENT EDUC PERMANENTE MAZO 49.578 65.578 18.125 11.402 20.052 16 19 INST EDUC JOSE EUSEBIO CARO 49.352 57.352 13.036 11.598 24.717 8 20 INST EDUC RAFAEL URIBE URIBE 49.25 49.25 15.226 11.377 22.647 0
Categorías Categoría Cantidad Porcentaje Corte Rango (techo) A 49 25% 55.15 55.15-46.500 B 70 35% 46.48 46.48-43.079 C 49 25% 43.045 43.045-40.890 D 20 10% 40.856 40.856-38.26 E 10 5% 38.171 38.171-34.235 Según el puntaje obtenido en el indicador se definen unas categorías para las IE, siendo A la mas alta y E la mas baja.
Cortes por Dimensión Categoría Corte Ambiente Escolar Corte Rendimiento Corte Progreso A 18.125 14.296 26.357 B 15.56 11.096 20.155 C 14.784 10.365 17.68 D 14.137 9.828 16.146 E 13.51 9.445 13.856
Distribución del Indicador Indicador/Ambiente Escolar A B C D E Total general A B C D E Total general 15 22 8 3 1 49 23 23 19 4 1 70 10 16 13 7 3 49 4 6 6 4 20 1 5 3 1 10 49 70 49 20 10 198
Distribución del Indicador Indicador/Rendimie nto A B C D E Total general A 36 13 49 B 10 36 18 6 70 C 3 14 19 6 7 49 D 6 7 5 2 20 E 1 5 3 1 10 Total general 49 70 49 20 10 198
Distribución del Indicador Indicador / Progreso A B C D E Total general A 36 13 49 B 13 42 15 70 C 15 27 7 49 D 7 12 1 20 E 1 9 10 Total general 49 70 49 20 10 198
Multivariado - 20 Primeras IES Institución educativa Indicador Ambiente Rendimiento Progreso Multivariado Escolar INST EDUC LA PRESENTACION A A A A INST EDUC LA SALLE DE CAMPOAMOR A A A A INS TEC INDUSTRIAL PASCUAL BRAVO A D A A INST EDUC SANTA JUANA DE LESTONAC A A A A INST EDUC YERMO Y PARRES A C A A INST EDUC SANTO ANGEL A B A A INST EDUC INEM JOSE FELIX DE RESTREPO A B A A INST EDUC OCTAVIO CALDERON MEJIA A A A A INST EDUC JESUS MARIA EL ROSAL A A A A INST EDUC FRANCISCO ANTONIO ZEA A B A A INST EDUC SANTOS ANGELES CUSTODIOS A B A A INST EDUC JOSE ASUNCION SILVA A B A A INST EDUC JAVIERA LONDOÑO A C A A INST EDUC ESCUELA NORMAL SUPERIOR DE MEDELLIN A C A A INST EDUC SOR JUANA INES DE LA CRUZ A B A A INST EDUC RAFAEL GARCIA HERREROS A B B A INST EDUC SANTA TERESA A A A A CENT EDUC PERMANENTE MAZO A A A B INST EDUC JOSE EUSEBIO CARO A E A A
Multivariado IES en B Institución educativa Indicador Ambiente Rendimiento Progreso Multivariado Escolar INST EDUC JOSE MARIA BRAVO MARQUEZ B A B B INST EDUC DOCE DE OCTUBRE B A C B INST EDUC SAN ANTONIO DE PRADO B B B B INST EDUC LA ESPERANZA B A B B INST EDUC JOSE MARIA VELAZ B C D A INST EDUC FE Y ALEGRIA AURES B A B B INST EDUC LUIS LOPEZ DE MESA B A B B INST EDUC HORACIO MUÑOZ SUESCUN B B B B INST EDUC CIUDAD DON BOSCO B A A B INST EDUC AURES B C B A INST EDUC TRICENTENARIO B D A A
Multivariado IES en C Institución educativa Indicador Multivariado Ambiente Escolar Rendimiento Progreso INST EDUC VILLA DEL SOCORRO C A D B INST EDUC ARZOBISPO TULIO BOTERO SALAZAR C C C B INST EDUC JOSE ROBERTO VASQUEZ C C B C INST EDUC SANTA ROSA DE LIMA C B C C INST EDUC MONSEÑOR FRANCISCO CRISTOBAL C A C C TORO INST EDUC EL PEDREGAL C B B C INST EDUC HECTOR ROGELIO MONTOYA C E C B INST EDUC JORGE ROBLEDO C B C C INST EDUC SAN CRISTOBAL C C C B INST EDUC JOSE MARIA BERNAL C C B C INST EDUC ANTONIO RICAURTE C B A D
Multivariado IES en D Institución educativa Indicador Multivariado Ambiente Escolar Rendimiento Progreso CENT EDUC EL SALADO D C D C INST EDUC FELIX HENAO BOTERO D C B D INST EDUC PERPETUO SOCORRO D D B D INST EDUC PBRO ANTONIO JOSE BERNAL D D B C LONDOÑO INST EDUC PRESBITERO JUAN J. ESCOBAR D C C D INST EDUC PEDRO CLAVER AGUIRRE D E B C INST EDUC CIRO MENDIA D D D C INST EDUC SOL DE ORIENTE D C D D INST EDUC FEDERICO OZANAM D D C D INST EDUC ALVARO MARIN VELASCO D E D C
Criterios Clúster Población total del barrio en el que se encuentra ubicada la IE Número de homicidios en el barrio en el que se encuentra la IE en el año 2010 Número de alumnos con los que cuenta la IE Proporción de estudiantes de la IE que computador en sus hogares Proporción de estudiantes de la IE que se encuentran en el SISBEN en la categoría 1 Proporción de estudiantes de la IE que se encuentran en el SISBEN en la categoría 2 Proporción de estudiantes de la IE cuyos hogares son estrato 0
Criterios Especiales Clúster Clúster 6 Centros Educativos CENT EDUC MEDIA LUNA CENT EDUC PERMANENTE MAZO CENT EDUC PEDREGAL ALTO CENT EDUC LA ALDEA CENT EDUC LAS PLAYAS CENT EDUC EL SALADO CENT EDUC JUAN ANDRES PATINO CENT EDUC EL MANZANILLO CENT EDUC TRAVESIAS EL MORRO Clúster 7 Instituciones Educativas ubicadas en corregimientos INST EDUC DEBORA ARANGO PEREZ INST EDUC SANTA ELENA INST EDUC HECTOR ROGELIO MONTOYA INST EDUC CARLOS ALBERTO CALDERON INST EDUC MARINA ORTH INST EDUC SAN JOSE OBRERO INST EDUC FRANCISCO LUIS HERNANDEZ BETANCUR INST EDUC LA HUERTA Clúster 8 Instituciones educativas nuevas 2011 INST EDUC JORGE ELIECER GAITAN INST EDUC COL LOYOLA PARA LA CIENCIA Y LA INNOVACION INST EDUC MIRAFLORES INST EDUC EL PINAL INST EDUC MANUEL URIBE ANGEL INST EDUC CARLOS VIECO ORTIZ
Tamaño Clúster Clúster Tamaño Porcentaje 1 28 13.40 2 45 21.53 3 34 16.27 4 47 22.49 5 32 15.31 6 9 4.31 7 8 3.83 8 6 2.87 Total 209 100.00
Reporte Aplicativo Web
Reporte Aplicativo Web
Reporte sistema web
Plataforma Informática Diseño de Aplicativo Multiusuario y flexible de manera que permita ser instalado y operado por entidades diferentes a la SE Captura de información de fuentes primarias y secundarias Estimación de indicadores Permite hacer consultas de los datos vía web Integra las fuentes de datos primarias y secundarias para generar informes de progreso de las IE
Ventajas del Sistema Mide calidad usando diferentes criterios Centraliza la información y genera informes estándares para todas las IE Se espera adicionar al sistema los resultados del instrumento de gestión de rendimiento escolar que esta piloteando actualmente la SEM Se esta buscando que sea compatible y converse con los sistemas de información del MEN Facilita el monitoreo, la evaluación y la toma de decisiones