Es la prueba INICIA una medida predictiva de efectividad docente?

Transcripción

1 Es la prueba INICIA una medida predictiva de efectividad docente? Ernesto San Martín Rosario Rivero Martín Bascopé Constanza Hurtado Resultados preliminares proyecto FONIDE N : F721265

2 Motivación Nuevas políticas de Formación Inicial Docente orientadas a mayor rendición de cuentas Propósitos INICIA en su creación: Fomentar y apoyar los procesos de transformación en las instituciones formadoras de profesores Entregar información acerca del nivel de logro de dichos egresados, en aspectos fundamentales de su futuro desempeño como docentes (MINEDUC, 2013)

3 Motivación Sin embargo, nuevos usos asociados a los resultados de INICIA Atraer a mejores docentes a establecimientos subvencionados Estimular su permanencia, por medio de incentivos salariales asociados al desempeño Nuevos usos requieren que INICIA sea un buen indicador de efectividad docente en el aula.

4 Pregunta de Investigación Es la prueba INICIA un buen predictor de efectividad docente? Estudiamos empiricamente la asociación entre el desmpeño de los profesores en INICIA y el Efecto profesor / escuela Se complementan estos resultados con otros instrumentos (PAA-PSU, Evaluación Docente), estudiando la asociación entre el desempeño en PAA-PSU, Evaluación Docente y el Efecto profesor / escuela

5 Prueba INICIA Evaluación de conocimientos disciplinares, pedagógicos y didácticos al egreso de la formación Dirigida a egresados de programas de educación de párvulo, básica y enseñanza media Ajuste del contenido a Estándares orientadores para Egresados de Carreras de Pedagogía en Educación Básica, en Educación Media y Educación de Párvulos

6 Prueba INICIA Resultados INICIA años 2008 a 2010, % de respuestas correctas Prueba PCD Generalista 47% 53% 51% Fuente: MINEDUC Alta variabilidad de los resultados (ejemplo, resultados año 2010) Rangos de respuestas N de evaluados % de evaluados correctas 0 24% 46 3% 25% - 49% % 50% - 74% % 75% - 100% 92 5% Fuente: MINEDUC 2011

7 Proyecto de ley Propósitos de la prueba en el actual proyecto: Rendición es requisito para trabajar en cualquier establecimiento subvencionado Aprobación es una de las cuatro condiciones que posibilitan ser contratado en estas escuelas. Otras condiciones: 32% superior de desempeño en la prueba de selección universitaria (PSU) 30% superior de desempeño en enseñanza media y superar mediana en la prueba de selección o; 15% superior de desempeño en enseñanza media Fuente: Fórmula indicación sustitutiva al Proyecto de Ley de Sistema de promoción y Desarrollo Profesional Docente (N )

8 Proyecto de ley Resultados en las categorías más altas posibilitan acceder a un beneficio salarial (Reconocimiento de excelencia pedagógica) Para el tramo más alto de desempeño en la prueba, corresponde una asignación mensual de $ adicionales al sueldo base, por cuatro años no renovables. Para el segundo tramo de desempeño en la prueba, corresponde una asignación mensual de $ adicionales al sueldo base, por cuatro años no renovables. Fuente: Fórmula indicación sustitutiva al Proyecto de Ley de Sistema de promoción y Desarrollo Profesional Docente (N )

9 Datos Población estudiada, profesores titulados entre los años 2008 a 2010, que hacían clases de matemática (o lenguaje) en cuarto básico el año 2011 Muestra (1169 casos) se vinculan características de los profesores (entre ellas puntaje INICIA PCD) con resultados aprendizajes de los alumnos (SIMCE 4 básico matemática 2011) y otras características de ellos (NSE, ingreso declarado por sus padres)

10 Metodología Primera etapa: los docentes que rindieron INICIA no se comportan como los que no rindieron, luego INICIA no puede usarse como factor explicativo de SIMCE. Segunda etapa: pertenecer a una escuela/curso significa que mi puntaje está correlacionado con el de mi compañero. Esta relación no alcanza a ser del todo explicada por nuestras características individuales. Hay algo más que la explica: el efecto docente/escuela. Tercera etapa: explicará INICIA ese efecto docente/escuela? Cuarta etapa: los resultados de Evaluación Docente explicarán ese efecto docente/profesor?

11 Resultados preliminares Dos Efecto profesor / escuela Solo características de los alumnos en HLM (EP1); menos restrictivo Características de los alumnos y variable de establecimiento para controlar por distribución no aleatoria de los profesores, en HLM (EP4); más restrictivo Estimaciones para base de lenguaje y matemática Se presentan solo los resultados de la base de matemática Gráficos siguientes muestran las relaciones entre: Distribución EP1 y EP4 con INICIA Distribución EP1 y EP4 con PSU Distribución EP1 y EP4 con Evaluación Docente

12 60 80 Efecto profesor / escuela e INICIA Efecto profesor / escuela (4) Efecto profesor / escuela (EP1) e INICIA Efecto profesor / escuela (EP4) e INICIA INICIA P. Conocimientos Disciplinarios INICIA P. Conocimientos Disciplinarios Fuente: Elaboración propia N: 201 Fuente: Elaboración propia N: 201

13 60 80 Efecto profesor / escuela y promedio PAA o PSU Efecto profesor / escuela (4) Efecto profesor / escuela (EP1) y promedio PAA PSU Efecto profesor / escuela (EP4) y promedio PAA PSU centil promedio paa - psu centil promedio paa - psu Fuente: Elaboración propia N: 626 Fuente: Elaboración propia N: 626

14 Efecto profesor / escuela (4) Efecto profesor / escuela y Evaluación Docente Efecto profesor / escuela (EP1) y Ev. Docente Final Efecto profesor / escuela (EP4) y Ev. Docente Final Básico Competente Destacado Básico Competente Destacado Fuente: Elaboración propia N: 206 Fuente: Elaboración propia N: 206

15 (first) centil_promedio_paa_psu Podrían ser INICIA o PAA- PSU predictores de Evaluación Docente? INICIA y Evaluación Docente PAA- PSU y Evaluación Docente puntaje_final_ev_docente puntaje_final_ev_docente Fuente: Elaboración propia N: 46 Fuente: Elaboración propia N: 134

16 puntaje final ev. docente Evaluación Docente Podrían ser INICIA o PAA- PSU predictores de Evaluación Docente? INICIA y Evaluación Docente PAA PSU y Evaluación Docente cuartil 1 INICIA cuartil 2 INICIA cuartil 3 INICIA cuartil 4 INICIA Fuente: Elaboración propia N: 46 cuatil 1 PAA- PSU cuartil 2 PAA- PSU cuartil 3 PAA - PSU cuartil 4 PAA - PSU Fuente: Elaboración propia N: 134

17 Conclusiones preliminares Relación entre INICIA y Efecto profesor / escuela estimados, es moderada y no consistente La prueba puede ser una medida confiable y válida de conocimientos al egresar, pero no necesariamente del potencial del profesor para afectar el aprendizajes de los niños Resultados en las pruebas de selección universitaria (PAA - PSU) tampoco son consistentes como predictores de los Efectos del profesor o la escuela, en el aprendizaje de los niños

18 Conclusiones preliminares Resultados de Evaluación Docente (Docente Más) presentan mayor relación con ambos Efecto profesor / escuela Estos datos permiten interrogar sobre las bases de establecer un incentivo salarial para retener a profesores de mayores puntajes en INICIA y PAA- PSU

19 Sugerencias Conclusiones preliminares En otros países las decisiones de habilitación y retención se basan en evaluaciones de desempeño en aula durante un periodo de inducción. Los datos de la relación entre Evaluación Docente y Efecto profesor / escuela avalarían una aproximación de este tipo más que decisiones basadas exclusivamente en pruebas de conocimiento y de lápiz y papel. En nuestro país se ha diseñado un proyecto de ley que ofrece incentivos para retener a profesores de alto puntaje en pruebas de selección universitaria y/o INICIA Al menos en el caso de la prueba de conocimientos disciplinarios no parecería clara la relación entre un buen rendimiento y mejores resultados de los futuros alumnos

20 Conclusiones preliminares Pese a lo anterior, el instrumento de conocimientos disciplinarios INICIA parecería tener mayor relación con la Evaluación de desempeño Docente (Docente Más) que los resultados en la PAA- PSU lo que significa que el uso de ambos indicadores no es equivalente Es importante estudiar el comportamiento de la prueba de conocimientos pedagógicos de INICIA y su relación con Evaluación Docente y con los resultados de los alumnos

21 Nuevas preguntas INICIA Los resultados son iguales, si se usan todas las dimensiones de la prueba? Hay diferencias entre la capacidad predictiva de cada una? (PCP, TICs, escritura) Es un buen predictor de efectividad docente, una vez que los profesores han superado los primeros años de ejercicio? Es un buen predictor de la Evaluación Docente? Predice mejor el desempeño de los profesores, cuando se consideran otras variables?

22 Limitaciones Muestra de profesores es pequeña No tenemos datos de resultados para todas las pruebas de INICIA, se debe explorar lo que pasa con las otras dimensiones evaluadas (pedagógica, habilidad de escritura, TICs)

23 Predictores de EP1 y EP4 casos INICIA Modelos 1 (1) (2) (3) (4) (5) (6) VARIABLES EP1 EP1 EP1 EP4 EP4 EP4 centiles_pcd *** ** ** * (0.0244) (0.0258) (0.0245) (0.0249) (0.0264) (0.0269) 1.cruch (1.514) (1.441) (1.549) (1.587) 2.NSE medio bajo 12.30** (4.858) (5.274) 3.NSE medio 14.20*** (4.817) (5.231) 4.NSE medio alto 18.04*** (4.934) (5.372) 5.NSE alto 25.16*** (5.306) (5.803) Constant 95.67*** 95.92*** 81.26*** 96.64*** 96.67*** 91.12*** (1.546) (1.597) (5.067) (1.582) (1.645) (5.514) Observations R-squared Standard errors in parentheses *** p<0.01, ** p<0.05, * p<0.1

24 Modelos 2 Predictores de EP1 y EP4 Ptje INICIA y Ptje PAA PSU (1) (2) (3) (4) (5) (6) VARIABLES EP1 EP1 EP1 EP4 EP4 EP4 centil_promedio_paa_psu * (0.0480) (0.0510) (0.0502) (0.0497) (0.0522) (0.0557) centiles_pcd * (0.0362) (0.0370) (0.0351) (0.0374) (0.0383) (0.0392) 1.cruch (1.709) (1.647) (1.752) (1.821) 2.NSE medio bajo 11.01* (5.662) (6.190) 3.NSE medio 13.28** (5.640) (6.171) 4.NSE medio alto 18.25*** (5.751) (6.288) 5.NSE alto 24.86*** 11.36* (6.151) (6.780) Constant 92.90*** 93.65*** 82.04*** 96.88*** 97.42*** 92.13*** (2.084) (2.145) (5.930) (2.148) (2.199) (6.492) Observations R-squared Standard errors in parentheses *** p<0.01, ** p<0.05, * p<0.1

25 Modelos 4 Predictores de EP1 y EP4 casos Evaluación Docente* (1) (2) (3) (4) (5) (6) (7) (8) VARIABLES EP1 EP4 EP1 EP4 EP1 EP4 EP1 EP4 2.Competente 4.309** 4.775** Destacado 5.973** 7.792*** puntaje_final_ev_docente 11.13*** 11.75*** 8.053** 10.26** centil_promedio_paa_psu Constant 66.28*** 68.26*** 92.22*** 95.33*** 91.09*** 97.58*** 72.04*** 73.40*** Observations R-squared Standard errors in parentheses *** p<0.01, ** p<0.05, * p<0.1 Nota (*) En el análisis se usan datos de Evaluación Docente entre los años 2008 a 2012, por lo tanto, estos no corresponden necesariamente a evaluaciones hechas mientras el profesor hacía clases al mismo curso que en el año 2011

26 Es la prueba INICIA una medida predictiva de efectividad docente? Ernesto San Martín Rosario Rivero Martín Bascopé Constanza Hurtado Resultados preliminares proyecto FONIDE N : F721265