Proyecto de Ley Política Nacional Docente

Transcripción

1 Proyecto de Ley Política Nacional Docente Presentación de MIDE UC ante Comisión de Educación de la Cámara de Diputados Jorge Manzi y Yulan Sun 02 de junio de 2015

2 Rol de MIDE UC en evaluaciones nacionales Mide UC es un centro sin fines de lucro, de investigación, desarrollo y formación en el ámbito de la medición y evaluación educacional, perteneciente a la PUC. Ha colaborado con el Ministerio de Educación en la política pública en el ámbito de la evaluación docente, en los siguientes programas (todos asignados mediante licitaciones públicas): Evaluación Docente (desde 2003) Asignación de Excelencia Pedagógica (en conjunto con la Universidad de Chile) desde 2002 Prueba Inicia (donde también han colaborado otras universidades), desde 2008

3 Esquema de la presentación Comentarios generales al proyecto de ley Comentarios específicos acerca de instrumentos propuestos y potenciales Conclusiones y recomendaciones

4 Comentarios Generales Acuerdo con la arquitectura general del proyecto: Consideraciones previas: una política docente bien concebida deber resolver tres grandes nudos: el atractivo de la carrera para los jóvenes, la calidad de la formación inicial, y el establecimiento de una carrera desafiante, con compensaciones crecientes y justas Proyecto promueve la calidad de los procesos educativos valorizando al actor más relevante, al hacer más atractiva la carrera, al promover un mejoramiento de la formación docente, al establecer un proceso de inducción inicial y un escalamiento en la carrera que mejora sustantivamente las condiciones laborales y las compensaciones salariales. Es universal, para todo el sistema que recibe financiamiento estatal y también para docentes de los distintos niveles y modalidades. Plantea un foco en el desarrollo profesional, mediante la certificación y el apoyo a su desarrollo, fijando tramos que permiten progresar y asociarlos a responsabilidades y remuneraciones, que se basan en evidencias del desempeño y conocimiento profesional.

5 Comentarios Generales Aunque el proyecto se inspira en la promoción del desarrollo profesional, no aclara suficientemente ni articula como debiera ser deseable los aspectos sumativos y formativos de los procesos de evaluación que orienten dicho desarrollo profesional: Hay una solución general adecuada para los requerimientos sumativos de la certificación (mediante portafolio y pruebas), pero no se identifica con claridad ni se promueve suficientemente la existencia de dispositivos formativos a nivel local.

6 Comentarios Generales Evitar que ley incorpore rigideces acerca de aspectos que debieran ser objeto de revisión periódica (por parte de un ente representativo e independiente, que debiera ser establecido legalmente): Inconveniencia de establecer puntos de corte de instrumentos en la ley. Posibilidad de ajustar contenido y composición de instrumentos según evolucione el marco de expectativas para el desempeño docente (Marco para la Buena Enseñanza) Conveniencia de incorporar exigencias conjuntivas (en lugar de compensatorias) para acceder a tramos avanzados de la carrera (por ejemplo: para certificarse en el nivel avanzado). Esto garantiza mínimos deseables y previene contra falsos positivos (dado que no hay retroceso)

7 Comentarios sobre instrumentos propuestos en la ley

8 El rol de las Pruebas La OECD (2013) identifica 3 marcos políticos o regulatorios en que se emplean pruebas para docentes en distintos países: Evaluaciones iniciales de profesores principiantes, que tienen como fin su acreditación para el ejercicio de la docencia luego de su licenciatura o de un período de prueba. Evaluaciones orientadas a gestionar el desempeño, aplicadas a profesores en ejercicio, con el fin de gestionar su carrera y el desarrollo profesional del docente. Evaluaciones asociadas a recompensas simbólicas o incentivos económicos.

9 El rol de las Pruebas Las pruebas son útiles para certificar mínimos en la preparación de docentes en los ámbitos en que enseñan (conocimientos de la disciplina, conocimientos de la didáctica de la disciplina y conocimientos pedagógicos generales) Hay también alguna evidencia, aunque menos fuerte que la del portafolio, acerca de la correlación entre el desempeño de los docentes en pruebas de conocimiento y el logro de los estudiantes (Bravo et al, 2008; Clotfelter, Ladd & Vigdor, 2006; Ferguson, 1991; Goldhaber, 2005, 2006; Shehan & Marcus, 1978; Strauss & Sawyer, 1986)

10 Portafolio Valoración internacional como medida de calidad docente: Evidencia más directa del desempeño profesional y que mejor refleja la complejidad del trabajo docente. Altamente flexible: puede incluir muestras de trabajo del docente, artefactos de enseñanza, grabaciones de clase, comentarios reflexivos, etc. Construcción y corrección requieren alto nivel de especialización. En Chile se utilizan desde 2002: AEP, Evaluación Docente (Docentemás).

11 Portafolio de Evaluación Docente Módulo 1 Unidad pedagógica Profesor/a debe presentar muestras de trabajo de tareas centrales de la docencia: cómo planifica su enseñanza. cómo evalúa el aprendizaje de sus estudiantes. cómo aprovecha esa información para retroalimentar a los estudiantes y su propia práctica. cómo reflexiona sobre su práctica.

12 Portafolio de Evaluación Docente Módulo 2 Video de clase Se observan aspectos claves de las prácticas de enseñanza de profesor/a: Cómo explica a sus estudiantes y cómo utiliza las preguntas para enseñar. Cómo retroalimenta y acompaña pedagógicamente el trabajo de alumnos. Cómo estructura su clase.

13 Módulo 2 EJEMPLO Video de una clase de 40 min. Matemática 6 básico

14 Portafolio - Cómo se corrige 600 correctores, todos profesores de aula, de la modalidad, nivel y asignatura que evalúan. Centros de corrección en 6 universidades, en 4 regiones. Capacitación intensiva y estrictos protocolos para asegurar confiabilidad: marcha blanca, 20% doble corrección, correcciones grupales de módulos con codificación maestra, etc.

15 Portafolio - Ventajas Construcción y corrección bajo condiciones rigurosas permite confiabilidad y validez. Al mismo tiempo, alto potencial formativo: Permite diagnosticar y retroalimentar: identifica fortalezas y debilidades (no es solo un puntaje). Valoración de los propios docentes: coherente con su trabajo habitual y su percepción de cómo identificar un buen profesor ( viéndolo en la práctica ). Promueve la reflexión a nivel individual y colectivo: reportado por evaluados y detectado en estudio de validez consecuencial (Proyecto FONDECYT ; Santelices, et al, 2013; Taut et al, 2011).

16 Valoración del Portafolio por parte de profesores. Fuente: Cuestionario complementario 2013 y 2014 (N= ) "Los productos solicitados en el Portafolio son semejantes a las labores que realizo cotidianamente como docente" Muy en desacuerdo o En desacuerdo Neutro De acuerdo o Muy de acuerdo 74% 72% 15% 16% 10% 12%

17 Valoración del Portafolio por parte de profesores. Fuente: Cuestionario complementario 2013 y 2014 (N= ) Qué grado de utilidad cree que le reportará la experiencia de haber elaborado el Portafolio en los siguientes aspectos? Útil - Muy útil Neutro Nada útil - Poco útil 77,8% 75,5% 66,6% 65,2% 64,5% 62,4% 14,5% 15,5% 7,8% 9,0% 19,2% 19,6% 22,7% 22,9% 14,2% 15,3% 12,8% 14,7% Reflexión acerca de mis prácticas pedagógicas Diálogo profesional con mis colegas* Sistematización de conocimientos

18 Portafolio relación con aprendizajes Relación directa (positiva) logros de aprendizaje, demostrada en diversos estudios y con distintas metodologías, incluyendo Valor Agregado. Ej. Informe Nacional SIMCE 2008:

19 Portafolio relación con aprendizajes Alvarado et al. (2012): 1 punto más en el Portafolio se asocia a 18 puntos más en SIMCE Matemática y 12 en Lenguaje. En el caso de Informe Directivos 4.6 y 4.7 ptos respectivamente. Taut et al (2012): relación positiva entre VA SIMCE de alumnos de 8 básico y 2 medio y resultado de sus profesores en la Evaluación Docente, especialmente Portafolio. Hallazgos preliminares de proyecto FONDECYT , , dirigido por S. Taut) Compara docentes con nivel final Básico y Competente en Evaluación docente en términos del progreso en el aprendizaje de sus estudiantes en un año escolar. Encuentra diferencias asociadas al resultado en el portafolio.

20 Desafíos uso del portafolio en SDPD (1) Responder a nuevas demandas de la certificación, por ejemplo: Grupos que hoy no están en la Evaluación Docente como educadoras de párvulos de nivel medio o sala cuna, docentes de especialidades TP. Dar cuenta de los distintos tramos, por ej. hasta Avanzado se evalúan competencias de aula, en Superior y Experto, otras. Incorporar elementos de trabajo colaborativo entre pares (comunidades de aprendizaje) y roles fuera del aula (ej. apoyo a gestión directiva, trabajo con la comunidad, innovación e investigación pedagógica,)

21 Desafíos uso del portafolio en SDPD (2) Lograr una evaluación confiable, dadas consecuencias y especialmente si no hay retrocesos: Indispensable doble corrección del 100% de los portafolios. Certificación de tramo Avanzado implica decisión crítica que requiere más confiabilidad, y por tanto más evidencia: una evaluación con dos grabaciones de clase? dos evaluaciones consecutivas en el mismo tramo?

22 Desafíos uso del portafolio en SDPD (3) Evitar prácticas fraudulentas (copia y compra de portafolios): Mecanismos de detección automatizados, basados en entrega de evidencia en formato digital. Sanciones contundentes y claras para desincentivar estas prácticas.

23 Sobre otros instrumentos de evaluación

24 Otros instrumentos posibles: Evaluación de directivos (1) Experiencia en Evaluación Docente: Enseguida del portafolio (aunque a gran distancia) el instrumento más relacionado con los logros alumnos. Indicios de inflación de puntajes: directivos hacen distinciones en el desempeño de los docentes, pero dentro de la parte superior de la escala: Disonancia con percepciones declaradas por los propios directivos en capacitaciones. Posibles explicaciones: Evaluar mal a los docentes es evaluarme mal como director, Al colega yo puedo decirle todo lo que debe mejorar, pero en la evaluación no lo voy a perjudicar.

25 Directivos vs otros instrumentos en Evaluación Docente (datos 2013) Insatisfactorio Básico Competente Destacado 86,6% 70,4% 64,3% 60,9% 26,7% 30,1% 19,2% 14,9% 8,8% 12,8% 0,1% 0,6% Portafolio (n=17.070) Evaluación Director y Jefe UTP (n=17.052) Entrevista Evaluador Par (n=17.047) Autoevaluación (n=17.070)

26 Otros instrumentos posibles: Evaluación de directivos (2) Directivos son claves, pero investigación muestra que: Pueden identificar docentes en los extremos (muy buenos o muy malos), pero no logran hacer distinciones válidas en el medio (Jacob & Lefgren, 2008). Son reticentes a tomar acciones en casos de bajo desempeño (Tucker, 1997). Rol evaluador requiere desarrollo de competencias, por ej. de observación de aula (caso del proyecto MET). Problemático para lograr equidad, validez y confiabilidad necesarias en sistema nacional de certificación. Pero pueden cumplir un rol fundamental en evaluación local y formativa, centrada en apoyar desarrollo profesional. Esto requiere igualmente desarrollar capacidades.

27 Otros instrumentos posibles: Cuestionarios a estudiantes Encuestas de nueva generación (Ej. Tripod). Resultados interesantes (Proyecto MET). Pero no hay evidencia en sistemas de gran escala y altas consecuencias. En ese contexto, riesgo importante de entregar resultados no válidos, por deseabilidad social o presiones (en ambas direcciones). Sí tienen un alto potencial para retroalimentación formativa del profesor. En ese contexto también se podrían utilizar cuestionarios a padres, menos estudiados hasta ahora.

28 Calidad vs efectividad docente

29 Calidad vs efectividad docente Hay un debate internacional en torno al foco que debe tener la evaluación de docentes: Unos proponen evaluar la calidad a partir de un marco de referencia que identifica habilidades y competencias deseables (como el Marco de la Buena Enseñanza). Estas expectativas se basan en evidencia acerca de lo que promueve el aprendizaje de los estudiantes. Otros proponen evaluar la efectividad de los docentes a través de medidas de logro de los estudiantes. En su versión más sofisticada esto se basa en la metodología de valor agregado.

30 Problemas con el uso del logro de los estudiantes para evaluar la efectividad docente Para evaluar la efectividad se requiere contar con pruebas ojalá espaciadas anualmente en todos los niveles y sectores (lo que no es realista y genera una sobrecarga de mediciones a los estudiantes). Aun así, es muy difícil estimar la efectividad docente, controlando todos los otros factores que inciden en el aprendizaje y que están fuera de su influencia. La evidencia muestra que la efectividad docente varía en el tiempo (por lo que habría que promediar varias estimaciones para llegar a un resultado confiable: Newton et al., 2010; Baker et al., 2010). En varias asignaturas no se puede medir progreso con pruebas estandarizadas: ahí se necesita una alternativa. No se puede emplear este método en aulas pequeñas o cuando hay movilidad de estudiantes y profesores. Nuestra posición es que el aprendizaje de los estudiantes debiera ser un criterio para validar los instrumentos de la evaluación docente, pero no debería formar parte de ésta.

31 Conclusiones y Recomendaciones Inconveniencia de establecer en la ley reglas específicas para acceder a tramos de la carrera. Se propone establecer una instancia ad hoc que permita hacer modificaciones sobre instrumentos y sus puntajes basadas en la experiencia y evidencia. Promover más decididamente la dimensión de desarrollo profesional de esta ley garantizando recursos y apoyos para estos fines.

32 Conclusiones y Recomendaciones Se recomienda distinguir y articular evaluaciones adecuadas para fines sumativos y formativos. Para fines sumativos: conocimientos y desempeños profesionales Portafolio enriquecido (que agregue evidencia de trabajo colaborativo y fuera del aula). Se sugiere considerar diferentes tareas para etapas avanzadas de la carrera. Este es el instrumento con mayor respaldo y mayores posibilidades para identificar fortalezas y debilidades y orientar la mejora. Pruebas: contemplarlas preferentemente en las primeras etapas (hasta el nivel avanzado), para asegurar una preparación mínima y actualizada de los docentes. Para fines formativos: Recurrir a una amplia batería de instrumentos, con foco prioritario en el aula, que debiera otorgar un rol relevante al director y pares (quienes deben recibir preparación para desarrollar competencias de observación y retroalimentación). Considerar cuestionarios de estudiantes y padres. Promover que los instrumentos formativos, aunque diversos, se basen en un mismo marco de referencia (como el MBE)

33 Referencias Alvarado, M., Cabezas, G., Falck, D. & Ortega, M. E. (2012). La Evaluación Docente y sus instrumentos: Discriminación del desempeño docente y asociación con los resultados de los estudiantes. Centro de Estudios MINEDUC & PNUD. American Educational Research Association, American Psychological Association, and National Council on Measurement in Education (AERA, APA & NCME) (2014). Standards for educational and psychological testing. Washington, D.C.: American Educational Research Association. Baker, E. L., Barton, P. E., Darling-Hammond, L., Haertel, E., Ladd, H. F., Linn, R. L, Ravitch, D., Rothstein, R., Shavelson, R. J. & Shepard, L. A. (2010). Problems with the use of student test scores to evaluate teachers. (EPI Briefing Paper #278). Washington, DC: Economic Policy Institute. Bravo, D., Falck, D., González, R., Manzi, J. & Peirano, C. (2008). La relación entre la evaluación docente y el rendimiento de los alumnos: Evidencia para el caso de Chile. Extraído el 07 de abril de 2014 de %20escolar.pdf Darling-Hammond, L., Chung, R. & Johnson, C. (2009). Teacher preparation and teacher learning. En Handbook of Education Policy Research. Sykes, G., Schneider, B. & Plank, D. Nueva York: American Educational Research Association. Jacob,B. & Lefgren, L. (2008). Can principals identify effective teachers? Journal of Labor Economics, 26, Marzano, R. & Toth, M. (2013). Teacher evaluation that makes a difference: A new model for teacher growth and student achievement. Alexandria, VA: ASCD. Newton, X., Darling-Hammond, L., Haertel, E. & Thomas, E. (2010). Value-Added Modeling of Teacher Effectiveness: An Exploration of Stability across Models and Contexts. Education Policy Analysis Archives, 18(23). Retrieved from: Organización para la Cooperación y el Desarrollo Económico [OECD]. (2009), Creating Effective Teaching and Learning Environments: First Results from TALIS, OECD Publishing, Paris. Organización para la Cooperación y el Desarrollo Económico [OECD]. (2013). Teachers for the 21st century: Using evaluation to improve teaching. OECD Publishing. - Santelices, V., Taut, S., Araya, C. & Manzi, J. (2013). Consecuencias a Nivel Local de un Sistema de Evaluación de Profesores: El Caso de Chile [Consequences of a Teacher Evaluation System at District Level: The Case of Chile]. Revista Estudios Pedagógicos, 39(2), Taut, S., Santelices, V., Araya, C. & Manzi, J. (2011). Perceived effects and uses of the national teacher evaluation system in Chilean elementary schools. Studies in Educational Evaluation, 37, DOI: - Taut, S., Valencia, E., Palacios, D., Santelices, V., Jimenez, D. & Manzi, J. (in press). Teacher performance and student learning: Linking evidence from two national assessment programs. Assessment in Education: Principles, Policy & Practice, DOI: / X Tucker, P. (1997). Lake Wobegon: Where all teachers are competent. Journal of Personnel Evaluation in Education, 11(2),

34