Paula Lacerna Jorge Manzi Lorena Meckes Seminario Internacional Medición Educacional y Responsabilización 24 mayo 2011

Transcripción

1 Inicia: de evaluación diagnóstica a evaluación con consecuencias Paula Lacerna Jorge Manzi Lorena Meckes Seminario Internacional Medición Educacional y Responsabilización 24 mayo 2011

2 Índice Antecedentes e instalación de la Evaluación Inicia Desafíos para la medición en contexto de crecientes consecuencias Percepción de los evaluados acerca de su preparación profesional Selección al ingreso y resultados en Inicia: desafíos para las instituciones Percepción acerca de las estrategias de las instituciones para enfrentar la evaluación.

3 Antecedentes de la Evaluación Comisiones previas Programa de FFID ( )

4 Características de programa Inicia Programa INICIA: Estándares para egresados Fondo de apoyo Evaluación diagnóstica Qué se evalúa Conocimientos disciplinarios Conocimientos pedagógicos Competencias generales: expresión escrita y habilidades TICs

5 Instalación de la Evaluación Inicia Anuncio del programa: Presencia de Decanos de las Facultades de Educación Evaluación sólo con objetivos diagnósticos. Buen nivel de asistencia primer año. 39 IES participantes; 66% de asistencia en estudiantes. Trabajo posterior sistemático con autoridades y académicos de las Facultades Conformación de Comisión técnica del CRUCH Participación en la construcción de preguntas.

6 Desafíos de la instalación Marco temporal restringido para la primera evaluación. Operación que garantice confidencialidad de la información individual e institucional. La comunicación de resultados en contexto de ausencia de estándares y por consecuencia de puntos de corte.

7 Instalación de la Evaluación: La comunicación de los resultados Contexto y desafíos: Ausencia de puntos de corte y de estándares de egreso Presión pública por conocer resultados y su significado. Resultados Prueba conocimientos disciplinarios 2008 Prueba de conocimientos disciplinarios (2008) Alumnos que rinden Promedio Porcentaje de Respuestas Correctas Generalista % Lenguaje Segundo Ciclo % Matemática Segundo Ciclo % Sociedad Segundo Ciclo 42 40% Naturaleza Segundo Ciclo 11 36%

8 Instalación de la Evaluación: La comunicación de los resultados Referente para la interpretación de los resultados 2009: resultados de la prueba TEDS-M (2008)

9 Instalación de la Evaluación: Cómo interpretar y comunicar los resultados? % de evaluados Resultado más relevante: Variabilidad de resultados (2008) % de logro en la prueba

10 Instalación de la Evaluación: Cómo interpretar y comunicar los resultados? N de instituciones Resultado más relevante: Diferencias entre instituciones (2009) Instituciones sobre 10 inscritos y 70% de asistencia (N=22) * % de logro en la prueba

11 Instalación de la Evaluación: Efectos públicos Alto y creciente nivel de participación. La prueba se legitima como un referente para juzgar la calidad de la formación de profesores. Pese a la ausencia de estándares, los resultados agudizan la consciencia de la necesidad de mejorar la formación inicial docente.

12

13 Evolución hacia una evaluación con consecuencias El 2010 se invitó a las instituciones a publicar sus resultados. Disposición en la ley de presupuesto 2010: los resultados de las instituciones deben ser públicos. La gran mayoría ratifica su participación. Sólo 2 instituciones retiran su participación a último minuto. Asistencia no decae, pese a información ambigua que llegó a los estudiantes.

14 Evolución hacia una evaluación con consecuencias El 2010 se invitó a las instituciones a publicar sus resultados. Disposición en la ley de presupuesto 2010: los resultados de las instituciones deben ser públicos. La gran mayoría ratifica su participación. Sólo 2 instituciones retiran su participación después del cambio de condiciones. Asistencia no decae.

15 Evolución hacia una evaluación con consecuencias Panel de expertos 2010: Deficiencias detectadas: Explosión de las carreras de pedagogía Menor número de años de acreditación de éstas respecto de otras carreras. Surgen propuestas: Examen de habilitación exigible para enseñar en establecimientos con subvención estatal. Resultados deberán ser públicos. Acreditación de carrera debe considerar estos resultados. Examen deberá estar a cargo de un consejo que dé garantías de imparcialidad.

16 Evolución hacia una evaluación con consecuencias Proyecto de Ley (2010): Examen de excelencia profesional docente. Evaluación de conocimientos disciplinarios que arroje información a las instituciones formadoras; egresados de pedagogía; futuros estudiantes; sostenedores. Haber rendido el examen será requisito para ser contratado en el sistema subvencionado. Establece asignación de excelencia pedagógica inicial. Resultados de instituciones serán públicos y estas podrán conocer el resultado de sus estudiantes.

17 Desafíos para la medición derivados de un escenario de crecientes consecuencias 1. Comparabilidad de los instrumentos y de los resultados en el tiempo: para que decisiones que se tomen a partir de los resultados no dependan de la dificultad de las pruebas cada año. 2. Liberación de preguntas y constante renovación del banco de ellas. 3. Significado de los resultados: no basta con el puntaje, es necesario establecer puntajes de corte asociados a estándares. Relevante a nivel institucional e individual.

18 Desafíos para la medición derivados de un escenario de crecientes consecuencias 4. Publicación de resultados institucionales y su comparación: requiere contar con información confiable y actualizada sobre el universo potencial de participantes para determinar representatividad de la muestra que rinde por institución. 5. Estudiar la validez predictiva de los resultados de la evaluación. 6. Qué evaluar y cómo: conocimiento de las disciplinas que se enseñará, conocimientos pedagógico, conocimiento pedagógico del contenido, competencias profesionales generales y competencias específicas para enseñar.

19 Algunos ejemplos de experiencia internacional en evaluaciones externas: USA: todos los estados exigen aprobar exámenes de conocimiento disciplinario, la mayoría además conocimiento pedagógico general o específico y demostrar desempeño en primer año de inducción. USA y UK: se exige haber aprobado pruebas de habilidades básicas que deben ser presentados para certificación. Corea: evalúa conocimientos, conocimientos pedagógicos, competencias pedagógicas, inglés, aptitudes y actitudes (estas últimas a través de entrevista en profundidad)

20 Ejemplos de tarea en pruebas de conocimiento pedagógico Considere el siguiente objetivo de aprendizaje para una clase de 8vo básico de niñas y niños (80 min): Los estudiantes construyen gráficos adecuados a partir de datos y establecen afirmaciones cuantitativas acerca de las relaciones entre las variables. 1. Proponga una secuencia de actividades para lograr el objetivo. 2. Indique qué habilidad de lectura necesita desarrollar y por qué e incluya una actividad para lograrlo. 3. Proponga tres evaluaciones, una diagnóstica inicial, otra para monitorear el progreso y una sumativa final para determinar si se logró el objetivo. Fundamente, para alguna de ellas, por qué permite recoger evidencia sobre el logro del objetivo.

21 Dos dimensiones Prueba de Conocimientos Disciplinarios Prueba de Conocimientos Pedagógicos r=0,59** (N=1.464) ** Significativo al 0,01.

22 Correlaciones entre percepción de preparación y Pruebas INICIA Indididual Por Institución PCD PCP PCD PCP Preparación Matemática Preparación Lenguaje Preparación Comp. Medio Preparación Pedagógica

23 Percepción de la preparación Percepción de Preparación en Conocimientos Disciplinarios (2010) Porcentaje de evaluados que declara sentirse "Bien preparado" o "Muy bien preparado" Lenguaje Matemáticas Ciencias Naturales Historia, Geografía y Ciencias Sociales 53% 47% 44% 42% 0% 20% 40% 60% 80% 100%

24 Percepción de la preparación Percepción de Preparación en Conocimientos Pedagógicos (2010) Porcentaje de evaluados que declara sentirse "Bien preparado" o"muy bien preparado" Pedagogía y Didáctica General Lenguaje Matemáticas Ciencias Naturales Historia, Geografía y Ciencias Sociales 73% 68% 60% 57% 54% 0% 20% 40% 60% 80% 100%

25 Percepción de Preparación en Habilidades y Dimensiones del Quehacer Pedagógico Percepción de Preparación en Habilidades Pedagógicas Porcentaje de evaluados que declara sentirse "Bien preparado" o "Muy bien preparado" Planificar clases 89% Evaluar conocimientos y habilidades Manejar un grupo de alumnos Adaptar las estrategias de enseñanza Utilizar estrategias para aprendizaje de diferentes contenidos Enfrentar los desafíos de aprendizaje de diferentes disciplinas frentar las dificultades de aprendizaje de las diferentes etapas del desarrollo Enseñar a estudiantes con necesidades educativas especiales 47% 88% 87% 83% 83% 80% 79% 0% 20% 40% 60% 80% 100%

26 Qué efectos puede tener y está teniendo la evaluación en la formación y la preparación de los estudiantes de pedagogía?

27 Selección al ingreso y resultados en Inicia desafíos para las instituciones r=0,88** Selección de los mejores estudiantes aumenta expectativa de resultados en Inicia

28 Desafíos de una evaluación con consecuencias: efectos en las instituciones Instituciones de Educación Superior Con igualdad de condiciones de ingreso, algunas facultades logran mejores resultados

29 Desafíos de una evaluación con consecuencias: efectos en las instituciones Instituciones de Educación Superior Qué características de la formación se relacionan con una mayor efectividad?

30 Desafíos de una evaluación con consecuencias Dos grandes desafíos: 1. Lograr buenos resultados en la Evaluación. 2. Agregar valor, y superar los resultados que, por selección, se puede esperar a nivel de la institución.

31 Desafíos de una evaluación con consecuencias: efectos en las instituciones Tres formas de enfrentar el desafío: 1. Seleccionar a los estudiantes que ingresan a pedagogía 2. Mejorar la calidad de la formación profesional 3. Preparar a los estudiantes para la prueba

32 Desafíos de una evaluación con consecuencias: efectos en la preparación % de Evaluados Ped Básica Su Institución preparó para la Evaluación INICIA? 100% 80% 60% 40% 20% 0% No contesta No Si

33 Desafíos de una evaluación con consecuencias: efectos en la preparación Tipo de preparación institucional Entrega de información acerca de INICIA Talleres de entrenamiento para preparar INICIA Motivación a participar en evaluación INICIA 94% 85% 85% Otro tipo de preparación 11% 0% 20% 40% 60% 80% 100% Evaluados que declaran que su institución preparó

34 Desafíos de una evaluación con consecuencias: efectos en la preparación % Evaluados Ped. Básica Preparó Evaluación INICIA por cuenta propia? 100% 80% 60% 40% 20% 0% No contesta No Si

35 Desafíos de una evaluación con consecuencias: efectos en la preparación Tipo de preparación realizada por cuenta propia Estudio del material de clases Búsqueda de información respecto de INICIA Entrenamiento con pruebas tipo INICIA Revisión de ejemplos de preguntas de INICIA Estudio de evaluaciones pasadas de la carrera 40% 39% 32% 80% 74% 0% 20% 40% 60% 80% 100% Evaluados que declaran haberse preparado por cuenta

36 Qué dicen los evaluados sobre su formación? N de Instituciones Contenidos de la Evaluación Inicia cubiertos por el Curriculum Institucional % - 20% 21% - 40% 41% - 60% 61% - 80% 81% - 100% % de Contenidos Inicia cubiertos por Curriculum Institucional

37 Qué dicen los evaluados sobre la evaluación y su formación Énfasis del Programa de Formación Porcentaje de evaluados que declara que se le dio bastante o mucho énfasis al área Práctica 83% Fundamentos 62% Pedagogía y didáctica general Didáctica de las disciplinas a enseñar Conocimiento de las disciplinas a enseñar 46% 64% 57% 0% 20% 40% 60% 80% 100%

38 Conclusiones Alta participación de instituciones y de sus egresados ha favorecido la rápida instalación de esta evaluación Resultados fuertemente correlacionados con los puntajes de admisión sugieren un débil valor agregado de la formación docente, lo que también abre la discusión acerca de las condiciones mínimas para garantizar una buena formación docente.

39 Conclusiones Impacto público de la evaluación diagnóstica demuestra la relevancia que tiene la información para orientar la discusión y toma de decisiones en este ámbito. Se constatan efectos de las mediciones y discusión de estándares en las facultades de educación (aunque es prematuro juzgar la valencia de estos efectos). Es fundamental monitorear los ajustes que estas mediciones están promoviendo en las facultades.