INFORME FINAL DE EVALUACIÓN

Transcripción

1 EVALUACIÓN EXTERNA PROGRAMA DE CAPACITACIÓN A DOCENTES MUSEO INTERACTIVO MIRADOR MIM FUNDACIÓN TIEMPOS NUEVOS INFORME FINAL DE EVALUACIÓN CENTRO DE INVESTIGACIÓN Y DESARROLLO DE LA EDUCACIÓN CIDE SANTIAGO, ENERO DE 2006

2 INDICE I. PRESENTACIÓN...3 II. ANTECEDENTES...3 III. OBJETIVOS DE LA EVALUACIÓN...4 III.1. OBJETIVO GENERAL:...4 III.2. OBJETIVOS ESPECÍFICOS...4 IV. METODOLOGÍA...5 IV.1. EL TRABAJO DE CAMPO: ESTRATEGIAS DE RECOLECCIÓN DE DATOS...5 IV.2.- LOS INSTRUMENTOS UTILIZADOS...7 V- RESULTADOS RELATIVOS A LA EVALUACIÓN DE SEGUIMIENTO EN AULA...14 V.1.- REGIÓN METROPOLITANA...15 V.2- RESULTADOS SEGUIMIENTO EN AULA, PARA LAS REGIONES II, VI, VIII Y IX...27 VI.- CONCLUSIONES RELATIVAS A LA EVALUACIÓN DE SEGUIMIENTO...31 VII. SUGERENCIAS A TOMAR EN CONSIDERACIÓN PARA EL DISEÑO Y EJECUCIÓN DE LOS TALLERES DE REFORZAMIENTO...33 VIII.- RESULTADOS EVALUACIÓN DE TALLERES DE REFORZAMIENTO...35 IX.- RESULTADOS FOCUS GROUP PROFESORES...35 IX.1.- CONCLUSIONES RELATIVAS A LA VISIÓN DE LOS PROFESORES...52 X.- RESULTADOS ENTREVISTA GRUPAL RELATORES...55 X.1.- CONCLUSIONES RELATIVAS A LA VISIÓN DE LOS RELATORES...68 XI.- CONCLUSIONES RELATIVAS AL TALLER DE REFORZAMIENTO...70 XI.1.- DESDE LA PERSPECTIVA DE LA VISIÓN DE LOS ACTORES (PROFESORES Y RELATORES)...70 XI.2.- CONCLUSIONES GENERALES DESDE LA PERSPECTIVA DE LOS OBJETIVOS PLANTEADOS PARA EL TALLER DE REFORZAMIENTO...74 XII.- CONCLUSIONES FINALES ACERCA DE LA EVALUACIÓN DEL PROGRAMA DE CAPACITACIÓN A PROFESORES MIM, DESDE LA PERSPECTIVA DE LOS OBJETIVOS PLANTEADOS XIII.- MODELO DE CAPACITACIÓN Y EVALUACIÓN PARA LAS ACCIONES DE CAPACITACIÓN DE MUSEO INTERACTIVO MIRADOR XIII.1- CAPACITACIÓN...76 XIII.2- KIT DE MATERIALES...77 XIII.3- SEGUIMIENTO ASESORÍA O ACOMPAÑAMIENTO...77 XIII.4.- MONITOREO UTILIZANDO RED DE PROFESORES DE EXPLORA O REGIONAL...77 Universidad Alberto Hurtado, Centro de Investigación y Desarrollo de la Educación, CIDE 2

3 I. Presentación El presente documento contiene el Informe Final de la evaluación del programa de capacitación, encomendada al Centro de Investigación y Desarrollo de la Educación, CIDE, ejecutado entre los meses de junio de 2005 y enero de Este informe da cuenta, particularmente, de la evaluación de seguimiento, efectuada con posterioridad a la ejecución de los cursos, para las 5 regiones en las que se desarrolló el proyecto, y de la evaluación de los Talleres de Reforzamiento, realizados por MIM con posterioridad a los cursos propiamente tales. Este informe, ha sido precedido por otros dos que han dado cuenta, en detalle, de la evaluación de seguimiento en la región metropolitana y en regiones, centrados fundamentalmente en el impacto de los cursos desarrollados. Este informe final incorpora la evaluación de los Talleres de Reforzamiento antes mencionados. El informe incluye el documento Modelo de capacitación y evaluación para las acciones de capacitación del Museo Interactivo Mirador, que amplía el ámbito de alcance del documento Metodología de Seguimiento y Evaluación de las acciones de capacitación, comprometido originalmente. El modelo pretende sistematizar el proceso con el cual se ha realizado esta evaluación, incluyendo los ajustes pertinentes que ha requerido en el transcurso de su puesta en práctica. II. Antecedentes El Museo Interactivo MIRADOR, MIM, ejecutó, en las regiones II, VI. VIII, IX y Metropolitana durante el año 2005, 22 cursos de 6 días de duración cada uno, como parte de su Programa de Capacitación a profesores, 19 de ellos en Ciencia y Tecnología, denominados Módulo Central, y 3 de especialización: Cobre en el Aula, Robótica e Informática Educativa. Los cursos contaron con la participación de 367 profesores en total. Región Cursos realizados y Profesores capacitados N cursos Módulo Central Nª cursos Robótica Nº cursos Cobre en el aula Nº cursos Intel N Profesores participantes II 3 44 VI 4 73 VIII 5 95 IX 2 26 Metropolitana Total Con posterioridad a estos cursos, el MIM ejecutó 7 Talleres de Reforzamiento relativos a estos cursos, de 2 días de duración cada uno, de los que participaron 132 profesores. Universidad Alberto Hurtado, Centro de Investigación y Desarrollo de la Educación, CIDE 3

4 Talleres de reforzamiento realizados y profesores participantes Región N Talleres de reforzamiento Nº profesores II 1 31 VI 1 33 VIII 2 49 IX 1 7 Metropolitana 2 12 Total El MIM plantea que tras la experiencia acumulada, se hace necesario retroalimentar el programa y sus resultados, observando el impacto que éste provoca en el aprendizaje de niños y jóvenes estudiantes, tanto como en la enseñanza impartida por los profesores que han asistido a los cursos de capacitación que se ofrecen. El presente documento contiene los resultados de esa evaluación. III.1. Objetivo General: III. Objetivos de la Evaluación Proveer de información relevante, que permita evaluar el impacto en el aprendizaje de niños y jóvenes de la capacitación recibida por los profesores, de manera de determinar la pertinencia y logro de objetivos, la eficiencia y la sustentabilidad de las acciones. III.2. Objetivos Específicos Identificar los impactos educativos de las capacitaciones desarrolladas por el MIM durante , para ampliar y enriquecer las perspectivas conceptuales y prácticas, focalizar las acciones y controlar de mejor manera los factores que inciden en los resultados que se esperan lograr. Proveer de un sistema de evaluación, cuya probada y periódica aplicación permita al Museo, contar con información y elementos de análisis, para su toma de decisiones en materia de capacitación docente Proveer de observaciones y sugerencias sobre niveles de logro alcanzados, resultados obtenidos y procesos desencadenados por el programa de capacitación en diversos ámbitos, que permitan perfeccionar el programa de capacitación a profesores en el marco de las nuevas acciones a ejecutar. Universidad Alberto Hurtado, Centro de Investigación y Desarrollo de la Educación, CIDE 4

5 IV. Metodología La Evaluación del Programa de capacitación se estructura sobre 2 pilares fundamentales: una evaluación denominada de seguimiento y otra denominada de resultados. La fase de evaluación de seguimiento fue realizada entre los meses de junio y julio en la región metropolitana, dando origen a un primer informe de seguimiento para la región. Luego, entre los meses de agosto, septiembre y octubre se ejecutó la fase de evaluación de seguimiento en regiones ( II,VI,VIII y IX), que derivó en un segundo informe. Entre los meses de octubre y noviembre MIM realizó una serie de Talleres de Reforzamiento de los cursos, que fueron también evaluados. El resumen de la información de las evaluaciones de seguimiento, más el informe de evaluación de Talleres de Reforzamiento, derivan en este informe, que incluye conclusiones y sugerencias de acción generales, así como el documento Metodología de Seguimiento y Evaluación de las acciones de Capacitación del Museo Interactivo Mirador. IV.1. El trabajo de campo: estrategias de recolección de datos 1.- Fase de evaluación de seguimiento La fase de evaluación de seguimiento contempló las siguientes estrategias de recolección de datos para el trabajo de campo: 1. Observación de aula a profesores en seguimiento 2. Cuestionario a una muestra de profesores capacitados 3. Focus group a otra muestra de profesores capacitados 4. Entrevista a Directivos de muestra de establecimientos 5. Cuestionario a alumnos de profesores en seguimiento 6. Focus group a muestra de alumnos de profesores en seguimiento 7. Análisis de datos de Fuentes Secundarias: a) Seguimiento de calificaciones obtenidas por los alumnos de las aulas observadas b) Seguimiento de registro de actividades en libro de clases para los subsectores observados. 8. Cuestionario y/o Entrevista grupal de relatores 2.- Fase de evaluación final (del reforzamiento) La fase de evaluación final, referida a la evaluación de los talleres de reforzamiento de los cursos, se estructuró sobre la base de Focus group de profesores y entrevistas grupales a los relatores. Universidad Alberto Hurtado, Centro de Investigación y Desarrollo de la Educación, CIDE 5

6 1.- Sobre la Observación de aula Se seleccionó al azar una muestra de profesores, constituida por 2 profesores de cada taller ejecutado, según términos de referencia. Para cada profesor de la muestra se realizó Observación directa de una (1) clase de 90 minutos, (de preferencia en el nivel para el cual habían elaborado la Unidad de Aprendizaje para el curso del MIM) del tipo no participante y estructurada. No participante, porque en este tipo de observación el investigador no participa de manera activa dentro del grupo que observa. Se limita a mirar y a tomar notas sin relacionarse con los miembros del grupo, y estructurada porque se utilizó una pauta de observación explícita en que se detalla qué datos se recogerá. La idea original era realizar una Observación directa de la implementación en el aula de las unidades pedagógicas diseñadas por los profesores durante la capacitación recibida, sin embargo, razones operativas hicieron definir que se observara un curso elegido por el establecimiento y/ o profesor, solicitándose que en lo posible coincidiera con el nivel para el cual se hubiera diseñado la Unidad Pedagógica, señalándose que no se requería ninguna preparación especial de la clase a observar, explicitándose que el fin era precisamente observar la clase exactamente como el profesor la tenía planificada para la fecha. 2.- Sobre el cuestionario a una muestra de profesores capacitados A la misma muestra de profesores en seguimiento de observación de aula, se aplicaron cuestionarios relativos a sus percepciones del curso. 3.- Sobre el focus group de profesores Del mismo modo en que se seleccionó la muestra de profesores para observación de aula, se configuró una nueva muestra de profesores para participar de un focus group, 2 profesores por curso ejecutado, distintos de los profesores a visitar en aula. 4.- Sobre las entrevistas a directivos Se aplicó una entrevistas semiestructurada a Directivos (Jefe/a de Unidad Técnico Pedagógica (UTP) o Director) en cada establecimiento en que se realizó observación de aula, según la disposición y posibilidad de cada establecimiento para asignar tiempo a esta actividad. 5.- Sobre el cuestionario a alumnos Se aplicaron cuestionarios a cada curso en el cual se realizaron observaciones de aula. Universidad Alberto Hurtado, Centro de Investigación y Desarrollo de la Educación, CIDE 6

7 6.- Sobre el focus group alumnos Se realizó al menos un focus group de alumnos en cada región, en 1 establecimiento, determinado por la disposición y posibilidad de los directivos a participar de la actividad. 7.- Sobre el análisis de datos de fuentes secundarias Se analizaron 2 tipos de fuentes secundarias: El registro del libro de clases del año en curso, correspondiente al subsector de la clase observada para cada profesor en seguimiento y la planilla de calificaciones de los alumnos en el mismo subsector, para el año en curso y el año inmediatamente anterior (misma cohorte). 8.- Cuestionario o Entrevista grupal a relatores En cada región se realizó una entrevista grupal con los relatores a cargo de los cursos, a excepción de la región metropolitana, en que se aplicó un cuestionario con el mismo objetivo. 9.- Sobre los Focus group de profesores y relatores (fase, evaluación final de talleres de reforzamiento) Se seleccionaron los actores que entregaron la información que permitía discriminar con mayor riqueza entre las distintas variables en estudio. Se realizaron Focus group de profesores, invitando al menos a 10 profesores de cada taller de reforzamiento; uno por cada región, 5 en total; y Focus Group con los relatores del reforzamiento, invitando a la totalidad de ellos en cada región, un focus por cada región, 5 en total. IV.2.- Los instrumentos utilizados 1.- Pauta de observación de aula Se elaboró y utilizó una Pauta de Observación de Aula 1 en base a la que se registraron las situaciones observadas. La pauta permite registrar las características de la implementación en el aula de las unidades pedagógicas diseñadas por los profesores durante la capacitación recibida, y las características de la clase en general, desde la perspectiva de los contenidos tratados, la metodología empleada y el ambiente en que se desarrollan las actividades. El registro de lo observado se agrupa en 3 dimensiones de la clase: El tratamiento de los contenidos: itemes 1 al 11 El tratamiento metodológico de los contenidos: ítemes del 12 al 20 Las relaciones interpersonales con los alumnos (ambiente): ítemes 21 al 29 1 Ver anexo 1 Pauta Observación de aula Universidad Alberto Hurtado, Centro de Investigación y Desarrollo de la Educación, CIDE 7

8 Para consignar lo observado en cada dimensión, se utilizó una escala de 0 a 4, cuyas interpretaciones son las siguientes: 4= Excelente, siempre 3= Bueno, a menudo 2= Satisfactorio, de vez en cuando 1= Deficiente, nunca 0= No observado 2.- Cuestionario a profesores capacitados Se elaboró un Cuestionario autoaplicado 2, orientado al levantamiento de información relativa a la opinión de los profesores respecto de 3 dimensiones: La Capacitación recibida (ítemes 1 al 16) Su Relación continua con el MIM (ítemes 17 al 23) La Implementación de las unidades pedagógicas en sus respectivos establecimientos educativos.(ítemes 1 al 9 de la sección correspondiente) Las dimensiones señaladas respondían a los siguientes indicadores: Percepción respecto de la capacitación Expectativas Nivel de satisfacción Ambiente sala de clases Opinión sobre metodología empleada Percepción de coherencia entre teoría y práctica Opinión sobre la secuencia de contenidos seguida por el capacitador Autopercepción de los productos elaborados por los profesores Cambios que introduciría Percepción respecto de la implementación de la unidad pedagógica Percepción acerca de las dificultades de implementación Percepción respecto del nivel de profundización implementación de la unidad de aprendizaje Dificultades y oportunidades percibidas Percepción acerca de experiencias de éxito Percepción del ambiente de la sala de clases Percepción respecto de la planificación de la secuencia de contenidos Percepción de cambios en el aula en tanto Antes Después de la capacitación 2 Ver anexo 2 Cuestionario Profesores capacitados Universidad Alberto Hurtado, Centro de Investigación y Desarrollo de la Educación, CIDE 8

9 Percepción de los efectos producidos en los alumnos Percepción respecto de mejorías en el rendimiento académico de los alumnos Percepción respecto de losproductos elaborados por los alumnos Percepción de cambios en las propias prácticas pedagógicas Percepciones actitudinales de alumnos, colegas y directivos Percepción de apoyos y compromiso institucional recibido Nivel de satisfacción Cambios que introduciría Las preguntas del cuestionario eran de respuesta fundamentalmente cerrada, y el profesor debía usar la siguiente escala: 4= Excelente o Siempre 3= Bueno o A menudo 2= Satisfactorio o De vez en cuando 1= Deficiente o Nunca 0= No observado En algunos casos se ofreció la posibilidad de manifestarse brevemente acerca de un tema, dentro de ciertos límites de espacio. Específicamente en la sección relativa a la Implementación de la Unidad Pedagógica en el aula, se solicitó ordenar según importancia una serie de situaciones que afectan, en su opinión, dicha implementación. Se contactó a 13 docentes capacitados, distintos de los docentes participantes de la observación de aula, hasta comprometer la participación de 8 profesores en un focus group (2 por cada taller efectuado en la II región durante el año 2005). 3.- Focus Group Profesores Se desarrolló una Pauta de Focus Group profesores 3 en base a 3 núcleos temáticos fundamentales: La Capacitación, La Relación Continua con el MIM y La Implementación de la Unidad Pedagógica en el Aula. En torno a la Capacitación se indagó entre los siguientes indicadores: Expectativas Nivel de satisfacción Ambiente sala de clases Opinión sobre metodología empleada Percepción de coherencia entre teoría y práctica 3 Ver anexo 3 Pauta Focus Group Profesores capacitados Universidad Alberto Hurtado, Centro de Investigación y Desarrollo de la Educación, CIDE 9

10 Opinión sobre la secuencia de contenidos seguida por el capacitador Autopercepción de los productos elaborados por los profesores Cambios que introduciría En torno a la Relación Continua con el MIM se indagó entre los siguientes indicadores: Conocimiento de visitas al MIM de profesor capacitado con sus cursos En torno a la Implementación de la Unidad Pedagógica en el Aula se indagó entre los siguientes indicadores: Percepción acerca de las dificultades de implementación Percepción respecto del nivel de profundización implementación de la unidad de aprendizaje Dificultades y oportunidades percibidas Percepción acerca de experiencias de éxito Percepción del ambiente de la sala de clases Percepción respecto de la planificación de la secuencia de contenidos Percepción de cambios en el aula en tanto Antes Después de la capacitación Percepción de los efectos producidos en los alumnos Percepción respecto de mejorías en el rendimiento académico de los alumnos Percepción respecto de losproductos elaborados por los alumnos Percepción de cambios en las propias prácticas pedagógicas Percepciones actitudinales de alumnos, colegas y directivos Percepción de apoyos y compromiso institucional recibido Nivel de satisfacción Cambios que introduciría 4.- Entrevista a directivos Se elaboró una Entrevista semiestructurada 4 que incorpora preguntas abiertas y semicerradas acerca de los siguientes indicadores: Expectativas 4 Ver anexo 4 Entrevista Directivos Universidad Alberto Hurtado, Centro de Investigación y Desarrollo de la Educación, CIDE 10

11 Percepción respecto de la implementación del programa (aplicación de unidades pedagógicas diseñadas) Percepción respecto del nivel de profundización implementación de la unidad de aprendizaje Dificultades y oportunidades percibidas Percepción del ambiente en la sala de clases Percepción respecto de la secuencia de contenidos seguida por el profesor Percepción respecto de la utilidad de la unidad creada por el profesor durante la capacitación Percepción respecto de mejorías en el rendimiento académico de los alumnos Percepción respecto de un cambio en la sala de clases, según Antes Después de la capacitación Percepción de cambios en las prácticas pedagógicas Percepción respecto de los productos elaborados por los alumnos Percepciones actitudinales de alumnos y profesores Percepción de apoyos y compromiso institucional otorgado Nivel de satisfacción Cambios que introduciría 5.- Cuestionario alumnos Se elaboró un Cuestionario autoaplicado 5, en que los alumnos fueron consultados respecto a su percepción respecto de 4 dimensiones de la dinámica del subsector: de la metodología y ambiente de clases profesor, los contenidos tratados durante el año, la personal evolución del interés por el subsector y los eventuales cambios que haría a las clases, orientado todo ello a determinar el impacto de la capacitación recibida. 6.- Focus Group alumnos Se elaboró una Pauta de Focus Group 6 para alumnos que incorpora invitaciones abiertas a manifestarse acerca de los siguientes indicadores: Expectativas Percepción de la implementación del programa Percepción respecto del nivel de profundización implementación de la unidad de aprendizaje 5 Ver anexo 5 Instrumento Cuestionario Alumnos 6 Ver anexo Nº 6 Instrumento Pauta de Focus Group Alumnos Universidad Alberto Hurtado, Centro de Investigación y Desarrollo de la Educación, CIDE 11

12 Dificultades y oportunidades percibidas Percepción del ambiente de la sala de clases Percepción respecto de la utilidad de la unidad creada por el profesor durante la capacitación Percepción respecto de mejorías en su propio a partir de la unidad de aprendizaje Percepción respecto de la secuencia de contenidos seguida por el profesor Percepción de cambios en el aula en tanto Antes Después de la capacitación Percepción de cambios en las prácticas pedagógicas Percepción respecto a los productos elaborados por ellos mismos Nivel de satisfacción Cambios que introduciría 7.- Análisis de datos de fuentes secundarias Se analizaron 2 tipos de fuentes secundarias: El registro del libro de clases del año en curso, correspondiente al subsector de la clase observada para cada profesor en seguimiento y la planilla de calificaciones de los alumnos en el mismo subsector, para el año en curso y el año inmediatamente anterior (misma cohorte). Se aplicó directamente en terreno un cuestionario relativo a su percepción del curso, a 4 de los 5 relatores que llegaron el día e la reunión, citada por el coordinador de Explora en la región. 8.-Cuestionario relatores Se elaboró un Cuestionario autoaplicado 7 que combina respuestas cerradas y abiertas, con relación a 5 aspectos del programa de capacitación: Expectativas y percepción de realidades Percepción Dificultades y/o debilidades de la capacitación Percepción de la calidad de las unidades pedagógicas presentadas por los profesores Percepción de otros aspectos de importancia Autopercepción de su rol como relator y modificaciones sugeridas 9.- Pauta focus group profesores (fase evaluación final, talleres de reforzamiento) Se elaboró una Pauta de focus group 8 profesores para la evaluación de los talleres de reforzamiento, basado en las siguientes dimensiones: 7 Ver Anexo 7 Instrumento Cuestionario Relatores Universidad Alberto Hurtado, Centro de Investigación y Desarrollo de la Educación, CIDE 12

13 Expectativas Percepción de las actividades y focos del taller Diferencias con la dinámica del curso anterior Opinión del taller y su metodología Fortalezas Debilidades Implementación de la planificación de clases Sugerencias 10.- Pauta entrevista grupal relatores (fase evaluación final, talleres de reforzamiento) Se elaboró una Pauta de entrevista grupal 9 relatores para la evaluación de los talleres de reforzamiento, basado en las siguientes dimensiones: Expectativas Recepción de los profesores, clima Actividades y focos Principales dificultades Calidad trabajo profesores y diferencias con calidad del trabajo del curso anterior Autoevaluación Fortalezas del reforzamiento 8 Ver anexo 8 Instrumento pauta Focus Group profesores fase talleres reforzamiento 9 Ver anexo 9 Instrumento pauta Entrevista Grupal relatores fase talleres reforzamiento Universidad Alberto Hurtado, Centro de Investigación y Desarrollo de la Educación, CIDE 13

14 V- Resultados relativos a la evaluación de seguimiento en Aula El estudio de seguimiento en región metropolitana más 4 regiones, trabajó sobre una muestra de profesores, establecida según términos de referencia, de 2 docentes por taller realizado, que corresponden a aproximadamente el 11% de la totalidad de los profesores capacitados. En la práctica, se observó en aula, encuestó y analizó calificaciones de alumnos y sus correspondientes registros de actividades en el libro de clases a 39 profesores, participantes en 21 diferentes cursos del MIM. Se trabajó en base a 5 focus group de profesores, uno por región, con la participación de 44 profesores, distintos a los del grupo de observación de aula, con lo que la muestra de profesores capacitados se eleva a 84, un 23% del total. Se entrevistó a 12 directivos, pertenecientes a igual número de establecimientos y se encuestó a 1304 alumnos, pertenecientes a 39 establecimientos educacionales. Además, 88 alumnos participaron en 11 focus group, y se encuestó o entrevistó a 23 relatores, correspondientes al 77% del total. No fue posible incorporar a la muestra el Taller sobre informática de Intel, dado que no se contó con la colaboración de los profesores para ello. Se presentan, a continuación, las conclusiones y sugerencias desde dos perspectivas: desde la mirada de los componentes que constituyen el programa de capacitación, y luego desde la mirada de los objetivos que se propone el programa. Muestra de profesores, directivos y alumnos Muestra profesores (cuestionario, observación de aula, análisis calificaciones y registro libro clases Nº profesores participantes focus group II Región VI Región VIII Región IX Región Región Metropolitana Totales 5 (de 3 cursos) 8 (de 4 cursos) 10 (de 5 cursos) 4 (de 2 cursos) 12 (de 8 cursos) Nº directivos entrevistados Nº alumnos encuestados 237 (e 5 establecimientos) 289 (de 9 establecimientos) 291 (de 10 establecimientos) 114 (de 3 establecimientos) 373 (de 12 establecimientos) 1304 (de 39 establecimientos) Nº alumnos participantes en focus group Número de relatores encuestados/entrevistados 8 16 (2 focus) 16 (2 focus) 16 (2 focus) 32 (4 focus) 88 4 (de 5) 3 (de 5) 4 (de 5) 3 (de 3) 9 (de 12) 23 Universidad Alberto Hurtado, Centro de Investigación y Desarrollo de la Educación, CIDE 14

15 Cobertura cursos realizados por el MIM Nº Talleres realizados Nº profesores capacitados Nº profesores evaluados % cubierto por la evaluación II Región % VI Región % VIII Región % IX Región % R % Metropolitana Total % V.1.- Región Metropolitana V.1.1 Desde la perspectiva de los Componentes del Programa de Capacitación 1.- De la convocatoria y el perfil de los profesores Una de las dimensiones del programa de capacitación en la que se reportan importantes inconvenientes, es en la convocatoria: Se han diseñado y difundido cursos orientados a distintos perfiles de profesores (según nivel de enseñanza en que ejerce y subsector de especialidad), sin embargo el perfil de los profesores muchas veces no se ajusta al originalmente definido, lo que deriva en que la heterogeneidad de cada grupo dificulta la labor del relator, por una parte, y la efectiva transferencia al aula, por otra. Esto podría solucionarse velando por hacer coincidir el perfil del profesor con el del curso, ya sea vía solicitud de copia de título directamente al profesor, o bien vía solicitud al establecimiento de los datos relacionados (subsectores asignados, niveles y cursos). Esto necesariamente implica privilegiar el perfil por sobre la completación de los cupos disponibles. Se han difundido los cursos proveyendo en ocasiones información insuficiente y/o confusa, relativa al sentido y objetivos de los cursos, los requisitos para obtener los materiales y herramientas al finalizar el curso, y los requisitos para que el profesor y uno o más cursos puedan visitar gratuitamente el MIM. Los profesores indican que al inicio del curso sus expectativas eran escasas debido a la poca información que disponían con relación al curso, señalando que se enteraron principalmente por un escueto aviso en la prensa escrita, y que al intentar profundizar telefónicamente, tampoco recibieron mayores detalles. Esto podría solucionarse difundiendo clara y oportunamente dicha información, de preferencia, en la convocatoria. Se ha actuado bajo el supuesto de que son los establecimientos educativos los que movilizan la participación de los profesores en los cursos, razón por la que se espera que el costo económico del curso sea asumido preferentemente por los establecimientos, quien luego tiene la propiedad Universidad Alberto Hurtado, Centro de Investigación y Desarrollo de la Educación, CIDE 15

16 de los materiales y herramientas que se entregan. Sin embargo, tanto profesores capacitados como sus directivos mayoritariamente señalan que las motivaciones para participar fueron estrictamente personales, y sólo en algunos casos recibieron algún tipo de ayuda económica de sus establecimientos. Los directivos manifiestan haber estado al tanto de la capacitación, sin encontrarse involucrados en la situación más allá de eso. Por otra parte, aparece como aconsejable revisar si efectivamente los cursos son adecuados a las distintas realidades de nuestro segmentado sistema educativo. Aparentemente, podrían ser cursos de nivel muy básico para establecimientos particulares pagados, cuyo nivel de desarrollo de los departamentos internos correspondientes puede ser muy distinto del nivel de desarrollo alcanzado por los mismos departamentos en escuelas de menos recursos, para quienes los cursos parecieran ser mucho más atractivos, útiles y necesarios. 2.- De la capacitación De la capacitación propiamente tal Se trata del aspecto mejor evaluado del programa por los profesores. Califican los talleres de capacitación como Buenos. La mayoría manifiesta apreciaciones positivas, y coinciden en señalar que lo mejor es la propuesta de trabajo de taller experimental. Respecto a los Contenidos se manifiestan mayoritariamente de acuerdo con lo ofrecido, en el contexto del tiempo destinado y de los planes y programas vigentes. Algunos docentes señalaron que serían más adecuados para cursos sobre 7º básico Respecto de la Metodología, mayoritariamente los profesores se inclinan por emitir opiniones positivas, reconociendo unánimemente componentes de metodología expositiva y de taller. Asimismo, hubo profesores que manifestaron apreciaciones menos positivas respecto a la metodología utilizada, principalmente relativas a la falta de profundización en los diversos temas tratados, y a una evaluación negativa de la docencia efectuada por no docentes. Respecto de la actitud de los relatores las opiniones se inclinan más a la crítica. También surgen opiniones negativas acerca del relator en el taller de Robótica y se encuentran opiniones favorables respecto a la actitud del relator del taller de Cobre. Respecto del ambiente de aprendizaje se encuentran apreciaciones disímiles, dependiendo del taller al que se refieran, en función del número de participantes. El taller de módulo central al ser más masivo es percibido con menores condiciones de confort para cada participante. Todos los relatores coinciden en evaluar positivamente el ambiente de trabajo y cooperación en la sala, taller o laboratorio donde se trabajó. Universidad Alberto Hurtado, Centro de Investigación y Desarrollo de la Educación, CIDE 16

17 Respecto de la Replicabilidad de las actividades del taller se recibió una considerable suma de opiniones que cuestionaban la aplicabilidad de los talleres en las condiciones en que trabajan los profesores en los establecimientos educativos. Respecto de la Valoración de la caja de herramientas, los profesores que la recibieron reconocen unánimemente el valor de lo recibido, sin embargo critican, también en forma unánime, la disposición que indica que la caja o maleta pertenecerá al establecimiento, en circunstancias que fundamentalmente fueron los profesores quienes se costearon personalmente el curso, sin recibir apoyo del establecimiento. El curso mejor evaluado por los profesores es el Módulo Central Básica 25 julio, pero cuenta con la evaluación sólo de 1 de los 2 profesores. Los Módulos Cobre y Robótica son los que le siguen con la mejor evaluación. Ambos talleres fueron evaluados por los 2 profesores de muestra. El taller que recibió la más baja calificación fue Módulo Central Media 18 julio, pero con la evaluación de sólo 1 profesor. En general, son mejor evaluados los Módulos de especialidades que los distintos módulos Centrales. La capacitación en sí misma resulta mejor evaluada que la relación continua con el MIM. La capacitación es percibida como Buena, en tanto la relación continua con el MIM no alcanza a ser Satisfactoria. En la dimensión Capacitación propiamente tal, los diversos aspectos consultados son evaluados en forma relativamente pareja, apareciendo como los mejor evaluados la posibilidad de llevar a cabo experiencias de laboratorio en que todos tuvieron ocasión de meter las manos y el ambiente de la sala en la que se llevó a cabo al taller, evaluado como agradable y de estudio. Los aspectos de la capacitación evaluados con la calificación más baja son la factibilidad de replicar en sus establecimientos las actividades de laboratorio; la utilidad de lo aprendido en el taller y la metodología utilizada. Respecto de los cambios que introducirían a la capacitación, hacen sugerencias desde tres perspectivas: Organización, Pedagógica y Estratégica. Desde la Perspectiva de la Organización: sugieren que se ofrezca cursos orientados a niveles educativos específicos, que se disminuya, en algunos casos, el número de profesores por taller y que se ubique Epistemología al inicio del curso, no al final, por constituir un tema introductoria y teórico; y sugieren que la propiedad de la caja o maleta de herramientas sea del profesor, no del establecimiento. Los directivos sugieren ampliar la oferta de cursos a otras especialidades y esperan un MIM más motivador en la difusión de su capacitación. Universidad Alberto Hurtado, Centro de Investigación y Desarrollo de la Educación, CIDE 17

18 Desde la perspectiva Pedagógica señalan la necesidad de un mayor nivel de profundización en los contenidos tratados, de una mayor conexión con los planes y programas vigentes, ayudando a bajar más al aula las actividades propuestas y de introducir cambios en la evaluación. Además, solicitan más tiempo para el desarrollo de las actividades. También mencionan la necesidad de cuidar la adecuación de los relatores al público destinatario (sugieren que sean profesores de educación tecnológica, evidenciando la importancia de un tratamiento pedagógico de los contenidos) y cuidar asimismo la viabilidad de transferencia al aula, especialmente percibida como difícil en el taller de Robótica, por el factor económico. Desde la perspectiva Estratégica, consignan la necesidad de una entrega inmediata de la caja de herramientas y de contar con una muestra itinerante del MIM en los establecimientos, como a veces única forma de acceder al museo, también por un factor económico. En este sentido, también sugieren ampliar las posibilidades de visitas y transporte gratuito al museo, para hacer posible el acceso de sus cursos, considerando que el factor económico es crucial en la concreción de visitas, y que cada profesor hace clases habitualmente en mucho más que un curso en un mismo establecimiento, y que hasta el momento sólo tienen acceso liberado para un curso por profesor, que no incluye transporte. Esta última solicitud es compartida por los directivos. Los relatores hacen una evaluación distinta. La mayoría percibe que sus expectativas respecto de la Capacitación de Profesores no se han visto satisfechas en el tiempo. Se observa un nivel de satisfacción mucho mayor en los relatores del Módulo Central, apreciación que comparte un relator del curso de Robótica. En el caso del curso del Cobre, ambos relatores sienten que sus expectativas no han sido satisfechas. La mayoría percibe también que sus expectativas respecto de la Capacitación de Profesores es compartida por el resto del equipo de relatores, situación relativamente similar a la realidad. Asimismo, la mayoría percibe que sus expectativas de la Capacitación de Profesores fue compartida por los profesores capacitados. Unánimemente los relatores del módulo central creen esto, en tanto los relatores de los otros módulos manifiestan lo contrario. La mayoría percibe que los profesores capacitados percibieron que no sólo se les transmitía nuevas propuestas de cómo enseñar, sino también una nueva propuesta metodológica. Casi todos los relatores de Módulo Central lo perciben así, en tanto que los relatores de los módulos restantes, manifiestan opiniones alternadas. Sin embargo, manifiestan que la dificultad más importante es la existencia de grandes vacíos de contenido, tanto en los profesores de enseñanza básica como media. Universidad Alberto Hurtado, Centro de Investigación y Desarrollo de la Educación, CIDE 18

19 Luego, en orden de importancia, perciben que a los profesores les parece interesante la propuesta, pero no la ven compatible con los Planes y Programas del MINEDUC, y el que los profesores sienten que les será difícil implementarlo en su Colegio, por no contar con una sala adecuada. Cuando los relatores evalúan la experiencia vivida, y su propio rol, hay bastante desazón. Manifiestan sentimientos de expectativas no satisfechas o discrepancias de expectativas entre relatores y docentes. Señalan la necesidad de relevar el enseñar a pensar, probablemente por encontrar esta capacidad disminuida en el grupo de docentes. Evalúan sí muy positivamente, los relatores del módulo Central, la recepción por parte de los docentes, aunque enfatizan en la necesidad de contar con más tiempo para el desarrollo de los cursos De la Relación continua con el MIM De la relación continua con el MIM los aspectos mejor evaluados por los profesores (aunque menos que la capacitación) son el sentirse beneficiados en su desarrollo profesional, el sentir que sus alumnos han sido también beneficiados en sus aprendizajes gracias a su capacitación y el hecho de haber podido ir al MIM a preparar las experiencias de aprendizaje para sus alumnos. Los aspectos peor evaluados de su relación continua con el MIM son la imposibilidad de usar el MIM como espacio de experimentación con los alumnos y las dificultades para trasladarlos al MIM. También, son mal evaluados otros aspectos relativos a su relación continua con el MIM, acerca de la visita efectiva con sus cursos al MIM y la oportunidad de mantenerse en contacto permanente con los demás colegas que participaron en el taller. Algunos profesores señalan que han concretado su visita al MIM con al menos un curso, y siempre pagando. Sin embargo, indican que el principal problema durante la visita es la insuficiencia de los talleres que se dictan para el número de alumnos que llevan, tanto respecto en la capacidad individual de cada taller, como en la variedad de los mismos. Los directivos insisten en que el principal problema es el factor económico. Los profesores que reportan no haber visitado el MIM con sus alumnos, arguyen fundamentalmente falta de recursos para el transporte o porque aún no coincide la temática que están tratando con la visita. En general reportan que no han mantenido el contacto con los demás profesores que participaron del curso, que muy pocos han tenido la oportunidad de visitar el MIM para preparar la experiencia que tendrán con sus alumnos, que se sienten beneficiados por el curso en que participaron, pero que aún esos beneficios no se proyectan a sus alumnos, con alguna excepción. Respecto a estos temas se refieren muy escuetamente. Universidad Alberto Hurtado, Centro de Investigación y Desarrollo de la Educación, CIDE 19

20 2.3.- De los compromisos asumidos por el MIM a) De la entrega de la caja de herramientas: Resulta ser un tema muy sensible y generador de desconfianzas. Señalan haber recibido tardíamente la información relativa a las condiciones para recibir las herramientas, y que, de todos modos, habría habido inconsistencia de parte del MIM en cuanto a la aplicación de estos criterios en los distintos casos. Claramente se aprecia la necesidad de definir con claridad tales criterios y aplicarlos sistemáticamente en la misma forma, pues constituye un elemento extremadamente sensible a la hora de evaluar el curso. b) Del acceso y uso de la caja o maleta de herramientas: Existe coincidencia al señalar que son auxiliares de servicio quienes tienen en su poder las cajas, y que las usan para hacer reparaciones en el establecimiento. También se señala que la guarda con llave el director y no hay facilidades para su uso, o que en otros casos profesores de ciencias la han utilizado, pero en la mayoría de los casos no la han utilizado personalmente con sus cursos. Los directivos señalan vagamente saber de la existencia de los materiales entregados por el MIM, o bien no conocerlos. c) Los profesores y directivos señalan que el MIM se habría comprometido a devolver sus calificaciones, certificarlos en el curso, entregar los materiales y publicar en la web las unidades pedagógicas de todos para que fuesen material compartido, ofrecimientos que en un considerable número de casos parece no ser efectivo a la fecha, situación que provoca molestia y frustración De la metodología de evaluación de los cursos Se trata del aspecto que recibe la evaluación más baja del programa. Se observó unanimidad entre los profesores respecto a la disconformidad que sienten frente a la metodología de evaluación empleada. Critican duramente la falta de definición de los criterios evaluativos (qué se medirá, qué énfasis habrá, qué ponderación tendrá cada foco), la falta de justificación de la metodología utilizada, y de retroalimentación respecto a los resultados y su correspondiente justificación. Rechazan de plano la solicitud de la bitácora, aludiendo a lo engorroso que resulta elaborarla. Se observa un esquema básico de requisitos de aprobación de los cursos constituido por la construcción de una Bitácora y la elaboración grupal y presentación de una Unidad Pedagógica, técnicamente estrategias evaluativas pertinentes y coherentes con la naturaleza de los cursos, sin embargo, las dificultades se hacen evidentes en la evaluación que los profesores hacen de la forma de comunicar las instancias evaluativas, su sentido, objetivos y criterios de evaluación, así como del proceso de retroalimentación de resultados obtenidos por los profesores. Si se asume que la evaluación no es un objetivo en sí misma, sino un importante elemento del proceso de aprendizaje, que permite retroalimentar y corregir para Universidad Alberto Hurtado, Centro de Investigación y Desarrollo de la Educación, CIDE 20

21 optimizar el logro de objetivos, entonces sería recomendable iniciar toda actividad de aprendizaje presentando a los aprendices, los objetivos de la acción emprendida, lo que se espera de ellos al finalizar la acción, y la forma en que se evaluará el nivel de logro en cada caso, explicitando la forma de evaluación, su justificación, sus aspectos formales, criterios de evaluación (en qué nos fijaremos para calificar) y el modo, momento y lugar en que se devolverán los resultados, idealmente siempre, si se trata de notas, acompañados de comentarios que ayuden a interpretarlas, a reconocer los aciertos y a comprender y corregir los errores y, pues, también idealmente, siempre será positivo contemplar la oportunidad de que el aprendiz pueda mejorar su trabajo y ser recalificado, generándose en esa oportunidad una de las experiencias de aprendizaje significativo más valiosas y permanentes. V Desde la perspectiva de los Objetivos declarados para el Programa de Capacitación 1.- De la transferencia al aula Uno de los objetivos del programa, es la implementación en aula de al menos el 80% de las unidades pedagógicas presentadas por los profesores al finalizar cada curso. De la muestra en seguimiento, a la fecha, ninguna ha sido implementada, y a juzgar por las dinámicas observadas y los reportes de dificultades para implementarla, no existen elementos para pensar que en el mediano plazo, entendido como el resto del año escolar 2005, la gran mayoría de las unidades pedagógicas esté implementada. Los profesores evalúan como Buena la calidad de la unidad pedagógica que cada uno de ellos elaboró como parte de su evaluación para el curso. Sólo un profesor (participante del Focus Group, no de la muestra en seguimiento) señala haber implementado su unidad pedagógica, facilitado por su buena relación con las autoridades del establecimiento. Dentro de las razones esgrimidas por los profesores para no haber implementado la unidad pedagógica, la mayor dificultad es el no contar con una sala de laboratorio en el establecimiento, seguida por el no disponer de horas de planificación. En tercer lugar mencionan el no disponer de los materiales de laboratorio necesarios, y en cuarto lugar aparece el no haber logrado aún terminar de elaborar dicha unidad pedagógica. Además, aparecen como dificultades significativas para concretar la implementación (son redactadas personalmente por los profesores) el hecho de tener ya la planificación de sus cursos elaborada antes de tomar el curso y el no contar aún con la caja de herramientas para empezar, por insuficientes conductas de entrada de los niños, porque sus cursos son muy numerosos, porque hace clases a niños muy pequeños o porque se cambió de establecimiento. Una primera dificultad, ya comentada, tiene relación con el perfil de los profesores, que en muchos casos no hacen clases en el nivel para el cual se dictó Universidad Alberto Hurtado, Centro de Investigación y Desarrollo de la Educación, CIDE 21

22 el curso, o no hacen clases en los subsectores de ciencia o tecnología, o los cursos en que hace clases no corresponden a los cursos para los cuales diseñó su unidad pedagógica. Estos desencuentros podrían ser solucionados de un modo relativamente sencillo en nuevos cursos, al optimizar el filtro en la matrícula, ajustando los perfiles, y flexibilizando la elaboración de las unidades pedagógicas grupales, de manera que si en un grupo trabaja un profesor que hace clases en un nivel distinto a los demás, la planificación debería incorporar la adaptación de esa unidad al nivel en que ese profesor efectivamente puede desarrollarla. Es preciso considerar que, tal como señalan los directivos, los profesores no cuentan con condiciones especiales para implementar la unidad pedagógica del curso, ni con espacios para socializar su experiencia de capacitación, así como tampoco parecen estar muy al tanto de la eventual implementación de la unidad pedagógica. Según lo consignado en los libros de clases, los contenidos (relativos a las capacitaciones) presentes en clases, señalados con mayor frecuencia por los alumnos son Electricidad y Electrónica y Mecánica y Energía, seguidos de Diseño y Dibujo Técnico, aunque ningún profesor de estos alumnos ha implementado su unidad pedagógica. Los contenidos relativos a Robótica y Cobre son los menos consignados, sin embargo, en los 2 cursos que corresponden a los profesores capacitados en Robótica. El 29% de un curso señala que ha visto Robótica, en tanto el 55% del otro curso señala lo mismo. Algo similar pero en mucho menor escala ocurre con el curso de Cobre, indicando que probablemente los contenidos fueron tratados didácticamente de otra forma, o bien que la información es inconsistente (por las diferencias de porcentaje de alumnos en cada curso que lo reconocen) y por ello no confiable. Comentarios de los relatores pueden ayudar a realizar una proyección de lo que sería esperable en la realidad de la transferencia al aula: Los 2 relatores del curso del Cobre, manifiestan aspectos positivos destacables en los profesores, como la actitud proactiva y el trabajo en equipo. En tanto otro alude a tener la sensación de que los profesores tienden a percibir y relevar con más frecuencia los problemas que obstaculizarán su desempeño más que las posibles soluciones a los problemas. En los casos de profesores ya capacitados se encuentran situaciones más complejas de resolver para lograr la implementación de la unidad pedagógica, especialmente cuando el profesor no hace clases de ciencia ni de tecnología, y este es un problema que se pudo resolver desde el MIM al momento de la inscripción. En los casos en que se planificó para otro nivel, o cuando ya estaban las planificaciones determinadas por el colegio desde antes que se realizara el curso, claramente la solución excede los objetivos del programa, pues dice relación con la capacidad de lograr flexibilizar la forma de enfrentar situaciones nuevas por parte de los profesores. Universidad Alberto Hurtado, Centro de Investigación y Desarrollo de la Educación, CIDE 22

23 Parece prudente ajustar el alcance del objetivo inicialmente propuesto, a partir de una retroalimentación y rediseño de las unidades pedagógicas por parte de los profesores capacitados, con la asesoría de los relatores pertinentes, tanto desde la perspectiva técnica de la planificación, como desde el apoyo para la generación de condiciones para la implementación, lo que implica desarrollo de procesos de flexibilización y cambios. 2.- Del impacto en los alumnos Impacto en el interés por el subsector En general los alumnos señalan desconocer que el profesor participó de esta capacitación, con algunas excepciones. Los alumnos, en general, manifiestan interés por el subsector a cargo del profesor capacitado, evidenciando tener además una opinión positiva del profesor, sin aludir su participación en los cursos de capacitación MIM. Respecto de la evolución del interés en el subsector, comparativamente año , se detecta que no experimenta cambios sustanciales, aunque existirían diferencias importantes a nivel intra y entre cursos. El curso que más incrementa su interés es el de la profesora Ana María Caneo (Módulo Central Básica 3 enero), en tanto el curso que más disminuye su interés es el de la profesora Claudia Venegas (Robótica). Es preciso señalar que no existen fundamentos para atribuir estas diferencias en el interés al programa de capacitación, pues en el caso de los cursos Cobre y Módulo Central Básica 3 enero, los cursos de ambos profesores en seguimiento incrementan su interés por el subsector, sin embargo, para los demás profesores no se observa en sus alumnos sistematicidad en el incremento del interés, pues mientras sube en un curso, baja en el otro, para profesores capacitados en un mismo taller. Además, existe una multiplicidad de otros factores que pueden afectar el movimiento en el interés por el subsector, y tales factores no han sido controlados Impacto en el aprendizaje de los alumnos Otro de los objetivos del programa de capacitación es que al menos un 80% de los alumnos pertenecientes a los cursos de los profesores capacitados mejoren sus calificaciones en Ciencia y Tecnología, con respecto a las calificaciones obtenidas antes de la capacitación. A partir del análisis de calificaciones para la muestra de alumnos de la región metropolitana, no es posible augurar que dicho objetivo esté en camino de ser logrado. Un directivo de establecimiento señala notar cambios en la actitud de los alumnos, más que en el rendimiento propiamente tal, y de positivos cambios metodológicos en el profesor, sin embargo, se diluye la apreciación del cambio cuando habla específicamente del impacto Universidad Alberto Hurtado, Centro de Investigación y Desarrollo de la Educación, CIDE 23