Evaluación Diagnóstica Inicia Resultados Aplicación ió 2009
Antecedentes y Descripción de la Evaluación
Por qué es necesaria una evaluación de los egresados de la formación inicial de profesores? Docentes bien preparados son fundamentales para mejorar logros de aprendizaje. Instituciones requieren información sobre los resultados que están obteniendo para mejorar proceso formativo. Futuros docentes requieren información para potenciar sus fortalezas y compensar sus debilidades. La evaluación permite diagnosticar conocimientos y competencias fundamentales de los egresados, informando la toma de decisiones orientada a mejorar los procesos de formación inicial docente. La evaluación es un elemento fundamental para avanzar en el mejoramiento de la calidad de la educación. 3
Efecto del profesor en el aprendizaje de los alumnos Informe McKinsey, 2007. Desempeño del estudiante Percentil 100 Percentil 90 Percentil 50 Percentil 37 Percentil 0 8 años 11 años Un estudiante puede mejorar o caer en su percentil de desempeño, según la calidad el profesor que se le asigne, Sanders & Rivers (1996). 4
Evaluación y calidad de la formación, experiencia internacional La mayor parte de los países desarrollados cuentan con mecanismos de regulación de la formación docente o de certificación de sus egresados. Un importante número de países europeos, con una fuerte presencia del Estado en la educación superior, han implementado mecanismos de regulación del acceso a la formación docente y exigencias a las entidades formadoras (incluyendo en algunos casos la limitación de cupos para la formación docente). Aún más, algunos países emplean también exámenes para certificar a quienes se desempeñarán como docentes (por ejemplo: Francia, Inglaterra y España). Etd Estados Unidos, con su mayor diversidadid d en formación docente y la existencia de variedad de enfoques entre estados, ha optado preferentemente por la certificación docente, mediante exámenes de egreso (principalmente PRAXIS). 5
Programa Inicia: una propuesta nacional Antecedentes Programa Inicia Informe OCDE (2004). Informe Comisión de Formación Inicial (2005). Consejo Asesor Presidencial (2006). Estándares para la formación inicial docente. Evaluación diagnóstica. Línea de apoyo a instituciones formadoras. 6
Programa Inicia Propósito: Fortalecer una preparación profesional inicial que asegure que los docentes cuenten con las herramientas necesarias para apoyar el proceso formativo de sus alumnos y ofrecerles oportunidades de aprendizaje de calidad. Lograr una transformación profunda de las instituciones, currículos y prácticas, que permita avanzar en el mejoramiento de la calidad de la formación de profesores. Componentes: Orientaciones curriculares y Estándares disciplinarios y pedagógicos para la formación inicial docente; Evaluación Diagnóstica de conocimientos y competencias de egresados; Programa de apoyo a Instituciones formadoras. 7
Avances 2009 Se avanza en la consolidación de la evaluación luego de esta segunda aplicación: Instituciones i y egresados comprometidos con la evaluación: aumenta la participación de instituciones y de estudiantes. Seavanzaenlaconstrucción de los instrumentos con participación de las instituciones formadoras. 8
Evaluación Diagnóstica Inicia Objetivo: entregar información diagnóstica a las instituciones, que les permita orientar su procesos de mejoramiento de la formación inicial docente. Sistema de evaluación en construcción que evalúa conocimientos de las disciplinas a enseñar, conocimientos de educación, pedagogía y didáctica. Evalúa además competencias básicas: de comunicación escrita y habilidades de uso de las TICs*. Universo: la evaluación está dirigida a egresados de carreras de Pedagogía de todas las instituciones formadoras del país. Implementación paulatina: 2008 se evaluó a egresados de las carreras de Educación Básica. 2009 se integró a los egresados de las carreras de Educación Parvularia. Próximos años se integrará Educación Diferencial y Educación Media. Participación voluntaria de instituciones y egresados. * Tecnologías de la información y la comunicación. 9
Instrumentos aplicados el 2009 Aplicación de las pruebas a nivel nacional se realizó el día 12 de noviembre del 2009. Prueba de Conocimientos Disciplinarios*, generalista o mención: evalúa los conocimientos del egresado, correspondientes a las disciplinas que enseñará. Educación Básica Educación Básica con Mención Educación Parvularia Prueba de Conocimientos Pedagógicos: de carácter experimental, no entrega resultados. Prueba de Habilidades de Comunicación Escrita: se evalúan aspectos relacionados a la producción del texto t escrito, como estructura t del texto y vocabulario, y también aspectos vinculados a la calidad de la argumentación desarrollada. *Además se cuenta con un cuestionario complementario que arroja información cualitativa de los antecedentes académicos entre otros. 10
Prueba de conocimientos disciplinarios Relevancia: evidencia nacional e internacional indica que el dominio de conocimientos pedagógicos y disciplinares se asocian positivamente con medidas de aprendizaje de los estudiantes. Propósito de la prueba: evaluar los conocimientos del egresado, correspondientes a las disciplinas que enseñará. Responde a criterios definidos por el Marco para la Buena Enseñanza: dominio de los contenidos de las disciplinas que enseña yel Marco Curricular. Contenidos abordados: los que permiten enseñar los CMO 1 y cumplir los OFV 2 que señala el Marco Curricular Nacional de Enseñanza Básica y las Bases Curriculares de Educación de Párvulos (respectivamente). Los contenidos evaluados disponibles en Temarios publicados en el sitio web de Inicia. i 1 Contenidos Mínimos Obligatorios; 2 Objetivos Fundamentales Verticales. 11
Prueba de habilidades de comunicación escrita Relevancia: la habilidad de comunicación escrita es considerada una competencia fundamental para el quehacer del futuro docente: Influye en una eficaz comunicación con sus estudiantes, apoderados y otros profesores; Profesor es un importante modelo de comunicación para suss estudiantes. Propósito: acceder tanto a las habilidades de comunicación escrita del evaluado, como a su capacidad de argumentación. Dimensiones evaluadas: se evalúan aspectos relacionados a la producción del texto escrito, como estructura del texto y vocabulario, y también aspectos vinculados a la calidad de la argumentación desarrollada. 12
Desarrollo de instrumentos 2009 Prueba de conocimientos pedagógicos Educación Básica: Primera aplicación experimental en población de estudiantes inscritos de carreras de Pedagogía en Educación Básica. Involucramiento de instituciones formadoras en el proceso de construcción: o Se incorporaron los comentarios que las Instituciones formadoras hicieron acerca de la tabla de especificaciones de la prueba; o Se recibió e integró en la prueba preguntas elaboradas por académicos de las facultades. Prueba de habilidades básicas TICs* en ambiente pedagógico: Evalúa competencias para el uso de tecnologías de la información y la comunicación (uso del computador, correo electrónico, internet) en contextos relevantes para el quehacer del futuro profesor. * Tecnologías de la información y la comunicación. 13
Pruebas a desarrollar y aplicar a partir del 2010 Aplicación de la Prueba de habilidades TICs en ambiente pedagógico, para estudiantes egresados o en proceso de egreso de Pedagogía en Educación Básica y Educación Parvularia. Prueba de conocimientos pedagógicos: g Aplicación con carácter definitivo a estudiantes de Pedagogía en Educación Básica. Desarrollo y aplicación experimental a estudiantes de Educación Parvularia. Desarrollo y aplicación experimental a una muestra de Profesionales No Docentes. Se complementará el desarrollo de Pruebas de conocimientos disciplinarios de Educación Básica, para adaptarlas a las Orientaciones Curriculares y los Estándares de Formación y aplicarlas en alineación con los estándares cuando éstos entren en vigencia. 14
Participación en la Evaluación: Inscripción y Asistencia
Inscripción según tipo de institución: Total Nacional CRUCH 1 UP 2 IP 3 Total Total de Instituciones Se inscriben en Inicia 2009 Porcentaje de inscripción 20 28 9 57 18 19 6 43 90% 68% 67% 75% Un 75% de las instituciones que dictan pedagogía se inscriben para rendir la Evaluación Diagnóstica Inicia. 1 Consejo de Rectores; 2 Universidades Privadas; 3 Institutos Profesionales. 16
Inscripción según tipo de institución: Total Nacional 30 25 20 15 90% 68% 10 5 0 67% CRUCH U PRIV I PROF No inscritas en Inicia 2009 Inscritas en Inicia 2009 Mayor participación institucional en el grupo de instituciones pertenecientes al Consejo de Rectores. 17 CRUCH: Consejo de Rectores; U Priv: Universidades Privadas; I Prof: Institutos Profesionales.
Asistencia 2009 43 instituciones se inscriben para participar de la evaluación. 99 sedes, desde Arica a Punta Arenas. 4.527 inscritos. 3.224 evaluados. Asistencia promedio de 71%: Egresados de Pedagogía en Educación Básica: 70% de asistencia, Egresados de Pedagogía en Educación Parvularia: 73% de asistencia. 18
Asistencia por institución: asistencia sobre el 80%. Institución Nº Inscritos Nº Evaluados Porcentaje de asistencia Universidad de Chile 21 21 100% UniversidadAlberto Hurtado 16 16 100% Instituto Profesional Alemán Wilhelm Von Humboldt 7 7 100% Universidad San Sebastián 116 112 97% Universidad Mayor 33 31 94% Universidad de Aconcagua 63 59 94% Universidad de Atacama 50 46 92% Universidad de Los Andes 50 46 92% Universidad Finis Terrae 12 11 92% Universidad de Concepción 68 62 91% Universidad Autónoma de Chile 165 150 91% Universidad Diego Portales 53 48 91% Universidad de Los Lagos 74 67 91% Instituto Profesional Libertador de Los Andes 52 47 90% Universidad Católica del Maule 168 150 89% Universidad dddl del Bío Bío í 89 77 87% Universidad Católica de la Santísima Concepción 110 93 85% Universidad Andrés Bello 151 127 84% Instituto Profesional Hogar Catequístico 6 5 83% Universidad Católica Cardenal Raúl Silva Henríquez 88 73 83% Universidad de La Serena 69 56 81% Universidad del Pacífico 83 67 81% 19
Asistencia por institución: asistencia inferior al 80%. Institución Nº Inscritos Nº Evaluados Porcentaje de asistencia Universidad de Tarapacá 82 65 79% Universidad Central de Chile 125 98 78% Universidad de Magallanes 35 27 77% Universidad Metropolitana de Ciencias de la Educación 162 122 75% Universidad de Antofagasta 69 51 74% Instituto Profesional Providencia 172 126 73% Universidad de Viña del Mar 117 84 72% Universidad Santo Tomás 295 211 72% Instituto Profesional de Chile 211 150 71% Universidad del Mar 372 258 69% Universidad de Playa Ancha de Ciencias de la Educación 137 92 67% Universidad de Ciencias de la Informática 92 57 62% Instituto Profesional Los Leones 36 20 56% Universidad Arturo Prat 504 266 53% Universidad Bernardo O'Higgins 56 27 48% Universidad de Las Américas 83 39 47% Pontificia Universidad Católica de Chile 209 97 46% Universidad de Valparaíso 40 17 43% Pontificia Universidad Católica de Valparaíso 82 34 41% UniversidadCatólicade de Temuco 73 9 12% Universidad Academia de Humanismo Cristiano 31 3 10% 20
Asistencia: Comparación 2008-2009 Año N IES N Inscritos N Evaluados % de Evaluados* 2008 (sólo EB) 2009 (sólo EB) 39 3006 1994 66% 41 3047 2146 70% * Porcentaje de evaluados respecto de los inscritos. Aumento en la participación: mayor número de instituciones inscritas, mayor número de estudiantes inscritos y aumentó en el número y porcentaje de evaluados respecto de los inscritos. IES: Instituciones de Educación Superior. EB: Educación Básica. 21
Consideraciones acerca de la participación La asistencia es un factor relevante a considerar cuando se extraen conclusiones acerca de los resultados: Cuando la asistencia es parcial, los resultados expuestos pueden no ser representativos de los estudiantes inscritos por la institución. El efecto de la inasistencia en la representatividad es más severo cuánto más pequeño esel número de evaluados. La representatividad de los resultados también está determinado por la inscripción: Los resultados pueden no resultar representativos de la institución cuando el conjunto de inscritos no comprende el 100% de los estudiantes de la misma (por ejemplo, cuando no se inscribe una sede o algún programa específico). 22
Nº de evaluados según prueba disciplinaria i i Generalista Especialidad De los evaluados de Pedagogía en Educación Básica: un 87% rinde la prueba de profesor Generalista; el 13% corresponden a egresados que rinden prueba de especialidad. 23
Características de los estudiantes evaluados 24
Características de los evaluados Aspecto Evaluados Edad promedio 25 años % de mujeres 91% % de la RM 36% % programa diurno 87% % programa presencial 100% Año promedio ingreso a la carrera 2005 Puntaje promedio PSU o PAA 485 Promedio notas durante la carrera 5,6 Fuente: información entregada por las instituciones inscritas. 25
Reporte de los evaluados: características de los programas cursados Un 71% de los evaluados de Pedagogía en Educación Básica cursa una carrera en modalidad diurna, mientras el 29% restante cursa una carrera vespertina. El porcentaje de los evaluados de Pedagogía en Educación Parvularia que cursa una carrera diurna es de 68%. El 83% asiste a clases sólo en días hábiles. Un 14% de los evaluados asiste a carreras cuyas clases son días hábiles y fines de semana. Un 3% asiste a carreras con clases exclusivas los fines de semana. 26
Nivel educacional de los padres 60% 50% 40% 30% 20% 53% 10% 0% 21% 14% 11% Sin estudios hasta básica completa Media completa o incompleta Educación Técnico Superior o Universitaria incompleta Universitaria completa o postgrado Padre Madre Fuente: auto reporte de evaluados en cuestionario aplicado. Al igual que para la muestra de evaluados 2008, es posible constatar que más del 70% de los examinados son la primera generación de su familia que realiza estudios superiores. 27
Dependencia establecimiento de egreso de la Educación Media 50% 45% 40% 35% 30% 25% 20% 15% 10% 5% 0% 47% 42% 11% Municip P Subv P Pagado Fuente: auto reporte de evaluados en cuestionario i aplicado. La mayoría de los evaluados egresó de establecimientos educacionales municipales o particulares subvencionados. 28
Resultados Prueba de conocimientos disciplinarios 29
Prueba de conocimientos disciplinarios Evalúa los conocimientos del egresado, correspondientes a las disciplinas que enseñará. Cada prueba está compuesta de 40 a 44 preguntas cerradas de opción múltiple (varía según disciplina). Cada prueba permite obtener un puntaje que es transformado en Porcentaje de Logro, el cual es el porcentaje de respuestas correctas alcanzado en la prueba. Cada prueba tiene entonces un rango posible de logro entre 0% y 100%. 30
Porcentaje de respuestas correctas Prueba de conocimientos i disciplinarios i i Promedio Porcentaje Prueba N Evaluados de Respuestas Correctas* Educación Parvularia 1075 49% E Básica, Generalista 1708 53% E Básica, Lenguaje 153 43% E Básica, Mt Matemática 177 33% E Básica, Naturaleza 48 47% E Básica, Sociedad 38 43% Nota: los resultados de las diferentes pruebas no son comparables entre sí, pues el nivel de dificultad de las pruebas no es necesariamente equivalente. 31
Distribución de porcentajes de logro: Resultados institucionales Prueba Generalista 7 6 5 4 3 2 1 0 Instituciones sobre 10 inscritos y 70% de asistencia (N=22) * 6 5 5 3 2 1 0 0 *Instituciones con más de 10 evaluados y con un porcentaje de asistencia superior al 70%. Considerable variabilidad de resultados en la Prueba Generalista. Mientras algunas instituciones obtienen un promedio de 66% de logro, otras sólo alcanzan el 43% de logro. Advertencia: en el eje horizontal se señalan sólo los rangos obtenidos en la Prueba. 32
Distribución de porcentajes de logro: Resultados institucionales Prueba Generalista Rango de respuestas correctas Total Instituciones* 0% - 40% 0 41% - 50% 8 51% - 60% 8 61% - 70% 6 71% - 100% 0 * Instituciones con más de 10 evaluados y con un porcentaje de asistencia superior al 70%. Variabilidad de resultados en la Prueba Generalista: importante variabilidad de resultados. Mientras algunas instituciones obtienen un promedio de 66% de logro, otras sólo alcanzan el 43% de logro. 33
Distribución de porcentajes de logro: Resultados institucionales Prueba Educación Matemática Rango de respuestas correctas Total Instituciones* 0-20% 0 21% - 25% 1 26% - 30% 2 31% - 35% 0 36% - 40% 0 41% - 45% 1 46% - 100% 0 * Instituciones con más de 10 evaluados y con un porcentaje de asistencia superior al 70%. Una institución logra resultados sobre 40% de respuestas correctas, mientras que otra institución alcanza menos de un 25% de respuestas correctas. 34
Distribución de porcentajes de logro: Prueba Educación Parvularia La variabilidad de los resultados en la prueba de Educación Parvularia es levemente menor. 35
Porcentajes de logro según eje: Prueba de Educación Parvularia 60% 50% 40% 30% 20% 10% 0% Comunicación Relación con el medio Formación Personal y Social Conocimiento BCEP 36
Porcentajes de logro según área: Prueba Generalista 60% 50% 40% 30% 20% 10% 0% Comprensión del Medio Matemáticas Lenguaje 37
Resultados Prueba de Habilidades de Comunicación Escrita 38
Prueba de habilidades de comunicación ió escrita Se presentan dos opiniones o y temas de interés general, e que no suponen conocimientos específicos para poder opinar sobre ellos. El evaluado escoge uno de ellos y elabora un ensayo de dos páginas, argumentando su propia postura respecto de la opinión escogida. Las preguntas son evaluadas con doble corrección por expertos. Cada ensayo es evaluado según una rúbrica que permite asignar un puntaje de 100 a 500 para cada una de las dimensiones a evaluar: Ortografía; Vocabulario; Estructura global del texto; Cohesión textual; Uso adecuado de párrafos; Presencia de una tesis; Calidad de la argumentación; Uso de contraargumentos; Calidad global del texto. 39
Resultados prueba de habilidad de comunicación escrita Puntaje 2008 Puntaje 2009 Promedio 324 305 Desviación ió Estándar Etá 40 38 Mínimo 194 144 Máximo 428 422 Puntaje promedio alcanzado, corresponde a Desempeño aceptable. Puntajes resultan levemente más bajos que los puntajes del 2008. 40
Distribución de puntajes individuales: Prueba de habilidad de comunicación escrita 60% 300 puntos desempeño aceptable je de evaluad dos Porcenta 50% 40% 30% 20% 10% 0% 1% 44% 54% 1% Puntaje obtenido 100 puntos Desempeño deficiente. 200 puntos Desempeño con algunas limitaciones. 300 puntos Desempeño aceptable. 400 puntos Buen desempeño. 500 puntos Desempeño sobresaliente, demuestra excelencia más allá de lo esperado. 41
Resultados según aspectos evaluados Aspecto Porcentaje de evaluados con desempeño aceptable o superior. Calidad Global Tesis Argumento Contraargumento Estructura Párrafo Cohesión Ortografía Vocabulario 17% 96% 95% 15% 100% 93% 77% 11% 6% 0% 20% 40% 60% 80% 100% 120% El cuadro permite observar qué porcentaje de cada uno de los aspectos evaluados en la Prueba de comunicación escrita alcanza un desempeño aceptable o superior. 42
Puntaje promedio según aspecto evaluado 500,0 450,0 100% 95% 96% 400,0 350,0 Puntaje obte enido 300,0 250,0 200,0 150,0 100,0 11% 6% 77% 93% 15% 17% 50,0 0,0 ORT VOC EST COH PAR ARG TES CONTR C_GLOB EVGLOB Dimensiones evaluadas % Porcentaje de evaluados con desempeño igual o superior a aceptable. 43
Resultados Según características académicas de los evaluados. 44
Resultados en Prueba Disciplinaria Generalista, según notas de los egresados Promedio Ponderado Acumulado Porcentaje de Logro 40 4,0 49 4,9 45% 5,0 5,9 53% 6,0 7,0 63% Los resultados de esta prueba están directamente relacionados con el promedio ponderado acumulado de los examinados. 45
Resultados en Prueba Disciplinaria Ed. Parvularia, según notas de los egresados Promedio Ponderado d Porcentaje Acumulado de Logro 4,0 4,9 41% 5,0 5,9 49% 6,0 7,0 55% Al igual que en el caso de los estudiantes de Básica Generalista, los resultados en esta prueba están directamente relacionados con el promedio ponderado d acumulado de los examinados. En conclusión, los estudiantes que logran los mejores puntajes en la prueba de conocimientos disciplinarios son aquellos que registran mejores notas durante su carrera. 46
Prueba de Selección Universitaria y Porcentaje de respuestas correctas en pruebas disciplinarias Inicia. 47
Resultados por prueba según rango de puntaje PSU de ingreso a la institución. Rango PSU Logro Prueba Generalista Logro Prueba E. Parvularia Puntaje Prueba comunicación escrita < 450 47% 47% 298 450 499 53% 50% 304 500 549 58% 53% 310 550 69% 58% 327 Mayoría de las instituciones tiene estudiantes cuyo promedio en la PSU es inferior a 450 puntos. 48
Correlación entre prueba conocimientos disciplinarios y PSU promedio de la institución Po alista ectas Genera puestas corre rcentaje resp Puntaje PSU Elevada correlación positiva entre puntajes: las instituciones que reciben estudiantes de bajos puntajes PSU, tienden a mostrar bajos resultados en su promedio de logro en la prueba de conocimientos. 49
Prueba disciplinaria a de Educación Parvularia: ejemplo de pregunta 80% de los evaluados respondió correctamente Lea la siguiente i situación: ió Una educadora decide que cada día destinará diez minutos del primer período de trabajo a juegos como: Tengo un barco cargado con palabras que empiezan con la letra Cuál de las siguientes habilidades lingüísticas se favorece directamente a través de la estrategia pedagógica g descrita en la situación anterior? A. Conciencia semántica. B. Conciencia alfabética. C. Conciencia sintáctica. D. Conciencia fonológica. E. Conciencia auditiva. 50
Prueba disciplinaria de Educación Parvularia: ejemplo de pregunta 57% de los evaluados respondió correctamente Una educadora muestra a su grupo de niños el rocío del amanecer que se acumuló sobre una tela de araña. Qué proceso es posible ejemplificar con esta experiencia? A. Vaporización. B. Condensación. C. Fusión. D. Sublimación. E. Evaporación. 51
Prueba disciplinaria de Educación Básica Generalista: ejemplo de pregunta 36% de los evaluados respondió correctamente Cuál de las siguientes opciones presenta una ventaja de la reproducción sexual sobre la asexual? A. La reproducción sexual permite generar un mayor número de descendientes. B. La reproducción sexual posibilita que la descendencia sean machos o hembras. C. La reproducción sexual permite mayor variabilidad entre los individuos descendientes. D. La reproducción sexual permite que la descendencia reciba el cuidado de sus progenitores. E. La reproducción sexual permite que la descendencia obtenga las mejores características de los progenitores. 52
Prueba disciplinaria de Educación Básica Generalista: ejemplo de pregunta 38% de los evaluados respondió correctamente Un equipo compitió en una carrera de relevo. Si cada miembro del equipo corrió ¼ de la distancia, y la carrera completa eran 8 / 9 km, qué distancia aproximada corrió cada miembro del equipo? A. 1 000 m. B. 778 m. C. 636 m. D. 277 m. E. 222 m. 53
Desafíos Continuar con desarrollo de instrumentos coherentes con los estándares. Introducir comparabilidad de los resultados entre años, a medida que se incorporen los estándares y se consolide la evaluación. Definir un marco de participación que permita la comparabilidad y asegure la representatividad de los resultados. 54
Conclusiones 55
Resultados no son buenos En Matemática, el promedio de respuestas correctas es 33%. La entidad con los resultados más bajos obtiene apenas un 21% de respuestas correctas. 56
Diversidad de los resultados Se aprecia variabilidad en los resultados de los egresados. En la prueba de conocimientos generalistas, el promedio de respuestas correctas por institución de educación superior varió entre 76 y 41%, siendo el promedio de todos los egresados un 53% de respuestas correctas.
Requerimos mejorar la formación docente Es importante fomentar un esfuerzo mucho mayor por parte de las instituciones formadoras de profesores para mejorar los aprendizajes de sus alumnos. 58
Cultura de la Evaluación Esta prueba permite avanzar hacia la instalación de una Cultura de la Evaluación que da cuenta de los aprendizajes logrados, lo que permite trasparentar resultados y estar conscientes de las mejoras que el sistema debe realizar.
Evaluación Diagnóstica Inicia 2009 Fin de la presentación 60