Acreditación de carreras de pedagogía. Resumen del trabajo de investigación en el CEPPE

Transcripción

1 Acreditación de carreras de pedagogía Resumen del trabajo de investigación en el CEPPE Lorena Meckes Macarena Domínguez Ernesto San Martín Martín Bascopé Junio 2012

2 Instancias de aseguramiento de la calidad de la formación de profesores Hitos en el aseguramiento de la calidad de la formación de profesores Acreditación Prueba INICIA Proceso de formación Ingreso a al ejercicio profesional Selección Inicial - Los sistemas educativos con elevados resultados establecen altas consecuencias en estos hitos. Son selectivas al ingreso, tienen procesos de acreditación confiables y con altas consecuencias, ponen evaluaciones habilitantes antes del ingreso a la profesión.

3 La acreditación de las carreras de Pedagogía: Rigurosidad del proceso a la altura de un proceso de evaluación con altas consecuencias y utilizado para rendición de cuentas? Validez Confiabilidad y estandarización de procedimientos Sus resultados: son consistentes con otros indicadores de calidad de la formación de profesores (INICIA)?: Relación años de acreditación y resultados finales Relación años de acreditación y contribución de la carrera al logro de sus estudiantes.

4 Validez: Qué se evalúa? Se (doble) codificaron 39 acuerdos de acreditación de carreras de Pedagogía Básica vigentes en Julio del Referencias de los acuerdos de acreditación a los criterios e indicadores considerados indispensables: cobertura desigual, predominan condiciones de operación no todos los criterios e indicadores requieren estar aprobados para recibir acreditación Porcentaje promedio de Criterios (11) e Indicadores (57) cubiertos en los acuerdos de acreditación de las carreras de Pedagogía Básica Fuente: Dominguez, Bascopé, Lorca, Pozo,(2012) Procesos de acreditación de pedagogías: un estudio del quehacer de las agencias. Financiado por el CNED. En prensa

5 Neutralidad o sesgos en selección agenciainstitución? - 90% de las carreras con 3 sedes o más acreditadas por las agencias 3 y 4-76% de las universidades privadas y 82% de los I.P. acreditados por la agencia 3 y % de las instituciones no selectivas acreditadas con las agencias 3 y % de los acuerdos de la agencia 5 con universidades selectivas - 79% de las carreas pertenecientes a facultades con baja matrícula acreditadas por las agencias 3 y 4 - Agencias 1, 2 y 6: sobre el 85% de sus acuerdos realizados con universidades CRUCH. Fuente: Dominguez, Bascopé, Lorca, Pozo, Carrillo, Olave (2012) Procesos de acreditación de pedagogías: un estudio del quehacer de las agencias. Financiado por el CNED y CIE 01, en prensa

6 Procedimientos estandarizados o discrecionales? Revisión documental: Contradicción respecto de la cantidad mínima de años de acreditación 1 ó 2 años? Se establecen capacitaciones obligatorias, pero no se menciona explícitamente su contenido ni su frecuencia. No aparece información acerca de cómo realizar la visita a la unidad en el caso que haya distintas sedes. El documento «Operacionalización criterios de evaluación en procesos de acreditación» solo define tramos de años de acreditación para una carrera: 1 a 3, 4 a 5, 6 a 7. No existe ningún documento que permita valorar o ponderar cuál de las dimensiones o criterios de evaluación tiene un mayor peso en la decisión de acreditación. No es claro el procedimiento después del tercer veto de los pares evaluadores. No existe una explicación acerca de cómo el Consejo de Educación debe considerar los antecedentes para la acreditación. (Dominguez, Bascopé, Carrillo y Olave, en prensa) VER DOCUMENTOS OFICIALES REVISADOS

7 Procedimientos estandarizados o discrecionales? Entrevistas a profesionales de las agencias y pares evaluadores (Dominguez, Bascopé, Carrillo y Olave, En prensa): Muestra de entrevistas: Agencia / Cargo Profesional Par Evaluador Agencia Agencia Agencia Agencia Total 4 15 Baja exigencia de los tramos (niveles de logro) descritos en la rúbrica del documento Operacionalización criterios de evaluación en procesos de acreditación : En palabras de un alto ejecutivo de la agencia 3: «el máximo de años es lo mínimo que se le puede exigir a una institución" (E.11) No existe acuerdo entre las agencias sobre la importancia o jerarquía de los criterios: Algunos mencionan la importancia de una dimensión específica y en otras agencias se consideran todas por igual.

8 Procedimientos estandarizados o discrecionales? Entrevistas a profesionales de las agencias y pares evaluadores. Diferencias en la selección de las sedes a visitar Acreditación multi-sede Bueno, la acreditación es una sola. Nos fijamos que sean más o menos de la misma calidad ( ) que sean parecidas, que haya un intercambio, un control, pero que no sea un gallinero una y un palacete otra (E. 15). Agencia 6. Métodos de selección de los pares evaluadores: Se solicita un «perfil» de par evaluador a la carrea (Agencias 3 y 5) Se genera un listado para que la carrera elija y en caso de rechazo se le solicita a la carrera que proponga 5 posibles pares (Agencia 6)

9 Acreditación-INICIA Preguntas Son consistentes los dos indicadores de calidad disponibles? Producen mejores resultados de egreso aquellas carreras con mejor calificación en su acreditación? Son neutrales las agencias en este proceso o juegan algún rol?

10 A simple vista los resultados no concuerdan Fuente: CEPPE elaboración propia Fuente: CEPPE elaboración propia

11 Comparación Acreditación y resultados INICIA Se observaron carreras de Pedagogía Básica de Universidades tradicionales, privadas e Institutos profesionales. Se seleccionaron aquellas en las que más de un cuarto de sus egresados rindió la prueba INICIA. Representatividad de la muestra. Año 2009: información sobre el 54% (N=24) de las carreras de pedagogía básica con un total de 1074 alumnos que corresponden a cerca del 48% de los egresados de estos programas. Año 2010: información sobre el 57% (N=26) de las carreras de pedagogía básica del país con un total de 1098 alumnos que corresponde al 52% de los egresados de las instituciones muestreadas.

12 Variación del promedio de puntajes 60% 50% 40% 30% por años de acreditación Prueba INICIA de conocimientos disciplinarios % 45% 57% - Las carreras con 3 años de acreditación mostraron mejores resultados, en promedio, en el dominio de sus egresados en las disciplinas que enseñarán, que las que tienen 4 ó 5 años de acreditación. - No hay diferencias significativas entre las carreras no acreditadas y las acreditadas por 2 años. - No necesariamente egresan alumnos con mejores resultados en sus pruebas finales de carreras con más años de acreditación (esta situación se mantiene en las pruebas del año 2010), tanto para conocimientos disciplinarios como pedagógicos. 51% 53% % logro Prueba de conocimientos disciplinarios 2009 Fuente: CEPPE elaboración propia No acreditadas 2 años 3 años 4 años 5 años

13 Resultados finales v/s proceso de formación La acreditación actualmente evalúa el proceso de formación y no sus resultados. Si la acreditación sólo considera procesos y no los resultados de sus egresados, entonces las diferencias observadas podrían ser esperables. Qué pasa si comparamos carreras con estudiantes de rendimiento PSU similar? Igualadas las condiciones iniciales, los resultados de los egresados se debieran encontrar más relacionados con el proceso formativo.

14 Valor agregado y años de acreditación de la carrera - Las carreras con resultados sobre lo predicho por la PSU no tienen mas años de acreditación - No se distinguen agencias que tengan el comportamiento esperado Fuente: Dominguez, Bascopé, Meckes, San Martín (2012) Producen mejores resultados las carreras de pedagogía básica con más años de acreditación?, En Prensa

15 Resultado controlando por las condiciones iniciales de los estudiantes 60% 50% 40% 30% Puntaje en las pruebas INICIA 2010 de los egresados de carreras con puntaje PSU promedio entre 500 y 550 puntos 50% 57% 56% 54% Prueba de conocimientos disciplinarios % - Carreras con alumnos de desempeño inicial similares y con más años de acreditación, no necesariamente logran que sus alumnos obtengan mejores resultados en la prueba INICIA. Por ejemplo, para el mismo nivel de estudiantes, carreras con 5 años de acreditación logran resultados más bajos al egreso que carreras con 3 ó 4 años. 49% 52% 44% Prueba de conocimientos pedagógicos 2010 No acreditadas 3 años 4 años 5 años

16 - Grupo 1: instituciones inefectivas - Grupo 2: Instituciones neutras - Grupo 3: Instituciones efectivas Consistente con resultados de otro estudio (MIDE-UC). - La acreditación institucional se relaciona positivamente con carreras más efectivas a mayor rendimiento mayor promedio de años de acreditación. Fuente: Manzi et al 2011, FONIDE - La acreditación de pregrado no ordena sus carreras según el rendimiento. Fuente: Manzi et al 2011, FONIDE

17 Conclusiones Se analizaron 2 mediciones de calidad diferentes entre sí. La métrica de la acreditación (entre 0 y 7 años), no se correlaciona claramente con los resultados de los egresados de cada carrera. Métrica única en el mundo y compleja por la cantidad de posibles resultados No existe coherencia entre ambas mediciones y se reciben señales contradictorias : Posibles hipótesis: Debido a que el proceso de acreditación no es específico en temas relacionados con la formación de profesores. Debido a la ausencia de criterios normados y estandarizados para la definición de los años y resultados de la acreditación. Ambas mediciones son muy importantes para la regulación y para obtener información acerca del proceso de formación de profesores. La solución no es sustituir una por otra, lo que debe hacerse es perfeccionar ambas.

18 Cómo mejorar ambas medidas? Enriquecer lo que se evalúa en los exámenes de egreso. Mejorar los procesos de acreditación, que pueden estar explicando el comportamiento errático de la medida utilizada para acreditar a las carreras (de 0 a 7 años) : Estandarizar y supervisar sus procedimientos. Asignar aleatoriamente agencias a carreras. Evitar conflictos de interés. Considerar criterios específicos a la formación de profesores. Incluir criterios de resultados en la acreditación.

19 Criterios de proceso específicos La investigación contemporánea sobre acreditación de carreras de profesores señala algunas características que se esperaría de un programa de pedagogía básica, que podrían ser incorporadas a los criterios para la acreditación de las pedagogías: Relación y coherencia entre la malla curricular con estándares o competencias de egreso esperados para los futuros profesores; Integración entre disciplina y didáctica específica de la disciplina; Profunda y temprana integración de experiencias prácticas reales en el ámbito escolar. Calificación del cuerpo académico que considere su experiencia actual en aula y su vinculación con el mundo escolar; Coherencia de las formas de evaluación de los alumnos durante la formación y al egreso (acorde a los estándares nacionales).

20 Recomendaciones Normas y procedimientos estandarizados (en específico para carreras de pedagogía): La asignación de años. La redacción de los acuerdos de acreditación. La asignación de los pares evaluadores y constitución de la visita técnica a la institución formadora. Los casos de las carreras con muchas sedes.

21 Muchas gracias

22 Criterios de evaluación Dimensión Criterio Indicadores 1. Perfil del egresado y 1.1 Perfil profesional del educador 5 resultados 1.2 Estructura curricular Resultados del proceso de formación Efectividad del proceso de enseñanza aprendizaje Vinculación con el medio 1 2. Condiciones de operación 2.1 Estructura organizacional, administrativa y 11 financiera 2.2 Recursos humanos Infraestructura y recursos para el aprendizaje 2 3. Capacidad de 3.1 Propósitos 4 autorregulación 3.2 Integridad Autoevaluación 6 3 dimensiones 11 criterios 57 indicadores VOLVER

23 Documentos oficiales revisados 1) Ley (2006) 2) Normas y procedimientos acreditación de pregrado (2010) 3) Criterios de evaluación de carreras de educación (2009) 4) Resolución exenta (2007) 5) Operacionalización criterios de evaluación en procesos de acreditación (2010) 6) Sistema de supervisión y seguimiento agencias (2010) 7) Términos de referencia concurso público pares evaluadores (s.f.) 8) Manual de pares evaluadores (2008) 9) Manual para el desarrollo de procesos de autoevaluación Carreras y programas de pregrado (2008) 10) Criterios generales de evaluación para carreras profesionales (s.f.). VOLVER

24 Resultados para distintas muestras Tabla A10 Regresión múltiple: Logro en la Prueba de conocimientos disciplinarios 2010 (1) (2) (3) (4) (5) VARIABLES muestra_25% muestra_30% muestra_40% muestra_50% muestra_60% PSU *** *** *** *** *** ( ) ( ) ( ) ( ) ( ) Años de acreditación ** ( ) ( ) ( ) ( ) ( ) Constante ** ** ** ** ** (0.0571) (0.0624) (0.0624) (0.0730) (0.0723) Observaciones R-cuadrado Número de Agencias

25 Fuente: Dominguez, Bascopé, Meckes, San Martín (2012) Producen mejores resultados las carreras de pedagogía básica con más años de acreditación?, En Prensa VOLVE R

26 Fuente: Dominguez, Bascopé, Meckes, San Martín (2012) Producen mejores resultados las carreras de pedagogía básica con más años de acreditación?, En Prensa VOLVE R

27 Importancia del área de educación en la acreditación de pregrado 80% 70% Proporción de carreras ingresadas al sistema de acreditación del total de carreras vigentes % 60% 50% 40% 30% 20% 10% 10% 11% 24% 21% 13% 13% 21% 27% 13% 0% Fuente: elaboración propia, BD CNA Fuente: elaboración propia, BD CNA

28 Diferencias en los resultados por agencia Puntaje en la prueba INICIA de conocimientos disciplinarios 2010 según años de acreditación por agencia acreditadora Agencia 3 47% 46% 54% 62% 65% No acreditadas Agencia 2 Agencia 1 44% 50% 51% 52% 53% 51% 2 años 3 años 4 años 5 años 30% 40% 50% 60% 70% Fuente: CEPPE elaboración propia - Se muestran las 3 agencias vigentes, al año 2011, que han acreditado carreras de Pedagogía Básica. - Entre las carreras de 3 años o más no se encuentran diferencias significativas que muestren mejor rendimiento de los estudiantes egresados de carreras acreditadas por más años. Salvo en la Agencia 3, en donde se encuentran diferencias en el sentido contrario al esperado. - En general, en el año 2009 y 2010 no se pudo distinguir coherencia entre años de acreditación y resultados de los egresados, en ninguna agencia acreditadora.

29 Efectividad de las instituciones en la Prueba INICIA de Conocimientos Disciplinarios Fuente: Manzi et al 2011, FONIDE