ANEXO 1. Términos de Referencia para la Evaluación de la Cooperación CSUCA InWEnt (Proyecto )

Transcripción

1 ANEXO 1 Términos de Referencia para la Evaluación de la Cooperación CSUCA InWEnt (Proyecto )

2 2 TERMINOS DE REFERENCIA PARA LA EVALUACIÓN DE LA COOPERACIÓN CSUCA InWEnt (Proyecto ) Febrero 2004 En la actualidad se desarrollan simultáneamente dos procesos de evaluación: uno referido a los objetivos del SICEVAES y otro a los objetivos de la cooperación alemana, principal pero no exclusivamente InWEnt. La evaluación del SICEVAES será un insumo valioso para la evaluación de la cooperación alemana, toda vez que parte de las actividades del SICEVAES han sido desarrolladas en el marco de dicha cooperación. SICEVAES (1997 ) CAMINA Foros Capacitación Estándares CCA InWEnt (1999 adelante) Sin embargo, ambos procesos no son coincidentes. Gráficamente, pueden representarse como sigue: Como puede apreciarse, si bien tienen cierta independencia, ambos procesos son también complementarios. Esto significa que parte de la evaluación del SICEVAES será un insumo significativo para la evaluación de la cooperación alemana, y viceversa, como se verá a continuación. A partir de los objetivos definidos para la cooperación alemana, los evaluadores deberán analizar las actividades realizadas y emitir su opinión acerca de su efectividad, tomando en consideración el nivel y calidad de participación alcanzado, la calidad del aprendizaje de los participantes, el impacto del programa, la eficiencia en el uso de los recursos y la sustentabilidad de las acciones desarrolladas. Informe cooperación CSUCA-InWEnt (CSUCA-Coop. Alemana) Otra cooperación alemana (GTZ, DAAD) Informe SICEVAES

3 3 Para llevar a cabo la evaluación, deberán realizar las siguientes actividades: 1. Analizar la información de base, considerando las cartas de intención suscritas entre InWEnt y el CSUCA, los convenios establecidos y cualquier otra documentación que tanto CSUCA como InWEnt consideren pertinente y hacer llegar a los evaluadores antes del 10 de febrero de Esta información de base constituirá el marco de referencia para la evaluación y permitirá definir los objetivos en función de los cuales se analizarán las acciones del programa. 2. Analizar hasta el 25 de abril de 2004 los documentos pertinentes e informes de autoevaluación elaborados por las UTAs como parte de la evaluación del SICEVAES, así como los informes de síntesis elaborados por el Comité Técnico de Evaluación y los informes nacionales preparados para la evaluación. 3. Efectuar entrevistas en profundidad a los principales actores: miembros del CSUCA, del CCR, del CTE, del CCA; representantes de las agencias de aseguramiento de la calidad existentes, a nivel nacional o regional; representantes de gobierno en los distintos países; representantes de la cooperación alemana (al menos InWEnt y GTZ). 4. Efectuar visitas a instituciones en los diversos países. Para ello, sobre la base del análisis de los informes mencionados en el punto 2, se elaborará una pauta de visita, y cada uno de los evaluadores visitará dos países, con la compañía de representantes del CTE designados por el CSUCA. 5. Preparar y participar en el seminario taller que se realizará en el mes de mayo de 2004 en Belice. 6. Elaborar un informe de evaluación que será enviado a la División de Educación de InWEnt y la Dirección de CSUCA para sus observaciones. Después se elaborará el informe final. RESULTADOS ESPERADOS. Un informe final que describa y analice los resultados obtenidos a través de las actividades señaladas, enfatizando los aspectos de la efectividad, calidad de la participación y el aprendizaje, impacto, eficiencia y sustentabilidad de los resultados del programa de cooperación alemana. A continuación se señalan los objetivos destacados por InWEnt, indicando las fuentes de información e indicadores para cada uno de ellos. Se trata de una aproximación inicial que puede verse modificada una vez que se analicen la traducción del proyecto entregado al Ministerio Alemán de Cooperación Económica y del Desarrollo y de las cartas de intención y se definan con mayor claridad los objetivos de la cooperación alemana.

4 4 Objetivos/Resultados Fuentes de información Objetivos Resultados esperados Informes Documentos Entrevistas Visitas Objetivo general Sistema de evaluación y acreditación establecido - Se estableció de forma permanente un sistema de evaluación y acreditación, tomando en cuenta a grupos interesados extra-universitarios - Se han iniciado procesos para el mejoramiento de la relevancia de las carreras universitarias. Informes de los talleres CCR/CTE y UTAs/CTE En mayo y septiembre 2003 Documentaciones de los talleres. Informe del CSUCA al RIAES. SP de CSUCA División de Educación de InWEnt Miembros universitarios de diferentes niveles Grupos interesados extrauniversitarios Coordinadores de Carreras evaluadas, Decanos, Estudiantes Resultado I Diseño y aplicación de estándares - Se han elaborado estándares preparando la acreditación en cooperación con grupos interesados tomando en cuenta la relevancia de contenidos curriculares, -> especialmente en las áreas de medicina y en la educación de docentes de la educación primaria y secundaria. Documentaciones de Medicina I y II Estándares de medicina Informes sobre el proceso de cambio en la UPN Aplicación de estándares de medicina y las genéricas de la CTE en la Universidad Pedagógica de Honduras (UPN) y las Facultades de Educación UPN, Honduras UNED, Costa Rica Resultado II Conocimiento de distintos sistemas de AC y ajuste a la realidad CA - Los tomadores de decisiones conocen diferentes sistemas de aseguramiento de calidad al nivel internacional y pueden ajustarlos para su región. - Existe un concepto para la creación de un sistema de acreditación internacionalmente reconocido. Contenidos Foros I, II, III y IV Participantes de Foros, Comisión Pro témpore del CCA, sobre concepto de AC Rectores del CSUCA Otros actores

5 5 Objetivos/Resultados Fuentes de información Objetivos Resultados esperados Informes Documentos Entrevistas Visitas Resultado III Académicos aplican métodos de gestión de la Calidad Profesionales de las direcciones de evaluación y planificación: aplican métodos participativos de la gestión de la calidad gestionan evaluaciones internas preparan eficientemente evaluaciones externas dominan y aplican métodos empíricos, como p. ej. estudios de graduados. Informes UTAs Informes pares evaluadores Definición de planes de mejoramiento Uso pares capacitados Guía para evaluadores externos Responsables de evaluación y planificación Responsables de evaluación y planificación Resultado IV Existencia de una red regional Existe y está trabajando una red regional para la gestión de la calidad universitaria usando entre otro medios electrónicos. Existencia de CCR, CTE, UTAs Informes Foros CCR, CTE Resultado V Fortalecimiento de la integración centroamericana Está fortalecida la integración centroamericana por medio de intercambios de experiencias por líderes de las sociedades civiles en temáticas relevantes para el desarrollo de sus respectivos países. Contenidos Foros I, II, III y IV Participantes de Foros Especialmente III y IV Resultado VI Intercambio con otras regiones - Existe un intercambio con otras regiones con situaciones semejantes. - Los resultados de los procesos son conocidos en Alemania, p. ej. en la HRK y la GTZ. Informes de CSUCA, HRK, DAAD y GTZ sobre cooperaciones Convenios con Alemania Documentaciones de Foros y Conferencias, Listas de participantes: expertos extraregionales Participantes de Foros y Conferencias (p.e. DIES III en Africa oriental), SP de CSUCA (INQAHEE) Exparticipantes y orgaisadores del curso UNISTAFF HRK, DAAD, Akkreditierungsrat, GTZ, BMZ

6 6 Objetivos/Resultados Fuentes de información Objetivos Resultados esperados Informes Documentos Entrevistas Visitas Calidad del aprendizaje de los participantes - Se aplicaron métodos adecuados para profesionales que facilitaron el skills development. - Era fácil aplicar los skills adquiridos en la práctica laboral. - La didáctica aplicada en los eventos de diálogo llevó a resultados concretos. Nómina de pares capacitados / Uso de esos pares Pares evaluadores Consulta a quienes recibieron visitas de evaluadores externos Selección de participantes - Los participantes e instituciones invitadas eran las idóneas respecto a las temáticas de los diferentes eventos. Criterios y características de participantes Sustentabilidad - Los skills adquiridos se aplicarán después de la salida del InWEnt. - Las instituciones creadas y/o fortalecidas se sustentarán. Asignación presupuestaria Definición de cargos Ubicación de las instancias de aseguramiento de la calidad en la estructura institucional Equipos mixtos, participación regional Plan Maestro CSUCA-DAAD, Convenio CSUCA- HRK Consulta acerca de la ubicación de la función de aseguramiento de la calidad en la estructura institucional (asignación de recursos, personal, etc.) Efecto multiplicador - Se multiplicaron los conocimientos y skills adquiridos. - Se realizaron cambios estructurales en instituciones y en los sistemas de educación superior de la región. Parte de los informes institucionales y nacionales de la autoevalución SIVCEVAES Documentaciones de réplicas locales y nacionales; Publicaciones; Contratación por el BID y otros organismos de la gente capacitada Coordinadores de replicas; Miembros de la CTE, SP de CSUCA Coordinadores de carreras, decanos, estudiantes

7 7 Objetivos/Resultados Fuentes de información Objetivos Resultados esperados Informes Documentos Entrevistas Visitas Eficiencia - Los recursos se han usado eficientemente. - Las contrapartes locales y regionales han contribuido sustancialmente. (Interesan también insumos no monetarios y no formalmente presupuestados.) - La colaboración entre InWEnt, CSUCA, las universidades y los otros grupos interesados era organizada eficientemente. Relación entre recursos de InWEnt y CSUCA y sus universidades y recursos de terceros InWEnt, SP de CSUCA, GTZ Innovación Se desarrollaron metodologías y estructuras innovadoras al nivel internacional. Capacitación a nivel regional Metodología para entrenamiento de pares evaluadores Evaluación 2 nivel Documentos de Planificación: Conexión de los diferentes líneas de trabajo Presidencia del INQAHEE, Red Iberoamericana

8 8 TIEMPOS PREVISTOS Los días señalados son para cada uno de los evaluadores, salvo cuando se indica expresamente que hay días asignados especialmente a alguno de ellos. 1. Lectura de informes y documentación 3 días 2. Entrevistas a informantes claves todos: Entrevistas solo por Carlos Tünnermann 1 día 3 días (CT) 3. Visitas a países dos días por país, dos países por evaluador participan en las visitas un evaluador y un miembro CTE Las visitas contemplan Agencias cuando corresponde, representantes de gobierno, Colegios e Instituciones de ES (UTAs, autoridades, pares, estudiantes) 4 días 2 días de viaje 4. Reuniones pares evaluadores 1 día antes del taller 1 día al término de las visitas 2 días durante el proyecto (reuniones reales o virtuales) 4 días 5. Taller 2 días taller en Belice para SICEVAES 1 día necesidades nacionales Belice 3 días 2 días viaje 6. Redacción informe Informe preliminar, revisión, informe final 6 días 7. Entrevistas en Alemania (Ludger Pries) 3 días (LP) 8. Coordinación (María José Lemaitre) 3 días (MJL) TOTAL DÍAS: 84 días (3 x 25+3)

9 9 CRONOGRAMA EVALUACIONES 2004 I TRIMESTRE Hasta 20 de febrero: a.) Preparación de una propuesta final del Guía de Auto-Meta-Evaluación del SICEVAES por Iris Erazo (ayuda de Fernando Bolaños, Janette Sandoval y Francisco Alarcón, comunicación con Maria José Lemaitre) en base del borrador de Moisés Silva. Maria José Lemaitre asegurará que las categorías/indicadores sean elaboradas de tal manera que permitirán insumos suficientes para la evaluación de la cooperación CSUCA-InWEnt. Coordinación: Iris Erazo. b.) Elaboración final del modulo de la cooperación CSUCA-InWEnt en la guía de auto-evaluación artculandolo con los terminos de referencia elaborado por Maria José Lemaitre y Christoph Hansert (Propuesta de modulo: Iris Erazo Aval final del modulo: María José Lemaitre) Coordinación general: Francisco Alarcón. Hasta 6 de marzo: Discusión y aval final para ambas guías por la comisión encargada del CCR (Vielka y Alicia) y carta de información con cronograma exacto a todos los miembros CCA, CTE y Directores UTAs. Coordinación de la fase: Francisco Alarcón.

10 10 II Trimestre Hasta 10 de abril (Pascua): Auto-Meta-Evaluación de las UTAs en sus universidades usando la guía. Entrega de los informes a Iris Erazo y Maria José Lemaitre. Coordinación de esta fase: Iris Erazo (y Miembros del CCR en sus universidades). Consultores: Miembros nacionales de la CTE en cada país. Hasta 25 de abril: Elaboración de informes nacionales en base de informes de auto-evaluación de las universidades por los miembros nacionales de la CTE. Formación de comisiones nacionales de preparación de visitas y elaboración de propuestas de programas de visitas de equipo de evaluación externa. Entrega de informes nacionales y propuestas a Iris Erazo, Francisco Alarcón y Maria José Lemaitre. Coordinación: Iris Erazo Responsables nacionales: Miembros de la CTE. (se cancela el 12 y 13 de mayo) se antepone al 3 y 4 de mayo Taller de discusión de informes y preparación de visitas y entrevistas. Coordinación: Maria José Lemaitre, Francisco Alarcón y Christoph Hansert (Contenidos) Francisco Alarcón (Logística Regional), Alicia Diaz y Fernando Bolaños (Logística Nocional) Sugiero organizar este taller ya el 3 y 4 de mayo en Costa Rica (dado que Carlos Tünnermann, Francisco y yo como Alicia y Fernando estarían presente allá sin costo adicional por el I Foro de creación de una agencia de ingenería y por lo menos el equipo de evaluación exzerno para Coista Rica podría entrevistar muchos actores claves durante el foro). Que opinan?

11 11 (17 de mayo y adelante) Se antepone para el 5 hasta 12 de mayo (con el fin de semana para viajar) Vistas de 3 equipos evaluativos (1 evaluador externo, 1 miembro subcomisión CTE) en 3x2 países, Coordinación local por comisiones nacionales: UTAs y miembros nacionales CTE y CCR Coordinación general: Maria José Lemaitre (Contenidos) Francisco Alarcón y Iris Erazo (Contenidos y logística) 12 de mayo: Entrevistas en Belice - Se incluye al 12 de mayo para entrevistas en Belize por uno de los equipos. Coordinación: Ernesto Xiu y Coordinador del equipo de evaluación externa norte. 13 y 14 de mayo: (Como no haya oportunida de un encuentro con la CCR) Tiempo para preparar presentación preliminar (13) y encuentro final del equipo externo con Francisco, Iris, un representante CCR y mi persona en Belize (14) para discutir los resultados preliminares (Participación de invitados intersados, p. ej. representantes DAAD, HRK, GTZ,...) Coordinación: Maria José Lemaitre, Francisco Alarcón y Christoph Hansert (Contenidos) Francisco Alarcón (Logística Regional), Ernesto Xiu (Logística Nocional) 15 de mayo: Foro nacional de acreditación de Belice Coordinación: Ernesto Xiu y Francisco Alarcón 22 de mayo:

12 12 Reunión de análisis y planificación de los equipos evaluativos: Presentación de los primeros resultados y discusión final con el presidente y la SP del CSUCA. (León o Guatemala?). Coordinación: Maria Jose Lemaitre y Francisco Alarcón (con Efraín Medina y Ernesto Medina) 15 de junio: Entrega del informe final preliminar de la parte de la cooperación CSUCA-InWEnt a InWEnt y CSUCA Coordinación: Maria José Lemaitre 22 de junio: (Fecha NO ES fija) Taller de evaluadores externos y Iris con Francisco y mi persona en Bonn Coordinación: Christoph Hansert y Stefanie Bohn 23 de junio: (Fecha NO ES fija) Presentación del informe en InWEnt, discusión final con InWEnt Coordinación: Christoph Hansert y Stefanie Bohn Sugiero articluar este taller con las fechas de la conferencia UNISTAFF: Es decir orginzarlo el 8 y 9 de julio. Iris y Francisco y posiblemente otras personas del ambito SICEVAES - probalemente estarán de todo modo para conferencia. De esta manera no veo problema invitar un(a) representante de la CCR (a lo mejor hay una persona de la CCR que de todo modo viene para la conferencia UNISTAFF. Que opinan? 24 de junio: (Fecha fija) - CANCELADO Presentación del informe en (o a lado) de la conferencia DIES del DAAD-HRK-(InWEnt-GTZ) en Berlín (Fondos de un evento diferente) Coordinación: Christoph Hansert y Andrea Schultze

13 13 III. Trimestre 10 de julio: (Fecha fija) Entrega del informe final final a CSUCA y InWEnt. Responsable: Maria José Lemaitre. Entre 12 y 14 de julio: (Fecha fija) Presentación del informe final por Ludger Pries en Conferencia: "10 años UNISTAFF" en Alemania Coordinación: Christoph Hansert (con ISOS de la U de Kassel) Sugiero articluar el taller con los todos los evaluadores con estas fechas: Es decir organizarlo el 8 y 9 de julio. Iris y Francisco y posiblemente otras personas del ambito SICEVAES - probalemente estarán de todo modo para conferencia. Que opinan? Mediados de septiembre: Presentación del informe en la conferencia final cooperación CSUCA-InWEnt y prospectiva CSUCA-instituciones alemanes y en el Congreso del CSUCA (se organizará el congreso del CSUCA en otras fechas no obstante me parecería adecuado que el Dr. Tunnermann presentará los resultados en esta ocasión). Coordinación: Francisco Alarcón y Efraín Medina