UNA EXPERIENCIA DIDÁCTICA: II CURSO DE CAPACITACIÓN PARA POSIBLES PARES ACADÉMICOS PARA LA EVALUACIÓN EXTERNA SICEVAES. ÍNDICE

Transcripción

1 UNA EXPERIENCIA DIDÁCTICA: II CURSO DE CAPACITACIÓN PARA POSIBLES PARES ACADÉMICOS PARA LA EVALUACIÓN EXTERNA SICEVAES. ÍNDICE PRÓLOGO (MSc. Francisco Alarcón, MSc. Martina Hornberger) I. INTRODUCCIÓN 3 II. CONTEXTO DE COOPERACIÓN El SICEVAES La DSE 6 III. REFERENTE TEÓRICO CONCEPTUAL 3.1. El simulacro 3.2. La calidad de la educación 3.3. La evaluación externa IV. LOS PARES ACADÉMICOS 4.1. Perfil de los pares 4.2. Códigos básicos del evaluador externo 4.3. Revisión de los pares: algunos riesgos 4.4. Funciones de los pares Funciones generales Funciones por momentos 4.5. Algunas recomendaciones al evaluador externo Entrevistas y reuniones Informe oral Informe de evaluación externa Un programa de visita V. EXPERIENCIA DIDÁCTICA 5.1. En la práctica se capacita En la preparación En la ejecución En la evaluación 5.2. Aprendizajes adquiridos 5.3.Proyecciones VI. ANEXOS N 1: Plan básico del taller internacional N 2: Directorio de los participantes N 3: Equipos de pares N 4: Guías para la evaluación externa SICEVAES N 5: Panel: experiencias regionales del par académico N 6: Agendas para las visitas de los pares externos N 7: Evaluación del curso

2 PRÓLOGO. A cargo del MSc. Francisco Alarcón. 2

3 3 I. INTRODUCCIÓN 1 El Sistema Centroamericano de Evaluación y Acreditación de la Educación Superior (SICEVAES), creado en 1998, por el Consejo Superior Universitario Centroamericano (CSUCA), ha fomentado la participación de académicos de las universidades centroamericanas, para que en forma colectiva, ir construyendo acciones hacia una cultura de calidad orientada al mejoramiento de las universidades centroamericanas. En sus primeras etapas las universidades llevaron a cabo procesos de autoevaluación de programas e institucionales, con vías al mejoramiento y posteriormente, hacia la acreditación. La fase de la evaluación externa, iniciada en el año 2 000, requiere de pares académicos, que realicen la valoración de los procesos de autoevaluación. El SICEVAES, en cooperación con la Fundación Alemana para el Desarrollo Internacional (DSE), hoy Internationale Weiterbildung und Entwicklung ggmbh (InWent), también se ha dado a la tarea de conformar y capacitar un equipo de profesionales de diferentes disciplinas que puedan fungir como pares académicos. Del 16 al 21 de julio del 2 001, se realiza el primer taller en la Ciudad de Panamá y, se desarrolla el segundo Taller Internacional de Capacitación de Potenciales Coordinadores de Pares Académicos para la evaluación externa del SICEVAES, en Tegucigalpa, Honduras del 23 al 28 de septiembre del 2 002, en la Universidad Pedagógica Nacional Francisco Morazán. El propósito del taller es conformar un grupo de académicos centroamericanos con capacidad de conducir exitosamente procesos de evaluación externa de programas y gestión institucional de la educación superior que lleven a cabo procesos de evaluación en el marco del SICEVAES 2. Para esto, se plantea como proceso didáctico el simulacro, de tal forma que los participantes al taller, puedan estar lo más cerca posible de lo que es la realidad en un proceso de valoración externa. La Universidad Pedagógica Nacional Francisco Morazán ha vivido los procesos de autoevaluación y de evaluación externa y constituye el escenario de aprendizaje para los participantes. Este documento rescata las particularidades del modelo de capacitación, como un recurso didáctico a ser utilizado en otras experiencias. 1 Un reconocimiento a la MSc. Alicia Díaz por su valiosas recomendaciones al documento y al Lic. Manuel Ramírez R. por su aporte como especialista en simulacros. 2 Anexo 1. Plan Básico del Taller Internacional de Capacitación de Potenciales coordinadores de equipos de pares académicos para la evaluación externa del SICEVAES. Honduras de septiembre

4 4 II. CONTEXTO DE COOPERACIÓN El Consejo Superior Centroamericano (CSUCA), ha constituido en octubre de 1 998, el Sistema Centroamericano de Evaluación y Acreditación de la Educación Superior SICEVAES, con el propósito de:...promover una cultura de calidad, evaluación y rendimiento de cuentas a la sociedad en las universidades miembros, usando la evaluación y acreditación como estrategia de gestión del cambio, modernización y mejoramiento de las universidades. Asimismo, impulsar el establecimiento de mecanismos regionales de acreditación internacional de la calidad de la educación universitaria de América Central. La Secretaría Permanente del CSUCA, ha establecido vínculos de cooperación con diferentes organismos internacionales, para la promoción de la cultura de calidad en las universidades miembros del CSUCA y en el desarrollo de diversos talleres de capacitación de los profesionales que laboran en el campo de la evaluación, autoevaluación y del mejoramiento académico de las universidades. Uno de estos organismos de cooperación es la Fundación Alemana para el Desarrollo Internacional (DSE). Es en este marco de cooperación se desarrolla el II Curso de capacitación de potenciales coordinadores de equipos de pares académicos para la evaluación externa del SICEVAES Una breve descripción del quehacer de ambos organismos, permite conocer sus acciones El SICEVAES: sus progresos y la perspectiva de la acreditación MSc. Francisco Alarcón Director Académico SP-CSUCA. En la creación del SICEVAES, se le visualiza con una inclinación hacia la evaluación centrada en el mejoramiento de la calidad y a la vez, en el impulso de mecanismos regionales de acreditación y evaluación orientada hacia la acreditación. En las primeras acciones vinculadas con la evaluación centrada en el mejoramiento de la calidad, ha logrado consenso sobre criterios, aspectos a evaluar e indicadores para evaluar la calidad, consenso traducido en guías comunes de autoevaluación institucional y de carreras, construidas, validadas y aplicadas conjuntamente por las universidades participantes en talleres efectuados desde 1997, 1998 hasta Actualmente, se cuenta con una propuesta de una nueva guía para evaluación de carreras. A la fecha, han participado en forma voluntaria en procesos de evaluación, aproximadamente 80 carreras universitarias y se encuentran cinco en procesos de

5 5 evaluación institucional en marcha. A la fecha, hay quince procesos de evaluación concluidos y diez visitas más de evaluación externa programadas para los próximos meses. Los hallazgos resultantes de los procesos de evaluación para el mejoramiento se han traducido en planes de mejoramiento que están hoy en ejecución. Planes en los que se reflejan numerosas y diversas medidas y acciones concretas de cambio en distintas universidades, entre ellas, transformaciones curriculares, cambios importantes en políticas y reglamentos universitarios, modificaciones en la estructura organizativa universitaria, impulso de sistemas de información, algunas iniciativas en obra física y equipamiento, introducción de exámenes de admisión, entre otras. Por otra parte, las evaluaciones realizadas también han indicado ausencia de información sistematizada sobre los graduados de las universidades en el mercado de trabajo. En el quehacer del SICEVAES, para coadyuvar a la formación de una cultura de calidad, ha propuesto diversos cursos como: El Curso Centroamericano sobre metodología para realizar estudios de seguimiento de graduados universitarios. Realizado recientemente en Costa Rica. Con este curso se busca crear masa crítica de investigadores capacitados y organizar una red regional de investigadores que actúen conjuntamente en este campo y ofrecer un Manual para la realización de estudios de graduados universitarios. Capacitación de líderes de equipos de evaluación externa por pares académicos. El SICEVAES cuenta con un banco de pares académicos de la región y de fuera de la región, gracias a los convenios con el DAAD, por ejemplo, de unos 420 profesionales. Mediante la realización de un curso práctico de una semana, llevado a cabo en julio del 2001 en Panamá, se inició la capacitación para 35 potenciales coordinadores de equipos de pares evaluadores. El Segundo curso de este tipo, se realiza en Tegucigalpa, Honduras del 23 al 29 de septiembre del Se ha avanzado significativamente en construcción de consensos sobre estándares específicos para acreditación. Se han generado acciones para la conformación de comités o sistemas regionales especializados de acreditación en Ingeniería y Medicina. También, se han sentado las bases para iniciar procesos similares en el sector agroalimentario y de recursos naturales tales como Agronomía, Veterinaria, Zootecnia, Pesca y Acuicultura, Tecnología de Alimentos y Forestería, así como recientemente en la modalidad a distancia. Como tarea paralela en el impulso de mecanismos regionales de acreditación y evaluación orientada a la acreditación, el CSUCA / SICEVAES; es miembro pleno con participación activa y reconocida en la International Network of Quality Assurance and Accreditation of Higher Education (INQAAHE), que organiza a la comunidad internacional de agencias de acreditación de todo el mundo y mantiene estrechos vínculos de cooperación con agencias de acreditación de Canadá, Alemania, Holanda, México, Colombia, Argentina y Chile.

6 6 Tras una amplia reflexión y debate internos del CSUCA, realizados en los Foros de León Nicaragua en octubre del 2001 y en San José, Costa Rica en mayo del 2002, se efectuó un tercer Foro para octubre del 2002 en Guatemala, se llegó recientemente al acuerdo unánime de impulsar la creación del Consejo Centroamericano de Acreditación (CCA) de la Educación Superior. El CCA será un organismo autónomo e independiente, especializado y sin fines de lucro que operará a escala centroamericana para acreditar y convalidar regionalmente a organismos acreditadores de la región y, se discute, que por inopia acreditará directamente carreras e instituciones de Educación Superior, que así lo soliciten. El Consejo Centroamericano de Acreditación de la Educación Superior (CCA) estará por igual al servicio de toda agencia u organismo de acreditación que opere en la región, y de las universidades públicas y privadas de la región. Se ha acordado que las universidades miembros del CSUCA con autoridad legal para reconocer, revalidar o incorporar diplomas, grados y títulos universitarios extranjeros, darán un tratamiento especial totalmente expedito a los diplomas, grados y títulos otorgados por programas acreditados directa o indirectamente por el CCA. El SICEVAES continua tras la creación del CCA La Fundación Alemana para el Desarrollo Internacional DSE. MSc. Martina Hornberger Consultora de la DSE Alemania La Fundación Alemana para el Desarrollo Internacional (DSE), es una institución que promueve el diálogo en el ámbito de la política de desarrollo y la formación y el perfeccionamiento de profesionales, personal técnico y directivo de países en desarrollo y países en transición, para lo que utiliza diversos instrumentos, tales como: Conferencias internacionales y alemanas, para debatir problemas básicos de la política de educación y de desarrollo y facilitar el intercambio de experiencias. Seminarios en Alemania y en el extranjero destinados al perfeccionamiento de personal directivo. Programas de perfeccionamiento profesional sistemático de personal de las instituciones colaboradoras. Actividades de seguimiento para reactivar y profundizar los conocimientos y habilidades de los antiguos participantes y evaluar los efectos logrados en los programas anteriores.

7 7 Esta Fundación, cuenta con siete centros especializados en los campos de: Educación, Salud Pública, Agricultura, Política Económica, Descentralización, ubicados según se visualiza en el mapa adjunto. Se han beneficiado de los diferentes eventos alrededor de participantes. Dedica un presupuesto anual de US $ 55 Millones y cuenta con el trabajo de 400 empleados y con la colaboración de una red de 4000 expertos. Entre las áreas de cooperación del CSUCA, la DSE e instituciones alemanas y europeas, se encuentran: El desarrollo del SICEVAES en el que colaboran la Agencia Alemana de Cooperación Técnica GTZ, el Instituto de Estudios Socio-Culturales ISOS, que pertenece a la Universidad de Kassel, que también imparte el curso University Staff Development (UNISTAFF), dirigido a personal universitario de diversas partes del mundo, para contribuir ala mejoramiento de la gestión universitaria, el Proyecto de Calidad Q, de la Asociación de las Instituciones de la Educación Superior de Alemania HRK, el DAAD, el Consejo Alemán de Acreditación y el VSNU de Holanda. En la Gestión de Calidad: colaboran la GTZ, el HRK y las Universidades alemanas de Kassel, Berlin, Leipzig y Osnabrueck. Para el curso de Estudios de Egresados, colabora el Centro de Investigación en la Educación Superior y en el Mundo de Trabajo WZ, de la universidad de Kassel, la universidad de Oldenburg, y el DAAD También en el campo de la Cooperación Internacional, colaboran con becas, reconocimientos el DAAD y la HRK. El Departamento de programas universitarios de la DSE organiza una serie de eventos sobre el desarrollo de la calidad en cooperación con las instituciones de Centroamérica, Indonesia, África del Este, Irán y Egipto. El Programa Learning for Universituy Change LAUNCH, se basa en el curso UNISTAFF que el ISOS, la DSE y el DAAD ofrecen anualmente. La Fundación Alemana para el Desarrollo Internacional, en cooperación con ISOS, ha desarrollado el curso de Capacitación en Métodos Innovativos de Autoevaluación CAMINA-2001, la Conferencia de Rectores Managing Change in Universities, en el año 2000, así como la creación de páginas web sobre el tema 3. 3 La dirección para consultas es:

8 8 En la siguiente figura puede apreciarse la diversidad de funciones y los niveles de cooperación que realiza la DSE. Taller 1999 CENTROAMERICA LAUNCH - CA LAUNCH - CA LAUNCH - Learning for University Change Taller 1999 AFRICA ORIENTAL LAUNCH - EA LAUNCH - EA CSUCA-GTZ CSUCA-ISOS Consejo Interuniversitario CSUCA-GTZ CSUCA-ISOS Consejo Interuniversitario -> CCA: CAMINA: de Africa -> CCA: CAMINA: de Africa Oriental Oriental -Pares Ext. Alemania -Pares Ext. Alemania -ForoReg Red de -ForoReg Red de - Gest. de Cal. Costa Rica aseguramiento de - Gest. de Cal. Costa Rica aseguramiento de Est. de Med. Talleres calidad -Est. de Med. Talleres calidad Estud. Egr. Guatemala Uganda, Kenia -Estud. Egr. Guatemala Uganda, Kenia ISOS-DAAD Cursos UNISTAFF Evaluación de Cursos Curso UNISTAFF Abril-Junio 2001 Conferencia en Bonn Managing Change in Universities 2000 Curso UNISTAFF Abril-Junio 2002 Conferencia en Bonn Quality Networks 2003 Taller 1999 INDONESIA LAUNCH Indonesia LAUNCH Indonesia Comisión Comisión Nacional de Nacional de Educación Educación Superior y Superior y U de GM U de GM Estudios de Estudios de Egresados Egresados y Gestión y Gestión Universitaria Universitaria Yogyakarta Yogyakarta Mini-Taller 2001 Alemania LAUNCH Iran LAUNCH Iran U de Teheran U de Teheran y U de Cairo y U de Cairo Gestión Gestión Universtitaria Universtitaria Taller Taller Explorativo Explorativo Teheran Teheran y Isfahan y Isfahan GLOBAL GLOBAL CAMPUS CAMPUS -Redes -Redes Virtuales Virtuales -Curso -Curso Vitrual Vitrual Estudios Estudios de de Egres. Egres. -LAUNCH -LAUNCH Web- Web- Scout Scout -Participación -Participación en en Conf. Conf. int: int: India India UK UK - - Publicaciones Publicaciones -Redes -Redes Alumnos Alumnos del del DAAD DAAD En este marco de cooperación entre el SICEVAES y la DSE, en concordancia con los vínculos establecidos, se ejecuta este segundo curso de capacitación para pares académicos. III. REFERENTE TEÓRICO CONCEPTUAL El Sistema Centroamericano de Evaluación y Acreditación de la Educación Superior (SICEVAES), considera la capacitación de los académicos como una forma de apoyo y preparación para las diferentes acciones que deben desarrollar en los procesos de autoevaluación de carreras, programas e instituciones, que promueven las universidades miembros del CSUCA. Actuar como par en la evaluación externa, conlleva para el académico que desempeña este rol, el construir conocimientos, habilidades y destrezas, que le permitan desarrollar su creatividad, criticidad y sus cualidades humanas para aplicarlas en la validación de los procesos de autoevaluación realizados en las instituciones. De acuerdo con los procedimientos establecidos para la evaluación externa de los procesos de autoevaluación, los pares académicos realizan su responsabilidad a partir de la lectura previa del informe de autoevaluación de la carrera, programa o institución, luego hacen una verificación de lo escrito in situ, esto es, en la universidad correspondiente, para lo que la visitan durante tres días, en los cuales se entrevistan con autoridades de la institución, de la carrera y con los diferentes actores involucrados en el proceso de autoevaluación. Como resultado de esta visita, otorgan un informe al SICEVAES, con el que validan los logros obtenidos en la carrera,

9 9 programa o institución, considerando el plan de mejoras propuesto, y si fuera el caso, recomiendan o no la acreditación. La tarea del par académico, es compleja, delicada e importante, depende en gran medida de la calidad profesional, del conocimiento y la capacidad de análisis y comunicación de las personas llamadas a participar en ella. La consideración de la realidad de la institución, carrera o programa objeto de la validación, el conocimiento de la disciplina, de la metodología de la autoevaluación, son entre otros, factores por considerar en la selección de un par académico. Los pares académicos que conforman el banco del SICEVAES, corresponden a educadores de las universidades miembros del CSUCA, quienes poseen experiencia en la docencia en la educación superior, y conocen la gestión académica universitaria. La capacitación en este campo debe considerar diversos factores, que establezcan condiciones muy similares a las que el par encontrará cuando realice la evaluación externa. Es así, como se selecciona por parte del SICEVAES, una experiencia académica, cuya metodología de abordaje sea lo más cercana a la realidad, para la capacitación de los pares académicos. Seguidamente se explica en forma más detallada esta metodología. 3.1 El simulacro La simulación es un ejercicio de manejo de información orientado sobre una situación específica, que se desarrolla en un lugar y tiempo determinado, con el fin de valorar la aplicación del conocimiento y la toma de decisiones. El simulacro es un ejercicio de ejecución de acciones previamente planeadas, en un contexto lo más real posible, sobre un tema particular en el cual se prueban los conocimientos adquiridos, la coordinación de acciones y la toma de decisiones 4. La simulación se basa en una situación hipotética, en la que se promueve la participación, con la suficiente flexibilidad para estimular la creatividad, el empleo de los conocimientos y el aporte de las experiencias que cada participante y el grupo poseen. En la simulación se presentan, generalmente por escrito, diversas situaciones que obligan a los participantes a seleccionar las más adecuadas según el contexto en que se plantean y establecer la formulación de estrategias para otorgar una respuesta. Se establece la posibilidad de desarrollar diversos roles, fortaleciendo la capacidad de desempeño y la toma de decisiones acertada. En una simulación, son los objetivos propios del juego los que determinan los logros que se desean alcanzar y hasta dónde llega el participante. 4 Simulación y simulacros. Curso de seguridad escolar para casos de emergencia. CUSE USAID / OFDA San José Costa Rica:

10 10 El simulacro se basa en un plan de acción acerca de una situación lo más cercana posible a la realidad existente, en el que se ofrecen hipótesis y problemas producto de un estudio serio y detallado de las vivencias y la cotidianidad, para que las respuestas y estrategias que se ejecuten estén en consonancia con los recursos disponibles, que sean viables, válidas y correspondan a la mejor respuesta. Es una teoría puesta en práctica en un ejercicio de equipo, en el cual las personas, aplican los conocimientos, técnicas y recomendaciones recibidas sobre la forma en que deberán actuar, enfrentar, resolver y comunicar los requerimientos de su gestión y las situaciones o problemas propuestos o que surgen en la práctica del desempeño de sus funciones. En la ejecución de un simulacro se debe contar con todo el recurso humano involucrado en la actividad. Por ejemplo, en el caso de la evaluación externa, se requiere la presencia de las autoridades universitarias, de los miembros de la comisión de autoevaluación de la carrera, de los integrantes de la Dirección de evaluación de la institución, y de los diversos actores involucrados en la autoevaluación de la carrera, esto es, los docentes, los estudiantes, los egresados, los empleadores. Si para la ejecución de un simulacro no se cuenta con los recursos humanos necesarios, los participantes al curso deben desempeñar los diferentes roles que requiera la actividad. Tanto la simulación como el simulacro constituyen recursos didácticos que facilitan la capacitación, por medio de ejercicios grupales, pues su empleo permite adquirir aprendizajes acerca de nuevos conocimientos y su práctica favorece la toma de decisiones. En el simulacro se emplea un mayor número de recursos humanos, técnicos y materiales, que van desde la planificación hasta en el desarrollo y la evaluación. Por los recursos que ambas técnicas utilizan, el simulacro tiene costos más altos e involucra más detalles. El simulacro se basa en la ejecución de acciones y en el cumplimiento en el campo, de estrategias preestablecidas; en él, el control es más complejo y hace énfasis en la evaluación del desempeño. En el contexto de cooperación en que se desarrolla esta capacitación se selecciona como experiencia didáctica el simulacro, para que los participantes al curso se acerquen lo más posible a la realidad y vivan la evaluación externa. Como herramienta didáctica el simulacro permite pasar de los niveles teóricos a la práctica, lo que asegura que lo estudiado se aplicará según lo propuesto en la teoría, como práctica lo más cercana a la realidad permite, en forma operativa, demostrar la capacidad real que poseen los participantes para aplicar el aprendizaje y valorarlos en el desempeño de las funciones, previamente establecidas. El simulacro prueba el papel que cada participante debe cumplir y cómo es capaz de actuar en equipo, en él se observa la planificación, la coordinación y la comunicación. Se trata de un ejercicio, cuidadosamente planeado y organizado, basado en información válida, de acuerdo con el momento y la realidad por desarrollar y en el que se contemplan proyecciones lo más exactas posibles, de las situaciones que puedan suceder en el momento de su ejecución. En un simulacro se destacan como componentes: la planificación del mismo, la ejecución de lo planeado y la evaluación.

11 11 En la planificación del simulacro se expresa: el objeto del simulacro mismo, los objetivos que se piensan lograr con la realización del simulacro, las actividades o acciones concretas que se van a realizar para responder al objeto propuesto y al logro de los objetivos, los recursos humanos necesarios y las responsabilidades de las personas y grupos participantes, los equipos y materiales que se empleen en la ejecución del simulacro. La evaluación del simulacro y quiénes la van a llevar a cabo debe estar consignada en el plan. La preparación del simulacro considera, el escenario donde se va a ejecutar, el cual debe ser lo más real y auténtico posible de tal forma que la tarea por realizar y los problemas que puedan enfrentarse, sean producto de la vivencia académica y que las respuestas previstas, estén en consonancia con el contexto de la carrera, programa o la institución que desarrolla la autoevaluación, objeto de validación. Esto permite que las estrategias y técnicas que se desarrollen de parte de los profesionales que se capacitan como pares académicos, sean válidas y respondan a la realidad de la institución. La selección del lugar, la fecha, los participantes, los procesos de autoevaluación por validar deben ser estudiados y definidos previamente. Otras previsiones para realizar el simulacro se refieren a la sala o salas donde se realizará el trabajo de los pares académicos, de tal manera que reúna las condiciones de tranquilidad y privacidad; los días y la agenda de la visita a la universidad, en fin, todo lo relacionado con la evaluación externa. Los simulacros no deben ser improvisados porque esto, en vez de facilitar el aprendizaje, crea inseguridad y confusión entre los organizadores, moderadores y entre los participantes. El simulacro debe ejecutarse cuando se ha cumplido la fase de preparación, donde se han considerado todos los detalles posibles para que el ejercicio se dé sin alteraciones que afecten su ejecución o los resultados esperados. Un simulacro como estrategia didáctica requiere de una fuerte organización y reproducción de materiales con bastante anticipación al evento. La ejecución del simulacro corresponde al desarrollo de las acciones previstas en el plan, es la parte operativa del evento, que la realizan los participantes al curso de capacitación. Para la ejecución de un simulacro, es necesario el experto o expertos en el tema tratado en el simulacro, quienes coadyuvan en la capacitación y, también actúan como observadores de las acciones que ejecutan (según lo planeado), quienes se están capacitando, con el propósito de potenciar las fortalezas y señalar las acciones que pueden ser mejoradas, como una forma de aprender a superar las debilidades personales y adquirir conocimientos, habilidades y competencias que le permitan un mejor desempeño en la realidad. También debe contarse con un experto en la técnica de simulacro. Otras personas que deben involucrarse en la actividad son los organizadores quienes coadyuvan desde la preparación y los moderadores quienes coadyuvan en la ejecución del simulacro en cuanto a la comunicación y desarrollo de sus diferentes fases según los puntos previstos. Expertos, organizadores y moderadores, se ubican en un espacio físico de fácil acceso (centro de operaciones), con el propósito de mantener un panorama de la actividad y colaborar en las acciones emergentes, propias del desarrollo del simulacro.

12 12 Como recurso didáctico el simulacro también es objeto de evaluación. En él se ha de evaluar: el plan o la preparación del mismo, lo apropiado de la sede seleccionada, el desarrollo de la actividad, los resultados obtenidos, la calidad y cantidad de la información que poseen los involucrados respecto al simulacro en sí, esto es, acerca del papel de los pares académicos, de las funciones, de su gestión, el empleo de técnicas, el trabajo individual y en equipo, el logro de las metas propuestas, la selección de los expertos si fue acertada por su experiencia, interés y aportes brindados por ellos, si como evaluadores contaron con la información suficiente y si el simulacro tuvo validez como herramienta de capacitación. El simulacro, facilita la evaluación y realimentación de los participantes para el fortalecimiento de su gestión en el tema propio de la capacitación, en este caso, como par académico. La evaluación propicia la reflexión de los participantes acerca del desempeño de sus funciones y otorga una valoración de los expertos acerca de la aplicación de los aprendizajes adquiridos. 3.2 La calidad de la educación Como expertos se cuentó con la participación del Dr. Guillermo Londoño Restrepo de la Universidad de Antioquia, Colombia y del Dr. Moisés Silva Triviño de la Universidad Mayor, Chile. Ambos comparten su conocimiento y experiencia en el tema de la evaluación externa y en la formación de pares académicos. El Dr. Moisés Silva señala como contexto de la labor de los pares académicos, el aseguramiento de la calidad educativa que se realiza en las instituciones de educación superior, cuya regulación se efectúa en el ámbito interno por la propia institución, con los procesos de autoevaluación que facilitan la reflexión, el análisis y la valoración de la práctica académica, el planteamiento de cambios y mejoras, con la participación y el compromiso de los propios actores. Y en el ámbito externo por un organismo independiente, con la asignación de los pares académicos, quienes validan los procesos de autoevaluación y recomiendan o no la acreditación si es el caso (Figura 1).

13 13 Contexto del tema: Aseguramiento de la calidad educativa Regulación Interna (por la propia institución) Autorregulación Externa (por un organismo independiente) Planes Presupuesto Acciones Gestión institucional Acreditación Garantía a usuarios Figura 1 Presentación del Dr. Silva, Septiembre La evaluación está vinculada al aseguramiento de la calidad al valorar el sistema educativo, la institución, la unidad académica, el programa o la carrera, las personas, la docencia, los servicios, la investigación, la gestión, los insumos, los procesos y los resultados. Quienes evalúan son los actores institucionales (Autoevaluación) y los pares académicos (Evaluación externa), teniendo como base la misión, objetivos, perfil de egreso y los compromisos declarados de la carrera, programa o institución, esto es el patrón interno y los criterios y estándares de la agencia acreditadora, lo que corresponde al patrón externo (Figura 2). Evaluación Quiénes evalúan? Actores institucionales (Autoevaluación) Pares/expertos externos (Acreditación, validación externa) Misión, objetivos, perfil de egreso, compromisos declarados (Patrón interno) Contra qué se evalúa? Criterios/estándares (Patrón externo) Figura 2 Presentación del Dr. Silva, Septiembre El Dr Silva visualiza el ciclo de la acreditación con los componentes de preparación, autoevaluación, evaluación externa, dictamen de la acreditación, para iniciar con las acciones de seguimiento a los planes de mejora e iniciar con la recolección de información (Figura 3).

14 14 Acreditación. Componentes usuales de un ciclo Preparación del sistema e instituciones Elegibilidad Autoevaluación Informe Evaluación externa Informe Dictamen Acciones (Seguimiento) Dictamen Información Nuevo ciclo Información pública Figura 3 Presentación del Dr. Silva, Septiembre La evaluación externa La evaluación externa la define el Dr. Silva como (Septiembre 2002):...el proceso de análisis o examen de una institución, unidad, carrera. efectuado por pares académicos y expertos independientes a la luz de un informe de autoevaluación y la información obtenida en una o más visitas en terreno, en el marco de los objetivos institucionales y de la unidad y de ciertos criterios y estándares previamente establecidos. En la Guía para la Evaluación Externa por pares académicos del SICEVAES / CSUCA, (marzo 2002), se entiende por evaluación externa:...la valoración que hace un equipo de académicos (llamados pares externos) de la calidad de una carrera o institución, a partir del proceso de autoevaluación que ésta ha realizado previamente. La evaluación externa debe realizarse, cuando la institución lo solicite y si la evaluación se hace con fines de acreditación, cuando la institución haya cumplido con los requisitos mínimos de elegibilidad para la acreditación, previa presentación del informe de autoevaluación, que incluya las acciones de mejoramiento. Entre los propósitos de la evaluación externa (SICEVAES / CSUCA marzo 2002), se definen: Valorar el proceso de autoevaluación realizado en concordancia con su diseño metodológico Valorar los resultados de la autoevaluación en relación con:

15 15 o El cumplimiento de los referentes mínimos para la valoración de la calidad de los factores a través de los diferentes estándares e indicadores o Los principales problemas, debilidades y fortalezas identificadas en el contexto de las causas externas e internas señaladas o La acciones que se plantean para la superación de los problemas detectados Valorar la información que se requiera y que no haya sido aportada en el informe de autoevaluación Colaborar con la institución o carrera, en las identificaciones de sus fortalezas, problemas y debilidades Aportar recomendaciones que fortalezcan el plan de mejoramiento trazado. Si la evaluación se realiza con propósitos de acreditación, recomendar si se debe otorgar o no la acreditación La realización del proceso de evaluación externa (CSUCA, marzo 2002) demanda la ejecución de las etapas de: organización de la visita de los pares externos. Esta organización de la visita de los pares externos a la institución, requiere la realización de acciones previas por parte de la misma universidad, la Secretaría Permanente del CSUCA, el Comité de Coordinación Regional, la Comisión Técnica de Evaluación del SICEVAES y de los pares externos. Se citan los siguientes aspectos: Ejecución de la visita de los pares externos: Al iniciar la visita a la institución, los pares externos deben reunirse para conocerse, elegir al presidente del equipo e intercambiar sus ideas acerca de las estrategias a seguir durante la visita Presentación del informe de los pares externos: Los pares presentan un informe preliminar oral sobre su percepción inicial del proceso, al concluir la visita a la institución. Elaboración del informe de los pares externos: El propósito del informe escrito de los pares externos es emitir un juicio para valorar la calidad de la carrera o institución que se ha autoevaluado IV. LOS PARES ACADÉMICOS El Dr. Guillermo Londoño (Septiembre 2002), define al par académico como el igual, el totalmente semejante e indica que la comunidad académica o disciplinar es el contexto que mediatiza la definición de par. Al respecto expresa que: El par académico debe ser alguien reconocido por la comunidad, quien lo identifica por su autoridad académica como un interlocutor válido para juzgar el campo del saber, la formación de sus profesionales y la institución formadora de esos profesionales y la cultura de ese campo del saber. Es un ejemplar de su comunidad; es poseedor de los protocolos técnico metodológicos y del cuerpo teórico-disciplinar correspondiente; de los protocolos de producción

16 16 difusión aplicación de un saber. Alguien que porta el paradigma de su comunidad y que en ella es reconocido como ejemplar. 5 Los pares, indica el Dr. Londoño, son encargados de emitir los juicios externos sobre la calidad de las instituciones y de los programas. El par académico valida, por su estatus paradigmático, las ofertas, curriculares diseñadas y puestas en ejecución por las instituciones de Educación Superior. Para la conformación de un equipo de pares, el Dr. Londoño, parte del reconocimiento del carácter inter o transdisciplinar y de las ofertas curriculares de tipo matricial, para indicar que en el equipo se pueden integrar profesionales de diversas disciplinas. En el equipo debe haber capacidad para identificar la coherencia entre las metas institucionales y las exigencias propias de formación en los diferentes campos profesionales, de reconocer los aspectos que han de considerarse para valorar los procesos de autoevaluación, por lo que es recomendable la heterogeneidad de los miembros de ese equipo (académicos, administradores, financistas) y donde el juicio resultante es producto de síntesis sucesivas de juicios y del consenso. 4.1 Perfil de los pares El Dr. Londoño (Septiembre 2002) establece como características del par académico las siguientes: Reconocida idoneidad ética, profesional, científica o administrativa. Habilidades de liderazgo Capacidad comunicativa Conocimiento sobre la evaluación institucional en sus componentes conceptual y operativo Para el Dr. Silva (Septiembre 2 002) los evaluadores externos han de poseer compromiso con el aseguramiento de la calidad en educación superior y entre las características cita las siguientes: Habilidad para conducir reuniones y trabajar en equipo.experiencia en gestión educativa.adhesión a las pautas del SICEVAES Habilidad para emitir juicios apropiados en contextos diferentes.buena comunicación oral y escrita.indagador.capacidad de análisis.credibilidad personal Buen criterio También menciona, el Dr. Silva, un perfil para el equipo de pares académicos, en el que idealmente se integra experiencia en: la gestión académica, la gestión institucional, el ejercicio profesional y disciplinario, las áreas de la especialidad, la 5 Dr. Guillermo Londoño Restrepo. Vicerrector Académico Universidad de Antioquia, Colombia. Honduras septiembre

17 17 evaluación institucional, el ámbito nacional e internacional y la normativa del sistema de acreditación. Para el Comité de Coordinación Regional del SICEVAES 6, el perfil de los pares externos comprende las siguientes características: Profesionales especialistas del más alto nivel en su disciplina o en la gestión universitaria Formación académica a nivel de postgrado Un mínimo de cinco años de experiencia como funcionarios universitarios El SICEVAES, por su parte considera, entre las características, que el par externo debe: Ser independiente de la universidad, carrera o programa objeto de evaluación Puede provenir de universidades centroamericanas o de fuera de la región, de preferencia de un país distinto al de la institución a la que pertenece el programa objeto de evaluación Puede provenir de colegios profesionales del mismo país de la universidad a la que pertenece el programa objeto de evaluación 4.2 Códigos básicos del evaluador externo Se entiende por códigos básicos un conjunto de condiciones académicas y valores que debe poseer el evaluador externo, para desarrollar sus funciones. El ser un académico seleccionado para actuar como evaluador externo para un proceso de autoevaluación, con vías al mejoramiento o a la acreditación, es un honor que demanda de los seleccionados el cumplimiento de un conjunto de códigos que, en opinión del Dr. Londoño, pueden ser los siguientes: ser eficiente en el uso del tiempo, hacer buenas notas y definir marcas claves, planear y participar en reuniones de la comisión (panel), definir una estructura del informe, cumplir oportunamente con sus responsabilidades, emitir juicios fundamentados, objetivos, saber guardar distancia y prudencia frente a tensiones internas de la institución, reconocer la existencia de estrategias diferentes para el planteamiento y solución de problemas, ser flexibles, respetar la confidencialidad de la información recibida, de sus opiniones e informes y ejercer siempre su rol como juez y cooperador. Integridad, idoneidad, responsabilidad, coherencia y transparencia, serán principios rectores de la acción de cada uno de los miembros del panel de evaluadores externos. En el ámbito personal también deben considerarse algunos valores tales como la tolerancia, el respeto, las habilidades para las relaciones interpersonales y la comunicación. 6 Comité de Coordinación Regional del SICEVAES en su Tercera Reunión realizada en junio de en Costa Rica, en la Guía para la Evaluación externa por pares académicos. Marzo 2 002

18 18 El Dr. Silva (Septiembre, 2002) establece las tres R a modo de códigos para el evaluador externo: Respeto por el carácter o derecho de la unidad o institución a ser diferente Reserva por los informes y antecedentes Responsabilidad por los juicios expresados 4.3 Revisión de los pares: algunos riesgos 7 Aunque la autoevaluación se toma con seriedad solo si la revisión de los pares se da, la evaluación de los pares no es particularmente un medio efectivo o eficiente de desenmarañar lo que realmente está ocurriendo, porque en un principio los equipos de pares hacen juicios basados en lo que han conservado e intentan buscar discrepancias en la historia y, procuran relatar lo que escuchan sobre el documento de la autoevaluación. Sin embargo, en la práctica hay una tendencia a ser significativamente abiertos a las percepciones de los pares y de los autores del documento de autoevaluación. De la experiencia se rescata que los grupos de pares consideran corto el tiempo de discusión con una audiencia tras otra, la documentación no siempre está detallada, y si lo está, el tiempo para leerla y evaluarla también es corto. Los pares, realizan preguntas como parte de su labor pero ellos, no están entrenados como investigadores y pocas veces han contado con una preparación previa acerca de las áreas que necesitan ser examinadas, los aspectos por focalizar y la forma de interpretar lo leído y observado. Todos estos riesgos que expresa el Dr. Londoño, son valiosos en el tanto se rescaten de las experiencias vividas para convertirlos en aprendizajes que posibiliten la minimización o reducción de los mismos, en la formación de los pares académicos Funciones de los pares El Dr. Londoño (Septiembre 2 002) visualiza las funciones de los pares como funciones generales y otras que clasifica según tres momentos: antes, durante y después de la visita in situ Funciones generales Entre las funciones generales, el par académico debe: Valorar una propuesta y un proceso de formación Valorar un programa en el marco de un proyecto institucional 7 Dr. Guillermo Londoño Restrepo. Vicerrector de Docencia, Universidad de Antioquia. Experto invitado. Honduras, Septiembre,

19 19 Revisar y validar un proceso de autoevaluación y sugerir su complementación si fuere necesario Revisar y validar el informe final de la autoevaluación Juzgar la capacidad de mejoramiento del programa. Emitir un juicio sobre la calidad del programa Proveer una visión externa sobre procesos, estándares, desarrollo académico. Ayudar a la comunidad académica a aprender para adaptarse a las condiciones de cambio Reforzar la confianza en docentes y directivos, acerca del programa Funciones por momentos Estas funciones se proponen según se trate de los momentos previo, de desarrollo y después de la visita a la institución en la que se ha realizado la autoevaluación. Antes de la visita El par académico se prepara al: Apropiarse los lineamientos metodológicos y las bases conceptuales propuestas por la Agencia de Acreditación respectiva Revisar la documentación presentada por el programa: o Base (Inicial) o Informe de autoevaluación o Anexos claves Cotejar esta información con los lineamientos de la Agencia de Acreditación y formar un juicio en relación con las exigencias planteadas Entender el modelo y el proceso de la autoevaluación y formarse un juicio acerca de su validez Identificar focos claves orientadores de la visita in situ Identificar fuentes de información claves para la visita Precisar y diseñar, los instrumentos básicos para la obtención de la información requerida para formar sus juicios. o Revisión documental Definir los tipos de reuniones, entrevistas (individuales, grupales) y observaciones por realizar.estructurar una propuesta de agenda que puede contener 3 partes básicas: o Protocolo - Presentación oficial de los pares y de la visita - Explicitación de las normas esenciales de la visita o La visita propiamente: revisión del Programa, del proceso de la autoevaluación y del informe final o Informe de salida - Preparación - Presentación Durante la visita

20 20 Una vez en la institución correspondiente, las funciones de los pares se establecen como: Concertar la agenda definitiva con los agentes interlocutores del programa Desarrollar la agenda en forma rigurosa, considerando, en cada momento, su rol protagónico como evaluador externo Precisar los tiempos de cada actividad, según las características y tamaños, de los grupos, del tipo de información adicional requerida a las directivas o a los autoevaluadores Realizar reuniones de feed-back entre los pares. Intercambio de impresiones sobre la visita misma y sobre el programa Preparar y rendir el informe de salida Después de la visita La actividad posterior a la visita in situ corresponde al cierre de las funciones del par académico, suya labor central es: Preparar para la Agencia de Acreditación respectiva el informe final escrito sobre: o La visita, sus condiciones o El informe final de la autoevaluación o La congruencia entre el programa y el informe o La calidad del programa o Sus recomendaciones para el mantenimiento y para el mejoramiento de la calidad 4.5. Algunas recomendaciones para el par académico 8 Para el Dr. Silva ( Septiembre 2002) el par es un evaluador externo, quien utiliza la visita in situ como una estrategia para el acopio de la información que requiere, para formar su juicio sobre la calidad del programa o de la institución y, para derivar sus recomendaciones hacia el mejoramiento y la sostenibilidad de la calidad. También, durante el desarrollo de la visita, el par académico valida el informe y el proceso de la autoevaluación y forma el juicio sobre la calidad de éstos. A modo de reflexión, el Dr. Silva indica que se deben tener presentes estos propósitos de la visita, de esta forma se evita reducirla a uno de ellos, omitiendo los demás o, pasar a un segundo plano, el primero de ellos. Permite al par, estar vigilante para no dejarse encasillar por el informe de autoevaluación, o por las guías externas preestablecidas para la visita o para el informe de ésta e indica que Las guías no son más que guías. 8 Dr. Moisés Silva Triviño. Dirección de Análisis y Desarrollo Institucional. Universidad Mayor Santiago, Chile. Honduras, Septiembre (moises_silva@umayor.cl )

21 21 Entre las recomendaciones a los pares académicos, el Dr. Silva menciona, la consideración del protocolo, la conducción y desarrollo de las entrevistas y la conducción en concordancia con el tipo de audiencias, las cuales se explican a continuación. En cuanto al protocolo, debe considerar los siguientes aspectos: la puntualidad, el no mezclar audiencias, la focalización en algunos medios, tales como la biblioteca: efectividad, eficiencia y coherencia, los estudios de utilización por docentes y alumnos, los laboratorios y equipamiento, la red, entre otros. Mantener una secuencia de las actividades: con los responsables de la autoevaluación, los alumnos. La concertación de la agenda a iniciativa del grupo de pares. En la conducción y desarrollo de las reuniones, debe explicitarse el marco y objetivo de la reunión, identificar los participantes por su perfil y situación, para poder hacer la valoración de las respuestas. Extraer de la audiencia su percepción sobre: aspectos positivos (fortalezas) y aquellas que requieren atención, mejoramiento, desafío y conducir a la jerarquización. Indagar por los factores y características a través de las variables e indicadores según audiencia, poniendo al participante en situaciones concretas. Utilizar datos e información del propio informe o de otra fuente y buscar la opinión frente a esto. Centralizar la atención en el foco de estudio, fijar las reglas del juego, comunicarlas, concertarlas, vigilarlas. Procurar una visión comprensiva. Sobre la conducción según la audienciacuando se trata de los profesores, indagar acerca de la relación con la autoridad, la participación en el desarrollo del curriculum, la estabilidad y dedicación laboral, la carrera académica y el perfeccionamiento, los incentivos, las dificultades que superan para realizar investigaciones, los recursos para la enseñanza, los compromisos vinculados con las acciones. En cuanto a los egresados, la satisfacción con la formación, las debilidades que manifiestan, la actualización realizada y los vínculos con la institución. Acerca de los empleadores la satisfacción con los egresados, las debilidades observadas, los vínculos con otros y sugerencias. Con los directivos, Rectores y directivos superiores, indagar acerca de las políticas, la toma de decisiones, la visión y los mecanismos de gestión. Con los Decanos y jefes de departamentos acerca del control, los ajustes, la capacidad de gestión y las consecuencias del proceso de evaluación. Para ser efectivo, recomienda el Dr. Silva, un par debe prepararse para la visita al estudiar críticamente el informe de autoevaluación, cooperar con los colegas del equipo, asistir a las reuniones asignadas, establecer prioridades sobre aspectos a revisar, verificar, requerir información. Desde la llegada a la institución, visualizar en general, como se realizará el informe final escrito, avanzar lo máximo el primer día de la visita, distribuir y reajustar tareas en el equipo de pares, tomar notas entre visitas y reuniones, no apartarse de los criterios de evaluación, concentrarse en lo fundamental y no adelantar conclusiones o recomendaciones.

22 Entrevistas y reuniones La actividad del equipo de pares en la evaluación externa, requiere la realización de entrevistas y reuniones con los diferentes estamentos participantes en la autoevaluación de la carrera, programa o institución, partiendo de la lectura del informe de autoevaluación. Esto incluye: Considerar preguntas e inquietudes que hayan surgido durante la preparación de la visita, en coordinación con los otros miembros de la comisión Exponer brevemente a la audiencia o al entrevistado el propósito de la reunión y el marco en que se inserta Iniciar la reunión con un tema general y establecer una atmósfera de cordialidad y franqueza, con cierto grado de informalidad y de cooperación académica Focalizar el tema central Hacer preguntas de clarificación y contrastar lo que se manifiesta con información dura (cifras, hechos) Estimular a la audiencia a expresarse sobre la calidad y la efectividad y las actividades propias de su trabajo Preferir una entrevista individual o con una reducida audiencia cuando se trata con los líderes formales e informales Mantener como guía los criterios, estándares, pautas o indicadores de calidad que se hayan adoptado Tener presente la importancia de obtener verificación o respaldo de la información y las opiniones Obviar la expresión de críticas a la institución o las personas. No adelantar juicios que requieran de un acuerdo con la comisión Examinar todos los documentos pertinentes y ser selectivo; pues algunos tendrán mayor relevancia que otros Informe oral La visita del equipo evaluador a la institución, es un acontecimiento esperado como una fase dentro del proceso de mejoramiento o acreditación, que mantiene a la expectativa a las autoridades y los integrantes del programa o carrera objeto de la visita. Aunque la responsabilidad del equipo de evaluadores externos es un informe escrito al término de la visita, un informe preliminar oral, permite a los involucrados en la institución esperar, con una luz de por dónde se orienta el resultado de la validación. Es importante considerar en el informe oral, responsabilidad del presidente del equipo de pares: Focalizar los aspectos principales; los grandes problemas, fortalezas e inquietudes, los cuales deberán incluirse posteriormente en el informe escrito

23 23 Empezar por los aspectos positivos para seguir con aquellos que requieren preocupación o estudio y toma de decisiones. Relacionar siempre el análisis con los criterios, estándares, pautas o indicadores Mantener una perspectiva global, integradora. Obviar los aspectos puntuales que pueden distraer o distorsionar las cuestiones de fondo o significativas Hacer una exposición de carácter profesional, de par a par, en un espíritu de cooperación académica. Este informe debe ser breve, a lo sumo 45 minutos Dejar tiempo para preguntas y aclaraciones u observaciones referidas a hechos o cifras de parte de los directivos de la institución. Evitar la discusión sobre juicios o sentencias concretas Si la comisión opera de parte de una agencia de acreditación u otro organismo similar, no proveer recomendaciones o prescripciones ni anticipar posiciones de esta última Informe de evaluación externa El propósito principal de la participación de pares o expertos externos e independientes, señala el Dr. Silva, es validar el Informe de Autoevaluación, con apertura para proveer juicios y recomendaciones respecto al área, proceso o unidad en evaluación. El destino del Informe de Evaluación Externa es la misma institución o alguna instancia externa como una agencia de acreditación, si fuese el caso. El Informe debe ser de carácter profesional, fundamentado, equilibrado, centrado en lo importante y con lenguaje claro y conciso. Los siguientes son algunos elementos a considerar en la elaboración del Informe de evaluación externa: Información general que identifica la comisión, el programa, unidad e institución evaluada y una referencia u opinión sobre el programa de visita y su desarrollo Análisis crítico sobre el Informe de Autoevaluación y el proceso que lo originó. Recomendaciones para futuros procesos Exposición de los aspectos positivos (fortalezas, oportunidades) y aquellos que constituyen problemas o desafíos (debilidades, amenazas) más importantes o relevantes que fueron detectados en la unidad en la cual se centró la evaluación y su entorno institucional, organizándolos según los criterios o estándares provistos u otra organización como sea conveniente o requerido. Contraste de lo hallado con el análisis correspondiente en el Informe de Autoevaluación Referencia a cualquier problema o situación que deba estudiarse o que requiera mayor análisis por parte de la unidad y la institución. Alusión a la situación de la unidad en relación con el estado de la profesión o la disciplina en el plano nacional e internacional, según las referencias propias o personales de la Comisión Análisis crítico del esbozo de cambios planteados en el Informe de Autoevaluación, refiriéndose a su pertinencia y relevancia, como también a su concordancia con el análisis y descripción realizada en dicho Informe

24 24 Recomendaciones Sugerencia reservada (separada del texto del informe), si fuese requerida, sobre el otorgamiento de acreditación, en el caso que así sea solicitado por la agencia Un programa de visita Una de las tareas del par académico es la visita a la universidad cuyo programa se autoevalúa, por lo que la comunicación previa con los integrantes del Centro de Evaluación de la institución y con los miembros de la comisión de autoevaluación, permite la preparación de la agenda de la visita. Esta agenda contiene las diferentes reuniones que el par solicita y las visitas a los sitios que faciliten verificar los puntos de interés para el equipo de evaluación externa. El Dr. Silva, ofrece a los participantes un ejemplo de agenda, con los puntos claves por considerar: la identificación de la carrera y de los miembros del equipo de evaluación externa, la consideración de cada día de la visita, con entrevistas, recorridos de las instalaciones e informes. La previsión de espacios de trabajo para el equipo de evaluación externa es necesario, dado que son académicos de diferentes instituciones y países, siendo esta visita la única oportunidad de intercambios presenciales. Visita de evaluación externa en la carrera de Ingenieria Civil. Facultad de Ingeniería. (Se indica fecha e identificación de los miembros de la Comisión de Evaluación Externa) (Este programa puede ser modificado a requerimiento de la Comisión) Día previo al inicio de la visita. 17:00 19:00 Reunión de actualización de información y de coordinación de la Comisión de Evaluadores con el Director de la Oficina de Evaluación y Acreditación Institucional de la Universidad Hotel de estadía de los comisionados Día 1: 08:15-09:15 Reunión con el Rector y algunos directivos superiores. Sala de sesiones de la Rectoría. 09:30-10:30 Reunión con el Decano y asesores directivos de la Facultad de Ingeniería. Sala de sesiones de la Decanatura. 10:45 11:30 Reunión con el Comité Coordinador del Proceso de Autoevaluación de la Carrera. Sala de sesiones de la Decanatura. 11:45 12:45 Conversación con estudiantes de la Carrera. Sala de Seminarios de la Facultad. 13:00-14:00 Almuerzo con directivos institucionales y de la Facultad (opcional). Sala de sesiones de la Decanatura. 14:45 16:00 Reunión con los profesores del Departamento de Ingeniería Civil. Sala de Profesores de la Facultad. 16:15 18:00 Visita a dependencias y facilidades del Departamento de

25 25 Ingeniería Civil, la Facultad de Ingeniería y de la Universidad (aulas, talleres de computación, laboratorios docentes de especialidades, biblioteca, sala de estudios, cafetería, secretaría de registro curricular, servicio de bienestar) (Se indica itinerario aproximado y guías). Día 2: 08:15-09:15 Tiempo disponible para programación por la Comisión o coordinación interna de la misma. Sala de Profesores del Departamento de Ingeniería Civil. 09:30-10:30 Reunión con profesores de la Facultad de Ciencias Básicas, que están asociados o proveen servicio docente a la Carrera. Sala de Profesores de la Facultad de Ciencias Básicas. 11:00 12:00 Reunión con profesores de departamentos de la Facultad de Ingeniería que están asociados o proveen servicio docente a la Carrera. Sala de Profesores del Departamento de Ingeniería Civil. 12:15 13:00 Tiempo disponible para revisión de documentos. Sala de Profesores del Departamento de Ingeniería Civil. 13:15 14:15 Almuerzo (Acompañantes es opcional de la Comisión). Sala de sesiones de la Decanatura de la Facultad de Ingeniería. 15:00-15:45 Entrevista con directores de carreras de Ingeniería. 16:00 17:15 Tiempo disponible para programación por parte de la Comisión. 17:30 18:30 Reunión con egresados de la Carrera. Sala de Profesores del Departamento de Ingeniería Civil. Día 3: 09:00 10:15 Reunión Final con el Decano, directivos de la Facultad y profesores del Departamento de Ingeniería Civil (Informe Preliminar Oral de la Comisión). Sala de sesiones de la Decanatura. 10:45 12:00 Reunión Final con el Rector, directivos superiores (Informe Preliminar Oral de la Comisión). Sala de sesiones de la Rectoría. 12:30-13:45 Almuerzo con académicos del Departamento de Ingeniería Civil (Opcional de la Comisión). Sala de sesiones de la Decanatura de la Facultad. V. EXPERIENCIA DIDÁCTICA La capacitación realizada en este segundo Curso Internacional para potenciales coordinadores de equipos de pares académicos para la evaluación externa del SICEVAES, se fundamenta en una experiencia didáctica: el simulacro. En esta experiencia coinciden las fases de la capacitación (preparación, ejecución y evaluación), las fases de la evaluación externa (organización, visita a la institución e informe de valoración) y las fases del simulacro (preparación, ejecución de lo planificado y evaluación) En la práctica se capacita

26 26 Este II Taller Internacional de Capacitación, se enfoca en la evaluación externa de carreras y se propone acercar a los participantes lo más posible a la realidad, siendo el simulacro, la figura que permite esta aproximación. En este caso, se selecciona una institución de educación superior, donde los profesionales seleccionados para recibir la capacitación, ejecutan las funciones y responsabilidades que debe cumplir un par académico, aplican los conocimientos, técnicas y recomendaciones recibidas acerca de cómo actuar, enfrentar, resolver y comunicar las situaciones o problemas que se presenten durante el ejercicio de sus funciones en la visita a una institución de educación superior, cuya carrera es objeto de evaluación. En la universidad, también se involucran las autoridades y personal que ha trabajado en el proceso de autoevaluación de la carrera, con todas las responsabilidades y demandas para la preparación de lo que significa la visita de pares en la evaluación externa, como la movilización de recursos para llamar a egresados y empleadores, concertar entrevistas, entre otros. El simulacro al ser una vivencia, en la que se desarrollan las acciones previamente planeadas para realizar la evaluación externa, corre los mismos riesgos que puedan presentarse ante una situación real, con la diferencia de que en este caso, han de estar identificados, para minimizarlos. En el simulacro se explicitan las fases de preparación, de ejecución de las acciones previstas y de la evaluación de los resultados. A continuación se explica cada una de ellas En la preparación Para efectos didácticos es importante destacar que en la preparación se distingue la planificación del curso y la planificación de la experiencia didáctica como lo es el simulacro, por los detalles y recursos que demanda su aplicación. La planificación del curso se realiza con cuatro meses de anticipación, en que se selecciona la institución en la que se realizará la visita, se constituyen los equipos de trabajo y se dan las primeras líneas o plan básico (Anexo N 1) para el programa de capacitación. Actúan como universidades anfitrionas la Universidad Pedagógica Francisco Morazán y la Universidad Nacional de Honduras. Por la naturaleza de este taller, de carácter internacional, se conforman dos comités uno de organización nacional (Anexo N 2) constituido por académicos de las dos universidades anfitrionas y el internacional conformado por los representantes del CSUCA y la DSE. Las coordinaciones generales de ambos comités recaen en la MSc. Aída Midence en el ámbito nacional y del MSc. Francisco Alarcón del CSUCA. En el Lic. Isidro Perdomo, Director de la Oficina de Evaluación de la Universidad Pedagógica, recae la coordinación de la experiencia didáctica. Como moderadoras del proceso de capacitación se nombran a la MSc. Martina Hornberger de Alemania, la MSc. Alicia Dìaz de Costa Rica y la MSc. Vielka de Escobar de Panamá. Como objetivos del curso se proponen:

27 27 Analizar los principios en que se sustentan los procesos de evaluación por pares académicos Compartir experiencias de procesos de evaluación por pares externos nacionales e internacionales Realizar un proceso didáctico para la capacitación de los pares académicos Dar a conocer y validar el instrumental desarrollado por la Comisión Técnica de Evaluación del SICEVAES para la conducción de procesos de autoevaluación, preparación de informes y evaluación por pares externos Reflexionar sobre el papel y el perfil de los pares externos en los procesos de evaluación Diseñar un proceso de multiplicación del curso en los países centroamericanos. a. El escenario Uno de los puntos clave para la realización de un simulacro es la selección del escenario en el que se realizará, porque debe reunir las condiciones de realidad para los participantes. En este caso el escenario debe ser una universidad que haya realizado procesos de autoevaluación y recibido la visita de pares académicos para la validación de esos procesos, con apertura suficiente para facilitar a los participantes al curso los informes de autoevaluación de las carreras y con disposición para vivir nuevamente la visita de los pares, pero esta vez, en forma simultánea para todas las carreras. Las autoridades universitarias y de las carreras, estar atentas a las visitas, dado que su participación también es requerida e importante. Todas estas condiciones las reúne y está dispuesta a colaborar la Universidad Pedagógica Francisco Morazán de Honduras. Las carreras seleccionadas para el curso son: Administración Educativa, Educación Preescolar, Educación Comercial, Educación Técnica Industrial y Educación en Ciencias Sociales, todas ellas con experiencia de la visita de pares evaluadores externos, lo que hace que este grupo de carreras, sean ideales para esta capacitación. b. La selección de los participantes Otra de las condiciones es la escogencia de los profesionales objeto de capacitación (pares académicos), cuyo perfil considera los requisitos del SICEVAES: (postgrado, experiencia universitaria, etc.). Además que en el equipo se cuente con la presencia de al menos un profesional con formación en educación, por tratarse de carreras de esta área. La integración de equipos constituyó otro punto clave en la organización, para cubrir las características de formación en la disciplina, lo más cercano a ella, y el conocimiento en los procesos de autoevaluación. La participación es de al menos 20 académicos 9 de las universidades miembros del CSUCA. Esta selección la realizan los miembros del Comité de Coordinación Regional. 9 Anexo 2 Directorio de participantes. Honduras, Septiembre

28 28 Una vez seleccionados, se inicia la experiencia didáctica del simulacro, con el envío a los participantes del informe correspondiente a la carrera en la que actuarán como pares académicos, en la realidad se hace generalmente un mes antes. Por su parte, los participantes, desde su lugar de trabajo, se preparan para actuar como pares académicos, con la lectura analítica del informe y la anotación de los puntos de interés por aclarar o verificar. También propone entrevistas y reuniones con los diversos actores de la autoevaluación. c. La Comisión Técnica de Evaluación (CTE) del SICEVAES Como parte de los requisitos de la evaluación externa propuesto por el SICEVAES, se requiere de la participación de los integrantes de la Comisión Técnica de Evaluación (CTE), quienes se comunican con los pares académicos y actúan como facilitadores de los equipos establecidos, para negociar previamente las agendas de visita a la institución. Este grupo 10 está conformado por nueve académicos de las universidades miembros del CSUCA. En esta oportunidad, los integrantes de la Comisión preparan las guías para facilitar el proceso de evaluación externa que serán validadas por los participantes al curso. Cada uno de los miembros de la Comisión es asignado a un equipo de pares e inician la comunicación con los participantes al curso, por medio de correo electrónico, como lo hacen en las actividades de evaluación externa, con los pares seleccionados. d. La planificación de la visita La visita a la institución es una condición que establece la evaluación externa y permite a los pares verificar lo escrito en el informe de autoevaluación y aclarar las inquietudes que les surgen a partir de la lectura del mismo, para validar el proceso evaluativo realizado por la carrera. Esta visita es previamente planeada de tal forma que en la institución se ejecute lo previsto con anterioridad. Se propone una agenda de parte de las autoridades de cada carrera, atendiendo la visita de los pares académicos, al tratarse de una vista simultánea para las cinco carreras objeto de evaluación, se planea la reunión con el Rector y Vicerrectores como una actividad conjunta En la ejecución Esta fase corresponde a la visita propiamente que realizan los pares académicos a la universidad objeto de la evaluación externa. La visita se programa para dos días en la cual, el equipo de pares realiza observación de la biblioteca, laboratorios, aulas u oficinas, según considere necesario y se reúne y entrevista con las autoridades de la 10 Anexo 2. Directorio de participantes.. Honduras, Septiembre

29 29 universidad, de la carrera y con los diversos estamentos de la carrera o programa: estudiantes, graduados, docentes, empleadores, administrativos. a. La institución abre sus puertas La universidad se prepara para la visita de los pares académicos, con el establecimiento de las fechas. La disposición de los espacios de reunión del equipo de pares y del equipo con los diversos actores, según lo planeado; con el recibimiento de los académicos en una primera reunión con las autoridades universitarias. También considera en esta coordinación, las reuniones con los diferentes estamentos y su presencia en los tiempos planificados. Inicia la fase de ejecución del simulacro con la llegada de los participantes (pares académicos) al país, quienes son recibidos en el aeropuerto y conducidos al Hotel Plaza del Libertador donde será la sede. Allí, se cuenta con los salones para la reuniones de los equipos de pares, previas a la realización de la visita a la universidad, y una sala para reuniones generales. b. Primeras acciones Con la facilitación de la MSc. Martina Hornberger coordinadora del equipo moderador, la tarde de la llegada de los participantes, se realiza una reunión general para la presentación de ellos, la inducción al programa y a la metodología del curso. En este curso de capacitación los equipos de pares (Anexo N 3), se conforman, según la carrera asignada previamente y, de la que ya han recibido el informe de autoevaluación. Una de las primeras actividades del equipo de pares es una reunión para conocerse y nombrar en su seno un coordinador (a). En cada equipo está incorporado un representante de la Comisión Técnica del SICEVAES. Los participantes se preparan intercambiando sus anotaciones y puntos de interés con los otros integrantes del equipo. En el segundo día, bajo la moderación de la MSc. Alicia Díaz, en una actividad conjunta, los participantes son inducidos, por el conocimiento experto del Dr. Silva Triviño de Chile y el Dr. Londoño Restrepo de Colombia, en la conceptualización, principios, metodología y experiencias en evaluación por pares externos, mediante conferencias e intercambio de preguntas. Paralelamente y conforme se desarrollan los diferentes temas por los expertos invitados, los miembros de la Comisión Técnica de Evaluación del SICEVAES favorecen el conocimiento y estudio de las guías, a saber: Guía de Evaluación Externa por Pares Académicos, Guía para la Lectura, Análisis y Valoración del Informe de Evaluación, Guía para Facilitar la Visita de Evaluación por Pares Académicos Externos, Guía para Elaborar el Informe Final, y el Código de Ética de los Pares Externos. 11 Estas guías constituyen un apoyo para los equipos de pares en 11 Anexo 4. Guías para la evaluación externa y código de ética de los pares. Comisión Técnica del SICEVAES. Honduras, Septiembre 2 002

30 30 sus tareas como evaluadores externos, a la vez, que se realiza una validación de las mismas. Las experiencias regionales, también están presentes mediante un panel, en el que se ofrece la vivencia de haber sido par, con la participación del Dr. José Benjamín López Guillén; el haber sido integrante de un programa que recibe un par académico, la Profesora Liriola Reyes de Chavarría y como miembro de la Comisión Técnica del SICEVAES, la Licda. Margarita Muñoz (Anexo N 5). El Dr. López manifiesta que su experiencia como par evaluador se da en el contexto de un proceso enmarcado en el Sistema de Supervisión y Mejoramiento de la Calidad de la Educación Superior, creado por Acuerdo Ejecutivo, emitido por el Ministerio de Educación de El Salvador en Sistema que comprende tres sub-sistemas: la evaluación, la calificación Institucional y la acreditación institucional. En la conformación de los pares corresponde al Ministerio de Educación seleccionar de una propuesta realizada por diversas instituciones, los capacita y nombra. El par puede o no aceptar y, la institución a la que se le asigna el par también puede o no rechazar el nombramiento, previas justificaciones. Su labor de evaluador externo durante la visita, explica el Dr. López, se debe tener habilidad y tacto para disipar tensiones y crear un clima de confianza en que los resultados servirán para fortalecer a la institución. La Prof. Liriola, en su experiencia como integrante de un programa que recibe a un par, comenta acerca de las preocupaciones que anteceden a la visita de los pares y los cuestionamientos que surgen al respecto tales como Qué van a solicitar los Pares Externos?, La información que se tiene disponible, es suficiente para atender los requerimientos de los Pares Académicos?. Durante la visita, las inquietudes se orientan hacia el procedimiento realizado a lo interno del proceso de autoevaluación y se preguntan qué fallas encontrarán en el proceso de autoevaluación? y qué preguntas nos realizarán?. Solicitarán información muy detallada? Recordaremos todos los datos en el momento en que requieran alguna sustentación? Se recomienda a los pares, tener tacto y tolerancia durante las diferentes actividades y reuniones que realizan en la visita para la evaluación externa. La Licda. Muñoz, destaca los tres momentos de la evaluación antes, durante y después de la visita a la universidad cuya carrera se está valorando. Manifiesta las inquietudes surgidas en el ámbito personal y las responsabilidades de enlace entre la institución y los pares académicos, antes de realizar la visita. Durante la visita, se manifiestan las expectativas del equipo evaluador externo, ante la reunión con las autoridades y de las autoridades ante el equipo evaluador y se realizan las diferentes reuniones y visita a las instalaciones, todo con cierto marco de flexibilidad. El intercambio entre los pares es una de las actividades relevantes para identificar los puntos clave de su labor e informes. Después de la visita, las acciones se centran en la redacción y entrega del informe escrito, correspondiendo al presidente del equipo evaluador el envío a la SP/CSUCA.. La Licda. Muñoz destaca la importancia del ser inquisitivo por parte de los miembros del equipo evaluador.

31 31 Los participantes al curso, durante la tarde y noche, en los equipos de pares, realizan sus primeras acciones conjuntas de análisis de los informes de autoevaluación, apoyados en el conocimiento y experiencias recién adquiridas y en la guía propuesta para este fin. La organización de la visita a la universidad, demanda de la atención y estudio del equipo, quienes dialogan y revisan la agenda de la visita (Anexo N 6) y establecen las líneas generales de lo que será el informe de su labor. c. La visita a la institución En la universidad, el equipo de pares es recibido por los y las coordinadoras de la carrera y les conducen a la sala destinada para sus reuniones. El equipo de moderadoras y expertos se ubican en una sala de fácil acceso para apoyar en lo correspondiente, a los pares académicos. A cada uno de los equipos se le asigna una computadora portátil, con el propósito de facilitar su labor. Corresponde a la MSc. Vielka de Escobar, moderar las actividades de la visita. Los integrantes de los diferentes equipos de pares académicos, en la universidad se disponen a aclarar algunos puntos del informe de autoevaluación, verificar la información allí anotada y mediante reuniones con los diferentes participantes en el proceso de autoevaluación, obtener una visión integral del proceso de autoevaluación, a la luz de la misión y objetivos de la universidad y de la carrera. Al ser esta una experiencia didáctica, las autoridades interesadas por seguir aprendiendo y mejorando su accionar académico, reciben a los pares. La entrevista con el Rector, Vicerrectoras, en este caso, es conducida por los expertos invitados, con todos los pormenores, rigurosidad y protocolo que la actividad requiere. Explican a las autoridades el propósito de la visita, reconocen el valor de la experiencia de la universidad, proponen la agenda de la visita y abordan algunos temas generales vinculados con la política universitaria, resorte de las autoridades presentes y algunos aportes en la carrera. Cuestionan algunas particularidades del proceso de autoevaluación, en relación con lo propuesto por el SICEVAES y con algunos detalles que evidencian la lectura y conocimiento de la información otorgada en el informe de autoevaluación. Realizan preguntas prospectivas acerca del seguimiento a los procesos recién concluidos: formación de nuevos recursos, alianzas financieras, entre otros. Agradecen la disposición de las autoridades presentes y se despiden. Los equipos de pares, escuchan, anotan, hacen breves comentarios entre sí, aprenden... Una vez realizada esta entrevista con las autoridades, punto inicial en la agenda, los pares académicos siguen con las actividades previstas, de tal forma que en las salas asignadas, afinan los detalles propios de su labor: identificar áreas claves para profundizar en las entrevistas, definir tareas y responsabilidades entre los miembros del equipo evaluador, apoyados en el conocimiento brindado por los expertos. La tarde del primer día y la mañana del segundo día de la visita, transcurren entre entrevistas con los integrantes de los Comités de Autoevaluación, los docentes de la carrera, con estudiantes, administrativos, y graduados, en busca de documentos y materiales que permitan profundizar y aclarar algunos puntos clave, previamente identificados. Los

32 32 miembros de los diferentes equipos de pares académicos, recorren las instalaciones que utiliza la carrera, los laboratorios, las aulas, observando el cotidiano quehacer de la institución, tomando notas que faciliten su labor. Algunas de las entrevistas a empleadores fueron realizadas en el lugar de trabajo de ellos, fuera del recinto universitario. Estas actividades demandan la participación de todos y cada uno(a) de los profesionales, quienes viven la experiencia de realizar todas las funciones de un evaluador externo para los procesos de autoevaluación, en su labor, han estado consultando las guías ofrecidas por la Comisión del SICEVAES. Las horas de la noche han sido testigo de las discusiones, análisis y valoraciones, que los participantes del curso realizan para el cumplimiento de sus funciones como pares, preparando el informe oral y las primeras líneas del informe escrito. Los miembros de las Comisiones de Autoevaluación, los integrantes del Departamento de evaluación de la universidad, los profesionales y administrativos de las universidades anfitrionas, estuvieron siempre atentos (as), siguiendo paso a paso el desarrollo de la actividad, para aportar en lo correspondiente. Los expertos invitados se subdividieron entre los grupos de pares para realizar observación de su labor y otorgar una valoración general al finalizar la actividad. Durante esta etapa de trabajo, las moderadoras se desplazan por los diferentes sitios, observando y apoyando en lo que el coordinador (a) del equipo requiera, tratando de no alterar el ambiente en el que están inmersos los equipos de pares y respetando la libertad de acción, como ocurre en la realidad de una evaluación externa para los procesos de autoevaluación, dado que es el equipo de pares académicos el responsable de la evaluación externa. Las actividades realizadas durante la visita a la universidad se han cumplido, las tareas por emprender corresponden a la elaboración de los informes oral y escrito, como resultado de la evaluación externa. d. El informe oral El informe oral, se presenta al final de la vista a la universidad, como una acción de respeto y cortesía para quienes han recibido a los evaluadores externos, visita generadora de interrogantes, cuya respuesta puede aproximarse con este informe, toda vez, que ofrece un avance de lo que será el informe escrito, por lo que se centra en lo importante en forma jerarquizada, relacionado y respaldado con los factores de evaluación (Silva Triviño, set. 2002). Los participantes del curso, apoyan el diseño de su informe oral en los lineamientos y sugerencias recibidas de parte de expertos y miembros de la Comisión Técnica del SICEVAES. Los equipos analizan las informaciones, y trabajan en la preparación del informe oral y de la visita, durante la tarde del jueves y la mañana del viernes.

33 33 El informe oral se realiza en la Universidad Pedagógica Nacional ante la Vicerrectora Académica, Decanos de las facultades cuyas carreras son objeto de la evaluación externa, Directores de las carreras y docentes y estudiantes interesados en conocer la opinión de los pares académicos, y autoridades de la Universidad Nacional de Honduras. Se dispuso de un salón en el que los diferentes miembros de las carreras formaran parte del auditorio, y los equipos de pares, uno a uno, darían su informe oral a las autoridades correspondientes, en un ambiente de respeto y diálogo. Las exposiciones del informe oral contaron con 15 minutos y el intercambio de preguntas con 5 minutos para cada equipo. Es a la Presidenta (e) del equipo de pares a quien corresponde exponer el informe de lo indagado acerca del proceso de autoevaluación de la carrera, que se brinda según los factores propuestos. Las exposiciones de los informes orales captaron la atención de la audiencia y las preguntas o aclaraciones una vez concluidas, evidenciaron la importancia concedida por las autoridades y diversos estamentos de la carrera a esta experiencia didáctica, también ellos estaban aprendiendo acerca de su quehacer al confirmar fortalezas y debilidades que los pares académicos, en algunos casos les habían señalado en ocasión de la validación de sus procesos de autoevaluación y al descubrir otras, manifiestas por la valoración de los participantes al curso En la evaluación La capacitación recibida ha permitido a los participantes conocer acerca de la evaluación externa y de ser par mediante el aporte de expertos externos Colombia, Chile y de la región centroamericana, El Salvador y Panamá. Ha sido una vivencia de la actividad propia de la evaluación externa a los procesos de autoevaluación de una carrera, en la que han experimentado la selección como par académico, la lectura del informe de autoevaluación, viajar a la universidad, encontrarse con los homólogos para compartir sus interrogantes, entrevistar y reunirse con los protagonistas del proceso de autoevaluación y las autoridades institucionales, ofrecer el informe oral y preparar lo que será el informe escrito, que deben enviar, en un mes, a la Secretaría del CSUCA. Esta etapa del simulacro se realiza bajo la moderación de la MSc. Alicia Díaz, en una discusión plenaria con los expertos y socialización de los aprendizajes, en la que se comparte la valoración de los expertos, como una forma de realimentar a los capacitados en el desarrollo de sus tareas como pares académicos y por los participantes 12, quienes previamente respondieron una encuesta y ahora comparten sus apreciaciones y comentarios. Organizadores y moderadores 13 ofrecen la valoración de la actividad en una reunión efectuada al cierre del curso de capacitación. 12 Anexo Nª 7. Evaluación del curso de capacitación. MSc. Alicia Díaz. 13 Anexo Nª 7

34 34 a. Los expertos Los expertos quienes se dividieron la observación de los diferentes equipos de pares en el desempeño de las funciones, integran sus apreciaciones acerca del quehacer de los equipos, focalizando en aquellos puntos que amplién la capacitación de los profesionales y las ofrecen en cuanto: Al protocolo: La puntualidad a las actividades es una de las características observadas en los diferentes equipos de pares. Las entrevistas y reuniones se hicieron con audiencias separadas, lo que facilita la indagación. Al focalizar en algunos medios como la biblioteca, la red, debe mirarse si existe relación cómo la usan los docentes y los estudiantes?, cómo se logra su acceso?. La secuencia de las actividades con los responsables de los procesos de enseñanza aprendizaje: estudiantes, docentes, etc. quienes poseen un conocimiento práctico y detallado del programa facilita establecer puntos focales clave. En la agenda debe haber flexibilidad y concertarla tomando la iniciativa en el grupo de pares, en el caso de la experiencia, se tomó la agenda preparada por la institución. El dueño de la agenda es el equipo evaluador. A la conducción y desarrollo de la evaluación externa: Se hace énfasis en la importancia de aclarar desde un inicio de la reunión a qué viene cada grupo de invitados a la entrevista. La necesidad de conocer el rol que juega la persona entrevistada, porque es fuente de potencial información y permite valorar la información que aporta y establecer una vinculación de su repuesta. Cada audiencia posee una visión del programa, por lo que hay que permitirse obtener una visión integral que otorga mayor beneficios al equipo de pares. No a todas las audiencias se les puede preguntar de todo y de la misma forma. Se indaga según los factores y características, presentando al personal en situaciones condicionantes: si usted fuera el Vicerrector Académico qué haría respecto a... o también, el utilizar datos extraídos del informe u otra fuente consultada para hacer reaccionar a la audiencia al respeto, por medio de analogías se puede lograr encontrar debilidades, desarrollos y prospectivas del programa. Por la vía del juego, es otra forma de retraer información. No se debe inducir la respuesta ni realizar preguntas multiobjeto, porque las repuestas no se definen con claridad, se indaga uno a uno cada aspecto. Tampoco debe tomarse una posición respecto a las respuestas otorgadas, sino conservar la distancia como par evaluador. Mantener claro el horizonte en las entrevistas, ahorra tiempo en la adquisición de información. En los grupos hay quienes desean hablar por lo que es conveniente orientar los tiempos de respuesta, lo mismo vale para las preguntas. La rotación de la palabra es muy importante y establecer las reglas del juego dentro del equipo, como admitir dos respuesta, quien orienta en el uso de la palabra, etc. En términos generales valoran el trabajo de los equipos y la actuación de los (as) presidentes (as) en forma positiva.

35 35 b. De los participantes Para recopilar la opinión de los participantes acerca de la capacitación, se aplicó un cuestionario, en el que se valoran los contenidos, la metodología, la organización, la coordinación y los aprendizajes adquiridos, que responden en forma escrita y posteriormente, se comentan los resultados. Los contenidos y metodología: Los participantes valoran entre muy bueno y bueno el desarrollo y la profundidad de los contenidos, la importancia de la metodología con la visita a la institución, la calidad de los expertos, en general. Es en la preparación del taller que se ve afectado por la valoración, al no recibir algunos de los participantes, los informes de autoevaluación con anterioridad suficiente para su lectura analítica, debiendo hacerlo en las primeras noches del curso. La organización: Se visualiza en el apoyo, apertura y coordinación entre las universidades anfitrionas, el ambiente de trabajo, los servicios de transporte y comunicación así como el equipo multimedia, son las variables para describir este aspecto que en general reciben una valoración entre muy bueno y bueno. Aunque cada equipo contó con una computadora y video beam, este no fue suficiente para facilitar su labor. El horario de trabajo hasta altas horas de la noche e incluso madrugadas, no era positivo para los participantes al curso residentes en el país, quienes ya no contaban con transporte para su traslado. La coordinación: Se valora la participación de la Comisión Técnica de Evaluación del SICEVAES, el apoyo de esta Comisión, la moderación y la coordinación entre los diferentes actores del proceso, que en general se reconoce en forma positiva, aunque se observa en las respuestas de los participantes confusión entre las funciones de las moderadoras y de los integrantes de la Comisión Técnica Aprendizajes adquiridos Algunos de los aprendizajes mencionados por los participantes al curso son : El conocimiento de elementos conceptuales, cognoscitivos, metodológicos y éticos acerca de los procesos de evaluación externa Ampliar y profundizar el conocimiento y la importancia acerca de los procesos de autoevaluación La adquisición de destrezas de comunicación para realizar trabajo en equipo La integración de los equipos de pares en forma interdisciplinaria e interinstitucional enriqueció su experiencia profesional

36 36 El conocimiento de las experiencias centroamericanas, otorgado al compartir con profesionales de la región La práctica de la evaluación externa, como un aprender haciendo La adquisición de un compromiso con la universidad por la oportunidad de esta capacitación y con el CSUCA, en compartir este conocimiento con otros profesionales Proyecciones Con la moderación de la MSc. Martina Hornberger y la participación de los miembros de la Comisión Técnica, se procede a intercambiar opiniones acerca de la utilidad y valoración de las Guías para los procesos de evaluación externa que se aplicaron en las diferentes etapas del curso. El aporte de los participantes enriquece la propuesta y permite mejorar los diferentes instrumentos. (Anexo Nº 4). Otro de los puntos de proyección, corresponde a la multiplicación de los aprendizajes en las universidades de los participantes. Los participantes se reúnen por países durante 30 minutos, con el fin de realizar una propuesta de multiplicación del taller. Los aspectos por considerar son: Propósito, gestión del proceso, los recursos, la coordinación requerida. Participantes: Mter. Xinia Salmerón, Mter. María del Rosario Arce, Ing. Fernando Silesky, Ing. Carlos Espinoza, Lic. Fernando Bolaños Baldioceda y MSc Alicia Díaz Alvarado En las exposiciones de las propuestas de los diferentes países se coincide en señalar la riqueza del simulacro como recurso metodológico, sin embargo, se evidencia la dificultad de la financiación para su aplicación, al tenerse que contemplar los costos de transporte y estadía.

37 37 Para ello se propone, prever a lo interno de las universidades, la organización de talleres de capacitación para posibles pares, con la técnica de simulación que requiere de documentos donde las situaciones de autoevaluación son hipotéticas y los participantes al curso pueden ubicarse en un espacio físico propio de la institución. Esta multiplicación se visualiza con el aporte y la cooperación de los diferentes profesionales asistentes a esta capacitación. Se planea para el año efectuar las primeras sesiones de multiplicación de los aprendizajes. ANEXO 1 Universidad Pedagógica Francisco Morazán Secretaría Permanente CSUCA Fundación Alemana para el Desarrollo Internacional Universidad Nacional de Honduras PROGRAMA DE COOPERACIÓN CSUCA-DSE PARA EL MEJORAMIENTO DE LA CALIDAD UNIVERSITARIA PLAN BÁSICO TALLER INTERNACIONAL DE CAPACITACIÓN DE POTENCIALES COORDINADORES DE EQUIPOS DE PARES ACADÉMICOS PARA LA EVALUACIÓN EXTERNA DEL SICEVAES (Honduras, septiembre, 2002) 1. LUGAR: Tegucigalpa, Honduras SEDES: a. Local principal: Hotel Plaza del Libertador b. Visita de pares: Universidad Pedagógica Nacional Francisco Morazán 2. OBJETIVOS Objetivo General Conformar un grupo de académicos centroamericanos con capacidad de conducir exitosamente procesos de evaluación externa de programas y gestión institucional de la educación superior, en universidades que llevan a cabo procesos de evaluación en el marco del SICEVAES. Objetivos Específicos Analizar los principios en que se sustentan los procesos de evaluación por pares externos, especialmente la importancia de la inclusión de grupos interesados fuera de la universidad. Compartir experiencias de procesos de evaluación por pares externos nacionales e internacionales. Realizar un proceso didáctico de simulación de evaluación por pares externos. Dar a conocer el instrumental desarrollado por el SICEVAES para la conducción de procesos de autoevaluación, preparación de informes y evaluación por pares externos. Validar el instrumental desarrollado por el SICEVAES para la conducción de procesos de autoevaluación, preparación de informes y evaluación por pares externos. Reflexionar sobre el papel y el perfil de los pares externos en los procesos de evaluación. Diseñar un proceso de multiplicación del curso en los países centroamericanos.

38 38 3. CONTENIDOS Conceptualización, principios y metodología en autoevaluación y evaluación por pares externos. Perfil y funciones del par evaluador externo: características del par, condiciones de preparación del par, funciones. Instrumentos para la conducción de procesos de autoevaluación y evaluación externa por pares del SICEVAES. Criterios para el análisis de informes de autoevaluación. Criterios para la construcción de informes de evaluación externa por pares. Estrategias para la realización y conducción de visitas de evaluación externa por pares. Análisis de los instrumentos y de las guías propuestas por el SICEVAES para: o la evaluación externa de pares o métodos de inclusión de grupos fuera de la universidad o el análisis del informe de autoevaluación o la elaboración del informe Estrategias de multiplicación de la experiencia de capacitación de pares. 4. METODOLOGÍA Dada la necesidad de generar conocimiento sobre los procesos de evaluación por pares externos en el contexto del Sistema Centroamericano de Evaluación y Acreditación de la Educación Superior SICEVAES, se plantea este taller como una oportunidad de construirlo conjuntamente a partir del conocimiento experto con que se cuenta y las visiones y experiencias de los participantes. Para el logro de los objetivos propuestos se requiere una máxima participación, apertura para aprender de las experiencias de los demás, disposición para cambiar cuando sea necesario y compromiso para realizar las acciones que involucra el taller. El taller se trabajará por medio de presentaciones generales con discusión, panel, trabajos grupales, visitas de campo y elaboración y presentación de informes por parte de los grupos, discusión y análisis de los instrumentos utilizados. Para facilitar las discusiones y recuperar los principales interrogantes de los participantes, se utilizarán técnicas de visualización de Metaplán y con equipo multimedia. Se prevé que los participantes encuentren espacios para consultas y discusión con los expertos y entre ellos mismos. Para el trabajo de grupos se proponen las carreras de educación con el grado de Licenciatura en: 1. Ciencias Sociales 2. Educación Preescolar 3. Educación Comercial 4. Educación Técnica Industrial 5. Administración Educativa 5. PARTICIPANTES Se espera la participación de 20 académicos de las universidades miembros del CSUCA que además de calificar para formar parte del banco de pares evaluadores externos del SICEVAES (postgrado, reputación en su disciplina, experiencia universitaria, etc.) presenten potencial para ser coordinadores (líderes) de equipos de pares para la evaluación externa en el marco del SICEVAES. Debe procurarse que en el perfil del participante se consideren cinco personas con formación en el campo de la Educación, en el área de cada carrera.

39 39 Participan también los nueve miembros de la Comisión Técnica de Evaluación del SICEVAES. 29 participantes en total. En el caso de las Universidades anfitrionas se invita a dos personas de la UNAH y tres de la UPNFM. Para el curso puede abrirse la participación de académicos en las conferencias. La selección de los participantes la hace el Comité de Coordinación Regional del SICEVAES. Como excepción se aceptará la participación de algún académico adicional, que por la idoneidad de sus funciones su institución de origen solicite participar en el evento, siempre que dicha institución cubra todos los gastos de su participación. Número máximo de participantes: 32 personas. 6. PROGRAMA DÍA HORA ACTIVIDAD RESPONSABLE Lunes 23: INAUGURACIÓN 8:00 12:00 Llegada de los participantes UPNFM 14:30 15:30 Inauguración oficial Protocolo UPNFM 15:30 16:30 Presentación de participantes. Inducción al programa y a la metodología del taller Moderadora del día Martina Hornberger 16:30 17:30 Presentación general del contexto en que se Francisco Alarcón ubica el curso de capacitación Programa cooperativo de la CSUCA-DSE Martina Hornberger 17:30 19:00 Visita al centro histórico de la ciudad Protocolo UPNFM 20:00 CENA DE BIENVENIDA Coordinación UPNFM Martes 24: INTRODUCCIÓN 08:00 09:00 Presentación de la Guía de Evaluación Externa del SICEVAES y de los instrumentos para la conducción de procesos de evaluación 09:00 10:00 Conceptualización, principios, metodología y experiencias en evaluación por pares externos Conferencia y preguntas aclaratorias 10:00 10:30 RECESO 10:30 11:30 Conceptualización, principios, metodología y experiencias en evaluación por pares externos en la educación Superior en Colombia Conferencia y preguntas aclaratorias 11:30 12:00 Discusión 12:00 ALMUERZO 14:00 15:00 Panel: Visión de las experiencias como par, como programa que recibe al par y del Comité Técnico de Evaluación Moderadora del día: Alicia Díaz Dr. Moisés Silva Dr. Guillermo Londoño Restrepo Equipo de moderación 15:00 15:15 RECESO 15:15 16:15 Integración e inducción de equipos para la Equipo de moderación evaluación por programas. Criterios para el análisis de informes de autoevaluación (Trabajo de grupos) Martes 24 16:15 18:00 Por grupo de pares: Análisis del informe de Equipo de Moderación (Cont.) autoevaluación y organización interna de la visita. (Trabajo de grupos) 20:00 Opcional: Trabajo de grupos Miércoles 25 07:30 08:00 Traslado a la UPNFM Protocolo UPNFM

40 40 08:00 10:00 Por grupo de pares: Análisis del informe de Equipo de Moderación autoevaluación y organización interna de la visita (Trabajo en grupos) 10:00 10:30 RECESO VISITA A LA INSTITUCIÓN 10:30 11:30 Entrevista con el Rector : Visita de los pares Moderadora del día: Vielka de Escobar Dirección de Evaluación, 11:30 12:30 Reunión de grupos para afinar detalles de la visita UPNFM Equipo de Moderación/ Comités de Autoevaluación 12:30 14:00 ALMUERZO EN LA UPNFM Coordinación UPNFM 14:00 20:00 Realización de la visita (facultades) Comités de autoevaluación Jueves 26 Viernes 27 08:00 12:30 Continúa la realización de la visita (facultades y grupos fuera de la universidad) Comités de autoevaluación 12:30 16:00 ALMUERZO (en Valle de Ángeles, fuera de Coordinación UPN la ciudad) EL INFORME DE PARES 16:00 17:00 Reflexión sobre la visita en grupos (con Moderadora del dia: preguntas orientadoras) Vielka de Escobar 17:00 17:15 RECESO 17:15 18:00 Inducción a la preparación del informe Criterios a seguir Dr. Moisés Silva 18:00 19:30 Elaboración informe de la visita Equipos 08:00 10:00 Elaboración del informe de la visita (Trabajo en grupos) 10:00 10:30 RECESO 10:30 12:00 Elaboración del informe de la visita (Continuación) 12:00 14:00 ALMUERZO 14:00 16:00 Presentación de informes de evaluación externa 16:00 16:15 RECESO 16:15 17:30 Discusión plenaria con los expertos y socialización de los aprendizajes. Moderadora del dia: Alicia Díaz Equipos Equipos Equipos Equipos 18:00 Acto de Clausura Coordinación UNAH 20:00 CENA DE CLAUSURA Coordinación UNAH Sábado 28 PROYECCIONES 08:00 09:30 Análisis de las guías utilizadas en la evaluación externa (Trabajo en grupos) 09:30 09:45 RECESO 09:45 12:00 Desafíos y estrategias personales y profesionales para el/ la evaluador(a) externo(a) Reflexión y discusión 12:00 13:30 ALMUERZO 13:30 14:30 Organización de la multiplicación del curso (Trabajo en grupo por países) 14:30 14:45 RECESO Moderadora del día: Martina Hornberger Equipos Equipo de Moderación 14:45 17:00 Evaluación del curso Equipo de Moderación Domingo 29 Regreso de los participantes a sus países Protocolo UPNFM

41 41

42 42 ANEXO 2 DIRECTORIO II CURSO DE CAPACITACION DE POTENCIALES COORDINADORES DE PARES EXTERNOS (Tegucigalpa, 23 al 28 de septiembre de 2002) Tegucigalpa, Honduras Septiembre Participantes, expertos, invitados y moderadores. PARTICIPANTES UNIVERSIDAD TELÉFONO BELICE University of Belice, M.Ed. Angelita Cal Profesora, Tel (501) / ; acal@ub.edu.bz aical@ub.edu.bz, GUATEMALA Universidad de San Carlos Centro Universitario de Sur Occidente, CUNSUROC EL SALVADOR Universidad de El Salvador, UES Belice City, Belize Dr. Linton Roberto Grajeda Salazar Profesor Titular, Guatemala Docente de Laboratorios, Facultad de Odontología Campus central, zona 12 Ciudad de Guatemala. Licda. Alba América Acevedo Psicología División de Desarrollo Académico, Ciudad de, Guatemala Ing. Carlos Antonio Barrera Arenales Profesor Titular Area de Agronomía.Universidad de San Carlos. MSc. Carlos Roberto Gómez C. Catedrático y Coordinador, Facultad de Ciencias Económicas San Salvador, El Salvador Fax (501) Tel (502) , , (casa), (celular) Fax (502) Tel (502) , Fax (502) Telefax (502) , (celular), Fax (502) Telefax (503) lintongrajedas@yahoo.com americaacevedo@hotmail.com usaciime@usac.edu.gt chalibarrera@hotmail.com usacmaza@usac.edu.gt centroser@telesal.net