II XORNADA DE TRABALLO PARA AVALIADORES EXTERNOS

Transcripción

1 II XORNADA DE TRABALLO PARA AVALIADORES EXTERNOS

2 II XORNADA DE TRABALLO PARA AVALIADORES EXTERNOS.

3 Edita: ACSUG Axencia para a Calidade do Sistema Universitario de Galicia IES Compostela, 5 a planta - Rúa Lamas de Abade s/n Santiago de Compostela Tfno.: Deseño e maquetación: a ref.erencia, S.L. Edificio Agro do Corgo, esc.2-2ºc Cacheiras-Teo Tfno.: Depósito Legal: C

4 3 Por segundo ano consecutivo, a Axencia para a Calidade do Sistema Universitario de Galicia (ACSUG) organizou o 1 de xullo de 2004 unha Reunión de Traballo con membros dos Comités de Avaliación Externa das distintas titulacións avaliadas no Sistema Universitario de Galicia dentro da primeira convocatoria do Programa de Avaliación Institucional da ACSUG. A implicación e colaboración de todos os colectivos que participan no proceso de avaliación constitúe a base fundamental para a mellora dos procesos, de tal modo que asistiron a esta xornada os Presidentes, Vocais Académicos, Vocais Técnicos e Profesionais dos Comités de Avaliación Externa e os Presidentes dos Comités de Autoavaliación dalgunhas das titulacións avaliadas. A xornada centrouse na análise dos cambios de metodoloxía derivados da derogación do II Plan de Calidade das Universidades e a implantación do Programa de Avaliación Institucional, dando lugar a un debate altamente interesante e acadando un elevado grao de satisfacción dos asistentes. Quixera agradecer a todos os asistentes a súa colaboración e emprazalos a que continúen contribuíndo á mellora do noso Sistema Universitario, tarefa en que estamos todos implicados. Manuel Cecilio Díaz y Díaz Presidente do Consello de Dirección de ACSUG

5

6 5 Esta xornada de traballo foi altamente frutífera, tanto pola variedade como polo interese dos temas tratados, entre os que cabe destacar o papel que deben exercer as Unidades Técnicas de Calidade, así como a relación que debe existir entre o Comité de Avaliación Externa e o Comité de Autoavaliación, entre outros. Nesta reunión, ademais da análise do proceso de avaliación, presentouse o Plan de Seguimento de Propostas de Mellora da ACSUG, a través do que se pretende dar resposta aos principais problemas detectados nos actuais procesos de avaliación, no que respecta á implantación e seguimento das propostas de mellora. Esta iniciativa, pioneira dentro do Sistema Universitario Español, tivo unha excelente acollida por parte dos asistentes, que valoraron moi positivamente tanto o enfoque, como a metodoloxía proposta, baseada nos Criterios do Programa de Avaliación Institucional. O Plan de Seguimento constitúe ademais a base do novo Plan de Axuda a Propostas de Mellora da ACSUG, programa que conta cunha importante dotación económica para apoiar as propostas de mellora, co obxecto de garantir a súa efectiva implantación. Eugenio Muñoz Camacho Director da ACSUG.

7

8 II Xornada de traballo para avaliadores externos 7 ÍNDICE Introdución 9 Desenvolvemento da Xornada 10 Obxectivos da Xornada 11 Relación de participantes 12 Principais aportacións ao debate 14 Resultados das enquisas de valoración 21 Conclusións 23 Anexos* 25 1 Estrutura da ACSUG 27 2 Programa da Xornada 29 3 Presentación 31 4 Modelo de Propostas de Mellora 67 5 Ferramenta de comprobación do Informe de Autoavaliación 69 6 Resultados das enquisas de valoración 74 7 Guía de avaliación e seguimento do Plan de Mellora 99 8 Glosario de termos e siglas empregadas 129 *Os Anexos están na versión en castelán

9

10 II Xornada de traballo para avaliadores externos Introdución 9 INTRODUCIÓN Unha vez concluído o Proceso de Avaliación Externa das distintas titulacións participantes na primeira convocatoria do Programa de Avaliación Institucional da ACSUG, celebrouse o día 1 de xullo de 2004, na sede da Axencia, en Santiago de Compostela, un encontro cunha mostra representativa de Presidentes, Vocais Académicos, Vocais Técnicos e Profesionais dos Comités de Avaliación Externa e algúns dos Presidentes dos Comités de Autoavaliación das titulacións avaliadas, co obxecto de analizar diversos aspectos básicos para mellorar o desenvolvemento do proceso de avaliación. Ao longo do presente documento resúmense os principais temas abordados durante a xornada, incluíndo como anexos a documentación facilitada aos asistentes.

11 10 II Xornada de traballo para avaliadores externos Desenvolvemento da xornada DESENVOLVEMENTO DA XORNADA De acordo co Plan de Traballo establecido previamente, abordáronse os seguintes temas: 1. Presentación da Axencia para a Calidade do Sistema Universitario de Galicia (ACSUG). 2. Presentación do Sistema Universitario de Galicia. 3. Protocolo de Avaliación. 4. A Avaliación Institucional no Sistema Universitario de Galicia. 5. Resultados da 1ª Convocatoria do Programa de Avaliación Institucional. 6. Puntos Fortes e Débiles. Propostas de Mellora 7. Obxectivos da xornada. 8. Proceso de Avaliación Externa. 1.Cubrimento das táboas da Guía de Avaliación. 2.Presentación Informes de Autoavaliación. 3.Documento de Verificación do Informe de Autoavaliación. 4.Singularidades aparecidas no proceso de Avaliación Externa. 5.Propostas de Mellora. Análise do Documento Guía. 9. Análise e Avaliación Externa por ámbitos científicos. 10. Resumo cuestionarios Avaliación Externa. 11. Como mellorar a Avaliación Externa. 12. O Proceso de Autoavaliación. Aportacións de Presidentes de Comités de Autoavaliación. 13. Plan de Seguimento de Propostas de Mellora.

12 II Xornada de traballo para avaliadores externos Obxectivos da xornada 11 OBXECTIVOS DA XORNADA Co obxecto de analizar en profundidade o proceso de avaliación externa e coñecer a opinión e as valoracións das persoas implicadas no mesmo, establecéronse os seguintes obxectivos: - Detectar debilidades no proceso administrativo (recepción do Informe de Autoavaliación, programación da visita, planificación de viaxes, asistencia durante a visita, aloxamento, traslados, etc.). - Detectar debilidades nos Informes de Autoavaliación. - Propoñer correccións para as debilidades detectadas nos Informes de Autoavaliación e no proceso administrativo. - Estructura dos Informes de Avaliación Externa. Conformidade e/ou modificacións necesarias. - Problemas na elaboración dos Informes de Avaliación Externa: como facilitala, grupos necesarios, etc. - Mellorar as definicións das propostas de mellora. - Analizar as necesidades de seguimiento dos procesos de apaliación. - Definir a estrutura do Plan de Seguimiento.

13 12 II Xornada de traballo para avaliadores externos Relación de participantes RELACIÓN DE PARTICIPANTES CEE ACSUG Presidentes Vocais Académicos Vocais Técnicos Profesionais - D. Eugenio Muñoz Camacho Director. - Dna. Mª Paula Ríos de Deus Técnico Avaliación Institucional. - Dna. Isabel Belmonte Otero Técnico Avaliación Institucional. - D. José Antonio Pérez Rodríguez Universidade da Coruña. Colaborador ACSUG. - D. Jaime Cervera Bravo Universidade Politécnica de Madrid. - D. Antonio Jesús Conejo Navarro Universidade de Castela a Mancha. - D. Alfredo Caso Gómez Universidade de Cádiz. - D. Juan José Achutegui Rodríguez Universidade de Cantabria. - D. Ángel Marcos de Dios Universidade de Salamanca. - D. Liborio Hernández Guerra Universidade de Valladolid. - D. Juan Luis Paniagua Soto Universidade Complutense de Madrid. - D. Antonio Garrido del Solo Universidade de Castela a Mancha. - Dna. María Cruz Oliver Sola Universidade de Navarra. - D. Emilio Eguía López Universidade de Cantabria. - Dna. Fuensanta Hernández Pina Universidade de Murcia. - D. Witerico Solís Sánchez Universidade Politécnica de Madrid. - Dna. Rosa Sanchidrián Pardo Universidade Europea de Madrid. - D. Juan José Cubero Marín Universidade de Zaragoza. - Dna. Teresa Cáceres Sansaloni Universidade de Sevilla. - Dna. Beatriz Martín Marín Universidade de Extremadura. - D. Juan Carlos Zubieta Irún Universidade de Cantabria. - D. Ricardo Díaz Cano Universidade Politécnica de Valencia. - Dna. Victoria Eugenia Millor Rego Consorcio de Bibliotecas Universitarias de Galicia. - D. Evaristo Núñez García Concello de Fene. - D. Manuel Otero Raña Xunta de Galicia (SIEGA). - D. Enrique Sedes Casal Izar Fene. - D. Paulino Novo Folgueira Radio Televisión de Galicia. - D. Santiago Fernández Lanza Filosofía. - D. José Luis Fernández Piñeiro Áridos do Mendo.

14 II Xornada de traballo para avaliadores externos Relación de participantes 13 CA - D. Aurelio Outón Soto Arquitectura Técnica Universidade da Coruña. - D. Jesús Manuel Castro Romero I. T. Industrial (Electrónica Industrial Universidade da Coruña. - D. Francisco Blanco Filgueira L. Máquinas Navais e Naútica e L. Transporte Marítimo Universidade da Coruña. - Dna. María José Martínez López L. Filoloxía Galega Universidade da Coruña. - D. José Luis González López L. Filosofía Universidade de Santiago de Compostela. - D. Xosé Manuel Cid Fernández D. Traballo Social Universidade de Vigo. - D. Enrique Lorenzo Cimadevila I. T. Forestal (Industrias Forestais) Universidade de Vigo. Organización da Xornada a cargo do grupo referido da ACSUG.

15 14 II Xornada de traballo para avaliadores externos Principais aportacións o debate PRINCIPAiS APORTACIÓNS AO DEBATE Seguindo o plan de traballo establecido e empregando como referencia a presentación da ACSUG, cuxa copia se aporta como documento adxunto, estableceuse unha quenda de intervencións sobre cada un dos puntos analizados, apoiándose nos resultados dos cuestionarios relativos ao proceso de avaliación externa (Anexo VI). Entre os comentarios e reflexións realizadas durante a sesión cabe destacar os seguintes: PROCESO DE AVALIACIÓN INSTITUCIONAL Participación das Unidades Técnicas de Calidade (UTC) nos Comités de Autoavaliación. Tendo en conta que un dos obxectivos fundamentais do proceso de avaliación é a análise e a reflexión sobre o estado da titulación, a presenza de alguén alleo á mesma pode limitar o debate, polo que con carácter xeral a participación do representante da UTC debe restrinxirse aos aspectos relacionados co protocolo e a metodoloxía de avaliación. Debido a isto non debe acudir ás reunións do Comité de Autoavaliación (CA), agás nos casos en que o Presidente o estime oportuno. Información do Proceso. En xeral, as UTC realizan un bo labor informativo, aínda que deberían profundizar máis naquelas titulacións que se avalían por primeira vez. Recopilación de Datos. As titulacións manifestan as dificultades para recadar certos datos, sobre todo en centros con varias titulacións, nos que é necesario imputar convenientemente a asignación de recursos a cada titulación, de tal modo que non se introduza un sesgo na análise.

16 II Xornada de traballo para avaliadores externos Principais aportacións o debate 15 Participación da Comunidade Universitaria. Obsérvase un incremento considerable da participación e implicación dos membros dos CA, se ben, con carácter xeral, este interese non se estende ao conxunto da comunidade universitaria, polo que se considera necesario incrementar a participación de todos os colectivos, especialmente dos alumnos. Difusión Informes de Avaliación. Débese garantir que os distintos Informes sexan difundidos convenientemente ao conxunto da comunidade universitaria para o seu debate e discusión. Guía de Avaliación. Puntualmente, algún CA solicita a creación dunha Guía de Autoavaliación para cada un dos ámbitos científicos. Máis este aspecto non se considera apropiado, por que un dos principais obxectivos do proceso de avaliación é garantir a uniformidade na análise e a posibilidade do contraste dos resultados obtidos, polo que e necesario que todas as titulacións utilicen as mesmas ferramentas. Aprobación pola Xunta de Centro dos Informes de Avaliación. Conceptualmente, sería conveniente que tanto o Informe de Autoavaliación (IA), como o Informe Final (IF) fosen ratificados pola Xunta de Centro da titulación avaliada, corroborando expresamente o compromiso co proceso, así como coa implantación do Plan de Mellora. Porén, nalgúns casos pode ser tecnicamente inviable, como consecuencia dun número indeterminado de factores, polo que co obxecto de non bloquealo proceso sería suficiente con que se informase convenientemente na Xunta do Centro. Revisión Informes de Autoavaliación. Tanto as Unidades Técnicas como a ACSUG deben velar polo seguimento e cumprimento da Guía de Autoavaliación, verificando que se aportaron todas as evidencias necesarias e que aparecen reflectidas as valoracións pertinentes a cada criterio, para o cal é esencial cubrir a Ferramenta de Comprobación do Informe de Autoavaliación, incluída no Anexo V do presente documento. Análise dos Datos Estatísticos. Obsérvase frecuentemente dificultades para valorar algúns datos estatísticos básicos, tales como a duración media dos estudos, a taxa de abandono, etc. Proponse que, xunto cos datos estatísticos os CA reciban valores de referencia procedentes tanto doutras titulacións afíns da propia universidade como da mesma titulación implantada noutras universidades.

17 16 II Xornada de traballo para avaliadores externos Principais aportacións o debate Evidencias. Sería interesante que o propio CA valorase en cada apartado a utilidade e o interese de cada unha das evidencias aportadas, indicando aquelas que son básicas para establecer un criterio ou valoración. Composición dos CA. Na maioría dos casos, existen dificultades para encontrar persoas dispostas a participar no proceso de avaliación, xa que require unha gran dedicación e esforzo, que non están suficientemente recoñecidos. Así pois, é necesario establecer unha compensación adecuada, tanto a nivel curricular como económica. Contexto. No PEI desapareceu a análise do Contexto da Titulación e a súa situación dentro da Universidade, aspecto que se considera necesario e fundamental para comprender as particularidades do centro a avaliar. Por este motivo propouse en futuras avaliacións reincorporar esta análise ao IA. Informe Final de Universidade. Formalmente son interesantes porque resumen nun só documento os procesos de avaliación levados a cabo durante a anualidade, sempre e cando aporten unha análise e valoración en detalle do que foi a avaliación ao longo desa convocatoria. PUNTOS FORTES E DÉBILES Puntos Fortes. A maioría das titulacións avaliadas propoñen puntos fortes que a cotío non están suficientemente xustificados con evidencias. Entre os mais sinalados, cabe destacar unha excelente formación dos seus titulados e un cadro de persoal cualificado. Puntos Débiles. De xeito esencial, a gran maioría das titulacións, independentemente do Ámbito Científico ao que pertencen, presentan dous puntos débiles básicos: unha elevada taxa de abandono e retraso e unha descoordinación entre materias afíns, sen que na maioría dos casos se propoña ningunha acción correctiva ao respecto.

18 II Xornada de traballo para avaliadores externos Principais aportacións o debate 17 Evolución. A medida que se concretan as cuestións a analizar, aparecen claramente definidos aspectos e cuestións cuxa valoración nos primeiros procesos de avaliación era ambigua. Cómpre destacar a modo de exemplo que ao principio, as relacións externas eran consideradas como una fortaleza que, ao analizalas tal e como propón a nova guía, se converten claramente en punto débil. PROPOSTAS DE MELLORA Documento Guía. Dende a Axencia promoveuse un modelo de propostas de mellora (Anexo IV) consensuado polas tres Universidades. Este modelo foi valorado moi positivamente polos asistentes, porque estrutura dun modo homoxéneo todos os aspectos necesarios para definir completamente unha proposta de mellora. Seguimento. Con frecuencia gran parte das propostas de mellora non chegan a concretarse, a pesar de ser asumidas polas propias universidades nos seus respectivos Informes Finais, debido ao cal é esencial un seguimento do seu cumprimento. Financiación e Apoio. Dende a súa creación, a ACSUG apoiou economicamente a implantación de propostas de mellora. Nalgúns casos, dende os centros non se asociou convenientemente a recepción desta axuda ca súa participación no proceso de avaliación, razón pola cal se considera conveniente que en futuras actuacións as axudas se dirixan a accións concretas. Priorización. Con carácter xeral, na maioría dos Plans de Mellora obsérvase unha falta de priorización clara das a de mellora. PROCESO DE AVALIACIÓN EXTERNA Envío de borrador do Informe de Avaliación Externa ao CA. Co obxecto de garantir a independencia do CEE, non se considera conveniente o envío ao ca dun borrador previo do Informe de Avaliación Externa, para a súa análise. Obviamente, isto non impide que o CEE se comunique co CA para aclarar calquera aspecto que considere oportuno durante o proceso de elaboración do IAE.

19 18 II Xornada de traballo para avaliadores externos Principais aportacións o debate Composición CEE. Considérase positiva unha certa continuidade das persoas implicadas no proceso de avaliación externa, o que permite mellorar a coordinación e eficiencia dos comités, o tempo que proporciona un maior agrao de uniformidade na análise. De todos modos é necesario e conveniente realizar novas incorporacións que contribúan a enriquecer o proceso. Profesional Externo. A figura do profesional externo aporta a súa experiencia profesional dentro da área da titulación avaliada, así como valoracións e criterios que difiren substancialmente con respecto aos do resto dos membros pertencentes ao ámbito universitario. Deste xeito súas aportacións soen ser altamente enriquecedoras, razón pola que se considera fundamental manter esta figura dentro dos procesos de avaliación. Duración Visita. Con carácter xeral, os profesionais destacan as dificultades que teñen para poder ausentarse do seu posto de traballo durante os dous días e medio que soe durar a visita ao centro, polo que a súa colaboración en moitos casos sá pode ser limitada, e estiman que a duración da visita é excesiva para os obxectivos propostos. Esta opinión contrasta coa do resto de compoñentes do CAE, que consideran a duración da visita escasa. Entre outras cosas, solicítase a inserción de descansos entre as audiencias co obxecto de realizar unha posta en común dos aspectos máis importantes, facilitando deste xeito a redacción do IAE. OUTROS ASPECTOS DE INTERESE Bolsas. Os profesionais externos asistentes analizan a falta de control e seguimento por parte dalgunhas titulacións das prácticas en empresas. Aínda que formalmente existe un regulamento bastante extenso, na práctica as Universidades delegan na empresa todas as funcións, o que pode dar lugar a situacións abusivas. Formación Continua. A Universidade debe facer un esforzo importante de adaptación ás necesidades sociais, non só en canto a formación académica propiamente dita, senón tamén na organización de cursos de posgrao e outras actividades, que permitan a actualización e formación dos profesionais en activo que xa non están directamente vinculados coa Universidade.

20 II Xornada de traballo para avaliadores externos Principais aportacións o debate 19 PLAN DE SEGUIMENTO Co obxectivo de realizar un seguimento das Propostas de Mellora establecidas polas titulacións nos diferentes informes, a ACSUG deseñou o Plan de Seguimento de Propostas de Mellora, cuxa Guía de Avaliación (Anexo VII) se encontra actualmente en proceso de aprobación, contraste e análise (validación por revisión de xuíces: Avaliadores Externos, Unidades Técnicas e Comités de Autoavaliación). Con respecto ao borrador de Guía de Seguimento do Plan de Mellora presentado, os asistentes aportaron as seguintes consideracións: Exposición. O Plan de Seguimento de Propostas de Mellora foi acollido moi positivamente polos asistentes da xornada, felicitando a iniciativa e demostrando o seu interese en involucrarse e participar en dito proceso. Criterios de Avaliación. Outro dos aspectos destacados polos asistentes foi a elección dos Criterios do PEI como base para a análise de debilidades e fortalezas, por tanto constitúe unha excelente oportunidade para que as titulacións adopten as medidas correctivas pertinentes que lles permitan afrontar os futuros procesos de adaptación ao EEES nas mellores condicións posibles. Deseño. Dado que se trata dunha nova metodoloxía, é preciso coidar todo os aspectos formais e de nomenclatura co obxecto de evitar confusións e problemas de interpretación. Motivación. Tendo en conta que as titulacións participantes xa foron avaliadas mediante os anteriores plans de avaliación, nos que non se analizaban directamente os criterios do PEI, cómpre realizar sesións de información e sensibilización para concienciar a todo os implicados no proceso da necesidade de volver a analizar o estado da titulación, e formular así un novo Plan de Mellora que permita corrixir as deficiencias detectadas. Con carácter xeral, unha parte significativa das propostas de mellora será unha revisión das presentadas durante a primeira avaliación, polo que as titulacións deben realizar unha análise detallada das razóns polas que ditas propostas de mellora non se levaran a cabo no seu día.

21 20 II Xornada de traballo para avaliadores externos Principais aportacións o debate Financiación. Para favorecer a efectiva implantación das propostas de mellora formuladas, estableceuse un sistema de axudas a propostas de mellora, en que participan tanto a ACSUG como as tres Universidades. Tendo en conta que moitas das propostas de mellora non requiren financiación específica, cabe a posibilidade de que o sistema de axudas ao Plan de Mellora sexa mixto, e deste xeito financiar tanto a participación no proceso como accións de mellora concretas. Composición dos Comités de Seguimento. E importante que polo menos un membro do Comité de Seguimento pertencera ao CA da primeira avaliación. Avaliación Externa. Considérase adecuado reducir a duración da visita, sempre e cando a ACSUG envíe a documentación ao comité coa antelación suficiente para que estes poidan proceder ao seu estudo e análise detallada. Visitas aos Centros. Algún dos asistentes considera positivo que o CAE realice visitas a toda as titulacións avaliadas, mantendo reunións co Comité de Seguimento e o equipo directivo.

22 II Xornada de traballo para avaliadores externos Resultados das enquisas de valoración 21 RESULTADOS DAS ENQUISAS DE VALORACIÓN Unha análise detaiada das enquisas de valoración do proceso de avaliación externa recibidos, permite extraer opinións e conclusións interesantes acerca do proceso e o seu desenvolvemento: Formación: - En xeral, a apreciación sobre a formación recibida como avaliador externo é boa e suficiente, aínda que sería adecuada unha formación máis práctica, extensa e profesional. e, de mesmo modo, enfocada á concienciación da avaliación como proceso de mellora, en canto a actitudes e comportamento, facendo fincapé no traballo en grupo activo, práctico e simulado dun proceso de AE. - A apreciación xeral é de facilitar aos CA unha maior formación, abarcando a todo os membros do comité no referente a obxectivos e resultados da avaliación, e concienciándoos do papel a desempeñar no proceso avaliativo. Ferramentas: Comités: - A guía de AE é considerada de utilidade aínda que se lle achaca rixidez e podería ser mellorable incorporando a observación, comparación e a reflexión dos membros do CAE. - Os CEE están satisfeitos, aínda que demandan unha maior implicación e interese por parte dos CA, ademais da incorporación dos datos sobre o contexto da titulación, as evidencias empregadas e maior desenvolvemento do plan de melloras. - Escaso recoñecemento, tanto a nivel profesional como económico, do labor realizado polos CA. - Elevado grao de satisfacción dos CEE. Boa organización e coordinación entre os membros. - Elevado grao de implicación dos CA, pero non así do resto da Comunidade Universitaria.

23 22 II Xornada de traballo para avaliadores externos Resultados das enquisas de valoración Visita CEE: - A visita do CEE é considerada de gran utilidade, polo que se establece a necesidade de realizala nunha xornada máis, ampliando así o tempo para as reunións, análise de evidencias e entrevistas. - En xeral, hai unha escasa asistencia da Comunidade Universitaria ás audiencias. Relación coa ACSUG: - Apreciación xeral moi satisfactoria dos CEE, aínda que demandan un maior contacto persoal entre todos os responsables que interveñen no proceso. Recomendacións de mellora do proceso: - O plrograma é recoñecido como eficaz, aportando como mellora unha maior flexibilidade na visita, concienciación dos membros do CA, maior reflexión sobre propostas de mellora e máis tempo para analizar os IA. - Os CA consideran o proceso moi satisfactorio e os centros consideran a dispoñibilidade de máis tempo na visita e nas audiencias. Posibilidade de formación a todos os membros do CA e presenza do persoal da ACSUG o primeiro día da visita. Como documento anexo, axúntase a análise completa dos cuestionarios e as conclusións extraídas dos mesmos, incluíndo tamén unha análise estatística das respostas dadas ás distintas cuestións formuladas.

24 II Xornada de traballo para avaliadores externos Conclusións 23 CONCLUSIONS A valoración do encontro foi plenamente positiva, xa que se cumpriron amplamente as expectativas iniciais, tanto por parte da Axencia como por parte dos asistentes, e se cubriron todo os obxectivos establecidos inicialmente. Cabe destacar a excelente acollida ao Plan de Seguimento, cuxo desenvolvemento e implantación constitúe unha iniciativa pioneira dentro do Sistema Universitario Español, que trata de dar resposta aos problemas detectados nos actuais procesos de avaliación, esencialmente no que respecta á implantación e seguimento das propostas de mellora.

25

26 II Xornada de traballo para avaliadores externos 25 ANEXOS* *Os Anexos están na versión en castelán

27 II JORNADA DE TRABAJO PARA EVALUADORES EXTERNOS

28 II JORNADA DE TRABAJO PARA EVALUADORES EXTERNOS.

29 Edita: ACSUG Axencia para a Calidade do Sistema Universitario de Galicia IES Compostela, 5 a planta - Rúa Lamas de Abade s/n Santiago de Compostela Tfno.: Deseño e maquetación: a ref.erencia, S.L. Edificio Agro do Corgo, esc.2-2ºc Cacheiras-Teo Tfno.: Depósito Legal: C

30 3 Por segundo año consecutivo, la Axencia para a Calidade do Sistema Universitario de Galicia (ACSUG) organizó el 1 de julio de 2004 una Reunión de Trabajo con miembros de los Comités de Evaluación Externa de las distintas titulaciones evaluadas en el Sistema Universitario de Galicia dentro de la primera convocatoria del Programa de Evaluación Institucional de la ACSUG. La implicación y colaboración de todos los colectivos que participan en el proceso de evaluación constituye la base fundamental para la mejora de los procesos, de tal modo que han asistido a esta jornada, los Presidentes, Vocales Académicos, Vocales Técnicos, Profesionales de los Comités de Evaluación Externa, y los Presidentes de los Comités de Autoevaluación de algunas de las titulaciones evaluadas. La jornada se centró en el análisis de los cambios de metodología derivados de la derogación del II Plan de Calidad de las Universidades y la implantación del Programa de Evaluación Institucional, dando lugar a un debate altamente interesante, logrando un elevado grado de satisfacción de los asistentes. Quisiera agradecer a todos los asistentes su colaboración y emplazarlos a que continúen contribuyendo a la mejora de nuestro Sistema Universitario, tarea en la que estamos todos implicados. Manuel Cecilio Díaz y Díaz Presidente del Consejo de Dirección de la ACSUG

31

32 5 Esta jornada de trabajo ha sido altamente fructífera, tanto por la variedad como por el interés de los temas tratados, entre los que cabe destacar el papel que deben ejercer las Unidades Técnicas de Calidad, así como la relación que debe existir entre el Comité de Evaluación Externa y el Comité de Autoevaluación, entre otros. En esta reunión, además del análisis del proceso de evaluación, se ha presentado el Plan de Seguimiento de Propuestas de Mejora de la ACSUG, a través del que se pretende dar respuesta a los principales problemas detectados en los actuales procesos de evaluación, en lo que respecta a la implantación y seguimiento de las propuestas de mejora. Esta iniciativa, pionera dentro del Sistema Universitario Español, ha tenido una excelente acogida por parte de los asistentes, quienes han valorado muy positivamente tanto el planteamiento, como la metodología propuesta, basada en los Criterios del Programa de Evaluación Institucional. El Plan de Seguimiento, constituye además la base del nuevo Plan de Ayuda a Propuestas de Mejora de la ACSUG, programa que cuenta con una importante dotación económica para apoyar las propuestas de mejora, con el objeto de garantizar su efectiva implantación. Eugenio Muñoz Camacho Director de la ACSUG.

33

34 II Jornada de trabajo para evaluadores externos 7 ÍNDICE Introducción 9 Desarrollo de la Jornada 10 Objetivos de la Jornada 11 Relación de participantes 12 Principales aportaciones al debate 14 Resultados de las encuestas de valoración 21 Conclusiones 23 Anexos Estructura de la ACSUG 27 2 Programa de la Jornada 29 3 Presentación 31 4 Modelo de Propuestas de Mejora 69 5 Herramienta de comprobación del Informe de Autoevaluación 71 6 Resultados de las encuestas de valoración 77 7 Guía de evaluación y seguimiento del Plan de Mejora 93 8 Glosario de términos y siglas utilizadas 131

35

36 II Jornada de trabajo para evaluadores externos Introducción 9 INTRODUCCIÓN Una vez concluido el Proceso de Evaluación Externa de las distintas titulaciones participantes en la primera convocatoria del Programa de Evaluación Institucional de la ACSUG, se ha celebrado el 1 de julio de 2004, en la sede de la Agencia en Santiago de Compostela, un encuentro con una muestra representativa de Presidentes, Vocales Académicos, Vocales Técnicos y Profesionales de los Comités de Evaluación Externa y algunos de los Presidentes de los Comités de Autoevaluación de las titulaciones evaluadas, con el objeto de analizar diversos aspectos básicos para mejorar el desarrollo del proceso de evaluación. A lo largo del presente documento se resumen los principales temas abordados durante la jornada incluyendo como anexos la documentación facilitada a los asistentes.

37 10 II Jornada de trabajo para evaluadores externos Desarrollo de la jornada DESARROLLO DE LA JORNADA De acuerdo con el Plan de Trabajo establecido previamente, se han abordado los siguientes temas: 1. Presentación de la Agencia para la Calidad del Sistema Universitario de Galicia (ACSUG). 2. Presentación del Sistema Universitario de Galicia. 3. Protocolo de Evaluación. 4. La Evaluación Institucional en el Sistema Universitario de Galicia. 5. Resultados de la 1ª Convocatoria del Programa de Evaluación Institucional. 6. Puntos Fuertes y Débiles. 7. Objetivos de la Jornada. 8. Proceso de Evaluación Externa. 1.Cumplimentación de las tablas de la Guía de Evaluación. 2.Resumen Tabla 15 (Indicadores). 3.Presentación Informes de Autoevaluación. 4.Documento de Visto Bueno del Informe de Autoevaluación. 5.Singularidades aparecidas en el proceso de Evaluación Externa. 6.Propuestas de Mejora. Análisis del Documento Guía. 9. Análisis y Evaluación Externa por ámbitos científicos. 10. Resumen cuestionarios Evaluación Externa. 11. Cómo mejorar la Evaluación Externa? 12. El Proceso de Autoevaluación. Aportaciones de Presidentes de Comités de Autoevaluación. 13. Plan de Seguimiento de Propuestas de Mejora.

38 II Jornada de trabajo para evaluadores externos Objetivos de la jornada 11 OBJETIVOS DE LA JORNADA Con el objeto de analizar en profundidad el proceso de evaluación externa y conocer la opinión y las valoraciones de las personas implicadas en el mismo, se establecieron para la presente jornada los siguientes objetivos: - Detectar debilidades en el proceso administrativo (recepción del Informe de Autoevaluación, programación de la visita, planificación de viajes, asistencia durante la visita, alojamiento, traslados, etc.). - Detectar debilidades en los Informes de Autoevaluación. - Proponer correcciones para las debilidades detectadas en los Informes de Autoevaluación y en el proceso administrativo. - Estructura de los Informes de Evaluación Externa: Conformidad y/o modificaciones necesarias. - Problemas en la elaboración de los Informes de Evaluación Externa: como facilitarla, grupos necesarios, etc. - Mejorar las definiciones de las propuestas de mejora. - Analizar las necesidades de seguimiento de los procesos de evaluación. - Definir la estructura del Plan de Seguimiento.

39 12 II Jornada de trabajo para evaluadores externos Relación de participantes RELACIÓN DE PARTICIPANTES CEE ACSUG Presidentes Vocales Académicos Vocales Técnicos Profesionales - D. Eugenio Muñoz Camacho Director. - Dña. Mª Paula Ríos de Deus Técnico Evaluación Institucional. - Dña. Isabel Belmonte Otero Técnico Evaluación Institucional. - D. José Antonio Pérez Rodríguez Universidad de A Coruña. Colaborador ACSUG. - D. Jaime Cervera Bravo Universidad Politécnica de Madrid. - D. Antonio Jesús Conejo Navarro Universidad de Castilla la Mancha. - D. Alfredo Caso Gómez Universidad de Cádiz. - D. Juan José Achutegui Rodríguez Universidad de Cantabria. - D. Ángel Marcos de Dios Universidad de Salamanca. - D. Liborio Hernández Guerra Universidad de Valladolid. - D. Juan Luis Paniagua Soto Universidad Complutense de Madrid. - D. Antonio Garrido del Solo Universidad de Castilla la Mancha. - Dña. María Cruz Oliver Sola Universidad de Navarra. - D. Emilio Eguía López Universidad de Cantabria. - Dña. Fuensanta Hernández Pina Universidad de Murcia. - D. Witerico Solís Sánchez Universidad Politécnica de Madrid. - Dña. Rosa Sanchidrián Pardo Universidad Europea de Madrid. - D. Juan José Cubero Marín Universidad de Zaragoza. - Dña. Teresa Cáceres Sansaloni Universidad de Sevilla. - Dña. Beatriz Martín Marín Universidad de Extremadura. - D. Juan Carlos Zubieta Irún Universidad de Cantabria. - D. Ricardo Díaz Cano Universidad Politécnica de Valencia. - Dña. Victoria Eugenia Millor Rego Consorcio de Bibliotecas Universitarias de Galicia - D. Evaristo Núñez García Ayuntamiento de Fene. - D. Manuel Otero Raña Xunta de Galicia (SIEGA). - D. Enrique Sedes Casal Izar Fene. - D. Paulino Novo Folgueira Radio Televisión de Galicia. - D. Santiago Fernández Lanza Filosofía. - D. José Luis Fernández Piñeiro Áridos do Mendo.

40 II Jornada de trabajo para evaluadores externos Relación de participantes 13 CA - D. Aurelio Outón Soto Arquitectura Técnica Universidad de A Coruña. - D. Jesús Manuel Castro Romero I. T. Industrial (Electrónica Industrial) Universidad de A Coruña. - D. Francisco Blanco Filgueira L. Máquinas Navales y Naútica y L. Transporte Marítimo Universidad de A Coruña. - Dña. María José Martínez López L. Filología Gallega Universidad de A Coruña. - D. José Luis González López L. Filosofía Universidad de Santiago de Compostela. - D. Xosé Manuel Cid Fernández D. Trabajo Social Universidad de Vigo. - D. Enrique Lorenzo Cimadevila I. T. Forestal (Industrias Forestales) Universidad de Vigo. Organización de la Jornada a cargo del grupo referido de la ACSUG.

41 14 II Jornada de trabajo para evaluadores externos Principales aportaciones a debate PRINCIPALES APORTACIONES AL DEBATE Siguiendo el plan de trabajo establecido y empleando como referencia la presentación de la ACSUG, cuya copia se aporta como documento adjunto, se estableció un turno de intervenciones sobre cada uno de los puntos analizados, apoyándose en los resultados de los cuestionarios relativos al proceso de evaluación externa (Anexo VI). Entre los comentarios y reflexiones realizadas durante la sesión, cabe destacar por su importancia los siguientes: PROCESO DE EVALUACIÓN INSTITUCIONAL Participación de las Unidades Técnicas de Calidad (UTC) en los Comités de Autoevaluación. Teniendo en cuenta que uno de los objetivos fundamentales del proceso de evaluación es el análisis y la reflexión sobre el estado de la titulación, la presencia de alguien ajeno a la misma puede limitar el debate, por lo que con carácter general, la participación del representante de la UTC debe restringirse a los aspectos relacionados con el protocolo y la metodología de evaluación, por lo que no debe acudir a las reuniones del Comité de Autoevaluación (CA), salvo en los casos que el Presidente lo estime oportuno. Información del Proceso. En general, las UTC realizan una buena labor informativa, aunque deberían profundizar más en aquellas titulaciones que se evalúan por primera vez. Recopilación de Datos. Las titulaciones manifiestan las dificultades para recabar ciertos datos, sobre todo en centros con varias titulaciones, en los que es necesario imputar convenientemente la asignación de recursos a cada titulación, de tal modo que no se introduzca un sesgo en el análisis.

42 II Jornada de trabajo para evaluadores externos Principales aportaciones a debate 15 Participación de la Comunidad Universitaria. Se observa un incremento considerable de la participación e implicación de los miembros de los CA, si bien, con carácter general, este interés no se extiende al conjunto de la comunidad universitaria, por lo que se considera necesario incrementar la participación de todos los colectivos, especialmente los alumnos. Difusión Informes de Evaluación. Se debe garantizar que los distintos Informes sean difundidos convenientemente al conjunto de la comunidad universitaria, para su debate y discusión. Guía de Evaluación. Puntualmente, algún CA solicita la creación de una Guía de Autoevaluación para cada uno de los ámbitos científicos, aspecto que no se considera apropiado, por que uno de los principales objetivos del proceso de evaluación es garantizar la uniformidad en el análisis y la posibilidad de contraste de los resultados obtenidos, por lo que es necesario que todas las titulaciones utilicen las mismas herramientas. Aprobación por Junta de Centro de los Informes de Evaluación. Conceptualmente, sería conveniente que tanto el Informe de Autoevaluación (IA), como el Informe Final (IF) fuesen ratificados por la Junta de Centro de la titulación evaluada, corroborando expresamente el compromiso con el proceso, así como con la implantación del Plan de Mejora. Sin embargo, en algunos casos puede ser técnicamente inviable, como consecuencia de un número indeterminado de factores, por lo que con el objeto de no bloquear el proceso, sería suficiente con que se informase convenientemente en Junta de Centro. Revisión Informes de Autoevaluación. Tanto las Unidades Técnicas como la ACSUG deben velar por el seguimiento y cumplimiento de la Guía de Autoevaluación, verificando que se han aportado todas las evidencias necesarias y que aparecen reflejadas las valoraciones pertinentes a cada criterio, para lo cual es esencial la cumplimentación de la Herramienta de Comprobación del Informe de Autoevaluación, incluida en el Anexo V del presente documento. Análisis de los Datos Estadísticos. Se observa frecuentemente dificultades para valorar algunos datos estadísticos básicos, tales como la duración media de los estudios, la tasa de abandono, etc. Se propone que junto con los datos estadísticos, los CA reciban valores de referencia procedentes tanto de otras titulaciones afines de la propia universidad como de la misma titulación implantada en otras universidades.

43 16 II Jornada de trabajo para evaluadores externos Principales aportaciones a debate Evidencias. Sería interesante que el propio CA valorase en cada apartado la utilidad y el interés de cada una de las evidencias aportadas, indicando aquellas que son básicas para establecer un criterio o valoración. Composición de los CA. En la mayoría de los casos, existen dificultades para encontrar personas dispuestas a participar en el proceso de evaluación, por cuanto requiere una gran dedicación y esfuerzo, que no están suficientemente reconocidos, siendo necesario establecer una compensación adecuada, tanto a nivel curricular, como económica. Contexto. En el Programa de Evaluación Institucional(PEI), ha desaparecido el análisis del Contexto de la Titulación y su situación dentro de la Universidad, aspecto que se considera necesario y fundamental para comprender las particularidades del centro a evaluar. Por lo que se propone en futuras evaluaciones reincorporar este análisis al IA. Informe Final de Universidad. Formalmente son interesantes, porque resumen en un solo documento los procesos de evaluación llevados a cabo durante la anualidad, siempre y cuando aporten un análisis y valoración en detalle de lo que ha sido la evaluación a lo largo de esa convocatoria. PUNTOS FUERTES Y DÉBILES Puntos Fuertes. La mayoría de las titulaciones evaluadas proponen puntos fuertes que con frecuencia no están suficientemente justificados con evidencias. Entre los más señalados, cabe destacar una excelente formación de sus titulados y una plantilla bien cualificada. Puntos Débiles. Esencialmente, la gran mayoría de las titulaciones, independientemente del Ámbito Científico al que pertenecen, presentan dos puntos débiles básicos: una elevada tasa de abandono y retraso y una descoordinación entre materias afines, sin que en la mayoría de los casos se proponga ninguna acción correctiva al respecto.

44 II Jornada de trabajo para evaluadores externos Principales aportaciones a debate 17 Evolución. A medida que se concretan las cuestiones a analizar, aparecen claramente definidos aspectos y cuestiones cuya valoración en los primeros procesos de evaluación era ambigua. Destacar, a modo de ejemplo, que al principio, las relaciones externas eran consideradas como una fortaleza, que al analizarlas tal y como propone la nueva guía, se convierten en punto débil. PROPUESTAS DE MEJORA Documento Guía. Desde la Agencia se ha promovido un modelo de propuestas de mejora consensuado por las tres Universidades (Anexo IV). Este modelo ha sido valorado muy positivamente por los asistentes, porque estructura de un modo homogéneo todos los aspectos necesarios para definir completamente una propuesta de mejora. Seguimiento. Frecuentemente gran parte de las propuestas de mejora no llegan a concretarse, a pesar de haber sido asumidas por las propias universidades en sus respectivos Informes Finales, siendo esencial un seguimiento de su cumplimiento. Financiación y Apoyo. Desde su creación, la ACSUG ha apoyado económicamente la implantación de propuestas de mejora. En algunos casos, desde los centros no se ha asociado convenientemente la recepción de esta ayuda con su participación en el proceso de evaluación, razón por la cual se considera conveniente que en futuras actuaciones, las ayudas se dirijan a acciones concretas. Priorización. Con carácter general, en la mayoría de los Planes de Mejora se observa una falta de priorización clara de las acciones de mejora. PROCESO DE EVALUACIÓN EXTERNA Envío de borrador del Informe de Evaluación Externa (IEE) al CA Con el objeto de garantizar la independencia del Comité de Evaluación Externa (CEE), no se considera conveniente el envío de un borrador previo del IEE, para su análisis, al CA. Obviamente, esto no impide que el CEE se comunique con el CA para aclarar cualquier aspecto que considere oportuno durante el proceso de elaboración del IEE.

45 18 II Jornada de trabajo para evaluadores externos Principales aportaciones a debate Composición CEE. Se considera positiva una cierta continuidad de las personas implicadas en el proceso de evaluación externa, lo que permite mejorar la coordinación y eficiencia de los comités, al tiempo que proporciona un mayor grado de uniformidad en el análisis. De todos modos, es necesario y conveniente realizar nuevas incorporaciones que contribuyan a enriquecer el proceso. Profesional Externo. La figura del profesional externo aporta su experiencia profesional, dentro del área de la titulación evaluada, así como valoraciones y criterios que difieren sustancialmente con respecto a los del resto de los miembros, pertenecientes al ámbito universitario, de tal modo que sus aportaciones suelen ser altamente enriquecedoras, razón por la que se considera fundamental mantener esta figura dentro de los procesos de evaluación. Duración Visita. Con carácter general, los profesionales destacan las dificultades que tienen para poder ausentarse de su puesto de trabajo durante los dos días y medio que suele durar la visita al centro, por lo que su colaboración en muchos casos puede ser limitada, estimando que la duración de la visita es excesiva para los objetivos planteados. Opinión que contrasta con la del resto de componentes del CEE que consideran la duración de la visita escasa. Entre otras cosas, se solicita la inserción de descansos entre las audiencias, con el objeto de realizar una puesta en común de los aspectos más importantes, facilitando la redacción del IEE. OTROS ASPECTOS DE INTERÉS Becas. Los profesionales externos asistentes analizan la falta de control y seguimiento por parte de algunas titulaciones de las prácticas en empresas. Aunque formalmente existe un reglamento bastante extenso, en la práctica las Universidades delegan en la empresa todas las funciones, lo que puede dar lugar a situaciones abusivas. Formación Continua. La Universidad debe hacer un esfuerzo importante de adaptación a las necesidades sociales, en cuanto a la formación académica propiamente dicha, y en la organización de cursos de postgrado y otras actividades que permitan la actualización y formación de los profesionales en activo que ya no están directamente vinculados con la Universidad.

46 II Jornada de trabajo para evaluadores externos Principales aportaciones a debate 19 PLAN DE SEGUIMIENTO Con el objetivo de realizar un seguimiento de las Propuestas de Mejora establecidas por las titulaciones en los diferentes informes, la ACSUG ha diseñado el Plan de Seguimiento de Propuestas de Mejora, cuya Guía de Evaluación (Anexo VII), está actualmente en proceso de aprobación, contraste y análisis (validación por revisión de jueces: Evaluadores Externos, Unidades Técnicas y Comités de Autoevaluación). Con respecto al borrador de Guía de Seguimiento del Plan de Mejora presentado, los asistentes han aportado las siguientes consideraciones: Planteamiento. El Plan de Seguimiento de Propuestas de Mejora ha sido acogido muy positivamente por los asistentes a la jornada, felicitando la iniciativa y demostrando su interés en involucrarse y participar en dicho proceso. Criterios de Evaluación. Otro de los aspectos destacados por los asistentes, ha sido la elección de los Criterios del PEI como base para el análisis de debilidades y fortalezas, por cuanto constituye una excelente oportunidad para que las titulaciones adopten las medidas correctivas pertinentes que les permitan afrontar los futuros procesos de adaptación al EEES en las mejores condiciones posibles. Diseño. Dado que se trata de una nueva metodología, es necesario cuidar todos los aspectos formales y de nomenclatura, con el objeto de evitar confusiones y problemas de interpretación. Motivación. Teniendo en cuenta que las titulaciones participantes ya han sido evaluadas mediante los anteriores planes de evaluación, en los que no se analizaban directamente los criterios del PEI, es conveniente realizar sesiones de información y sensibilización para motivar, a todos los implicados en el proceso, de la necesidad de volver a analizar el estado de la titulación y formular un nuevo Plan de Mejora que permita corregir las deficiencias detectadas. Con carácter general, una parte significativa de las propuestas de mejora será una revisión de las presentadas durante la primera evaluación, por lo que las titulaciones deben realizar un análisis detallado de las razones por las que dichas propuestas de mejora no se han llevado a cabo en su día.

47 20 II Jornada de trabajo para evaluadores externos Principales aportaciones a debate Financiación. Para favorecer la efectiva implantación de las propuestas de mejora formuladas, se ha establecido un sistema de ayudas a propuestas de mejora, en el que participan tanto la ACSUG como las tres Universidades. Teniendo en cuenta que muchas de las propuestas de mejora no requieren financiación específica, cabe la posibilidad de que el sistema de ayudas al Plan de Mejora sea mixto, financiando tanto la participación en el proceso como acciones de mejora concretas. Composición de los Comités de Seguimiento. Es importante que al menos un miembro del Comité de Seguimiento haya pertenecido al CA de la primera evaluación. Evaluación Externa. Se considera adecuado reducir la duración de la visita, siempre y cuando la ACSUG envíe la documentación al comité con la antelación suficiente, para que éstos puedan proceder a su estudio y análisis detallado. Visitas a los Centros. Alguno de los asistentes considera positivo que el CEE realice visitas a todas las titulaciones evaluadas, manteniendo reuniones con el Comité de Seguimiento y el equipo directivo.

48 II Jornada de trabajo para evaluadores externos Resultados de las encuestas de valoración 21 RESULTADOS DE LAS ENCUESTAS DE VALORACIÓN Un análisis detallado de los cuestionarios de valoración del proceso de evaluación externa recibidos, permite extraer opiniones y conclusiones interesantes acerca del proceso y su desarrollo: Formación: - En general, la apreciación sobre la formación recibida como evaluador externo es buena y suficiente, aunque sería adecuada una formación más práctica, extensa y profesional, enfocada a la concienciación de la evaluación como proceso de mejora, en cuanto a actitudes y comportamiento, haciendo hincapié en el trabajo en grupo activo, práctico y simulado de un proceso de EE. - La apreciación general es de facilitar a los CA una mayor formación, abarcando a todos los miembros del comité, en cuanto a objetivos y resultados de la evaluación, concienciándolos del papel a desempeñar en el proceso evaluativo. Herramientas: Comités: - La guía de EE es considerada de utilidad aunque se achaca rigidez y podría ser mejorable incorporando la observación, comparación y la reflexión de los miembros del CEE. - Los CEE están satisfechos con los IA, aunque demandan mayor implicación e interés por parte de los CA, además de la incorporación de los datos sobre el contexto de la titulación, las evidencias empleadas y mayor desarrollo del plan de mejoras. - Escaso reconocimiento, tanto a nivel profesional como económico de la labor realizada por los CA. - Elevado grado de satisfacción de los CEE. Buena organización y coordinación entre los miembros. - Elevado grado de implicación de los CA, pero no así del resto de la Comunidad Universitaria.