DOCENTIA INFORME DE EVALUACIÓN EXTERNA DE LA IMPLANTACIÓN DEL DISEÑO DE EVALUACIÓN DE LA ACTIVIDAD DOCENTE

Transcripción

1 DOCENTIA INFORME DE EVALUACIÓN EXTERNA DE LA IMPLANTACIÓN DEL DISEÑO DE EVALUACIÓN DE LA ACTIVIDAD DOCENTE Universidad de Santiago de Compostela (3er seguimiento) Comisión de Evaluación del Seguimiento: Presidente: Bará Temes, Javier (Universidad Politécnica de Cataluña) Vocales: Merino Jerez, Luis (Universidad de Extremadura) Rebollo Quintela, Nuria (Universidade da Coruña) Secretaria: Juárez Casalengua, Elvira (ANECA) Fecha: 5 de febrero de 2014 Fdo.: D. Javier Bará Temes Presidente de la Comisión de Evaluación 1/8 05/02/2014

2 Valoración general de la implantación VALORACIÓN GLOBAL DE LA IMPLANTACIÓN DEL DISEÑO DE EVALUACIÓN. PRINCIPALES CONCLUSIONES. En este tercer año de implantación experimental, la Universidad de Santiago de Compostela ha incorporado muchas de las recomendaciones de anteriores informes de evaluación externa, y continúa realizando un gran esfuerzo en la implantación del modelo de evaluación que ha desarrollado. En esta convocatoria, aunque el número de profesores evaluados representa tan solo el 2,34% del total de la universidad, la evaluación de los resultados y del proceso, junto con los de años anteriores, le han permitido analizar y reconocer los principales problemas y deficiencias que debe corregir y proponer la introducción de numerosas mejoras. La Comisión de Evaluación del Seguimiento concluye la necesidad de realizar un nuevo seguimiento. A este respecto, se recomienda que durante el periodo experimental del proceso, se pongan en marcha todos los procedimientos recogidos en el Manual con objeto de revisar y corregir las deficiencias detectadas y poder optar cuanto antes a la fase de certificación. MEJORAS A INCORPORAR NECESARIAMENTE Mejorar la difusión pública de los resultados en cuanto a visibilidad en la web institucional de la USC, así como publicar los resultados de la evaluación al margen de los informes de seguimiento para que sean fácilmente entendidos por los distintos grupos de interés (estudiantes, familias, empresas, administraciones, ). Aplicar el modelo a un número mayor de profesores, y ampliar el periodo a los 5 años que contempla el manual, interpretando además los cinco años como de docencia efectiva (en la actualidad es suficiente docencia tres años en el quinquenio). En este sentido, la universidad debe tener presente la necesidad de haber evaluado al 30%, al menos, del profesorado para poder optar al proceso de certificación. Dotar al modelo de mayor capacidad de discriminación. La universidad debe definir un modelo claro de excelencia docente y revisar, en consecuencia, el peso de los indicadores y los umbrales, para discriminar adecuadamente en las cuatro categorías que recoge el modelo. La universidad debe analizar el grado de ajuste entre los objetivos y metas planteadas en el proceso, la metodología sugerida (modelo de evaluación, herramientas, etc.) y el nivel en el que se proporcionan evidencias suficientes y necesarias para cada dimensión o indicador del modelo de evaluación. Aplicar las consecuencias de la evaluación que contempla el diseño al profesorado evaluado, aunque éste se presente de forma voluntaria, indicando quién las toma y 2/8 05/02/2014

3 cómo se realiza su seguimiento. Recabar de forma organizada y sistemática el grado de satisfacción de todos los agentes implicados, incluidos los estudiantes, en el proceso de evaluación, como requisito del proceso de certificación. RECOMENDACIONES Analizar y revisar la composición de la CIAP para hacerla más acorde con el objetivo general de la evaluación. Incluir en el manual la necesidad de formación específica de todos los miembros de los comités de evaluación, formación que se ha realizado en esta convocatoria. Reflexionar sobre el calendario y tomar las medidas oportunas para reducir la extensión temporal del proceso de evaluación de cara a la futura sostenibilidad del sistema y la aceptación del programa por los agentes implicados en el mismo. Tal como dice el informe, Continuar con la automatización de los procesos administrativos definiendo una estructura que sirva como base para el programa (calendario con las distintas fases, responsables, comunicaciones, datos, ). Crear una estructura definida y estable para la información y las evidencias que se emplean en el proceso que facilite su almacenamiento y obtención estableciendo, en los casos necesarios, los formatos, fórmulas... y procedimientos de cálculo; sobre todo en lo relativo a las evidencias aportadas por los/as responsables académicos/as. Despejar cualquier duda sobre la consideración de los Informes de los responsables académicos en la evaluación de todos los profesores. CONCLUSIONES DE CARA A LA FASE DE CERTIFICACIÓN La Comisión de Evaluación del Seguimiento valora positivamente el despliegue de la tercera convocatoria experimental, pero considera que el modelo aún no está suficientemente implantado y desarrollado, y recomienda un año más de implantación en el que se recojan las mejoras propuestas y la realización de un nuevo seguimiento por parte de la Agencia correspondiente. 3/8 05/02/2014

4 1. DIRECTRIZ ESPECÍFICA 1: Análisis del proceso de evaluación PROPUESTAS DE MEJORA PROPUESTAS Mejorar la difusión pública de los resultados. JUSTIFICACIÓN La información relativa al programa DOCENTIA se mantiene permanentemente en la página web corporativa de la USC, pero 3 ó 4 niveles por debajo de la página principal, y con una selección sucesiva de enlaces que hace su acceso para una persona ajena a la universidad (por ejemplo, un estudiante prospectivo o su familia) muy improbable. Debería haber, por ejemplo, un acceso directo desde la página principal, y también acceso directo desde el enlace existente para futuros estudiantes. Además, los resultados de la tercera convocatoria no se han hecho públicos. Aplicar el modelo a un número mayor de profesores y ampliar el periodo a los 5 años que contempla el modelo, interpretando además los cinco años como de docencia efectiva (en la actualidad es suficiente docencia tres años en el quinquenio). En este sentido, la universidad debe tener presente la necesidad de haber evaluado al 30%, al menos, del profesorado para poder optar al proceso de certificación. La escasa participación de profesores evaluados, tan solo 53 voluntarios de la totalidad de profesores de la universidad (un 2,34%), agravada por los hechos de que en esta convocatoria se han evaluado solamente tres cursos en lugar de cinco y de que la evaluación no tiene consecuencias, no permite analizar la calidad del proceso, especialmente su sostenibilidad. Este reducido volumen de profesores evaluados y la reflexión incompleta de la universidad en el informe de seguimiento, tampoco permiten observar si los objetivos previstos en el manual se alcanzan de forma óptima. Analizar y revisar la composición de la CIAP para hacerla más acorde con el objetivo general de la evaluación. Se ha incorporado un estudiante a la CIAP, lo que la Comisión de Evaluación valora muy positivamente. Pero la CIAP está formada por catorce miembros de los que dos representan al Comité de Empresa del PDI. Esta proporción parece más acorde con los legítimos, pero secundarios, intereses laborales que con el objetivo general de la evaluación de la actividad docente del profesorado: a acreditación do desempeño da docencia cun procedemento ( ) que garanta á sociedade a cualificación 4/8 05/02/2014

5 do profesorado e a calidade do ensino nas titulacións impartidas na USC. La calidad de la enseñanza es la calidad de la formación que adquieren los estudiantes, que por lo tanto son actores del proceso de evaluación más relevantes que las organizaciones sindicales de profesores. Incluir en el manual la necesidad de formación específica de todos los miembros de los comités de evaluación, formación que se ha realizado en esta convocatoria. Ha habido una jornada de formación específica, pero no está contemplada en el manual y no hay por tanto garantías de que se continúe realizando en convocatorias sucesivas. Reflexionar sobre el calendario y tomar las medidas oportunas para reducir la extensión temporal del proceso de evaluación de cara a la futura sostenibilidad del sistema y la aceptación del programa por los agentes implicados en el mismo. El Informe de seguimiento reconoce que El tiempo empleado en el proceso de la 3ª convocatoria fue excesivamente largo (p. 17) y expone a continuación las razones que explican el incumplimiento del calendario previsto. En cualquier caso, el resultado es que el proceso de evaluación de la presente convocatoria se inició en abril de 2012 y que hasta enero de 2014 no estaba prevista la publicación del Informe institucional (no visible aún en la web de la USC, por cierto). Los profesores evaluados han tardado 15 meses en recibir los resultados (de enero de 2012 a julio de 2013; y ello sin contar los plazos añadidos de las posibles reclamaciones). Esta circunstancia se agrava si tenemos en cuenta el escaso número de profesores evaluados (53, esto es, el 2 34% del profesorado total de la USC), el número de años evaluados por profesor (tres y no cinco) y la antigüedad de los períodos evaluados (cursos , y ). La experiencia acumulada en la fase experimental del programa invita a la USC a reflexionar sobre el calendario y a adoptar las medidas oportunas para reducir, en lo posible, los plazos, dejando constancia de ello en el MAAD. 5/8 05/02/2014

6 2. DIRECTRIZ ESPECÍFICA2: Análisis del modelo de evaluación y de las herramientas de recogida de información PROPUESTAS DE MEJORA PROPUESTAS Dotar al modelo de mayor capacidad de discriminación. La universidad debe definir un modelo claro de excelencia docente, y revisar en consecuencia el peso de los indicadores y los umbrales, para discriminar adecuadamente en las cuatro categorías que recoge el modelo. JUSTIFICACIÓN Si bien esta convocatoria ha producido resultados dentro de las cuatro categorías posibles (Excelentes 66,0% notables 30,2% suficientes 1,9% insuficientes 1,9%), éstos continúan siendo poco discriminatorios y con un excesivo número de resultados excelentes, aun atendiendo a que los candidatos han sido voluntarios y esta cualidad sin duda sesga la muestra en sentido favorable. Tal como dice el informe, Continuar con la automatización de los procesos administrativos definiendo una estructura que sirva como base para el programa (calendario con las distintas fases, responsables, comunicaciones, datos, ). Crear una estructura definida y estable para la información y las evidencias que se emplean en el proceso que facilite su almacenamiento y obtención estableciendo, en los casos necesarios, los formatos, fórmulas... y procedimientos de cálculo; sobre todo en lo relativo a las evidencias aportadas por los/as responsables académicos/as. Figura en el informe. La universidad debe analizar el grado de ajuste entre los objetivos y metas planteadas en el proceso, la metodología sugerida (modelo de evaluación, herramientas, etc.) y el nivel en el que se proporcionan evidencias suficientes y necesarias para cada dimensión o indicador del modelo de evaluación. En el informe se realiza un análisis detallado del proceso, pero no en función de los objetivos propuestos y de los resultados obtenidos. En el manual, al referirse a los objetivos, se dice: Máis especificamente, preténdese: ( ) Estimular no profesorado a reflexión crítica, a planificación, a formación continua e a innovación metodolóxica como medios para mellorar a calidade docente e a adaptación ao EEES. Dispor de información sobre a actividade docente do profesorado para mellorar as políticas de selección, promoción, formación, planificación de recursos, responsabilidades 6/8 05/02/2014

7 Despejar cualquier duda sobre la consideración de los Informes de los responsables académicos en la evaluación de todos los profesores. docentes, e para premiar a excelencia docente do profesorado máis cualificado. ( ). El Informe de seguimiento no explica suficientemente por qué no se han tenido en cuenta los Informes de los responsables académicos en algunas evaluaciones. El Informe alude a las restricciones recogidas en el MAAD, sin especificar cuáles son y, tal como está redactado el documento, pudiera deducirse que algunas evaluaciones se han realizado sin contar con el Informe de los responsables académicos. No obstante, cabe suponer que tales Informes no se han tenido en cuenta por el escaso número de horas impartidos en los respectivos centros (al amparo de lo recogido efectivamente por el MAAD, p. 17). No obstante, si fuera éste el caso, debería advertirse en la estadística de centros y departamentos con profesores evaluados. 3. DIRECTRIZ ESPECÍFICA3: Análisis de los resultados de la evaluación PROPUESTAS DE MEJORA PROPUESTAS Aplicar las consecuencias de la evaluación que contempla el diseño al profesorado evaluado, aunque éste se presente de forma voluntaria, indicando quién las toma y cómo se realiza su seguimiento. JUSTIFICACIÓN A pesar de la explicita observación de la Universidad sobre la no aplicación de consecuencias en el periodo experimental, la Comisión recomienda el despliegue del modelo para desarrollar los procedimientos y las consecuencias en su totalidad. Por otra parte, el informe dice: En cuanto el modelo deje de ser experimental y pase a ser definitivo, la universidad definirá de forma específica las consecuencias de la evaluación. La inconsistencia de este párrafo es evidente, ya que el modelo no puede tener el carácter de definitivo desde el punto de vista de la verificación y certificación mientras no se hayan definido de forma específica sus consecuencias, de acuerdo con lo previsto en la Guía de certificación ( La Universidad deberá aportar evidencias de la aplicación de las correspondientes consecuencias previstas en su modelo de evaluación, p. 22). Y otro tanto cabe decir del seguimiento de las acciones de mejora, que, según 7/8 05/02/2014

8 consta en el Informe de la USC, no se está haciendo de forma efectiva al entender que estamos en una fase experimental (p. 23). A este respecto, se recomienda especificar en la nueva versión del manual cuáles son las consecuencias concretas de la evaluación (que aún aparecen recogidas en el MAAD a modo de ejemplos, p. 7), cómo se van aplicar y quiénes serán los responsables del seguimiento de las mismas. Recabar de forma organizada y sistemática el grado de satisfacción de todos los agentes implicados en el proceso de evaluación, como requisito del proceso de certificación. No se ha recabado el grado de satisfacción con el modelo y el proceso de evaluación a los estudiantes, necesario para el futuro proceso de certificación. 8/8 05/02/2014