CONGRESO SOBRE CALIDAD Y ACREDITACIÓN INTERNACIONAL EN EDUCACIÓN SUPERIOR A DISTANCIA Loja (Ecuador), de octubre de 2005

Transcripción

1 CONGRESO SOBRE CALIDAD Y ACREDITACIÓN INTERNACIONAL EN EDUCACIÓN SUPERIOR A DISTANCIA Loja (Ecuador), de octubre de 2005 APLICACIÓN DE CRITERIOS E INDICADORES ESPECÍFICOS DE EVALUACIÓN Y MEJORA EN LA UNED DE ESPAÑA Dra. Rosario Domingo Navas Coordinadora de Innovación y Calidad Vicerrectorado de Evaluación y Calidad Universidad Nacional de Educación a Distancia (UNED) C/ Bravo Murillo 38, 28010, Madrid, España rdomingo@ind.uned.es RESUMEN El sistema de evaluación y mejora llevado a cabo por la Universidad Nacional de Educación a Distancia (UNED) aborda las Titulaciones oficiales universitarias, los Centros Asociados y los Servicios Universitarios, y se lleva a cabo desde una doble perspectiva, la participación en las convocatorias públicas realizadas inicialmente por el Consejo de Coordinación Universitaria y actualmente por la Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA) y el desarrollo de un plan interno de la Universidad. Los protocolos de evaluación utilizados en las convocatorias públicas, se plasman en un conjunto de criterios e indicadores que la UNED ha necesitado adaptar para poder evaluar su metodología a distancia, su estructura y el perfil de sus alumnos, en los procesos vinculados con las titulaciones. Con la incorporación mayoritaria a la evaluación de los Centros Asociados también se han definido un conjunto de indicadores adecuados a la función que realizan y que resulten transversales con los definidos en las titulaciones. Las razones que avalan estas modificaciones son: i) la propia flexibilidad de la metodología UNED, al compatibilizar la virtualización con los centros de apoyo, ii) las diferentes necesidades de las Facultades/Escuelas según los títulos impartidos, y iii) la heterogeneidad de los Centros Asociados. 1

2 1. INTRODUCCIÓN Los protocolos de evaluación, publicados por el Consejo de Coordinación Universitaria o por la Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA), se plasman en unos modelos de evaluación, estructurados en un conjunto de criterios e indicadores, que hasta la fecha, la Universidad Nacional de Educación a Distancia (UNED) ha necesitado adaptar por no ser aplicables a una universidad con una metodología a distancia y que, en consecuencia, no resultan comparables respecto a universidades presenciales en cuanto a la infraestructura, el propio proceso formativo e incluso determinados resultados académicos, pues el perfil de ingreso de los alumnos de la UNED también difiere del resto de universidades. Los términos criterios e indicadores, desde la UNED se entienden y aplican según la propia definición de ANECA (2004): - Criterio: principio o base axiomática definida a priori sobre la cual se puede emitir una valoración. - Indicador: expresión cualitativa o cuantitativa para medir hasta qué punto se consiguen los objetivos fijados previamente en relación a los diferentes criterios a valorar para un programa determinado (cada criterio se puede valorar con uno o varios indicadores asociados). La adaptación inicial de estos términos para llevar a efecto la evaluación de titulaciones en la educación superior a distancia ha llevado consigo la necesidad de exponer una metodología que combina un sistema semipresencial con la existencia de centros de apoyo y la virtualización progresiva de las titulaciones, con tutorías presenciales y telemáticas. Es decir, el modelo de una universidad distinta y a distancia pero que a su vez comparte con el resto de universidades españolas muchos elementos comunes. La propia flexibilidad del modelo ha dificultado el diseño de un sistema de evaluación y mejora de la calidad, que en cualquier caso debe converger hacia un objetivo común, la mejora de la UNED. Por ello, esta Universidad además de participar en las distintas convocatorias públicas, decidió seguir un plan propio de evaluación de la calidad, sin depender exclusivamente de agencias externas. La UNED ha evaluado titulaciones en cuatro campos de conocimiento: Humanidades, Ciencias Sociales y Jurídicas, Ciencias Experimentales y Enseñanzas Técnicas; únicamente faltaría el campo de las Ciencias de la Salud en el que la UNED no imparte ninguna titulación. Además ha evaluado un Centro Asociado; todo ello dentro de convocatorias públicas. Además en la actualidad está en fase de evaluación con un Servicio, diez Centros Asociados dentro de un plan interno de calidad, y seguirá con las titulaciones que puedan incorporarse a la nueva convocatoria de ANECA, así como la Biblioteca. Esto supone una evaluación de la docencia, la gestión y la investigación, ésta última se completa con obtención de menciones de calidad por los programas de doctorado. 2

3 A continuación se expone el proceso llevado a cabo para la definición y aplicación de criterios e indicadores en la UNED, y se particulariza para un caso concreto. 2. CRITERIOS E INDICADORES Los criterios utilizados en la UNED han respondido siempre a los propuestos desde los organismos competentes. La tabla 1 recoge utilizados en la actualidad. Su aceptación favorece la inserción en el marco del sistema universitario español. Como puede observarse coinciden o se asemejan a los expuestos en el modelo europeo a la excelencia European Foundation for Quality Management (EFQM, 2003), lo que supone para los Centros Asociados y para los Servicios Universitarios facilitar la comparación y posibilitar compartir buenas prácticas dentro del marco de la Administración Pública en Europa a través del Marco Común de Evaluación (CAF Common Assessment Framework). Además están en sintonía con las directrices para la garantía de la calidad en el Área de la Educación Superior en Europa han sido adoptadas por los Ministros de Educación en la reunión de Bergen (Communiqué of Bergen, 2005)y tomadas de la European Network for Quality Assurance in Higher Education, ENQA (2005) y referidas a: - Política y procedimientos de garantía de calidad - Aprobación y revisión periódica de los programas - Evaluación de los estudiantes - Garantía de calidad del profesorado - Recursos de aprendizaje y soporte al alumno - Sistemas de información - Información pública Hasta el momento el trabajo se ha centrado en la adaptación de cuatro Guías de Evaluación titulaciones y dos de Centros Asociados, en cuyo proceso se tenido en cuenta los aspectos referidos en los subapartados siguientes. Tabla 1. Criterios aplicados en la UNED TITULACIONES CENTROS ASOCIADOS SERVICIOS Programa Formativo Liderazgo Liderazgo Organización de la Enseñanza Política y Estrategia Política y Estrategia Recursos Humanos Personas Personas Recursos Materiales Alianzas y Recursos Alianzas y Recursos Proceso Formativo Procesos Procesos Resultados en los Resultados en los Resultados destinatarios Resultados en las personas Resultados en la sociedad Resultados clave clientes Resultados en las personas Resultados en la sociedad Resultados clave 3

4 2.1. Titulaciones El modelo de evaluación de titulaciones de ANECA con especificaciones para la UNED, asume lo siguiente: - Aceptación de la parte común, que la UNED como universidad pública mantiene con las demás universidades. - Adaptación de los parámetros que resultan inapropiados a la universidad no presencial, enfocado, no sólo la especificad de la metodología a distancia, sino atendiendo también a aspectos tales como: La diversidad de las titulaciones impartidas por la UNED, que se hace evidente en los recursos materiales que requieren, por ejemplo en cuanto a las carreras de Humanidades frente a las Enseñanzas Técnicas; o al número de alumnos matriculados que condiciona la atención tutorial, si es exclusiva desde los profesores de la Sede Central o compartida con los tutores de los Centros. La progresiva virtualización de las asignaturas conducentes al título de grado, en proceso cuando se adaptó la última Guía. - Incorporación de nuevos subcriterios. Como resultado de lo anterior, de los seis criterios establecidos por ANECA (ver tabla 1) se han realizado modificaciones en cuatro de ellos, atendiendo a las siguientes particularidades: Recursos Humanos: a los requisitos para los profesores de la Sede Central y el Personal de Administración y Servicios, ha habido que incorporar los relativos a los profesores-tutores. Recursos Materiales: se han incluido indicadores sobre la plataforma de teleformación o equipos de videoconferencia. También se ha sustituido el indicador que corresponde al número de alumnos/grupo, por el porcentaje de alumnos con acceso a tutoría presencial y el porcentaje de alumnos con acceso a tutoría telemática, a título de ejemplo. Proceso Formativo: este criterio ha sido modificado notablemente incorporando aspectos relativos al tipo de metodología de enseñanza aprendizaje: por ejemplo la clase magistral ha desaparecido para dar cabida al autoaprendizaje y las tutorías. También se ha incluido un subcriterio nuevo sobre el sistema de tutoría. En cuanto a los Resultados que se refieren a los alumnos y titulados, se ha buscado incluir elementos que no distorsionen los resultados académicos como consecuencia del perfil de los alumnos que toman y dejan sus 4

5 estudios según sus responsabilidades o a aquellos que se en centros penitenciarios Centros Asociados Inicialmente se abordó tomando como referencia la Guía de Evaluación de Servicios del Consejo de Coordinación Universitaria, pues se comenzó dentro de una convocatoria oficial, y a ella se incorporaron aspectos académicos. Esta Guía no es más que una versión del modelo de excelencia EFQM, con los criterios expuestos en la tabla 1. En su revisión se han considerado lo siguiente: - La experiencia del Centro de Tudela, que ha llevado consigo la simplificación del número de indicadores. - La heterogeneidad de los Centros Asociados, en cuanto a su dimensión y estructura. - La transversalidad con la Guía de Titulaciones de ANECA para que permita valorar la aportación de cada Centro Servicios En la Guía de Servicios, se ha asumido la elaborada por el Consejo de Coordinación Universitaria en el año 2003, no obstante en ella se ha tenido en cuenta los indicadores estimados como no relevantes, según la propia experiencia del Centro de Tudela y se han añadido los formatos de informe de autoevaluación y del plan de mejoras de ANECA. El Servicio en fase de valoración, el de Innovación y Evaluación puede aportar buenos resultados para extrapolar en el futuro, debido a su heterogeneidad, pues presta apoyo a cuatro Vicerrectorados: Evaluación y Calidad, Investigación, Innovación y Desarrollo Tecnológico y Ordenación Académica y Profesorado, debido a que sus tareas se centran en la administración de las Pruebas Presenciales, Calidad, Selectividad, Curso de Acceso para Mayores de 25 años, Sección de Innova, el Instituto Universitario de Educación a Distancia. 3. CASO DEL APARTADO REFERIDO A LOS RECURSOS HUMANOS En el criterio Recursos Humanos para ANECA (2004) se analizan las características básicas tanto del personal académico como del personal de administración y servicios que está implicado en el programa formativo, para determinar el grado de adecuación a los objetivos y requerimientos del mismo. Se desglosa en dos subcriterios referidos al personal académico y al personal de administración y servicios, al que necesariamente hubo que incluir uno vinculado con los profesores-tutores. Los requisitos válidos para el personal académico (ver tabla 2), es decir, su pertinencia e idoneidad en relación a los objetivos del programa formativo, los requerimientos de las disciplinas, su formación pedagógica y su implicación en actividades de investigación, desarrollo e innovación, fueron válidos para los profesores exceptuando su la actividad investigadora. 5

6 En consecuencia se desarrollaron indicadores similares vinculados con la Estructura del profesor tutor y con la Formación pedagógica del Profesor tutor. En el primero de ellos se diferencia la presencialidad o virtual de la tutoría que realizan (ver tabla 3). En cuanto al personal de administración y servicios: se valora la adecuación de aquellos directamente implicados en el proceso formativo (técnicos, maestros de taller, operadores, modelos ), así como su formación específica para colaborar en las tareas de soporte a la docencia. Afecta a personal de la Facultad responsable del título objeto de evaluación. Para los Centros Asociados recibe la denominación de Personas, por su decisión de ampliar los parámetros de evaluación y acercase más al modelo europeo, pues les facilita posibles menciones de calidad. En consecuencia se ha definido, tal como se expone: Se analiza cómo el Centro desarrolla, conduce e impulsa el pleno potencial de las personas, de forma individual o en equipo, con el fin de contribuir a su eficaz y eficiente gestión. Se trata de examinar cómo desarrolla el Centro y hace participar a todos sus miembros en el logro de resultados y mejoras dentro de la organización. Se aborda aquí la selección del personal adecuado y el desarrollo de sus capacidades con el fin de alcanzar los objetivos planteados, y garantizar que éste sea capaz de hacer frente a las necesidades en continuo cambio. Se estudia cómo alinear los objetivos del personal y los del Centro, y se analiza si los empleados tienen en consideración procesos como las evaluaciones de rendimiento y la formación y si son efectivos. Asimismo se examina si se prepara a los empleados para actuar con libertad y asumir la responsabilidad de sus acciones (empowerment), y si se implican en la mejora continua de la organización. Por lo que ha asumido los subcriterios citados a continuación: Planificación y mejora del personal. Planificación y mejora del personal académico. Planificación y mejora del personal de administración y servicios. Desarrollo de la capacidad, conocimientos y desempeño del personal. Delegación de funciones a las personas, implicación y comunicación. Atención y reconocimiento a las personas del Centro. En el modelo de evaluación y mejora para Servicios, el criterio sobre Personas ha adoptado la siguiente definición: A través de este criterio se examina cómo la Unidad desarrolla y aprovecha al máximo todo el potencial del personal que le presta servicio. Por personal se entiende las personas que prestan servicios en la Unidad. En este criterio se tendrá en cuenta cómo la Unidad se preocupa por su personal y cómo lo gestiona, dentro del margen de decisión que posea en 6

7 cada caso, de acuerdo con el marco establecido por el ordenamiento jurídico Tabla 2. Indicadores para el Profesorado (ANECA, 2004) Adecuación Estructura (número, Profesores a tiempo completo porcentaje de Profesores doctores profesores y créditos impartidos) Profesores no doctores Profesores doctores a tiempo completo Profesores no doctores a tiempo completo Profesores invitados Profesores, según categoría (catedráticos de universidad, Titulares de universidad, Contratados doctores, ayudantes doctores, interinos, etc.) Profesores permanentes Profesores con evaluación positiva Becarios Profesional Nº y créditos impartidos colaborador Plan de estudios CV Resultados de los procesos de evaluación Existencia de proyectos de innovación y mejora docente Formación pedagógica del Porcentaje de profesores que han recibido formación pedagógica en los últimos cinco años personal académico Número de cursos y actualización pedagógica ofertados por la universidad Implicación en actividades de investigación CV Resultados de la actividad investigadora Índice de la actividad investigadora reconocida Actuaciones desarrolladas a través de actividades de investigación Artículos en revistas con revisión por los pares Patentes Libros y monografías (con ISBN) Documentos de trabajo Actas de Congresos Nacionales (con ISBN) Actas de Congresos Internacionales (con ISBN) Conferencias invitadas en reuniones nacionales Conferencias invitadas en reuniones internacionales Tesis doctorales dirigidas Proyectos de investigación de convocatorias públicas o privadas Contratos de colaboración con empresas Premios científicos Porcentaje de sexenios (tramos de investigación) concedidos sobre el máximo posible 7

8 Estructura Baremo de selección de los profesores tutores Normativa relativa a los profesores tutores Resultados de los procesos de evaluación Formación pedagógica Tabla 3. Profesores-tutores Titulaciones Centros Asociados Número y categoría Número y porcentaje de profesores tutores (con o sin venia según formación (doctor, licenciado, docendi) arquitecto o ingeniero) Número y porcentaje de profesores tutores según tipo y categoría (presencial o telemático) Tutorías impartidas según formación, tipo y categoría Porcentaje de profesores tutores que han recibido formación pedagógica en los últimos cinco años Número de cursos y actualización pedagógica ofertados por la universidad 4. ALGUNOS RESULTADOS Su aplicación ha resultado compleja y ha supuesto la modificación y creación de bases de datos de la universidad, con la finalidad de lograr un sistema de información que facilite la toma de decisiones. Se ha obtenido información que ayuda a conocer mejor el perfil de los alumnos, vinculando éste con su rendimiento académico. Aunque lo modelos seguidos son susceptibles de mejora han servida para proporcionar un mayor conocimiento de los títulos evaluados, tanto a la comunidad universitaria como a organismos externos. Los Comités de Evaluación Externa han manifestado, entre otros aspectos, la necesidad de una universidad como la UNED en una sociedad que pretende una educación para todos, lo que evidencia su elevado número de alumnos. Asimismo han resaltado la capacidad de la UNED para atender alumnos en circunstancias especiales, gracias a la flexibilidad de su metodología. También se ha valorado el incremento del proceso de virtualización que lleva a una mejora en la atención al alumnado. Se han apreciado positivamente la consolidación de sus títulos y la demanda de sus egresados en el entorno profesional correspondiente. Finalmente se ha destacado la actividad investigadora de algunos departamentos y las posibilidades de formación del Personal de Administración y Servicios. Obviamente, en este proceso también se han detectado puntos débiles, algunos de los cuáles ya se han encauzado con una serie de acciones de mejora; a título de ejemplo cabe mencionar el diseño y aplicación de la valija virtual (el sistema informático integral de gestión y distribución de exámenes), o el fomento de la participación de los alumnos en actividades 8

9 complementarias y extracurriculares, a través de la labor realizada por distintas unidades de la UNED. CONCLUSIONES Se ha sintetizado el proceso seguido en la UNED en los últimos años, de manera descriptiva. Los modelos de evaluación aplicados, con sus criterios e indicadores correspondientes han puesto de manifiesto que más allá de la aplicación del modelo ideal de evaluación, prima la voluntad de los integrantes de las unidades evaluadas, y fundamentalmente de sus responsables, de llevar a cabo un autodiagnóstico e iniciar un camino hacia la mejora. También, se ha evidenciado que es necesaria una mayor reflexión y crítica, así como considerar un proceso integrado de títulos, Centros Asociados y Servicios. BIBLIOGRAFÍA ANECA (2004). Guía de Autoevaluación del Programa de Evaluación Institucional; Communiqué of Bergen (2005). The European Higher Education Area - Achieving the Goals, Conference of European Ministers Responsible for Higher Education, Bergen, May 2005; EFQM (2003). Introducción a la Excelencia; ENQA (2005) Standards and Guidelines for Quality Assurance in the European Higher Education Area. European Network for Quality Assurance in Higher Education; 9