Plan de Evaluación de la Calidad de los Institutos Canarios de Investigación

Transcripción

1 Plan de Evaluación de la Calidad de los Institutos Canarios de Investigación Documentos para la AutoEvaluación: 1- Octubre

2 Documentos para la evaluación de los Institutos de investigación del Gobierno Canario. 1- Documentos para la Autoevaluación: 1. (documento 1) 2. Guía para la Autoevaluación de la Gestión general del Instituto (documento 2). 3. Guía para la Autoevaluación de la Gestión general y la Prestación de servicios (documento 3). 4. Guía para la Autoevaluación de la Investigación (documento 4). 5. Guía para la Autoevaluación de la Formación (documento 5). ACECAU-UCO Costa y Grijalva, 7 Santa Cruz de Tenerife Islas Canarias. Universidad de Córdoba Alfonso XII,12 Córdoba. España. Imprime: Depósito Legal: TF Autores: Estos Documentos para la Evaluación de los Institutos Canarios de Investigación han sido elaborados para la Agencia Canaria de Evaluación y Acreditación Universitaria (ACECAU) por Manuel Barbancho Medina, de la Universidad de Córdoba, en desarrollo del Convenio de Colaboración entre la Agencia Canaria de Evaluación y Acreditación Universitaria y la Universidad de Córdoba para la realización del Plan de Evaluación y Mejora de los Institutos de Investigación de de la Comunidad Autónoma de Canarias, con la colaboración y las observaciones de la ACECAU. Se han utilizando como referencias las siguientes fuentes: - Club Gestión de Calidad (1999). Evaluar la excelencia. Guía Práctica para la Autoevaluación. - Guía de Autoevaluación de Departamentos de la UCUA. Proyecto Experimental. - Guía de Autoevaluación de Departamentos del Consejo de Coordinación Universitaria. - Guía de autoevaluación del Programa de evaluación institucional de la ANECA. - Guía de Evaluación de Servicios del Consejo de Universidades. - Guía de evaluación de servicios universitarios de la UCUA (año 2003). - Guía de Evaluación. Modelo EVAM. Ministerio de Administraciones Públicas. Madrid Guías para la Autoevaluación del Instituto de Salud Carlos III. Guía General para la Autoevaluación y Guías para la Autoevaluación de la Gestión, la Investigación y la Formación. - Herramienta Perfil v.3.0. del modelo EFQM. - Innovaciones en la evaluación y mejora de la investigación científica: Una perspectiva institucional. Tesis Doctoral de D. Alfonso López Baena. Universidad de Córdoba,

3 ÍNDICE 1. Introducción El modelo de evaluación: estrategia, fases y comités Características del modelo de evaluación La Unidad de evaluación Las funciones evaluadas El modelo de Autoevaluación La estructura de las Guías Los estándares de calidad El proceso de Autoevaluación Fase Externa de Evaluación Fase Final de Evaluación Plan de Mejora y Seguimiento Publicidad de los Informes Cronograma de la evaluación Las Guías Específicas de Autoevaluación El Protocolo de Informe de Autoevaluación del Instituto o Unidad Guías específicas editadas Glosario de términos Anexos 19. Guía para la Autoevaluación de la Gestión General y la Prestación de servicios (documento 2). 20. Guía para la Autoevaluación de la Gestión y la Prestación de servicios (documento 3). 21. Guía para la Autoevaluación de la Investigación (documento 4). 22. Guía para la Autoevaluación de la Formación (documento 5)

4 - 4 -

5 1 Introducción: 1.1 Objetivos de la evaluación. La presente Guía constituye la herramienta básica para el desarrollo de los procesos institucionales de evaluación, enmarcados en el Plan de Evaluación y Mejora de la Calidad de los Institutos de Investigación del Gobierno Canario. Son sus principales objetivos: 1. Planificar la evaluación de los Centros, Unidades y Funciones desarrolladas por el Instituto en el contexto de lo establecido en el Plan de Evaluación y Mejora de la Calidad de los Institutos de Investigación de la Comunidad Autónoma de Canarias. 2. Facilitar al Instituto el establecimiento de Planes de Mejora y Sistemas de Garantía de la Calidad que contribuyan a la mejora continuada de su calidad. 3. Proporcionar a los responsables del Instituto información estratégica que fundamente la toma de sus decisiones. 4. Reforzar la imagen de calidad del Instituto en lo referente a los servicios que presta, la investigación que desarrolla, la formación que ofrece y la gestión que realiza. 5. Potenciar el reconocimiento nacional e internacional del Instituto. 1.2 Fundamentos para la evaluación de Instituciones Públicas. Se entiende por evaluación institucional el conjunto de procesos mediante los cuales las unidades o ámbitos evaluados analizan su realidad para identificar sus fortalezas y debilidades y proponer un Plan de Mejora. Las principales ventajas de la evaluación de una Institución Pública pueden sintetizarse en las expuestas en el siguiente esquema: Responde a las expectativas y demandas institucionales de mejora. Informa a clientes, personal profesional y sociedad en general sobre los niveles de excelencia alcanzados. EVALUACIÓN INSTITUCIONAL Detecta puntos fuertes y débiles y propone planes de acción que elevan la calidad de la Institución. Favorece la creación de la cultura de la calidad en la comunidad de la Institución. En el contexto de un nuevo planteamiento de los sistemas públicos, las Instituciones Públicas, como el Institutos de Investigación de la Comunidad Autónoma de Canarias, no pueden ya justificarse, aludiendo sólo al argumento de la solidez y antigüedad de la institución. Desde una perspectiva de responsabilidad pública, es necesario demostrar sus méritos para que gobiernos, personal propio y usuarios se encuentren satisfechos y sigan confiando en su utilidad y eficacia. Dicho de otra manera, los problemas de ajuste del gasto público, o la necesidad de ofrecer información directa y actualizada a los futuros usuarios, organismos políticos o sociedad en general, justifican sobradamente la implantación de actividades de evaluación, además de que éstas sirven para analizar y corregir las debilidades del sistema, - 5 -

6 garantizando la eficacia y eficiencia en los servicios que prestan. Los aspectos a tener en cuenta por la evaluación son múltiples, dado que el objetivo puede concretarse en acciones y áreas de mejora muy diferentes: metas organizacionales, desempeño y resultados del personal profesional, flexibilidad de los servicios técnicos y administrativos, fortalecimiento de las relaciones externas, diseño de planes de mejora, y así sucesivamente. En general, se evalúa para conocer, para cumplir con el requisito de la responsabilidad, para tomar mejores decisiones respecto a las innovaciones y cambios proyectados, y para ayudar al éxito de las acciones de mejora, ya que no hay mejora que pueda ser obtenida sin un plan y evaluación previa, ni evaluación que tenga sentido si no es con el fin último de avanzar hacia la excelencia. Se asume que un adecuado sistema de evaluación puede, en el caso de los Institutos de Investigación de la Comunidad Autónoma de Canarias, asegurar o elevar la calidad del servicio público que se ofrece, mejorando la prestación de sus servicios, desarrollando una investigación competitiva y organizando de forma eficiente la gestión administrativa. 1 Teniendo en cuenta su complejidad funcional y organizativa, parece conveniente buscar el nivel de excelencia de los Institutos de Investigación de la Comunidad Autónoma de Canarias a través del establecimiento de un sistema de gestión integral de su calidad. Siguiendo las orientaciones del modelo EFQM (European Foundation for Quality Management), los modelos de gestión integral de la calidad se fundamentan en cuatro pilares básicos: (a) el compromiso con el cliente o usuario, (b) la mejora continua, (c) el proceso estructurado de resolución de problemas y (d) el fortalecimiento del personal. El modelo EFQM sostiene que la mejor definición de excelencia es aquella que subraya el modo sobresaliente de gestionar la organización y obtener resultados mediante la aplicación de ocho conceptos fundamentales que conforman un marco general de evaluación, cuyo significado va cambiando a medida que la organización avanza hacia la excelencia. Estos conceptos, perfectamente aplicables al ámbito de lo público son: 2 Responsabilidad social. Las instituciones públicas reciben medios de la sociedad, con el fin de que éstas los gestionen con eficiencia y aporten un valor añadido a las personas que solicitan sus servicios. Cuando los miembros y los Centros y, en general, las Unidades de la Institución asumen una posición ética, aumenta la conciencia sobre el valor de su trabajo y la credibilidad necesaria ante la sociedad. Los servicios no pueden ligar su responsabilidad a la buena ejecución de las tareas específicas de su incumbencia sin preocuparse de la calidad de los recursos que reciben (relaciones con los proveedores, alianzas, captación de usuarios), y de la intensidad de los impactos que causan más allá de los resultados tangibles de la gestión (satisfacción de los usuarios, del personal, impacto social). Desarrollo de alianzas. Como cada Sección, Unidad, Programa, Línea o Servicio forma parte integral de la Institución, en estrecha relación con otras unidades y dependencias, la mejora depende en muchos casos del correcto funcionamiento de estas relaciones e incluso de las prestaciones que mutuamente se dispensan. Igual puede decirse de los proveedores usuales del Instituto. Por ello, es importante que las relaciones no se reduzcan a un frío intercambio de información y recursos, sino a una auténtica cooperación estratégica que redunde en la mejora continua de los servicios o funciones. Aprendizaje, innovación y mejora continua. Frente a la idea convencional de calidad del producto y/o del servicio, la gestión de la calidad es un proceso de toma de decisiones 1 Adaptado de Rebolloso y col. Guía de Evaluación de Servicios Universitarios de la UCUA. 2 Adaptado de Rebolloso y col. EFQM, 1999, p. 1. Adaptación de la Guía de Evaluación de Servicios Universitarios de la UCUA

7 basado en el análisis racional de los problemas, la elección de alternativas de acción, y la mejora del trabajo a través de la evaluación de procesos y resultados. Este tipo de gestión sólo tiene sentido en organizaciones que valoran la importancia de la información, la innovación y el aprendizaje constantes. Es decir, dentro de una cultura de confianza, aprendizaje e intercambio de experiencias, orientada al desarrollo y perfeccionamiento continuo. Desarrollo e implicación de las personas. La calidad de los servicios ofrecidos por una unidad funcional o administrativa es responsabilidad de todos y cada uno de sus miembros, con independencia del papel positivo que pueden jugar los directivos o los técnicos especialistas. Nadie conoce los problemas y necesidades específicas de un puesto de trabajo mejor que las personas que lo desempeñan. Por esta razón, es esencial lograr la implicación del personal en los procesos de evaluación y mejora, a cambio de la cual el desarrollo profesional se establece como una de las consecuencias básicas. Gestión por procesos y hechos. La calidad se fundamenta en el análisis racional de los procesos de trabajo (eficacia, eficiencia), las necesidades de los usuarios a los que van dirigidos y la introducción de cambios e innovaciones orientadas a prestar servicios cada vez mejores. Al partir de la calidad de datos y hechos objetivos, que se constituyen en evidencias palpables del éxito del trabajo y de la satisfacción de las necesidades de los usuarios, cobra una importancia singular disponer de instrumentos y procedimientos de evaluación para recoger información puntual sobre el funcionamiento de los procesos y el impacto de las funciones desempeñadas en las diferentes unidades. Liderazgo y coherencia en los objetivos. La implicación de los responsables directivos es un requisito ineludible para que la gestión de la calidad se implante de manera efectiva. Los líderes actúan como modelos de la nueva cultura de aprendizaje y mejora, promueven la implicación del personal profesional y recompensan el trabajo bien hecho. Además, aseguran la coherencia en los objetivos del proceso de mejora, por cuanto disponen de una visión global del Servicio o la Función a desarrollar y tienen competencias para orientar e integrar las diversas líneas de trabajo. Orientación al cliente. La satisfacción del usuario, cuando la función desarrollad tiene en ellos sus últimos destinatarios, es el criterio último de la calidad, ya que es él quien demanda servicios específicos, valora la atención recibida y decide continuar la relación con el Servicio. La orientación al cliente supone conocer bien sus necesidades y anticiparse para aproximarse mejor a las mismas. De este modo, se logran usuarios satisfechos, se asegura el vínculo con el Servicio y se mejora su imagen global. Orientación hacia los resultados. La gestión de la calidad orienta los esfuerzos de mejora hacia la obtención de resultados deseados, no sólo en los usuarios directos, sino en todas las personas y grupos (estudiantes, profesores, sociedad, otras unidades de la Institución) que de algún modo pueden beneficiarse del Servicio prestado o la Función desarrollada. La orientación hacia los resultados requiere conocer las necesidades de los múltiples usuarios potenciales, diseñar servicios coherentes y disponer de instrumentos y procedimientos para evaluar la eficacia de los procesos de trabajo y los cambios introducidos en cada momento. En suma, un proyecto de gestión integral de la calidad implica en la práctica la existencia de un sistema integral de recogida y análisis de datos, y requiere una metodología de investigación/acción que genere un proceso ininterrumpido de fases sucesivas de examen, intervención y evaluación. Es interesante que los miembros de los Comités y los equipos de gobierno del Instituto conozcan cómo es el proceso de avance hacia la excelencia. Con este fin, ofrecemos a - 7 -

8 continuación unos hitos significativos de las etapas que debería atravesar cada Instituto que decida implantar seriamente el modelo de calidad (al inicio del proceso, cuando el plan se pone en marcha y cuando se alcanza un determinado estado de madurez). CONCEPTO FUNDAMENTAL Orientación hacia los resultados Orientación al cliente Liderazgo y coherencia en los objetivos Gestión por procesos y hechos Desarrollo implicación de las personas INICIO EN MARCHA MADUREZ Se identifican todos los grupos de interés relevantes. Se evalúa la satisfacción del cliente. Se definen Visión y Misión. Aprendizaje, Se identifica y actúa innovación y mejora sobre las oportunidades continuos de mejora. Se evalúan las Existen mecanismos necesidades de los grupos transparentes para de interés de manera equilibrar las estructurada. expectativas de los grupos de interés. Se ponen en relación los Se entienden, miden y objetivos con las se actúa sobre los necesidades y impulsores empresariales expectativas del cliente. de las necesidades de Se investigan cuestiones satisfacción del cliente y de fidelización. cuestiones de Se alinean la política, las personas y los procesos. Existe un modelo de liderazgo. fidelización. Existen valores compartidos y modelos éticos en todos los niveles de la organización. Se definen los procesos Se utilizan datos e para alcanzar los información resultados deseados. comparativos para establecer objetivos ambiciosos. e Las personas aceptan la Las personas son propiedad y la innovadoras y creativas a responsabilidad para la hora de impulsar los resolver problemas. objetivos de la abiertamente organización. conocimientos experiencias. La mejora continua es un objetivo aceptado por todos los individuos. Se entiende y utiliza plenamente la capacidad de los procesos para impulsar mejoras en el rendimiento. Se faculta a las personas para actuar y compartir Se extienden e integran las innovaciones y mejoras de éxito. y Desarrollo de alianzas Responsabilidad social Existe un proceso de selección y gestión de proveedores. Se reconocen las mejoras y los logros de los proveedores y se han identificado colaboradores clave. La organización y sus colaboradores clave son interdependientes. Los los planes y las políticas se externos desarrollan en común a partir de conocimientos compartidos. Se comprenden y se Existe una implicación Las expectativas de la cumplen los requisitos activa en la sociedad. sociedad se miden y se legales y normativos. actúa sobre ellas

9 2 El modelo de evaluación: estrategia, fases y comités. La estrategia propuesta para la evaluación institucional de los Institutos de Investigación de la Comunidad Autónoma de Canarias es la que corresponde a un modelo de autorregulación (autoevaluación y evaluación externa), el más adecuado para iniciar la implantación de sistemas de calidad en las instituciones. No obstante, en esencia, el modelo se sustenta en los principios antes descritos para los sistemas integrales de gestión de la calidad. Desde la perspectiva procedimental se trata de: diagnosticar el estado de la situación para identificar problemas y fortalezas, planificar acciones de mejora para corregir unos y mantener otras, implantar dichas mejoras y evaluar las consecuencias de dicha implantación. La EFQM propone un proceso similar bajo la denominación REDER, con el objetivo de planificar y ejecutar las tareas propias de la organización, siguiendo un modelo de gestión integral de la calidad. En el esquema REDER se establece lo que la organización necesita realizar: Diagnóstico. Determinar los RESULTADOS que se han propuesto alcanzar la Unidad (Instituto, Función, Servicio ) como parte del proceso de su política y estrategia. Planificación. Planificar una serie de procesos integrados (ENFOQUES) que la lleven a obtener los resultados deseados: procesos bien definidos y desarrollados y una clara orientación hacia las necesidades de todos los grupos de interés. Implementación. Desarrollar (DESPLEGAR) los procesos integrados (enfoques) de manera sistemática para asegurar que se ejecutan de la forma prevista. Evaluación. EVALUAR los procesos (enfoques) mediante el análisis de los resultados alcanzados y de las posibles desviaciones producidas frente a lo esperado. Revisión. REVISAR los procesos para corregir las desviaciones y, en su caso, proponer nuevos enfoques y/o Resultados. Este último punto sirve para iniciar un nuevo ciclo de actividades. En el siguiente esquema progresivo se resumen estas actuaciones cíclicas. REVISAR LOS PROCESOS, PARA CORREGIR DESVIACIONES Y PROPONER NUEVOS RESULTADOS Y ENFOQUES EVALUAR LOS PROCESOS MEDIANTE EL ANÁLISIS DE LOS RESULTADOS LOGRADOS R DETERMINAR LOS E RESULTADOS A LOGRAR TRAS UN DIAGNÓSTICO INICIAL R D E DESARROLLAR LOS PROCESOS PLANIFICADOS PARA LOGRAR LOS RESULTADOS PLANIFICAR LOS PROCESOS (ENFOQUES) PARA LOGRAR LOS RESULTADOS PROPUESTOS

10 En cada ciclo, los procedimientos se simplifican, el sistema ganan en eficiencia y la institución mejora su calidad. Siguiendo el esquema REDER, la estrategia planteada para desarrollar el modelo de evaluación en el Institutos de Investigación de la Comunidad Autónoma de Canarias consta de cuatro fases: la Autoevaluación, la Evaluación Externa, el Informe Final de Evaluación de las Unidades y el Informe Final de Evaluación del Instituto. Cada fase es desarrollada por un Comité. La Autoevaluación es un proceso interno que lleva a cabo la propia Unidad. Es una reflexión participativa y en profundidad sobre la realidad de su institución en relación con la calidad realizada por el Comité de Autoevaluación o de Autoevaluación del Instituto (CAI). Dentro de esta fase interna se distinguen cuatro fases: la fase de preparación, la fase de recogida de información, la fase de análisis y síntesis de las evidencias y la fase de elaboración del Informe de Autoevaluación, resultado del análisis crítico en el que se valora la situación de la Unidad a través de los estándares de calidad, se identifican sus fortalezas y debilidades y se proponen las correspondientes acciones de mejora. La autoevaluación va seguida de la Evaluación Externa que constituye el complemento necesario para cubrir adecuadamente los objetivos de toda evaluación institucional. Esta fase, que llevan a cabo evaluadores externos a la Institución Comité de Evaluación Externa (CEE)- nombrados por el Comité de Coordinación, consta de una primera etapa de valoración previa del Informe de Autoevaluación, una segunda de contraste y valoración de la información realizada mediante una visita a la unidad evaluada y un conjunto de entrevistas semiestructuradas con los diferentes colectivos de la comunidad de la misma, y una tercera de elaboración del Informe de Evaluación Externa. Una vez elaborado el Informe Externo de Evaluación, el propio Comité de Autoevaluación integra ambos Informes para proporcionar el Informe Final de Evaluación del Instituto. Dicho Informe contiene, además de un resumen del proceso realizado, la valoración de los estándares, las fortalezas y debilidades detectadas durante el proceso de evaluación, y una propuesta de Plan de Mejora. Dicho Plan constituye, al mismo tiempo, la formulación de objetivos a conseguir por la Unidades evaluada en un plazo de tiempo determinado. El Comité de Coordinación del Plan reside en la ACECAU y es el Comité responsable de la dirección de los procesos de evaluación en lo referente a la planificación y organización de los mismos, el asesoramiento de los Comités, la selección de los Comités Externos, los procesos de formación y, en general, cualquier aspecto relacionado con el Plan. Estará asistido por una Unidad Técnica del Plan. 3 Características de la evaluación. El modelo de evaluación que se propone se basa en los siguientes principios de intervención: 1. Transparencia. El desarrollo y los resultados (informes) del proceso de evaluación deberán ser públicos y su conocimiento deberá fomentarse a través de resúmenes, folletos informativos, etc. 2. Participación. La autoevaluación es tarea de todos los agentes integrantes o relacionados con el Instituto. Hay que garantizar y fomentar su participación activa. No es sólo la labor que realizará un grupo de personas. 3. Búsqueda de consenso. La calidad no puede ser fruto de una votación. Deberá

11 buscarse el consenso tanto entre los miembros de los comités como entre éstos y todos los agentes implicados. Los pertinentes informes deberán ser documentos fruto de la integración de coincidencias y que contengan también las discrepancias. 4. Enfoque integral. Implica la combinación de información cuantitativa (datos e indicadores) y cualitativa (resultados de encuestas de opinión). 5. Enfoque global. La evaluación debe comprender todas las tareas del Instituto o unidad evaluada en los ámbitos de la investigación, la prestación de servicios, la enseñanza y la gestión. 6. Énfasis en las interfases. Supone poner gran interés y dedicación a las relaciones que se establecen entre las diferentes tareas del Instituto o unidad evaluada (investigación, prestación de servicios, enseñanza y gestión), entre estructuras (servicios, centros, Instituto) y con la sociedad. En estas interfases se localizan los grandes problemas y también permiten diseñar las soluciones más eficaces. 7. Contraste de información. Según su carácter (cualitativo y cuantitativo) y su origen (órganos y agentes implicados), las coincidencias y discrepancias son elementos clave para la emisión de juicios de valor. 8. Consideración sistemática de los resultados. Los productos (resultados de la labor investigadora, formadora, de la prestación de servicios, la contribución a resolver problemáticas sanitarios, ) deben tomarse como referentes esenciales a la hora de emitir juicios de valor. 9. Énfasis en la reflexión. La evaluación no termina con la recopilación y procesado de la información cuantitativa y cualitativa. Es imprescindible que se dedique un alto porcentaje del tiempo al análisis de los datos, utilizando las indicaciones de los protocolos como sugerencias de análisis. 4 La Unidad de evaluación. Dada la conveniencia de integración de la evaluación de las diferentes funciones realizadas en una misma Institución, en la lógica de los sistemas integrales de gestión de la calidad, se propone que la unidad de evaluación la constituya el Instituto en su conjunto. En cada Instituto se evaluarán las funciones más relevantes desarrolladas en los mismos. 5 Las funciones evaluadas. Para evaluar los Institutos de Investigación de la Comunidad Autónoma de Canarias se atenderá la evaluación de los principales ámbitos de los mismos, entendidos éstos como las principales funciones desarrolladas en ellos. Estas funciones pueden ser: o Gestión general. o Gestión general + Prestación de servicios. o Investigación. o Formación especializada. Para la evaluación de cada función se utilizarán Guías de Evaluación específicas. Dichas Guías contendrán las dimensiones y criterios a evaluar para cada una de ellas e incluirán tablas para la recogida de información cuantitativa, pautas para la recogida de información cualitativa y un Protocolo para la redacción del Autoinforme. Los elementos de gestión evaluados deben interpretarse desde una perspectiva global,

12 general o marco del Instituto. Será en la evaluación de las funciones específicas en las que se concreten estos aspectos generales o marco. De esta forma el Instituto se evalúa como un todo, si bien se obtiene información específica de cada una de las funciones desarrolladas en él. 6 El modelo de Autoevaluación. El modelo de autoevaluación se estructura en torno a grandes dimensiones que se dividen en unidades de análisis (grandes apartados que fragmentan y facilitan el análisis de las dimensiones) para cada una de las cuales se define un conjunto de estándares o criterios de calidad (patrones de referencia o características o supuestos que definen niveles de calidad en función del grado en que hayan sido alcanzados y, por consiguiente, objetivos a alcanzar mediante los Planes de Mejora). Las dimensiones para la evaluación de cada función, son las siguientes: Gestión General + Prestación de servicios (se orienta en el modelo EFQM) 0. Evolución y situación actual del Instituto. 1. Organización, Planificación y Dirección. 2. Oferta de servicios. 3. Gestión de las Personas. 4. Gestión de los Recursos y las Alianzas. 5. Procesos. 6. Resultados 1.1. Demanda de servicios Resultados en los clientes Resultados en las personas del servicio Resultados en la sociedad Resultados clave. Investigación: 1. Perfil y contexto de la investigación. 2. Planificación y Objetivos. 3. Recursos. 4. Desarrollo de la investigación. 5. Resultados. Formación especializada: 1. Planificación. 2. Programa de formación. 3. Recursos. 4. Desarrollo de la enseñanza. 5. Resultados

13 Según el modelo de evaluación, las dimensiones y sus unidades de análisis se configuran en elementos de entrada, procesos y resultados. Las entradas se transforman en resultados a través de los procesos. ELEMENTOS DE ENTRADA Son los agentes o elementos que explican qué, por qué y con qué se desarrollan las actividades en la unidad evaluada. Incluye elementos de planificación, estrategia y recursos. PROCESOS Son el conjunto de acciones y procedimientos que explican cómo se transforman los elementos de entrada o agentes facilitadotes en resultados. RESULTADOS Son los productos o servicios resultados de la actividad de la unidad evaluada. Incluye los resultados propiamente dichos y la satisfacción de los diferentes colectivos. Los siguientes esquemas muestran las dimensiones y sus correspondientes unidades de análisis y valoración, distribuidas en elementos de entrada, procesos y resultados:

14 Gestión General + Prestación de servicios del Instituto: 0. EVOLUCIÓN Y PERFIL. 1. Acontecimientos y cambios importantes. 1. ORGANIZACIÓN, PLANIFICAIIÓN Y DIRECCIÓN. 1. Normativa sobre Objetivos y Funciones. 2. Estructura organizativa y su funcionamiento. 3. Planificación y estrategia. 4. Dirección. 5. Gestión interna de la información. 2. OFERTA DE SERVICIOS 1. Ajuste a necesidades 2. Difusión de oferta. 3. GESTIÓN DE LAS PERSONAS. 1. Planificación de la gestión del personal (selección, formación, desarrollo y evaluación). 2. Implicación y asignación de responsabilidades. 3. Comunicación entre el equipo directivo y el personal. 5. PROCESOS. 1. Identificación, diseño y gestión de los procesos clave. 2. Desarrollo de nuevos servicios. 3. Innovación. 4. Evaluación y mejora de los sistemas de gestión. 5. Producción de resultados. 6. RESULTADOS. 1. Demanda de los servicios. 2. Resultados en clientes y usuarios. 3. Resultados en las personas. 4. Resultados en la sociedad. 5. Resultados clave. 4. GESTIÓN DE RECURSOS Y ALIANZAS. 1. Asignación, optimización y control de recursos. 2. Nuevas tecnologías. 3. Gestión del conocimiento. 4. Alianzas

15 Investigación: 1. PERFIL Y CONTEXTO. 1. El perfil científico del Instituto en el ámbito autonómico, nacional e internacional. 2. Las relaciones entre la investigación y la enseñanza. 3. Las relaciones entre la investigación y la gestión. 4. Las relaciones entre la investigación y la prestación de servicios. 2. PLANIFICACIÓN 1. Objetivos y política científica. 2. Líneas y grupos de investigación. 3. RECURSOS 1. Recursos personales. 2. Recursos económicos. 3. Recursos físicos. 4. Físicos 5. Recursos materiales y de apoyo. Formación: 4. DESARROLLO DE LA INVESTIGACIÓN 1. Proyectos de investigación. 2. Relaciones dentro del Instituto 3. Relaciones con otros Centros o grupos dentro del Instituto. 4. Relaciones con otras instituciones. 5. Formación y movilidad del PI. 5. RESULTADOS 1. Resultados globales. 2. Rendimiento y calidad. 1. PLANIFICACIÓN 1. Objetivos y normativa 2. Perfil de formación: oferta y demanda. 3. Dirección y planificación. 2. PROGRAMA DE FORMACIÓN 4. DESARROLLO DE LA 1. Estructura del programa 2. Programa asignaturas ENSEÑANZA 3. Dimensión práctica 4. Planificación docente 1. Metodología docente. 2. Evaluación de los aprendizajes. 3. RECURSOS 3. Orientación y acción tutorial. 1. Humanos: profesorado 2. Humanos: PAS 3. Físicos: instalaciones e infraestructura. 4. Económicos CALIDAD DE LOS RESULTADOS 1. Resultados del programa formativo 2. Resultados por asignaturas 3. Satisfacción con los resultados

16 Desde esta perspectiva analítica, los objetivos de la evaluación de un Instituto se concretan en valorar si: Gestión general del Instituto*: La dirección desarrolla y facilita la consecución de los objetivos del Instituto, potencia los valores necesarios para alcanzar el éxito a largo plazo e implanta todo ello en la organización mediante acciones y comportamientos adecuados, estando implicada personalmente en asegurar que el sistema de gestión del Instituto se implanta y desarrolla. El Instituto implanta una estrategia claramente centrada en todos los grupos de interés y apoyada por políticas, planes, objetivos, metas y procesos relevantes. El Instituto gestiona, desarrolla y aprovecha el conocimiento y todo el potencial de las personas que lo componen, tanto a nivel individual, como de equipos o de la organización en su conjunto y planifica estas actividades en apoyo de su política y estrategia y del eficaz funcionamiento de sus procesos. El Instituto planifica y gestiona sus recursos internos y sus alianzas externas en apoyo de su política y estrategia, y del eficaz funcionamiento de sus procesos. El Instituto diseña, gestiona y mejora sus procesos para apoyar su política y estrategia y para satisfacer plenamente, generando cada vez mayor valor, a sus clientes y otros grupos de interés El Instituto está alcanzando sus logros en relación con sus clientes y usuarios, su propio personal y con la sociedad, a nivel local, nacional e internacional (según resulte pertinente). El Instituto está alcanzando sus logros con relación al rendimiento planificado. Prestación de servicios*: La prestación de servicios desarrollada tiene establecidos explícita y claramente sus objetivos, se adecua al perfil científico-técnico del Instituto e interacciona de forma positiva con las funciones formativas y/o de investigación desarrolladas en el mismo. La oferta de servicios responde a las necesidades y expectativas de los clientes o usuarios de los mismos. La dirección facilita y se implica activamente en la consecución de los establecidos para la prestación de los servicios ofertados. El Instituto implanta una estrategia claramente centrada en todos lo grupos de interés y apoyada por políticas, planes, objetivos, metas y procesos relevantes en lo referente a la prestación de servicios. El Instituto aprovecha el conocimiento y todo el potencial de las personas que lo componen y planifica y gestiona sus recursos internos y sus alianzas externas para lograr los objetivos y alcanzar los resultados deseados en lo referente a la prestación de servicios. El Instituto diseña, gestiona y mejora sus procesos para desarrollar su política y estrategia y para satisfacer plenamente a sus clientes y otros grupos de interés en lo referente a la prestación de servicios. El Instituto está alcanzando sus logros planificados en relación con sus clientes y usuarios, su propio personal y con la sociedad, a nivel local, nacional e internacional (según resulte pertinente) en lo referente a la prestación de servicios. El Instituto tiene establecidos procedimientos de análisis y revisión que permiten asegurar la calidad del mismo en lo referente a la prestación de servicios. * Por razones de de simplicidad, ambas funciones (Gestión general y Prestación de

17 servicios) se evalúan de forma conjunta a través de una Guía diseñada al respecto. Investigación: La investigación desarrollada tiene establecidos explícita y claramente sus objetivos, se adecua al perfil científico-técnico del Instituto e interacciona de forma positiva con las funciones formativas y/o de prestación de servicios o de carácter epidemiológico desarrolladas en el mismo. La investigación desarrollada cuenta con los recursos adecuados y estos son bien gestionados para lograr los objetivos marcados y los resultados deseables. Las relaciones de los grupos de investigación y su actividad investigadora siguen las pautas nacionales e internacionales de las áreas en las que se enmarcan. La investigación desarrollada logra los objetivos y alcanza unos resultados de calidad similar o superior a los de las áreas en las que se enmarca. Los grupos de investigación tienen establecidos procedimientos de análisis y revisión que permiten asegurar la calidad de la misma. Formación: El título, master o curso tiene establecidos explícita y claramente los objetivos, definido el perfil profesional de los egresados y planificados los procesos de dirección. El título, master o curso cuenta con un programa formativo coherente y bien organizado. El título, master o curso cuenta con los recursos adecuados y estos son bien gestionados para desarrollar el programa, lograr los objetivos y alcanzar los resultados deseables. El título, master o curso desarrolla adecuadamente los procesos diseñados para lograr los objetivos y alcanzar los resultados deseados. El título, master o curso logra los objetivos y alcanza los resultados esperados. El título, master o curso tiene establecidos procedimientos de análisis y revisión que permiten asegurar la calidad de la misma. Así, evaluar la calidad de una unidad consiste esencialmente en verificar y mejorar los procedimientos de autorregulación que tiene establecidos para promover su calidad 3. 7 La estructura de las Guías Las Guías de Autoevaluación se estructuran en torno a sus tres elementos principales: Dimensiones, Unidades de análisis y Estándares o Criterios de calidad. Para facilitar a los Comités de Evaluación su labor analítica y valorativa, la información se presenta organizada de forma que, para cada una de las dimensiones y sus unidades de análisis, se plantean: Cuestiones para el análisis o Preguntas, destinadas a orientar la reflexión del Comité sobre las diferentes unidades de análisis, que, a su vez, permitan posteriormente valorar los estándares/criterios planteados. Solicitan 3 Evaluación de la calidad de las titulaciones universitarias. Guía metodológica. Consejo de Coordinación Universitaria

18 información acerca de si se están realizando determinadas prácticas y cómo se realizan. No es necesario contestar una por una cada cuestión planteada; tratan de orientar la reflexión en los temas de mayor interés de la unidad de análisis correspondiente. Evidencias, destinadas a fundamentar los juicios de valor emitidos mediante información, hechos o datos concretos y contrastables. Estándares o criterios de calidad, como patrones de referencia de calidad de las diferentes dimensiones analizadas 8 Los estándares de calidad. Los estándares de calidad, como se ha indicado ya, deben interpretarse como objetivos de referencia a alcanzar en el Instituto y en cada una de las funciones desarrolladas en él. Si bien es cierto, que dichos estándares son de uso obligado en los procesos de acreditación o certificación, no es éste el objetivo planteado en esta Guía. Los estándares deben interpretarse como elementos de calidad concretos que el Instituto debe plantearse conseguir a través de los Planes de Mejora. No es, por tanto, tan importante que, tras el diagnóstico realizado tras la primera evaluación, se alcancen valores altos en ellos, como que, tras la aplicación de los planes estratégicos de mejora, se vayan consiguiendo niveles de excelencia de forma progresiva y en función de los objetivos que el Instituto se marque en cada planificación. Los estándares se han definido teniendo en cuenta, para cada función y dimensión dentro de ésta, los requerimientos de reflexión que las unidades de análisis proponen. Al necesitar que los juicios de valor emitidos estén fundamentados en evidencias, la valoración de los estándares, consecuencia de dichos juicios, debe responder a la realidad de la Institución. De otra forma, no tendrían sentido ni los estándares ni la misma evaluación. Por tanto, la valoración de los estándares no debe nunca disociarse del análisis cualitativo previo que el modelo propone, siendo aquélla la consecuencia directa de ésta. Tampoco la valoración de los estándares debe hacerse sin indicar la(s) evidencia(s) en las que se basa. Tanto la emisión de los juicios de valor, como la utilización de las evidencias, como la valoración de los estándares deben hacerse de forma coordinada. No obstante, para facilitar la evaluación del Instituto, se propone que cada ámbito sea evaluado por un Subcomité específico, siendo el CAI el encargado de coordinar el trabajo de éstos, así como de integrar sus Informes en uno sólo. En la tabla siguiente se muestra el número de estándares de cada función, diferenciados por las dimensiones propuestas para cada una de ellas

19 NÚMERO DE ESTÁNDARES POR FUNCIONES Y DIMENSIONES FUNCIÓN Y Nº ELEMENTOS DE ENTRADA PROCESOS RESULTADOS GESTIÓN + PREST. SERVICIOS EVOLUCIÓN ORGANI ZACIÓN, PLANIFI CACIÓN Y DIREC CIÓN OFER TA DE SERVI CIOS GESTIÓN DE LAS PERSO NAS GESTIÓN DE RECURSOS Y ALIANZAS PROCESOS DEMANDA DE LOS SERVICIOS RESULTADOS EN LOS CLIENTES RESULTA DOS EN LAS PERSONAS IMPACTO EN LA SOCIEDAD RESULTADOS CLAVE INVESTI GACIÓN PERFIL Y CONTEXTO PLANIFICACIÓN RECURSOS Y ALIANZAS DESARROLLO RESULTA DOS DE LA INVESTIGA CIÓN 31 (58) (34)* FORMA CIÓN PLANIFI CACIÓN ESTRU CTURA Y PRO GRAMA RECURSOS DESARROLLO DE LA ENSEÑANZA CALIDAD DE LOS RESULTA DOS TOTAL ELEMENTOS DE ENTRADA PROCESOS RESULTADOS 177(235) (70)* * Entre paréntesis, nº de estándares si se desagregan por tipo de aportación (artículos, proyectos, )

20 9 El proceso de Autoevaluación. En el proceso de Autoevaluación se pueden distinguir las siguientes fases: la fase de preparación de la evaluación, la fase de recogida de información, la fase de análisis y valoración de las evidencias y la fase de elaboración del Informe de Autoevaluación Fase de preparación de la evaluación La primera fase comprende cuatro actuaciones fundamentales: el compromiso con la evaluación, la constitución de los Comités de Autoevaluación, los procesos de formación de los Comités y la planificación del trabajo. El compromiso de evaluar debe ser asumido por la Dirección del Instituto correspondiente y toda la comunidad del mismo debe asumir dicho compromiso. En este sentido, la evaluación debería responder a una planificación institucional aunque la participación efectiva de cuantos forman parte del Instituto sea imprescindible para asegurar el éxito de la evaluación. Es decir, la solicitud institucional de la evaluación debe ir más allá de una mera expresión formal. Por otra parte, el Instituto que se evalúa debe asumir que la fase de evaluación es solo una parte del proceso, aunque imprescindible para diagnosticar su realidad. La fase de evaluación debe ir seguida de una fase de mejora y, preferentemente, del establecimiento de un sistema de garantía permanente de su calidad. Para impulsar esta fase fundamental, el Plan de Evaluación y Mejora de la Calidad de los Institutos Canarios de Investigación prevé el desarrollo de actuaciones encaminadas a apoyar dichas iniciativas en aquéllos que culminen todas las fases de la evaluación. No debe olvidarse tampoco la favorable posición que un Instituto que haya realizado una evaluación rigurosa y desarrollado un sistema de garantía de su calidad alcanzará de cara a futuros procesos de acreditación. Sin duda, la composición del Comité de Autoevaluación es una decisión clave para asegurar el rigor de la evaluación. Dicho Comité será el encargado de desarrollar la mayor parte del proceso de autoevaluación, de redactar el Informe de Autoevaluación, de preparar la fase externa de evaluación y de redactar el Informe Final de Evaluación. Además, parece lógico que el desarrollo posterior del Plan de Mejora o del Sistema de Garantía de la Calidad recaiga también bajo responsabilidad de dicho Comité, aunque deba ser ampliado para estos fines. Los miembros del Comité de Autoevaluación deben contar con el respaldo y reconocimiento de la comunidad del Instituto, su constitución debe estar respaldada por su aprobación en los órganos de gobierno competentes del mismo y, preferentemente de la Dirección del Instituto, y su organización debe atender a criterios de representatividad y operatividad. Es muy conveniente que los Comités de Autoevaluación cuenten con representantes de todos los estamentos y funciones involucrados en la unidad: directivos, investigadores, técnicos y personal de administración y servicios, y que su número no sea demasiado amplio. Entre 8 y 12 personas, de las que 4/5 sean directivos, investigadores y técnicos y 1/5 personal de administración y servicios, es un tamaño adecuado. No obstante, las características del Instituto indicarán la conveniencia de modificar esta sugerencia. Parece igualmente conveniente que los Comités estén presididos por algún miembro del Equipo de Dirección del instituto, que incluya esta función como una de sus obligaciones relevantes. El grado de implicación del Equipo de Dirección en la evaluación asegurará el posterior desarrollo de las acciones postevaluadoras. Es importante, no obstante, que su actuación sea objetiva y que facilite la labor asistencial al Comité

21 Se constituirá un solo Comité de Autoevaluación por Instituto, que será el responsable de la evaluación del mismo. No obstante, a criterio del propio Instituto, para la evaluación de cada función gestión, investigación, formación- se pueden constituir Subcomités por cada una de ellas. Dichos Subcomités guardarían una composición similar a la del Comité de Autoevaluación, pero en ellos se aseguraría, además, una representación de las diferentes unidades, líneas, grupos relevantes que desempeñan las correspondientes funciones evaluadas. En el caso de la investigación, se debe realizar una evaluación que incorpore datos de los diferentes grupos o líneas, aunque el resultado final será la evaluación integrada de toda la investigación desarrollada en el Instituto. Una vez formados, los Comités deben recibir la formación adecuada. Esta formación debe incluir no solo el conocimiento de los materiales a utilizar (Guía, Protocolo de Autoinforme...), sino cómo utilizarlos. Para este fin, el Comité de Coordinación, en colaboración con las Direcciones de los Institutos, organizará las jornadas de formación que se consideren necesarias. Por último, los Comités, una vez formados, elaborarán un Programa de Trabajo en el que, al menos, tendrán en cuenta los siguientes aspectos: La relación con la Unidad Técnica de Calidad del Plan. La organización de las sesiones de trabajo (lugar, días, horas, frecuencia...) El posible reparto de tareas (aunque la reflexión, análisis y valoración de los criterios deberá hacerla siempre el Comité en su conjunto) La obtención de la información (tablas, fuentes documentales, otros datos u opiniones) La temporalización de las actuaciones. Los sistemas de difusión de la información. Los sistemas de participación de la comunidad (captación de sugerencias o propuestas...). Es conveniente analizar las dimensiones y unidades de análisis en el orden en el que figura en las Guías. Esto permitirá un avance ordenado y racional, desde la planificación y los recursos, pasando por los procesos, hasta los resultados. Desde el punto de vista procedimental se recomienda: Tomar notas de los acuerdos o encargos en cada una de las reuniones. Decidir los temas a tratar durante la próxima sesión, así como el lugar, día y hora para su celebración. Tener reuniones periódicas de seguimiento con los miembros de las Unidades de Calidad. Divulgar folletos informativos de las diferentes fases de la evaluación Fase de recogida de la información. Esta fase es de suma importancia, pues dependiendo de la calidad de la información que utilice el Comité, las evidencias para constatar el grado de cumplimiento de los criterios propuestos serán más rigurosas y objetivas y, por tanto, también lo será el resultado de la evaluación. La información que el Comité deberá utilizar en su trabajo de evaluación se puede dividir en cuatro tipos:

22 Tablas de datos, de acuerdo con los formatos facilitados en los anexo de las Guías específicas. Es conveniente que sean proporcionadas a los Comités desde la Secretaría General del Instituto o desde las Unidades competentes del mismo. Resultados de encuestas o grupos de discusión. El Comité de Coordinación del Plan proporcionará modelos para ser analizados conjuntamente. Fuentes de evidencias. Las Guías proponen una relación de dichas fuentes para cada dimensión. Pueden ser obtenidas a través de diferentes medios: la Secretaría General, los grupos, el propio Comité... Otra información o tipo de datos útiles para la evaluación. También pueden ser obtenidas a través diferentes medios, dependiendo de su naturaleza. Es importante que el Comité disponga de la información necesaria cuando inicie su trabajo de análisis y valoración. En este sentido, la información puede ir obteniéndose en el orden propuesto en las Guías Fase de análisis y valoración de las evidencias y los estándares. Para realizar el análisis de las evidencias es imprescindible tener una visión transversal estándar-preguntas-evidencias. El estándar define sobre qué hay que pronunciarse y, por tanto, acota el concepto. La demanda de contestación a las cuestiones para el análisis planteadas obliga a reflexionar sobre aspectos parciales del estándar, lo que facilita su descripción y la emisión de juicios de valor sobre los contenidos del mismo. Dichos juicios de valor deben, sin embargo, justificarse, -fundamentarse- mediante las correspondientes evidencias, para lo que pueden servir de referencia las sugeridas en las Guías. Las preguntas y evidencias planteadas no deben ser interpretadas como cuestionarios que deben atenderse en su totalidad, sino como orientaciones para la reflexión que conduzca a la descripción objetiva de la unidad de análisis y a la fundamentación de los juicios de valor emitidos para valorar sus estándares de calidad. El protocolo para la redacción del Informe de Autoevaluación solicita una descripción y valoración cualitativa de las diferentes unidades de análisis. Para ello, el Comité de Autoevaluación (CAI) deberá hacer una síntesis de las evidencias aducidas para describir los diferentes criterios incluidos en dicha unidad de análisis. Para facilitarlo se recuerdan para cada unidad de análisis, y de forma resumida, los aspectos considerados en ella. Descripción valorativa y análisis de las evidencias Ejemplo El CAI hará en este cuadro una breve descripción valorativa de cada uno de los subapartados consignados, tratando de hacer referencia a las evidencias que sustentan dicha valoración. 1. Proyectos de investigación.. 2. Relaciones investigadoras. 1. Dentro del Instituto.. 2. Con otras Instituciones

23 El protocolo para la redacción del Informe de Autoevaluación también solicita la emisión de un juicio de valor en la escala A: Idóneo, B: Satisfactorio, C: Deficiente D: ausencia/muy deficiente para cada estándar. Dichos juicios de valor deberán extraerse del análisis de las evidencias aducidas para describir las dimensiones en la tabla anterior; es decir, el CAI no deberá emitir juicios sin haber expuesto previamente las razones y evidencias que los justifiquen. Solo en casos excepcionales o no indicados se utilizará la casilla NE de evidencias insuficientes. Las evidencias en las que se basen las valoraciones de los estándares se indicarán, siguiendo la numeración utilizada en las tablas de evidencias de la dimensión evaluada, en última columna de la tabla. Valoración de los estándares Ejemplo El Comité indicará el grado de cumplimiento que estime oportuno para cada estándar de calidad tomando como referencia los argumentos expuestos en el apartado anterior, y mostrará en la columna de la derecha la(s) evidencia(s) utilizadas para ello. Nunca se deberá formular un juicio sobre un estándar sin haber expuesto previamente las razones que lo justifican. En el caso de que las evidencias obtenidas no sean suficientes para hacer dicha valoración lo indicará en la casilla EI: evidencias insuficientes. A: Idónea B: Satisfactoria C: Deficiente D: Muy Deficiente EI: Evidencias insuficientes 1. PLANIFICAIIÓN DEL TÍTULO: OBJETIVOS Estándar 4.1.1: La solicitud y gestión de los proyectos de investigación optimizan los recursos personales y materiales del Instituto/grupo. Estándar 4.1.2: En términos cualitativos, el interés científico del Instituto y de sus grupos de investigación es adecuado en cuanto a: : los proyectos solicitados en función de los doctores con competencias para solicitarlos. Estándar 4.1.2: En términos cualitativos, el interés científico del Instituto y de sus grupos de investigación es adecuado en cuanto a: : las becas/contratos solicitados en función de los doctores con competencias para solicitarlos. Estándar 4.1.3: En términos cualitativos y cuantitativos, la actividad científica del instituto y de sus grupos aprovecha la capacidad de dirección en función del potencial investigador disponible : Las relaciones internas entre el personal investigador favorece el desarrollo coordinado de las líneas de investigación desarrolladas en el Instituto.. A B C D EI nº de la evidencia La interpretación de la escala de valoración debe hacerse de la forma siguiente: A: Idóneo: El estándar/criterio se cumple siempre y de forma modélica. B: Satisfactorio: El estándar se cumple de forma habitual, aunque puede cumplirse mejor. C: Deficiente: El estándar/criterio no se cumple de forma habitual. D: Muy deficiente: El estándar/criterio no se cumple. EI: las evidencias no permiten valorar el estándar/criterio o no es oportuna su valoración