Miden bien los rankings la calidad de las universidades españolas?

Transcripción

1 Miden bien los rankings la calidad de las universidades españolas? CARMEN PÉREZ ESPARRELLS PROFESORA TITULAR DE ECONOMÍA APLICADA DEPARTAMENTO DE ECONOMÍA Y HACIENDA PÚBLICA UNIVERSIDAD AUTÓNOMA DE MADRID LOS RANKINGS UNIVERSITARIOS: SUS BENEFICIOS Y PATOLOGÍAS AS BENICASIM, 6, 7 Y 8 DE JULIO DE 2011

2 Miden bien los rankings la calidad de las universidades españolas? ÍNDICE Introducción Existen diferentes ligas? El diagnóstico de las universidades españolas en los rankings internacionales Cómo evalúan los rankings internacionales? Los rankings y la situación europea Los rankings y la situación española Algunas políticas en función del territorio Qué estrategias o palancas pueden mejorar la posición de las universidades españolas? De arriba abajo o de abajo a arriba? Conclusiones

3 Introducción Desde la perspectiva del territorio, los resultados de los rankings pueden ser analizados en varios niveles: Mundial (global) Los rankings globales delimitan con sus primeras posiciones (Top 20, Top 50, Top 100) las que se pueden denominarse World Class Universities. Las 100 mejores universidades compiten por mantenerse en el ranking Shangai y no bajar posiciones. Europeo Los rankings europeos permitirán delimitar las mejores universidades europeas a la carta. Con esta selección y taxonomía, darán pistas para apoyarlas con la política supranacional y/o las políticas nacionales. Nacional En España no existe un ranking oficial de mejores universidades españolas. Otros países mediterráneos están en la misma situación (Italia, Francia, Portugal, etc.).

4 Diagnóstico de los rankings internacionales Un proceso en evolución con tendencia a la especialización Rankings globales Rankings generalistas Investigación Prestigio Docencia Transferencia Otros rankings Aprendizaje Web Tercera Misión Rankings de investigación Producción científica Patentes Tesis

5 Diagnóstico de los rankings internacionales Tipos de rankings globales Generalistas (con la finalidad de generar tablas de clasificación, muy elitistas ): ARWU (Academic Ranking of World Universities de Shangai Ranking Consultancy) o Ranking de Shanghai Jiao Tong University (desde 2003, 500 universidades). THES QS (Times Higher Education Supplement en cooperación con Quaquarelli Symonds) (desde 2004 hasta 2009). (QS desde 2010, 500 universidades + lista) THE TR (Times Higher Education World University Ranking en cooperación con Thomson Reuters (desde 2010, 200 universidades) USNWR QS (Worl d Best Universities Ranking US News & World Report en cooperación con QS) (desde 2010, 400 universidades). Global University Ranking Reitor (desde 2009, 500 universidades).

6 Diagnóstico de los rankings internacionales Métodología de los rankings generalistas: Qué miden? Investigación Resultados de la investigación. Impacto. Ingresos de la investigación (nuevo en 2010 del THE TR). Prestigio (reputación) Encuestas por pares a académicos. Profesorado Nobel y con medallas Field. Docencia Calidad de la docencia. Internacionalización. Excelencia en la docencia. Transferencia de conocimiento Ingresos de la industria (nuevo en 2010 del THE TR).

7 Diagnóstico de los rankings internacionales Críticas genéricas a los rankings generalistas: Están decantados básicamente hacia la investigación (y a una parte). Sesgados a favor de Medicina y Ciencias y en contra de las Ingenierías, Ciencias Sociales y Humanidades (indicadores bibliométricos). Miden el entorno de la docencia pero no realmente la calidad de la docencia. Miden el prestigio de una forma subjetiva o inalcanzable. Sesgados hacia las Instituciones de Educación Superior (IES) de lengua inglesa. Críticas específicas a los rankings generalistas: Discutible la relación ratio estudiante/profesor y la calidad de la docencia. Discutible la relación entre estudiantes/profesores internacionales y la calidad. Discutible la medición de la transferencia del conocimiento solo con ingresos.

8 Resultados del THE Thomson Thomson Reuters 2010 (Top( 200) Harvard University 60 Pekin University Oxford / Cambridge University of Guttenger Trinity college Dublin University of Alexandria Universidad de Barcelona

9 Universidades europeas en el THE TR TR (2010) y gasto en ES en % del PIB (OCDE)

10 Diagnóstico de los rankings internacionales Posición de las universidades españolas en los rankings generalistas (ARWU y QS desde 2004 a 2010) Universidades españolas entre las primeras posiciones. UAM y UB (en algunos años logran alcanzar entre ) UCM y UV Universidades españolas entre las posiciones UAB (logra posiciones entre en el QS) UPV, UPF (logra posiciones entre en ARWU y en QS) UGR, USC, USE, y UZ Universidades españolas en el QS UNAV (logra posiciones entre ) y USA (entre )

11 UAM UB UV UCM UAB Universidades españolas en los rankings internacionales UGR USC USE UZ UPV ARWU UPF UAM UB UV UCM UAB UGR QS USC USE UZ UPF UNAV USA

12 Diagnóstico de los rankings internacionales Tipos de rankings globales De investigación (con o sin finalidad de obtener tablas de clasificación): HEEACT (Higher Education Accreditation and Evaluation Council of Taiwan) (desde 2007, 500 universidades) CWTS (Centre for Science and Technology Studies) Ranking de Leiden sin finalidad de obtener una clasificación (desde 2008, 250 universidades) SIR (Scimago Institutions Rankings) Ranking de Scimago (desde 2010, más de centros de investigación) Otros rankings Webometrics Ranking of World Universities (Cibermetrics Lab, Grupo de Ciencias Humanas y Sociales, CSIC) (desde 2004, instituciones). AHELO (Assessment of Higher Education Learning Outcomes Project en cooperación con OCDE) (en curso de realización). Third Mission (European Indicators and Ranking Methodology for University Third Mission) coordinado desde el Centro para la Calidad y Gestión del Cambio de la Universidad Politécnica de Valencia) (en curso de realización).

13 Diagnóstico de los rankings internacionales Métodología en los rankings de investigación: Productividad Número de publicaciones. Citas por publicación. Impacto Citas por publicación dividido por el impacto medio del campo. Número de publicaciones por el impacto relativo en el campo. Excelencia Indice H. Número de artículos altamente citados. Número de artículos en revistas con alto impacto.

14 Diagnóstico de los rankings internacionales Críticas a los rankings de investigación: Abandonan otras misiones de la universidad. Suelen favorecer a las Universidades potentes en Ciencias y Salud. Suelen favorecer a las IES de mayor tamaño (mayor presupuesto). Problemas de ponderación de los indicadores. Problemas de doble contabilización. Problemas con la correcta identificación de las IES.

15 Diagnóstico de los rankings internacionales Posición de las universidades españolas en los rankings de investigación (2009 y 2010) Universidades españolas que destacan en todos los rankings de investigación: UAM, UB, UCM, UV y UAB Si se restringe el ámbito de estudio a las universidades europeas, como ocurre en el ranking de Leiden, se posicionan ya 18 universidades españolas. UAM, UB, UCM, UV y UAB UPV, UGR, USC, USE, UZA, USAL, UMU, UPV, UOVI, UPC, UPM, UV, UMA Quedan fuera PF y UNAV en los 4 rankings de Leiden, lo que puede decir que su tamaño les está penalizando

16 Diagnóstico de los rankings internacionales Aspectos positivos: Han centrado la atención en la ES y en las IES (ranking season ). Mayor información para toma de decisiones. Muy poco convincente para estudiantes, salvo Asia o con el CHE Ranking Mayor competencia entre IES. Solo entre el 3% 5% de las universidades a nivel mundial Mejor rendición de cuentas a la sociedad y a los financiadores Los gobiernos los están usando para argumentar futuras inversiones en ES Mejora en la recopilación y publicación correcta de los datos de las IES. La ausencia de datos comparables a nivel internacional para algunas actividades aprendizaje, inserción laboral, etc. es un reto

17 Diagnóstico de los rankings internacionales Aspectos negativos: Genéricos: Son superficiales por sus limitaciones y por evaluar la calidad de manera ingenua. Miden lo que puede ser medido, no lo relevante. Son proxis defectuosa de la calidad y la excelencia. Sesgados hacia la investigación, dentro de ella a las áreas mejor representadas en las bases de datos empleadas. Falta relacionar resultados con el tamaño de las IES (y con la capacidad económica de las mismas). Empleo de indicadores/pesos arbitrarios y subjetivos. Particulares: Insuficiente transparencia en la elaboración de los indicadores (en algunos casos). El IREG va a poner en marcha una auditoria de varios de estos rankings. Reflejan factores de reputación (interrelacionados con intereses comerciales y políticos) y no necesariamente con la calidad o el desempeño de las instituciones.

18 Diagnóstico de los rankings internacionales Distintas opiniones de los rankings internacionales en Europa: European University Association (EUA Report on Rankings junio 2011) Confirma que las rankings globales de IES son realmente superficiales porque reflejan una simplificación de la realidad y poco útiles porque agregan por instituciones y por actividades, sin tener en cuenta la multi dimensionalidad. En muchos casos, la metodología y su realización no es del todo transparente. European Students Union (ESU, comunicado del 17 de junio) En muchos casos se reducen a números, son simplistas y elitistas (necesidad de rankings más democráticos). No son buenas guías para la elección porque miden sobre todo investigación, dejando a un lado docencia y aprendizaje, que es la variable que los estudiantes quieren conocer, fundamentalmente por programas de estudio. Acciones realizadas desde Europa para favorecer la transparencia sin finalidad de clasificar: 1. CHE University Ranking y CHE Excellence Ranking y otros CHE rankings (Center for Higher Education, Berlin) 2. Puesta en marcha del proyecto U Map EU Feasibility study on design and testing 3. Puesta en marcha del proyecto U Multirank of a Multi dimensional Global Ranking, Comisión Europea

19 Nuevas herramientas de transparencia en Europa U Map (CHE, CHEPS, CWTS, INCENTIM, OST, EFMD, EANI): 3 informes preliminares: 2005, 2008, 2010; actualmente, en se está rellenando con datos reales de las propias universidades. Descriptivo, no hace prescripciones. Elaboración de un Perfil Institucional por universidad en función de 6 dimensiones (docencia y aprendizaje, estudiantes, investigación, transferencia del conocimiento, orientación internacional, implicación con el territorio). U Multirank (CHE y CHEPS): Objetivos: Multi dimensional (5 dimensiones: docencia y aprendizaje, investigación, transferencia del conocimiento, orientación internacional, implicación con el territorio). Multi nivel: por áreas de conocimiento, por programas de estudio. Auto dirigido: permite hacer sus propios rankings a los diferentes grupos con intereses en la universidades (estudiantes grado, estudiantes MA/PhD, profesores, financiadores, responsables políticos e institucionales, etc.). 1. Recoger la diversidad y diferenciación: a través de instrumentos para agrupar las IES después de la transformación y sustancial expansión de las IES europeas 2. Sirven de base para políticas institucionales: permite evaluar a los HEI managers comparativamente perfiles institucionales comparables (benchmarking) y establecer colaboraciones. 3. Permite realizar un seguimiento de las tendencias que desarrolla el sector de la ES en Europa.

20 Perfil Institucional (Institutional Profiles) Dimensiones: Perfil de enseñanza y aprendizaje, perfil del estudiante, Actividad investigadora, transferencia de resultados de la investigación Orientación internacional e implicación regional Menos investig. Menos internac.

21 Nuevas herramientas de transparencia en Europa Algunos puntos débiles de los proyectos de la Comisión Europea (estudios de factibilidad) Críticas genéricas: Técnicamente se aproxima mucho mejor la calidad en sus dimensiones pero a costa de nutrir una buena base de datos muy complicada de obtención. Mayor peso de las universidades europeas en el U Multirank (serán bienvenidas más universidades americanas) y mayor peso de las públicas. Solo han participado las IES voluntariamente. Problemas de fiabilidad de los datos ( manipulación de variables: salarios, ratios estudiante/profesor, etc.) Posibles soluciones: peer review o puesta en marcha procesos de auditoria. Críticas específicas: Poca cobertura de comparación. En las 150 universidades de la fase piloto solo una española, la UPC. (U Map compara en detalle 3 IES elegidas, el U Multirank 5 IES). Cómo hacer un buen uso e interpretación de los resultados parciales por parte de los stakeholders? La EUA advierte del peligro de que se terminen convirtiendo en rankings Problemas de definición de variables (qué se entiende por alumno, qué se entiende por profesor, etc.). La comparación internacional es más incompatible en el U Multirank que en el U Map según la EUA.

22 Resumen Comparación de la situación europea con la mundial (anglosajona) Rankings a la americana : se trata de verdaderos rankings que desembocan en tablas de clasificación que ordenan a las universidades en posiciones, a la manera de las Business School o de los medios de comunicación, p.e. US News & World Report. Para qué sirven? Miden PRESTIGIO Rankings a la europea : se trata de rankings multidimensionales, adaptados a los principios de Berlin para intentar reflejar las numerosas actividades de una universidad (como en el U Multirank) o todos los aspectos dentro de una actividad como la investigación (como el de Leiden). Para que se utilizan? Para medir calidad y están orientados a la mejora continua. Rankings a la española : cómo serán? Lo que si sabemos es que si se aumenta la precisión, se incrementa el nivel de complejidad. Parece una necesidad imperiosa establecer un acuerdo de mínimos en indicadores para futuras clasificaciones del SUE.

23 Necesidad de clasificaciones oficiales en España? a? Estudios anteriores: Aprender de la experiencia, de sus metodologías y de sus errores Se trata de iniciativas efectuadas a título individual, por académicos o grupos de investigación o centros de investigación, fundaciones, de las que se pueden sacar lecciones y aprendizaje. Constituyen un buen ensayo de diferentes metodologías y aproximaciones y permiten discutir su utilidad y validez entre expertos. Son muy variadas. Una posible clasificación de estos estudios: Primer grupo: medición en exclusiva de la actividad investigadora Segundo grupo: evaluación de la eficiencia de las universidades españolas Tercer grupo: indicadores sintéticos de docencia e investigación y otros

24 Necesidad de clasificaciones oficiales en España? a? Rankings españoles de investigación Scimago (2005, 2007): pondera por profesorado a tiempo completo, permite la comparación entre universidades publicas y privadas. Buela Casal et al. (2009): relativizado por profesores funcionarios (no TEUs). Compara universidades públicas y privadas. Gomez Sancho y Mancebón Torrubia (2010): pondera por profesorado equivalente a tiempo completo y además realiza una homogeneización de universidades publicas atendiendo a su oferta de titulaciones. Ranking ISI EC3 U. Granada y U.Navarra (2010). Investigación por campos científicos (12) para universidades públicas y privadas entre ( Observatorio IUNE de la Alianza 4U (2011): UC3M, UAM, UAB, UPF (recoge indicadores de actividad científica, innovación, de capacidad formativa, etc. de universidades públicas y privadas entre 2002 y 2009).

25 Necesidad de clasificaciones oficiales en España? a? Estudios españoles de evaluación de la eficiencia (técnica) a través de la técnica de Análisis de Envolvente de Datos (DEA) Gómez Sancho (2005): Trata homogeneidad (oferta titulaciones). Inputs compartidos (gasto corriente en bienes y servicios y PETC) output docente (titulados) output investigador (FICPCPM). Multiactividad. Duch (2006): 3 modelos (PDIETC, PASETC / capacidad aulas, bibliotecas y laboratorios / Precios asociados a PDI y PAS. Output docente: matriculados (primeros ciclos y doctorado) Output investigador: Tesis, publicaciones ISI, Patentes. Perellada y Duch (2006): PDIETC, PASETC y recursos no financieros (tasas, ingresos patrimoniales y recursos ajenos e ingresos I+D). Outputs: anterior más sexenios por profesor. Hernangómez et al. (2007): Trata homogeneidad (grupos estratégicos). Inputs PETC gastos en inversiones reales. Output: alumnos grado e inversiones totales.

26 Necesidad de clasificaciones oficiales en España? a? Indicadores sintéticos de docencia, investigación y otros: (Fundación CYD) Indicador compuesto de capacidad de atracción de nuevos estudiantes. Indicador compuesto de calidad docente. Indicador compuesto de calidad del doctorado. Indicador compuesto de calidad investigadora. De las 47 universidades públicas posicionadas con los mejores valores en el curso en el ranking de calidad docente y calidad investigadora coinciden en el Top 15 la Universitat Pompeu Fabra, la Universidad Autónoma de Madrid, la Universidad de Cantabria, la Universitat Rovira i Virgili, la Universidad de Córdoba, la Universidad de Santiago de Compostela y la Universidad Politécnica de Cataluña.

27

28 Necesidad de clasificaciones oficiales en España? a? Dificultades de partida a la hora de emprender acciones: Lugar de recopilación de los datos: componente subjetivo en función de donde se originen En la recopilación de los datos de las universidades están involucrados multitud de centros y unidades. Es complejo llegar a una presentación completa y homogénea quién la debe realizar?. Las universidades deberían facilitar datos ciertos y auditados que van a tener gran uso y publicidad (transparencia). Tratamiento del tamaño de las universidades. Según la variable profesorado seleccionada se mostrarán dos realidades diferentes: Profesores Doctores equivalentes a tiempo completo. Profesores permanentes en universidades públicas y profesores con contrato indefinido en universidades privadas. Necesidad de un acuerdo de mínimos: en función de los objetivos de las clasificaciones que se quieran emprender

29 Necesidad de clasificaciones oficiales en España? a? Pasos a dar para la elaboración de múltiples rankings para evaluar la calidad de las universidades españolas: 1. Necesidad de información única, suficiente y contrastada. 2. Consenso sobre un catálogo oficial de indicadores (Acuerdo de mínimos). 3. Elaboración de rankings analíticos. 4. Elaboración de rankings sintéticos. Rankings inclusivos adaptándose a cada universidad para desarrollarla al máximo, no necesariamente oficiales

30 Algunas reflexiones finales Claves del éxito de las universidades españolas España y sus universidades no se pueden quedar en el furgón de cola de los rankings internacionales. Hay que pasar a acción individuales concretas, como por ejemplo participar en el U Multirank a nivel europeo, participar en el Global Institutional Profile Project (capitaneado por Thomson Reuters) a nivel mundial. Recomendaciones para las universidades españolas Coger capacidad de liderazgo. Buscar socios en el proceso de cambio. El posicionamiento de una universidad en el ranking no puede convertirse en el objetivo de la política de la universidad, sino en un instrumento para conseguir su mejora continua de la calidad y su mejora de cara a la valoración de la sociedad.

31 Muchas gracias por su atención Documentos de trabajo utilizados para la elaboración de la ponencia Pérez Esparrells, C. y López García, A. (2009): Estado de la cuestión de los rankings universitarios nacionales e internacionales, Documento de Trabajo DU04, Univnova. ( Pérez Esparrells, C. y Gómez Sancho, J.M. (2010): Los rankings internacionales de las instituciones de educación superior y las clasificaciones universitarias en España: visión panorámica y prospectiva de futuro, Colección de Documentos de Trabajo de la Fundación de las Cajas de Ahorro (FUNCAS), núm. 559/2010. (