El ranking CYD Sistema de indicadores para el sistema universitario español

. El ranking CYD Sistema de indicadores para el sistema universitario español Marti Parellada Karsten Krüger Fundación CYD Barcelona, 22de septiembre 2011

FCYD: Quiénes somos y que hacemos Se constituyó al finales del año 2002 como iniciative del sector empresarial Misión: analizar y promover la contribución de las universidades al desarrollo económico y social de España... Actividades: Análisis: Informe CYD Estudios, proyectos europeos y encuestas Reflexión y debate: jornadas y conferencias

FCYD y Rankings Desde el año 2008 el informe CYD incluye un apartado sobre rankings Limitado a universidades presenciales Limitaciones de obtener datos completos Cierta falta de homogeneidad 5 Dimensiones Capacidad de atracción de nuevos estudiantes Calidad docente Calidad en el doctorado Calidad investigadora Producción científica

Indicadores: que comparan y para quién sirven Problemas de los rankings disponibles El concepto del ranking CYD Ámbitos de conocimientos e indicadores

Para quién?

Que se compara?

Indicadores como método de comparación de universidades? Se puede comparar Universidades? o será mejor comparar facultades, departamentos, centros de i+d+i Investigadores y docentes ámbitos de conocimiento

Indicadores: que comparan y para quién sirven Problemas de los rankings disponibles El concepto del ranking CYD Ámbitos de conocimiento e indicadores

El ADN de los rankings universitarias objetivos, grupos interesados, métodos etc. tipo de instituciones que hacen el ranking ámbito del ranking (universidad, facultad) información para estudiantes (US News, CHE) información para stakeholders (Shanghai Jiatong, THES) información para la comunidad académica (bibliometría Leiden Ranking Ranking Scimago ) dimensiones e indicadores: enseñanza & aprendizaje, investigación, internacionali- zación, transferencia impacto social otros.

Problemas de los rankings conocidos no toman en cuenta los perfiles específicos de las universidades ni de las áreas académicas no están orientados a grupos de usuarios bien definidos favorecen las ciencias duras en detrimento de las ciencias blandas tienden a perjudicar a las universidades pequeñas exageran diferencias pequeñas a través de tablas de clasificación suelen usar indicadores compuestos

Asegurar la calidad y transparencia Aplicación de los principio de Berlín Guías de buenas prácticas propuesta por el International Observatory on Academic Ranking and Excellence (IREG) Cooperación europea CHE - Centre for Higher Education

No utiliza indicadores generales compuestos es un ranking multidimensional Indicadores compuestos no reflejan los diferentes perfiles de las universidades y no dan información sobre sus puntos fuertes y débiles. No existen argumentos objetivos para las esquemas de ponderación dado que existen preferencias heterogéneas sobre los indicadores entre los grupos de usuarios, los rankings deben dejar la decisión sobre la relevancia de cada indicador en las manos de los usuarios

No es un ranking para toda la universidad sino para un ámbito educativo Las universidades son entidades muy heterogéneas; los campos académicos tienen comportamientos muy diferentes Ranking para la universidad en su conjunto produce interpretaciones erróneas Para asegurar su calidad los principios de Berlín del IREG mantienen que los rankings deben ser transparentes tanto en sus propósitos como en la definición de los grupos de usuarios.

No construye tablas de clasificación desarrolla una presentación por clusters (top, medio, bajo) Pequeñas diferencias entre los valores de indicadores pueden causar grandes diferencias en la clasificación en forma de liga. Clasificaciones en forma de liga tienden a exagerar las diferencias Rankings deben presentar los resultados por grupos/ cluster de rendimiento en lugar de clasificaciones en forma de ligas

Qué podría significar el ranking CYD para los usuarios? Estudiantes podrán usar el ranking como fuente de información en Alemania 2/3 lo usan 3 millones visitas/año está comprobado que los Rankings tienen impacto sobre las solicitudes académicos podrán usar el ranking para el analísis de los puntos fuertes y débiles de su institución y como indicador de prestigio empresas podrán usar el ranking como fuente de información sobre los solicitantes de empleo y la capacidad investigadora de las áreas

Qué podría significar el ranking CYD para los usuarios? Universidades podrán usar el ranking como input para su análisis DAFO Los ministerios y las universidades podrán usar el rankings como referencia para acuerdos por objetivos Todos los stakeholders Podrán usar los rankings para evaluar las políticas de enseñanza superior y para obtener una impresión de la diversidad institucional

Metodología Definición de ámbitos de conocimiento Desarrollo de la metodología 71 ámbitos definidos 37 ámbitos susceptibles de ser analizados Indicadores básicos Indicadores específicos Encuesta institucional Encuesta para estudiantes Encuesta para docentes Encuesta para graduados

Definir ámbitos de conocimiento Punto de partida Comparación de nomenclaturas Agregación de Títulos oficiales de grado y de 1º y 2º ciclo Fuente: Registro de Universidades, Centros y Títulos Comparar con las áreas de conocimiento

Definir ámbitos de conocimiento: 2º Ejemplo Grado Doble Grado Licenciatura CC. Sociales y Jurídicas: Economía Ciencias Económicas/ Economía/ Economía Financiera y Actuarial/ Economía y complemento en Periodismo/ Economía y Finanzas/ Economía y Negocios Internacionales/ Finanzas/ Finanzas y Contabilidad/ Finanzas y Seguros/ Finanzas, Banca y Seguros/ Fiscalidad y Administración Pública Derecho & Grado en Economía/ Derecho & Finanzas / Derecho & Finanzas y Contabilidad / Economía & Derecho Ciencias Actuariales y Financieras [Sólo Segundo Ciclo]/ Economía [Ciclo Largo]/ Economía [Segundo Ciclo de Ciclo Largo]

Definir ámbitos de conocimiento: 5º Ejemplo Arquitectura & Ingeniería : Informática Grado Doble Grado Títulos antiguos Informática y Servicios / I. de Computadores / I. del Software / I. en Informática / I. en Tecnologías de la Información / I. Infomática en Sistemas de Información / I. Informática / I. Informática - I. de Computadores / I. Informática - I. del Software / I. Informática - Tecnologías Informáticas / I. Informática de Gestión y Sistemas de Información / I. Informática de Servicios y Aplicaciones / I. Informática de Sistemas / I. Informática del Software / I. Informática en I. de Computadores/ I. Informática en I. de Tecnologías de la Información / I. Informática en I. del Software / I. Informática en Sistemas de Información / I. Informática en Sistemas y Tecnologías de la Información / I. Informática en Tecnologías de la Información / I. Informática en Tecnologías de la Información I. Informática & Administración de Empresas / I. Informática & Dirección y Creación de Empresas / I. Informática & Matemáticas Dipl.: Informática / Informática, [Sec. Gestión] /Informática, [Sec. Sistemas] // CC.: I. T. en Informática de Gestión/ I. T. en Informática de Sistemas // Lic.: Informática // C.L.: I.en Informática / I. en Informática [Segundo Ciclo]

Ámbitos de conocimiento Humanidades & Artes (17) Ciencias Sociales y Jurídicas (15) Antropología Lenguas Clásicas Ciencias Políticas Periodismo Arqueología Español Comunicación Publicidad Bellas Artes Lenguas Peninsulares Criminología Relaciones Laborales Cultura Inglés Derecho Sociología Diseño Lenguas Europeas Documentación Trabajo Social Filosofía Lenguas no-europeas Economía Otros Geografía Traducción Educación Historia Otros Educación Social Humanidades Empresariales

Ámbitos de conocimiento CC. Experimentales (11) CC. de la Salud (14) Arquitectura & Ingeniería (14) Biología & Biotecnología CC de los Animales Aeroespacial Bioquímica Biología Humana Arquitectura Ciencias & Tec.. de Alimentos Deportes Construcción Ciencias Ambientales Enfermería Agroalimentación & Ambiental Ciencias del Mar Farmacia Energía Estadística Fisioterapia Telecomunicación Física Logopedia Informática Geología Nutrición Organización Industrial Matemáticas Medicina Humana Diseño Industrial Química Odontología Electrónica Otros Óptica Industriales Psicología Química Podología Naval y Náutica Terapia Ocupacional Otros

Ámbitos vs. áreas de conocimiento Ámbitos (CYD) vs. áreas de conocimiento (Ministerio) El establecimiento de correlaciones entre ámbitos, áreas de conocimiento y otras fuentes de información permite construir los indicadores del sistema de información a través de la información disponible

Selección de ámbitos de conocimiento Criterios de selección (I) Número de universidades: > 15 Número de plazas ofertadas: > 1.500 De 71 a 37 ámbitos de conocimiento susceptibles de análisis

Ámbitos de conocimiento Humanidades y Artes (7) CC. Sociales y Jurídicas (12) CC. Experimentales (5) CC. de la Salud (5) Arquitectura y Ingeniería (9) Bellas Artes Empresariales CC. Ambientales Enfermería Arquitectura Geografía Relaciones Laborales Biología & Biotecnología Farmacia Agroalimentación & Ambiental Historia Economía Física Medicina Construcción Español CC. políticas Matemáticas Psicología Telecomunicación Inglés Derecho Química CC. de Deporte Informática LL. Europeas Sociología Electrónica Traducción Educación Social Industrial (varios) Educación I. química Trabajo Social Periodismo Comunicación Publicidad

Selección de ámbitos de conocimiento Criterios de selección (II) Posibilidad de análisis bibliométrico Ofrecer más posibilidad de retorno Comparabilidad con el ranking CHE Elevado grado de homogeneidad De 38 a 5 ámbitos de conocimiento para la prueba piloto

Dimensiones del ranking Capacidad de atracción Orientación internacional Rendimiento académico Calidad de Investigación Calidad de Enseñanza Infraestructura para el Aprendizaje Transferencia de Conocimiento Mercado Laboral Evaluación General

Dimensiones de indicadores I) Capacidad de atracción Una mayor calidad de un programa de estudios atrae estudiantes de otras regiones y estados. II) Orientación académica internacional Un mayor calidad académica de los programas de estudios en un ámbito de conocimiento atrae personal académico de otros países. III) Rendimiento académico La calidad de un programa de estudios se muestra con buenos datos sobre el rendimiento de los estudiantes en términos de duración de estudios y de abandono. IV) Calidad investigadora Una buena calidad de investigación en un ámbito de conocimiento suele ir acompañada por buena calidad de los programas de estudios en el mismo ámbito de conocimiento. V) Calidad de enseñanza Conseguir una buena calidad en los programas de estudios requiere una adecuada inversión de recursos. Los estudiantes (y los graduados), como clientes principales de las universidades, son capaces de evaluar la calidad de los programas de estudio.

Dimensiones del Ranking VI) Infraestructura para el aprendizaje Conseguir una buena calidad en los programas de estudios requiere una adecuada infraestructura de aprendizaje de la facultad y de la universidad. VII) Transferencia de tecnología Un educación superior moderna requiere cooperar con empresas y otras entidades tanto en el ámbito formativo (p.ej. estancias en empresas) como en programas de investigación (p.ej. proyectos conjuntos) y de asesoramiento.. IIX) Mercado laboral Una buena inserción en el mercado laboral de los titulados universitarios y las posibilidades de conseguir buenos puestos de trabajo a medio y largo plazo muestran la buena calidad de los programas de estudios. IX) Valoración general Una buena calidad en los programas de estudios queda reflejado en la opinión favorable de los estudiantes, graduados y docentes.

I. Capacidad de atracción Indicadores institucionales I.1 Acceso I.2 Nota de acceso I.3 Atracción nacional I.4 Atracción internacional I.5 Programa de intercambio de estudiantes (enviados) I.6 Programa de intercambio de estudiantes (atracción) Encuesta a los estudiantes I.7 Calidad del apoyo institucional al intercambio

II. Orientación académica internacional II.1 II.2 II.3 II.4 II.5 Indicadores institucionales Internacionalización institucional Internacionalización de la docencia Programa de intercambio de docentes (enviados) Programa de intercambio de docentes (atracción) Enseñanza multilingüe

III. Rendimiento académico III.1 Duración Indicadores institucionales III.2 III.3 Ratio de egresados Ratio de abandono

IV. Calidad de la investigación IV.1 IV.2 IV.3 IV.4 IV.5 IV.6 IV.7 Indicadores institucionales Tesis doctorales finalizados por docente Atracción nacional del programa de doctorado Atracción internacional del programa de doctorado Docentes doctorados por nº total de docentes Tramos de productividad investigadora acumulados por docente Docentes sin tramos de productividad investigadora Fondos públicos de investigación competitivos

V. Calidad de la enseñanza Indicadores institucionales V.1 Ratio de estudiantes por docente V.2 Gasto corriente por estudiante Encuesta a los estudiantes V.3 Diseño del programa V.4 Orientación práctica académica V.5 Orientación práctica laboral V.6 Organización del programa V.7 Preparación para el mercado laboral V.8 Asesoramiento/apoyo por parte de los docentes V.9 Evaluación general del programa

V. Calidad de la enseñanza Encuesta a los graduados V.10 Oferta de estudios V.11 Organización del programa V.12 Calidad didáctica

VI. Infraestructuras para el aprendizaje VI.1 VI.2 VI.3 Indicadores institucionales Plazas de trabajo en la biblioteca por estudiante Plazas en las aulas de enseñanza por estudiante Nº de ordenadores disponibles para los estudiantes Encuesta a los estudiantes, a los graduados y a los docentes VI.4 Calidad de la biblioteca VI.5 Calidad de las aulas de enseñanza VI.6 Calidad de la infraestructura de TIC s

VII. Transferencia de Tecnología VII.1 VII.2 VII.3 VII.4 VII.5 VII.6 Indicadores institucionales Nº de patentes (ES; EU; USA) por docente Nº de licencias (ES; EU; USA) por docente Ingresos por patentes y licencias por docente Nº de contratos de transferencia de tecnología Recursos obtenidos de contratos de transf. de tecn. por docente Nº de spin-offs

VIII. Mercado laboral Encuesta a los graduados VIII.1 Periodo hasta la incorporación en el mercado laboral VIII.2 Salario del primer empleo VIII.3 Situación laboral actual (trabajando desempleo) VIII.4 Relevancia laboral del programa VIII.5 Competencias transferidas VIII.6 Papel de la universidad en la inserción laboral

IX. Evaluación General IX.1 IX.2 IX.3 IX.4 Encuesta a los estudiantes Grado de satisfacción con el programa Grado de satisfacción con el entorno Encuesta a los graduados Relevancia para el mercado laboral Encuesta a los docentes Universidades líderes en investigación

Ranking Diversas fuentes de información Datos estadísticos Encuesta a estudiantes Encuesta institucional Encuesta a profesores Datos bibliométricos Encuesta a graduados Sin la colaboración de las universidades no se puede hacer un ranking de este tipo

El ranking CYD Muchas Gracias