EL EFECTO DE LAS TIPOLOGÍAS DE UNIVERSIDADES EN LA CONSTRUCCIÓN DE RANKINGS

Transcripción

1 EL EFECTO DE LAS TIPOLOGÍAS DE UNIVERSIDADES EN LA CONSTRUCCIÓN DE RANKINGS Joaquín Aldás Manzano Universitat de València e Ivie Seminario 22 de septiembre de 2015 Ranking y sistemas de información universitaria en España: Estado de la cuestión y mejoras posibles

2 El rol de la heterogeneidad latente en la construcción de rankings La elaboración de rankings tiene como requisito lógico la existencia de heterogeneidad latente entre los objetos ordenados. La inexistencia de heterogeneidad subyacente anula el valor de los ranking, es más, corre el riesgo de distorsionar gravemente el análisis de la realidad que se investiga al exagerar las diferencias. 2

3 Objetivos Analizar si, tomando como elemento caracterizador de las universidades, las variables utilizadas en U-Ranking, existe en el sistema universitario español heterogeneidad subyacente suficiente que justifique la elaboración de rankings. Evaluar, de darse esta heterogeneidad, la existencia de grupos competitivos homogéneos que compartan características comunes que a la vez los distinga de otros grupos homogéneos. Caracterizar estos grupos competitivos en función de las variables de U-Ranking. 3

4 Metodología Las variables utilizadas para detectar la existencia de heterogeneidad latente y de grupos competitivos subyacentes, son las que en U-Ranking caracterizan el desempeño docente e investigador de las universidades. 4

5 Metodología El método de análisis es un planteamiento híbrido entre el propuesto por Mar-Molinero (1989) para el análisis de los rating de las universidades del Reino Unido y el propuesto por Segev et al (1999) para la los programas MBA en USA. Es un procedimiento no paramétrico, dado que la ausencia de normalidad en las variables utilizadas. A diferencia de las aplicaciones reseñadas, no se realiza primero una reducción de la dimensionalidad de los datos y luego su representación, sino que primero se producen las agrupaciones manteniendo la integridad de los datos y las técnicas de escalamiento se utilizan sólo con fines de visualización de los resultados. 5

6 Metodología Análisis de conglomerados: Se calcula la distancia entre todos los pares de universidades mediante la distancia euclídea sobre las variables previamente normalizadas: Este cálculo genera una matriz de distancias (disimilaridad) entre todas las universidades. Se agrupan aquellos dos casos que (a) maximizan la homogeneidad dentro del grupo y (b) maximiza la heterogeneidad entre los grupos (método de Ward). El proceso se repite hasta que todas las universidades forman un solo grupo. El dendograma ilustra los pasos sucesivos de este proceso donde, cada vez, la distancia a la que se unen dos casos es mayor (menos similares). 6

7 Metodología

8 Metodología 8

9 Metodología Escalamiento multidimensional: La matriz de distancias obtenida del análisis de conglomerados se somete a un escalamiento multidimensional ordinal con el fin de tener una representación bidimensional de las distancias relativas entre las universidades. Al ser un MDS ordinal, se minimiza el efecto de los valores extremos (Coxon, 1982) y no se realiza ningún supuesto sobre las propiedades de las distribuciones de los datos (Sagarra et al. 2015). Interpretación de los grupos Se realiza en función de los valores medios de los indicadores en cada uno de ellos tras evaluar la significatividad de las diferencias de medias (Anova de Kruskal-Wallis y pruebas post hoc) Con un enfoque más sofisticado se recurre al property fitting (Sagarra et al. 2013) para interpretar los grupos, regresando los valores de los indicadores sobre las coordenadas x e y de cada universidad en el mapa y representando en el mapa un vector para cada indicador cuyas coordenadas son los coeficientes de regresión estandarizados (y por lo tanto el módulo indica la intensidad de la relación entre los ejes del mapa y la variable regresada). 9

10 Metodología 2,5 2 PO C OU LU 1,5 1 0,5 0-0,5 SS BI SA P O VI LO HU L BU SO Z PA ZA SL VA AV SE M GU TE TOL CU CC CR AB BA MU J SV CO GR AL H MA CA -1 LE CS V A -1,5 B T -2 GI -2,5-2 -1,5-1 -0,5 0 0,5 1 1,5 2 2,5 10

11 Metodología Vectores de las variables de docencia 1 DR2 DI2 DP2 DC2 DP1 DI1 DR3 DC3 0 DR1 DP

12 Metodología Vectores de las variables de docencia 3 2,5 URLL 2 1,5 UPFDR2 DI2 UN DP2 DC2 UIC DP1 DI1 UDE UEM UMON 1 DR3 COMILLAS 0,5 0-0,5-1 UC3M UPC UAB DC3 DR1 UAM UNICAN UPV UDL UPO UB URV UMH USC UJI UAH UCM UV UDG USAL UPNA UAL UCO UIB UGR UM UPV_EHU UNILEON UMA UNIZARUVIGO UA UNEX UPM UCA UVA UNIOVI UDC UCLM UJAEN US URJC DP3 UHU ULPGC UBU UNIRIOJA UPCT ULL UCH UCV UVI UOC -1,5 UNED

13 DOCENCIA 13

14 Docencia: todas las universidades 3 UOC UCH URLL 2,5 UEM 2 UNED UCV UIC 1,5 UVI 1 COMILLAS UN 0,5 0-0,5-1 UAL UIB UCMUDG UGR UB ULL UMAUNILEON USAL UJI UNEX UAH UAB URV UNIOVI UM UDC UMH UDL ULPGC UJAEN UVIGO UNIRIOJA UCLM UA UV USC UHU UVA UPNA UPV URJC UCA UCO UBU UNIZAR UNICAN UPC US UAM UPCT UPV_EHU UPM UPO UMON UDE -1,5 UPF -2 UC3M -2,5-4 -3,5-3 -2,5-2 -1,5-1 -0,5 0 0,5 1 1,5 2 2,5 3 14

15 Docencia: todas las universidades Perfiles: valores medios para cada grupo y variable Valor mínimo=100 PRIVADAS - UOC A DISTANCIA PÚBLICAS PRESENCIALES Profesor doctor/100 alumnos 519,2 925,0 Prespuesto/alumno 401,7 396,2 Profesor doctor/profesores 124,9 124,6 Tasa éxito 110,4 110,7 Tasa Evaluación 137,1 125,6 Tasa de no abandono 108,0 133,4 % estudiantes postgrado 152,7 103,2 Notas de corte 100,6 135,5 % alumnos extranjeros 382,3 209,9 % alumnos programas intercambio 12416, ,

16 Docencia: todas las universidades Perfiles: valores medios para cada grupo y variable Valor mínimo=100 Profesor doctor/100 alumnos Prespuesto/alumno¹ PRIVADAS PÚBLICAS PRESENCIALES 178,1 Profesor doctor/profesores 124,9 Tasa éxito 110,4 Tasa Evaluación 109,1 Tasa de no abandono 133,4 % estudiantes postgrado 152,6 Notas de corte 134,8 % alumnos extranjeros % alumnos programas intercambio¹ 382, ¹Diferencias no significativas 16

17 Docencia: universidades públicas presenciales 2 UC3M ULL UNIRIOJA 1,5 1 UAM UDG USC UNICAN UNIOVI 0,5 0-0,5 UPV UPC UB UV UNIZAR USAL UPV_EHU UPM UCM UMA UGR UM UNILEON UAB UDL UVA US ULPGC UPNA UMH UCA UAH UCO UNEX UJI UIB UAL UDC URV UA UCLM UVIGO UHU UPCT UJAEN UBU -1 UPF UPO -1,5-2 -2,5 URJC -3-4,5-4 -3,5-3 -2,5-2 -1,5-1 -0,5 0 0,5 1 1,5 2 17

18 Docencia: universidades públicas presenciales Perfiles: valores medios para cada grupo y variable Valor mínimo=100 UPF y UC3M RESTO PÚBLICAS PRESENCIALES Profesor doctor/100 alumnos Prespuesto/alumno 135,4 136,7 Profesor doctor/profesores 116,9 Tasa éxito 112,4 Tasa Evaluación¹ Tasa de no abandono 110,2 % estudiantes postgrado 175,2 Notas de corte 128,3 % alumnos extranjeros % alumnos programas intercambio 195,9 176, ¹Diferencias no significativas 18

19 Docencia: universidades públicas presenciales* 2,5 GRUPO 4 UNIRIOJA ULL 2 1,5 GRUPO 5 UNIOVI UNICAN USC GRUPO 3 1 UPCT UPM USAL UPV_EHU UNIZAR UDG UPC UAM 0,5 UMA UAL 0-0,5-1 UBU UJAEN UHU UNILEON ULPGC UNEX US UCA UIB UDC UCLM UVIGO UA UVA UM UPNA UMH UCO UGR URV UCM UDL UAB UAH UB UJI UV GRUPO 2 UPV -1,5-2 UPO -2,5-3 GRUPO 1 URJC -3,5-2 -1,5-1 -0,5 0 0,5 1 1,5 2 2,5 * No se incluyen la Universidad Pompeu Fabra y la Universidad Carlos III de Madrid 19

20 Docencia: universidades públicas presenciales* Perfiles: valores medios para cada grupo y variable Valor mínimo =100 GRUPO 2 GRUPO 3 GRUPO 4 GRUPO 5 Profesor doctor/100 alumnos 111,1 138,3 128,6 Prespuesto/alumno 112,2 129,2 101,2 Profesor doctor/profesores 106,7 110,3 117,3 Tasa éxito 108,9 103,2 100,4 Tasa Evaluación¹ Tasa de no abandono 112,4 108,0 113,4 % estudiantes postgrado 262,9 185,1 171,0 Notas de corte¹ % alumnos extranjeros 187,6 161,2 105,4 % alumnos programas intercambio 213,5 185,7 175, ¹Diferencias no significativas * No se incluye la universidad Pompeu Fabra y la Universidad Carlos III de Madrid 20

21 INVESTIGACIÓN 21

22 Investigación: todas las universidades 2,5 2 UC3M 1,5 UIC URLL 1 0,5 0-0,5-1 UAB UPC UPF UAM UB UNICAN UPM URV UPV UCO UHU UA UGR UCM URJC UJI UPO UNED UIB UV UAL UDG UM UVA UPNA UMON UCLM UDC UNIRIOJA US UMA UDE UVIGO UCA USAL UNILEON UCV USC UNIZAR UJAEN UNIOVI UPV_EHU ULPGC UAH UBU UNEX UEM UDL ULL UMH UPCT UN UCH UOC COMILLAS UVI -1,

23 Investigación: todas las universidades 2,5 2 GRUPO 2 UC3M 1,5 UIC 1 0,5 0-0,5-1 UAB UPC UPF UAM UB UNICAN UPM URV UPV UCO URLL UHU GRUPO 1 UOC UA UGR UCM URJC UJI UPO UNED UIB UV UM UVA UAL UDG UPNA UMON COMILLAS UCLM UDC UNIRIOJA US UMA UDE UVIGO UCA USAL UVI UNILEON UCV UNIZAR USC UJAEN UNIOVI UPV_EHU ULPGC UAH UBU UNEX UEM UDL ULL UMH UPCT UN UCH -1,

24 Investigación: todas las universidades Perfiles: valores medios para cada grupo y variable Valor mínimo =100 GRUPO 1 GRUPO 2 Recursos publicos competitivos / ProfDoctor Contratos personal investigador 658,4 800,9 Factor medio impacto % Publicaciones en primer cuartil Citas por documento Documentos ISI/Profesor doctor Sexenios totales/sexenios posibles¹ Tesis/100 Profesores doctores Fondos europeos % publicaciones en coautorías internacionales 126,4 135,3 144,2 337,7 209,2 122,5 145, ¹Diferencias no significativas Grupo 1: A distancia y Privadas exceptuando Universidades de Navarra, Ramón Llull e Internacional de Cataluña Grupo 2: Públicas + Universidades de Navarra, Ramón Llull e Internacional de Cataluña

25 Investigación: tres grupos 2 GRUPO 3 UN UIC 1,5 URLL GRUPO 2 UMH 1 UAB UDL GRUPO 1 0,5 0-0,5 UPC UAM UPF UB UNICAN URV UPV USAL UCM URJC UAH UPV_EHU UNEXUM UCO USC UNILEON UJAENUDC UV UCLM UAL US UPO UA UMA UVIGO UNIZAR UVA UGR UCA UIB UDG UJI ULPGC UNIOVI UPNA UHU ULL UBU UNIRIOJA -1 UPM UPCT -1,5-2 UC3M -2, No incluye las universidades a distancia y las universidades privadas exceptuando Universidades de Navarra, Ramón Llull e Internacional de Cataluña 25

26 Investigación: tres grupos Perfiles: valores medios para cada grupo y variable Valor mínimo =100 Recursos publicos competitivos / ProfDoctor Contratos personal investigador GRUPO 1 GRUPO 2 GRUPO 3 208,0 144,0 233,6 119,3 Factor medio impacto 133,7 123,8 % Publicaciones en primer cuartil 126,9 110,3 Citas por documento 144,8 124,1 Documentos ISI/Profesor doctor 192,9 143,2 Sexenios totales/sexenios posibles¹ Tesis/100 Profesores doctores 170,1 127,5 Fondos europeos 230,9 108,6 % publicaciones en coautorías internacionales 139,7 115, ¹Diferencias no significativas

27 INVESTIGACIÓN Y DOCENCIA 27

28 Investigación + docencia 3 2,5 URLL 2 1,5 UPF UN UIC UDE UEM UMON 1 COMILLAS 0,5 0-0,5-1 UC3M UPC UAB UAM UNICAN UPV UDL UPO UB URV UMH USC UJI UAH UCM UV UDG USAL UPNA UAL UCO UIB UGR UM UPV_EHU UNILEON UMA UNIZARUVIGO UA UNEX UPM UCA UVA UNIOVI UDC UCLM UJAEN US URJC UHU ULPGC UBU UNIRIOJA UPCT ULL UCH UCV UVI UOC -1,5 UNED

29 Investigación + docencia Perfiles: valores medios para cada grupo y variable Valor mínimo =100 PRIVADAS Y A DISTANCIA RESTO Profesor doctor/100 alumnos Prespuesto/alumno¹ Profesor doctor/profesores 124,8 Tasa éxito 110,5 Tasa Evaluación¹ Tasa de no abandono % estudiantes postgrado 144,4 Notas de corte % alumnos extranjeros % alumnos programas Recursos publicos Contratos personal investigador Factor medio impacto % Publicaciones en primer Citas por documento Documentos ISI/Profesor doctor Sexenios totales/sexenios Tesis/100 Profesores doctores¹ Fondos europeos¹ % publicaciones en 205,8 131,6 134,9 353,5 334,2 431,1 121,2 134,4 147,5 186,4 1030,4 126, ¹Diferencias no significativas

30 Todas las universidades Vectores de las variables de docencia 1 DR2 DI2 DP2 DC2 DP1 DI1 DR3 DC3 0 DR1 DP

31 Todas las universidades Vectores de las variables de docencia 3 2,5 URLL 2 1,5 UPFDR2 DI2 UN DP2 DC2 UIC DP1 DI1 UDE UEM UMON 1 DR3 COMILLAS 0,5 0-0,5-1 UC3M UPC UAB DC3 DR1 UAM UNICAN UPV UDL UPO UB URV UMH USC UJI UAH UCM UV UDG USAL UPNA UAL UCO UIB UGR UM UPV_EHU UNILEON UMA UNIZARUVIGO UA UNEX UPM UCA UVA UNIOVI UDC UCLM UJAEN US URJC DP3 UHU ULPGC UBU UNIRIOJA UPCT ULL UCH UCV UVI UOC -1,5 UNED

32 Todas las universidades Vectores de las variables de investigación 1 IP3 II2 0 IR1 IP1 II3 IC3 IC2 IC1 IR2 IP

33 Todas las universidades Vectores de las variables de investigación 3 2,5 URLL 2 1,5 UPF UN UIC UDE UMON UEM 1 IP3 0,5 UC3M IC1 IP1 UPC UAM II3 UAB IC3 IR1 0 IC2 UNICAN IR2-0,5 IP2-1 II2 UPV UDL UPO UB URV UMH USC UJI UAH UCM UV UDG USAL UPNA UAL UCO UIB UGR UM UPV_EHU UNILEON UMA UNIZARUVIGO UA UNEX UPM UCA UVA UNIOVI UDC UCLM UJAEN US URJC UHU ULPGC UBU UNIRIOJA UPCT ULL COMILLAS UCH UCV UVI UOC -1,5 UNED

34 Todas las universidades Vectores de las variables de investigación y docencia 1 DC2 DI1 DP2 DP1 DR2 DI2 IP3 II2 DR3 0 IR1 IP1 II3 IC3 DR1 IC2 IC1 DC3 IR2 IP2 DP

35 Todas las universidades Vectores de las variables de investigación y docencia 3 2,5 URLL 2 1,5 UPFDR2 DI2 UN DP2 DC2 UIC DP1 DI1 UDE UEM UMON 1 IP3 0,5 UC3M IC1 IP1 UPC UAM II3 UAB DC3 IC3 IR1 0 DR1 IC2 UNICAN IR2-0,5 IP2-1 II2 UPV UDL UPO UB URV UMH USC UJI UAH UCM UV UDG USAL UPNA UAL UCO UIB UGR UM UPV_EHU UNILEON UMA UNIZARUVIGO UA UNEX UPM UCA UVA UNIOVI UDC UCLM UJAEN US URJC DP3 UHU ULPGC UBU UNIRIOJA UPCT ULL DR3 COMILLAS UCH UCV UVI UOC -1,5 UNED

36 Investigación + docencia 3 GRUPO 3 UC3M 2 UPO GRUPO 1 URJC 1 UPF GRUPO UAB UPC UAM UPV URV UB UNICAN UJI UV UA UCM UVA UM UAL UHU UDG UGR UPNA UCA UNILEON UAH USAL UMA UDC UDL UNIZAR US UCLM UIB UNEX UPV_EHU ULPGC USC UVIGO UCO UJAEN UNIOVI UBU UMH UPM ULL UNIRIOJA UPCT

37 Investigación + docencia Perfiles: valores medios para cada grupo y variable Valor mínimo =100 Profesor doctor/100 alumnos Prespuesto/alumno Profesor doctor/profesores¹ Tasa éxito Tasa Evaluación¹ Tasa de no abandono¹ % estudiantes postgrado Notas de corte % alumnos extranjeros % alumnos programas Recursos publicos Contratos personal investigador Factor medio impacto % Publicaciones en primer Citas por documento Documentos ISI/Profesor doctor Sexenios totales/sexenios Tesis/100 Profesores doctores Fondos europeos % publicaciones en GRUPO GRUPO 2 GRUPO 3 116,2 121,1 103,9 129,6 102,9 132,1 138,9 108,1 152,6 116,8 144,3 156,2 147,9 194,9 195,5 219,8 125,0 116,3 135,4 127,8 117,1 128,8 147,8 125,0 190,8 186,7 131,0 267,6 115,6 136, ¹Diferencias no significativas

38 Universidades públicas presenciales Vectores de las variables de docencia 1 DC3 DC2 DI2 DP2 DP1 DI1 DR1 DP3 0 DR2 DR

39 Universidades públicas presenciales Vectores de las variables de docencia 3 GRUPO 3 UC3M 2 GRUPO 1 UPO URJC UPF UAB DR2 UPC DC3 GRUPO 2 DC2 DI2 DP2 UJI UV UA UCM UVA UAM DI1 UM UAL UHU UDG UGR DP1 DR1 UPNA UCA UPV DP3 UNILEON URV UAH USAL UMA UDC UDL UNIZAR US UCLM UB UIB UNEX UPV_EHU ULPGC USC UVIGO DR3 UCO UJAEN UNIOVI UBU UMH UNICAN UPM ULL UNIRIOJA UPCT

40 Universidades públicas presenciales Vectores de las variables de investigación 1 IP2 IP3 II2 0 IP1 IR1 IR2 II3 IC3 IC1 IC

41 Universidades públicas presenciales Vectores de las variables de investigación 3 GRUPO 3 UC3M 2 UPO GRUPO 1 URJC 1 UPF GRUPO 2 IP2 0-1 II2 IP3 UAM UPV URV UAB IP1 UB IR1 IR2 II3 UNICAN IC3 UPC IC1 IC2 UJI UV UA UCM UVA UM UAL UHU UDG UGR UPNA UCA UNILEON UAH USAL UMA UDC UDL UNIZAR US UCLM UIB UNEX UPV_EHU ULPGC USC UVIGO UCO UJAEN UNIOVI UBU UMH UPM ULL UPCT UNIRIOJA

42 Universidades públicas presenciales Vectores de las variables de investigación y docencia 1 DC3 DC2 DI2 DP2 IP2 IP3 II2 DP1 DI1 DR1 DP3 0 IP1 IR1 DR2 IR2 DR3 II3 IC3 IC1 IC

43 Universidades públicas presenciales Vectores de las variables de investigación y docencia 3 GRUPO 3 UC3M 2 GRUPO 1 UPO URJC 1 UPF DC2 DC3 DI2 DP2 GRUPO 2 IP2 0-1 IP3 II2 UAM DI1 DP1 DR1 UPV URV UAB IP1 UB IR1 DR2 IR2 II3 UNICAN UPC IC3 IC1 IC2 UJI UV UA UCM UVA UM UAL UHU UDG UGR UPNA UCA DP3 UNILEON UAH USAL UMA UDC UDL UNIZAR US UCLM UIB UNEX UPV_EHU ULPGC USC UVIGO DR3 UCO UJAEN UNIOVI UBU UMH UPM ULL UPCT UNIRIOJA

44 Conclusiones El Sistema Universitario Español (SUE) muestra niveles elevados de heterogeneidad de resultados en sus componentes que hace razonable la elaboración de rankings. El esquema básico de heterogeneidad es bastante similar cuando se analizan los resultados de investigación y docencia por separado o conjuntamente. Las características principales de este patrón de heterogeneidad son: Universidades a distancia Universidades privadas (con matices en investigación, donde algunas instituciones tienen desempeños equivalentes a algunos grupos de universidades públicas). Tres grupos de universidades públicas con distintos niveles de desempeño. La caracterización de las universidades públicas, aunque no era el objetivo del estudio, ha permitido detectar una ordenación implícita puesto que los tres grupos se caracterizan por niveles relativos bajos, medios y altos en todos los indicadores que son estadísticamente significativos. 44

45 Referencias Mar-Molinero, C. (1989). A multidimensional scaling analysis of 1986 rankings of universities in the UK. Higher Education Review, 21 (2), 7-25 Segev, E., Raveh, A. y Farjoun, M. (1999). Conceptual maps of the leading MBA programs in the United States: core courses, concentration areas, and the ranking of the school. Strategic Management Journal, 20 (6), Coxon, A. (1982). The user s guide to Multidimensional Scaling. Heinemann Educational Books: Londres. Sagarra, M., Mar-Molinero, C. y Rodríguez-Regordosa, H. (2015a). Evaluating the success of educational policy in Mexican higher education. Higher Education, 69 (3), Sagarra, M., Mar-Molinero, C. y García-Cestona, M. (2015b). Spanish savings banks in the credit crunch: could distress have been predicted before the crisis? A multivariate statistical analysis. European Journal of Finance, 21 (3),

46 EL EFECTO DE LAS TIPOLOGÍAS DE UNIVERSIDADES EN LA CONSTRUCCIÓN DE RANKINGS Joaquín Aldás Manzano Universitat de València e Ivie Seminario 22 de septiembre de 2015 Ranking y sistemas de información universitaria en España: Estado de la cuestión y mejoras posibles