ANEXO - RANKINGS DE UNIVERSIDADES

Transcripción

1 LICITACIÓN Nº LP11 ESTUDIO DE FORMACIÓN Y DESARROLLO CAPITAL HUMANO ANEXO - RANKINGS DE UNIVERSIDADES Santiago, octubre de 2013 ASESORÍAS EN EDUCACIÓN SUPERIOR Fono_Fax (56 2) _Root_537_Santiago_Chile

2 2 10_2013

3 CONTENIDOS Antecedentes de la literatura académica... 5 Historia y contexto de los rankings universitarios... 6 Rankings y metodologías... 9 Críticas y limitaciones de los rankings Implicancias y usos de los rankings en políticas públicas Rankings de universidades The Academic Ranking of World Universities (ARWU) Times Higher Education World University Rankings The Q-S World University Rankings Scimago Institution Rankings (SIR) Análisis de cumplimiento Criterios de Berlín Bibliografía _2013 3

4 4 10_2013

5 1 ANTECEDENTES DE LA LITERATURA ACADÉMICA 10_2013 5

6 HISTORIA Y CONTEXTO DE LOS RANKINGS UNIVERSITARIOS Durante los últimos años, el fenómeno de los rankings de universidades ha acaparado gran atención, no solo entre el público en general, sino que también en el mundo académico que tiene a la educación superior como objeto de estudio. Por ello, no es de extrañar que en la actualidad exista una suma creciente de reflexiones y análisis sobre ellos. Usher y Savino (2006) definen los rankings como un listado de un grupo de instituciones [ ] comparativamente ordenados según un conjunto de indicadores, en orden descendente. Por su parte, Teichler (2011) identifica una serie de componentes que compartirían los rankings de educación superior: En primer lugar, son ejercicios de ordenamiento vertical, en los que los elementos a comparar se ordenan en una escala; segundo, los elementos a comparar son las instituciones, o sus subunidades (departamentos, facultades); por último, proveen información a partir de un listado breve de mediciones cuantitativas. En ocasiones se ha señalado que los rankings constituyen una novedad en el ámbito universitario (Usher & Savino, 2006). No obstante, lo cierto es que los rankings han estado presentes hace ya bastante tiempo. En un intento por recapitular los primeros ejercicios de este tipo, Salmi y Sayoran (2007) retroceden hasta finales del siglo XIX, cuando en EE.UU. se publicaron las primeras clasificaciones de instituciones en base a datos estadísticos. A lo largo del siglo XX, también en EE.UU. se elaboraron rankings de forma esporádica, basados en el número de científicos eminentes (1910) o encuestas de reputación (1925); algunos de ellos comprendían a las instituciones en su conjunto, mientras que otros miraban algunas disciplinas en particular. Es destacable que incluso en sistemas universitarios menos diversificados -como el alemán, ya se publicaban rankings durante los 70 y 80 (Teichler, 2011). Lo realmente novedoso es la popularización y el uso sistemático de los rankings como mecanismo de información para estudiantes; es lo que Hezelkorn (2011) identifica como el paso de un ejercicio académico a un servicio comercial de información para estudiantes. Asimismo, cabe destacar que los rankings no solo han sido utilizados por estudiantes, sino que se han transformado en una herramienta de amplio uso por parte de las propias instituciones de educación superior, así como para la elaboración de políticas públicas en el ámbito. 6 10_2013

7 A fines de los 80, la revista US News and World Report publica su ranking America s Best Colleges; en la década siguiente, diversos medios de países como Reino Unido, Alemania y Canadá, entre otros, editan sus propios rankings nacionales; finalmente, ya a comienzos del siglo XX hacen su aparición los primeros rankings globales, mientras que los rankings nacionales se masifican en distintos países. Teichler (2011) identifica tres factores de carácter global que pueden explicar la gran atención que se les otorga a los rankings en la actualidad: la masificación de la educación superior; el aumento de la competencia entre instituciones; y la internacionalización de la educación superior. A ellos, Salmi y Saroyan (2007) agregan el interés por una mayor transparencia en el sistema (por parte de los distintos stakeholders). En efecto, si bien hoy en día los rankings son elaborados principalmente por medios de comunicación, éstos ocupan un lugar dentro de un sistema más amplio de demanda por transparencia en los mercados de educación superior. Los rankings conviven con otras fuentes de información, usualmente a cargo de agencias públicas y/o que forman parte de las políticas de autorregulación de las propias instituciones (Shin, 2011). Entre ellas se encuentran los resultados de procesos de acreditación, auditorías de calidad realizadas por agencias externas a las universidades, instrumentos de financiamiento público basado en indicadores, procesos de evaluación de la investigación, entre otros (Salmi & Sayoran, 2007). Desde una posición crítica hacia los rankings, Teichler (2011) se pregunta por qué estas medidas tan vagas y simples logran captar tanta atención, no solo en el público general, sino que entre autoridades (políticas y universitarias). Cómo es posible que se utilicen medidas tan simples para evaluar el quehacer académico, que posiblemente es uno de los conceptos más complejos? La respuesta, en cierto modo, radica en la simplicidad de los propios rankings. Tal como señala Hazerkoln (2011), como con los restaurantes, la televisión o los hoteles, los rankings de universidades proveen una guía sencilla de la calidad. Si bien construir un ranking con validez puede resultar una tarea complicada, sin duda es el modo más sencillo de generar información comparable para un grupo amplio de instituciones. Esto, por cierto, trae consigo una serie de limitaciones, que se discutirán más adelante. En las secciones a continuación se presenta la discusión actual en torno a los rankings internacionales de universidades, en el marco de los usos actuales y potenciales que puede hacer de los rankings el programa Becas Chile. Para ello, primero se da cuenta de los principales rankings internacionales y sus metodologías; luego, se incorpora una discusión sobre las principales críticas que se han realizado a los rankings; por último, se 10_2013 7

8 identifican los usos a nivel internacional- que se le ha dado a los rankings internacionales en materia de política pública. 8 10_2013

9 RANKINGS Y METODOLOGÍAS Generalmente, los indicadores incluidos en los rankings se clasifican según si estos corresponden a insumos, procesos, o resultados. Usher y Savino (2006) elaboran una descomposición mayor, identificando siete categorías: características de inicio (por ejemplo, desempeño académico de los estudiantes previo al ingreso); insumos de aprendizaje - recursos humanos (número de académicos, o su proporción); insumos de aprendizaje recursos (recursos financieros, infraestructura); resultados de aprendizaje (tasa de graduación); resultados finales (empleo); investigación (indicadores bibliométricos, premios ganados por académicos); y reputación (resultados de encuestas). En la discusión actual existen buenos análisis comparativos sobre las metodologías utilizadas por los distintos rankings internacionales. Quizás la más completa y reciente (aunque constituya una mirada desde Europa), es la elaborada por la European University Asociation (Rauhvargers, 2011), en la cual se hace una revisión amplia de las características de los rankings globales existentes. En el informe se hace la distinción entre rankings con el propósito principal de hacer ordenamiento entre instituciones; rankings focalizados en el desempeño en investigación; multirankings; web rankings; y benchmarking basado en resultados de aprendizajes 1. Para efectos del presente documento, resulta interesante destacar los primeros tres tipos de rankings: El primero de ellos comprende a los tres rankings con mayor nivel de difusión hoy en día: el Academic Ranking of World Universities (ARWU) de Shanghái; el Times Higher Education (THE) World University Ranking Times Higher Education; y el Quacquarelli Symonds World s Best Universities Ranking. Si bien difieren sustancialmente en las fuentes de datos utilizadas, así como en el tipo de indicadores incluidos, se trata de rankings que tienen como propósito identificar y luego ordenar jerárquicamente un número alto (entre 400 y 700) de universidades de clase mundial o con un desempeño superior en investigación, para ello, se genera un índice compuesto a partir de una serie de indicadores con una ponderación determinada. En los tres casos se evalúa la institución de 1 Se hace referencia aquí exclusivamente al proyecto AHELO en desarrollo por la OECD, que tiene como meta medir resultados de aprendizaje en egresados de educación terciaria. 10_2013 9

10 forma completa, aunque recientemente han surgido variantes por área del conocimiento. Sendos rankings tienen un énfasis en los resultados de investigación de las instituciones, aunque este varía desde el ARWU (en el cual solo se incluyen indicadores bibliométricos y de ganadores de Premios Nobel o Field Medals) hasta el THE y QS, donde se busca hacer una mirada más comprensiva de las instituciones, incluyendo indicadores de reputación y de insumos. A continuación se presenta una tabla resumen para cada ranking 2 : a. Academic Ranking of World Universities (ARWU) Institución que lo elabora: Hasta el año 2009, por la Universidad Jiao Tong. Posteriormente, por la organización independiente Shanghái Ranking Consultancy. Propósito: Surge a partir de una iniciativa para comparar el desempeño de las universidades chinas con las del resto del mundo; a partir de 2003 se elabora públicamente como ranking global para comparar las mejores universidades de investigación. Indicadores: Combina indicadores bibliométricos con número de egresados y académicos ganadores de Premio Nobel o Field Medals. Además realiza un ajuste por tamaño de institución Periodicidad: Se publica anualmente desde el año 2003 Resultados: Ranking de 500 universidades. Además publica ranking de 200 universidades por áreas ( ARWU-FIELD) y algunas disciplinas seleccionadas (ARWU-Subject) b. THE World University Ranking Institución que lo elabora: Propósito: Revista especializada Times Higher Education en Inglaterra, en asociación con Thomson Reuters Surge como una respuesta europea al ranking ARWU, buscando juzgar a las instituciones de acuerdo a todas sus misiones centrales: enseñanza, investigación, transferencia de conocimiento e internacionalización 2 Una descripción detallada se encuentra en la sección Nº _2013

11 Indicadores: Indicadores bilbiométricos; de ingresos por investigación; así como algunas proxies basados en números de egresados de doctorado, Número de académicos, etc. No obstante, se destaca por el peso de indicadores basados en los resultados de encuestas de prestigio aplicadas a nivel internacional Periodicidad: Se publica anualmente desde el año 2004 Resultados: Ranking de 400 universidades. Además publica ranking de 50 universidades para 6 áreas disciplinares. c. World s Best Universities Ranking (QS) Institución que lo elabora: Propósito: Quacquerelli Symonds (QS), consultora privada en temas de educación superior con sede en Inglaterra Hasta el año 2009, QS colaboraba en la elaboración del ranking de THE. Terminada esta relación, (THE comenzó a trabajar con Thomson Reuters), QS decidió seguir publicando su propio ranking, manteniendo el propósito y principales características. Indicadores: Combina indicadores bilbiométricos; de reputación; de internacionalización de académicos y estudiantes; y de relación entre número de académicos y estudiantes Periodicidad: Se publica anualmente desde el año 2010 Resultados: La última versión publica un ranking de 700 universidades. Además publica rankings de 200 universidades para 29 disciplinas. Los siguientes tres rankings se construyen únicamente en base a indicadores bibliométricos. Más allá del número total de publicaciones de cada institución, se incluyen se incluyen aspectos tales como el número de citaciones, normalización por área disciplinar, el índice H, colaboración internacional, grado de especialización, entre otros. Los rankings de Leiden y Scimago no calculan un solo indicador compuesto, sino que buscan más bien procesar la información de productividad científica para fines comparativos, presentando los resultados a través de diferentes indicadores. Solamente el ranking Scimago incluye el área de humanidades. d. Leiden ranking Institución que lo elabora: Centre for Science and Technology Studies (CWTS) de la Universidad de Leiden, en Holanda 10_

12 Propósito: Indicadores: Periodicidad: Resultados: Comparar instituciones de investigación con mediciones de impacto que tengan en cuenta las diferencias entre disciplinas. Indicadores bibliométricos. Se excluyen las humanidades. Se publica desde el año 2008, últimamente con actualizaciones anuales Diversos rankings de 500 universidades, basados en los criterios que el usuario escoja. e. Performance rankings of scientific papers for world universities Institución que lo elabora: Propósito: Indicadores: Taiwan higher education accreditation and evaluation council ranking Comparar instituciones de investigación en base a su productividad científica Indicadores bibliométricos. Se excluyen las humanidades. Periodicidad: Se publica anualmente desde el año 2007 Resultados: Ranking de 500 universidades también se publican rankings para 6 áreas disciplinares. f. Scimago institutions rankings (SIR) Institución que lo elabora: Propósito: Indicadores: SCimago Lab, una empresa creada a partir del grupo de investigación Scimago, que agrupa a diversas universidades del mundo (principalmente españolas) Generar una plataforma de evaluación y ranking basada en el análisis de la producción investigativa tanto de Universidades como de otras instituciones de relevancia con un buen desempeño investigativo Indicadores bibliométricos. Periodicidad: Se publica anualmente desde el año 2009 Resultados: Ranking de más de 3000 instituciones de investigación. Si bien se señala que no es estrictamente un ranking, los resultados se presentan en un orden por defecto de acuerdo a la productividad bruta de publicaciones. Los siguientes rankings que se presentan corresponden a una iniciativa surgida en Alemania, con una cobertura limitada. No obstante, resulta relevante incluirlos dado el debate actual en relación a la pertinencia de la elaboración de rankings multidimensionales, que permitan comparar 12 10_2013

13 instituciones de acuerdo a aquellos aspectos que sean de mayor relevancia para cada sujeto en particular. En este sentido, los multirankings se contraponen a los rankings que ordenan a las universidades de acuerdo a un único indicador compuesto. g. CHE University ranking (solamente universidades de habla alemana) Institución que lo elabora: Propósito: CHE, institución privada sin fines de lucro establecida en Alemania. El ranking es elaborado en conjunto con el periódico Die Ziet Proveer información justa, útil y de calidad para jóvenes que están en eligiendo una institución de educación superior para estudiar Indicadores: Gran variedad (más de 100). Bibliométricos, de reputación, infraestructura, opinión de los propios estudiantes, etc. Periodicidad: Se publica anualmente desde el año 1998 Resultados: Plataforma interactiva en la que el usuario determina las dimensiones e indicadores más relevantes para él, ordenando las instituciones de acuerdo a esta elección. h. CHE Excellence ranking (solamente Europa) Institución que lo elabora: Propósito: CHE, institución privada sin fines de lucro establecida en Alemania. El ranking es elaborado en conjunto con el periódico Die Ziet Proveer información sobre departamentos universitarios en las áreas de biología, química, matemática, física, ciencias políticas, economía y psicología Indicadores: Bilbiométricos, académicos ganadores de premios, movilidad estudiantil, participación en proyectos de investigación, entre otros. Se otorga una visión en profundidad de las universidades más destacadas Periodicidad: Se publica anualmente desde el año 1998 Resultados: Plataforma interactiva que permite al usuario comprara diversas instituciones. No publica un ranking propiamente tal. La experiencia del CHE ha tenido un impacto importante, sobre todo en Europa. Durante 2009 y 2011, la Comisión Europea financió un proyecto de factibilidad para la elaboración de un ranking multidimensional que incluyera tanto instituciones europeas como de otras regiones; el piloto, aplicado en una muestra de 150 universidades, comparó a las instituciones en cinco ámbitos: enseñanza y aprendizaje, investigación, transferencia de conocimiento, orientación internacional, compromiso regional. Cada dimensión estaba compuesta por una serie de indicadores, permitiendo al 10_

14 usuario generar un ranking de acuerdo a sus propios intereses. La Comisión Europea comunicó que el proyecto será continuado, mostrando sus primeros resultados durante el año Mayor información sobre el proyecto en _2013

15 CRÍTICAS Y LIMITACIONES DE LOS RANKINGS Se ha señalado que, más allá de los métodos, generalmente los rankings comparten una serie de limitaciones intrínsecas (van der Wende, 2008). Más allá de que se haya excepciones, sí parece haber críticas que resultan generalizables a la mayor parte de los rankings universitarios. A continuación se resumen estos aspectos negativos 4, con una breve discusión sobre cómo podrían afectar la selección de instituciones por parte del programa Becas Chile. 1. No existe consenso en torno al concepto de calidad. En el debate acerca de las políticas de aseguramiento de la calidad se reconoce la dificultad evaluar a instituciones diferentes; ello ha dado lugar a una pluralidad de concepciones de la calidad ( fitness of porpuse versus fitness for porpuse ; calidad acorde a estándares disciplinarios versus relevancia, etc.). No obstante, la elección de los indicadores utilizados en cada ranking tiene asociada (ya sea explícita o implícitamente) una idea acerca de la calidad; en la mayorías de los casos se termina midiendo a instituciones diversas bajo un mismo concepto de calidad. En una revisión de 19 rankings diferentes, Usher y Savino (2006) concluyen que no hay absolutamente ningún acuerdo entre los autores de estos indicadores acerca qué indica calidad. Los mayores sistemas de rankings en el mundo comparten poca relación entres ellos, sí es que esta existe, utilizando indicadores y ponderaciones muy diferentes para llegar a una medida de calidad 2. Favorece un tipo de sistema de educación superior. Los rankings favorecen cierto tipo de organización: la idea norteamericana de universidad, como institución compleja con escuelas de postgrado intensivas en investigación. Esto afecta en gran medida aquellos países con sistemas de investigación fuera de las universidades, como el CNRS en Francia o el Instituto Max Planck en Alemania, puesto que la productividad de los académicos (aunque trabajen en conexión con las universidades) no sea contabilizada en los rankings. Asimismo, instituciones más pequeñas de carácter focalizado (sobre todo aquellas en las ciencias sociales o 4 Se ha recurrido principalmente a (Group of Eight, 2012), (Teichler, 2011) y (van der Wende, 2008) 10_

16 humanidades), tienen pocas posibilidades a aparecer en los rankings, más allá de que algunos de ellos utilicen alguna corrección por tamaño. 3. Indicadores son usados según su disponibilidad. En el diseño de los rankings, suelen utilizarse aquellos datos que estén disponibles, más que aquellos que resultan más pertinentes. Esto resulta más evidente en el caso de los rankings internacionales, dada la dificultad de contar con datos para todos los países (en contraste con los rankings a nivel nacional). En la práctica, esto supone cierta preferencia por indicadores bibliométricos (referidos puramente a investigación), mientras que para dimensiones como la enseñanza suelen utilizarse proxies que traen consigo bastantes supuestos. 4. Ponderaciones arbitrarias. La ponderación que recibe cada indicador se fundamenta en las decisiones de quienes elaboran los rankings, más que en marcos conceptuales o procedimiento estadísticos; asimismo, generalmente no se toma en cuenta las posibles interacciones entre los indicadores que componen el ranking. A fin de cuentas, ponderaciones alternativas podrían arrojar bastante diferentes, incluyendo o excluyendo instituciones dentro de un top 200 o un top 500. Algunos rankings, como los de Leiden, CHE o Scimago han optado por renunciar a la idea de un solo orden jerárquico basado en un indicador compuesto; no obstante, estos rankings resultan menos vistosos que el resto. 5. Alta volatilidad: Debido en parte a cambios en la metodología, pero también a otras razones, en ocasiones hay cambios notorios en el posicionamiento de algunas instituciones de un año para otro, en el mismo ranking. Esto sucede sobre todo en aquellas instituciones que se encuentran a la cola de los rankings (Group of Eight, 2012), lo que puede sugerir que las diferencias entre instituciones en los rankings parecen ser más grandes de lo que realmente son (Salmi & Sayoran, 2007). Para evitar esto, algunos rankings no señalan el lugar exacto para las instituciones que se encuentran fuera de, por ejemplo, el top 100; de esta forma, establecen rangos (entre 401 y 500). Los cambios bruscos de un año a otro suelen verse con escepticismo, sobre todo considerando que las universidades son instituciones que se caracterizan por su lentitud. No obstante, se estima que rankings como el ARWU, que utilizan indicadores con pocas posibilidades de cambiar rápidamente (como el número de académicos con Premios Nobel), son más estables en el tiempo. En la siguiente gráfica, obtenida de Longden (2011), se muestra la volatilidad del ranking THE entre el 2007 y Como se observa, hay 16 10_2013

17 universidades que dan saltos importantes, lo que se presenta con mayor frecuencia en la cola. 6. Favorecen a las ciencias médicas y naturales y al inglés. Debido en parte a la facilidad de contar con datos internacionalmente comparables en las bases de datos bibliométricas (principalmente Web of Science y Scopus), los indicadores favorecen su uso. No obstante, esto beneficia a las disciplinas que hacen más uso de las publicaciones de este tipo, es decir, a las ciencias biológicas y médicas, en desmedro del resto 7. Problemas validez de las encuestas de reputación. Suele señalarse el caso de una encuesta de EE.UU. para elaborar un ranking de escuelas de derecho, en la cual Princeton entró en el top 10, pese a que la universidad no tenía escuela de derecho. De esta forma se cuestiona lo que realmente están midiendo las encuestas de reputación, debido a la existencia de efecto halo y la incapacidad de observar cambios recientes. No obstante, Berghoff y Federkiel (2006), dan cuenta de cambios en el puntaje de reputación asignado a en el THE entre dos años; pese a que hay una correlación de 0,93, el efecto que tiene en el posicionamiento es bastante grande. Estos últimos problema de validez podrían deberse a aspectos metodológicos de la aplicación de las encuestas. 10_

18 En conjunto, esta serie de críticas afecta de manera importante el uso que Becas Chile busca darle a los rankings. Más allá de que Becas Chile utiliza en la actualidad dos rankings en específico (ARWU y THE), la inclusión de nuevos rankings posiblemente no implicaría necesariamente resolver las limitaciones existentes, por cuanto estas son mayormente compartidas entre ellos. Quizás algunas de las críticas descritas anteriormente no son tan relevante para el programa Becas Chile; por ejemplo, el énfasis que se le otorga a la dimensión investigación, la cual es en parte producto de la idea de calidad de parte de quienes elaboran los rankings, así como de la disponibilidad de indicadores a nivel global, hace sentido para un programa que otorga becas de doctorado (aunque esto no sea tan evidente en el caso de los magíster). Sin embargo, hay aspectos que sí pueden tener un impacto mayor: - Becas Chile otorga mayormente becas en las áreas de ciencias sociales y humanidades (entre un 50 y 60%). No obstante, el posicionamiento de las universidades en los rankings depende mayormente de su desempeño en las ciencias biológicas y médicas. - Ciertos sistemas de educación superior ven fuertemente reducidas sus posibilidades de incorporar universidades a los rankings por características estructurales, que no necesariamente afectan su calidad. Esto sucede principalmente en países de habla no inglesa; países con universidades más pequeñas y focalizadas; países con sistemas de investigación paralelos al sistema universitario. - La alta volatilidad del los rankings, sobre todo aquellos con indicadores más subjetivos (encuestas de reputación) implica cambios en las instituciones elegibles año a año, que resultan poco justificables _2013

19 IMPLICANCIAS Y USOS DE LOS RANKINGS EN POLÍTICAS PÚBLICAS Últimamente se ha puesto mayor atención a las implicancias de los rankings internacionales en las decisiones de política pública. Aunque algunos rankings fueron elaborados con un enfoque hacia los estudiantes, es innegable que su repercusión ha alcanzado los ámbitos de decisión política de diversos países. En este sentido, el uso más extendido que se le ha dado a los rankings internacionales es el de hacer comparaciones entre países, según el número de universidades incluidas en los rankings y su posicionamiento. Sobre todo en aquellos países con un desempeño bajo en el número de universidades en los primeros lugares de los rankings, se han tomado decisiones de política para fomentar mejores resultados futuros en los rankings. Uno de los casos paradigmáticos al respecto es Francia, que se vio sorprendida luego de la primera versión del ARWU; durante la última década, se han discutido e introducido reformas estructurales al sistema de educación superior francés, muchas de ellas orientadas a que algunas universidades suban (o aparezcan) en los rankings internacionales. Otros casos son los de China, que decidió concentrar el financiamiento en un grupo selecto de universidades; o Dinamarca, que se comprometió a tener una de sus universidades en el top 20 de Europa al año Existe, sin embargo, otro ámbito distinto del uso de los rankings internacionales, que emula o se acerca a la lógica del uso dado por el programa Becas Chile. Se trata de asimilar el posicionamiento en los rankings a una certificación de calidad de la institución, con el fin de hacerla elegible (o no) para una determinada política pública. Se observan tres tipos de casos 5 : a) Financiamiento para becas Al igual que Chile, varios países han decidido otorgar becas de postgrado solamente a estudiantes que aquellas instituciones que ingresen a instituciones bien posicionadas en los rankings. Ejemplos de este uso se encuentran en Brasil, Mongolia, Qatar, Ecuador, Rusia y Kazajstán. 5 Varios de los ejemplos se han obtenido de (Group of Eight, 2012) y (Hazelkorn, 2011) 10_

20 b) Política de inmigración de trabajadores calificados En Holanda, la ley de inmigración otorga facilidades a jóvenes extranjeros que hayan obtenido en los últimos tres años un máster o doctorado de las 200 primeras universidades de ARWU, THE o QS (se consideran los listados másrecientes); en tanto, en Dinamarca la ley de inmigración tiene un trato preferente para los graduados de universidades que aparecen bien posicionadas en el ranking THE 6 (diferenciando entre las que están en el top 100, el top 200 y el top 400). c) Autorización para convalidación de títulos y colaboración con universidades extranjeras El año 2012, en India se estableció una nueva regulación para los acuerdos de grados conjuntos entre universidades locales y extranjeras, requiriendo para estas últimas pertenecer a las top 500 del ARWU o THE. En Macedonia, hay un reconocimiento automático de grados de las 500 primeras universidades en ARWU, THE-QS o USNWR. Por último Singapur otorga la condición de Institución especialista extranjera a las universidades en el top 100 del THE-QS, lo que permite colaborar con universidades y politécnicos locales Si bien los ejemplos de este tipo de uso de los rankings son crecientes, la literatura en relación a sus implicancias es escasa. La discusión se concentra, sobre todo en las políticas internas para promover el buen posicionamiento de las propias universidades en los rankings. Poco se ha dicho sobre los efectos que pueden tener el uso de los rankings como criterio de inclusión/exclusión para la asignación de becas, política migratoria, o relaciones con universidades extranjeras. En estos aspectos, la evidencia que se recoge es más bien anecdótica, sin profundizar en el impacto y limitaciones. No obstante, es común encontrar advertencias acerca de lo inconveniente de utilizar los resultados de los rankings en temas de política pública, siendo frecuentas afirmaciones del tipo: Las decisiones de política pública en educación superior no deben realizarse solamente en base a los rankings (Rauhvargers, 2011). El propio editor del ranking THE, Phil Baty, recomienda no utilizar los rankings para este tipo de decisiones. Reconoce que una de las grandes fortalezas de la educación superior es un rica diversidad, la que nunca 6 Ver _2013

21 puede ser capturada por el THE World Univerity Rankings (Baty, 2012). En este sentido, ejemplifica como usos equivocados de los rankings el que se les da en el programa Ciencia sin fronteras de Brasil, o en un nuevo esquema de becas de postgrado en Rusia. En otro ámbito, durante el 2012, en México tuvo lugar un encuentro internacional de universidades con el fin de analizar la situación latinoamericana respecto de los rankings de universidades. El encuentro, denominado Las Universidades Latinoamericanas ante los Rankings Internacionales: Impactos, Alcances y Límites, tuvo como resultado una declaración final, en la cual se otorgan una serie de recomendaciones a los gobiernos, las universidades, quienes elaboran los rankings y los medios de comunicación. En relación a los gobiernos, se les invita a Evitar tomar los resultados de los rankings como elemento de evaluación del desempeño de las instituciones, en el diseño de políticas públicas para la educación superior, en el financiamiento y en los sistemas de estímulos e incentivos a las instituciones y al personal académico. (Varios autores, 2012) 10_

22

23 2 RANKINGS DE UNIVERSIDADES 10_

24 THE ACADEMIC RANKING OF WORLD UNIVERSITIES (ARWU) CONTEXTO DE CREACIÓN El ranking ARWU fue publicado por primera vez en el año 2003; no obstante, su historia comienza en 1998, cuando el gobierno chino escogió a la Shangai Jiao Tong University (SJTU) para estar a cargo del 985 Project 1. Este proyecto surgió con el objetivo de posicionar a un determinado número de universidades chinas en el selecto grupo de las universidades de clase mundial. Con este fin, desde 1999 el equipo de SJTU trabajó en el desarrollo de un criterio de comparación, que buscaba establecer la brecha existente entre las universidades chinas y las principales universidades dedicadas a la investigación en Estados Unidos. Según Liu 2, luego de que el equipo SJTU envió el informe de trabajo al Ministerio Chino de Educación y de que fuera publicado, la reacción internacional y local hacia el informe fue recomendar su transformación en un verdadero ranking mundial de universidades. Es así que surge el ARWU. OBJETIVOS DEL RANKING Y ENFOQUE Aun cuando el objetivo inicial del ARWU era reconocer la brecha existente entre las principales universidades chinas y aquellas de primer orden mundial, ese interés decantó en un mecanismo eminentemente objetivo para medir la calidad universitaria en relación a la investigación. A diferencia del THE Ranking, el ARWU sólo considera indicadores objetivos para construir su sistema de clasificación, dejando de lado las encuestas de opinión y por ende la percepción de calidad asociada a una determinada universidad. Este enfoque ha recibido algunas críticas, dentro de las cuales destacan aquellas que lo acusan de favorecer a las universidades de mayor tamaño, debido a que éstas cuentan con cuerpos académicos más amplios y con mayores recursos, lo cual les permite alcanzar mayores puntajes en Liu, N. C. (2009). The Story of Academic Rankings. International Higher Education, No. 54, 2-3. winter _2013

25 desempeño académico per cápita y publicaciones académicas. Otra crítica extendida, señala que el ARWU subestima la excelencia de universidades especializadas en ciencias sociales y humanidades, toda vez que no existen sistemas de indexación y citación representativos y confiables en estas disciplinas, y que además la ponderación que asigna el ARWU a las publicaciones en el área de las ciencias exactas adquiere un gran peso en el cálculo del puntaje total para cada universidad. ORGANIZACIÓN QUE LO ELABORA El ARWU fue elaborado en el año 2003 por el Center for World-Class Universities (CWCU), del Graduate School of Education of Shangai Jiao Tong University (SJTU). Este organismo se encargó de actualizarlo y publicarlo anualmente hasta el año A partir de ese momento, el ARWU es publicado por Shangai Ranking Consultancy, una organización independiente destinada a la producción de información relativa a educación superior, y que no depende legalmente de ninguna universidad o agencia de gobierno 1. CRITERIOS PARA INCLUSIÓN DE UNIVERSIDADES El ARWU no fue diseñado para comparar todas las universidades a nivel mundial. Su objetivo es comparar únicamente a las universidades más importantes del mundo en el desarrollo de investigación. En función de aquello, considera sólo alrededor de universidades de las cerca de existentes a nivel mundial, y de las cuales sólo 500 son finalmente incluidas en el ranking. Los criterios para seleccionar a las universidades incluidas son: - Universidades que cuentan con Premios Nobel - Universidades que cuentan con Medallas Fields - Investigadores altamente citados - Artículos publicados en las área de ciencias y ciencias naturales - Artículos indexados en el Science Citation Idex-expanded (SCIE) y en el Social Science Citation Index (SSCI) _

26 ÁREAS CUBIERTAS, INDICADORES, PROXIES Los criterios que ARWU utiliza para ordenar a las universidades consideradas se organizan en torno a cuatro dimensiones: Calidad de la educación, Calidad de la facultad, Producción en investigación y Desempeño per cápita de la universidad. El desglose de cada dimensión, sus indicadores y ponderaciones se observa en la siguiente tabla. Tabla 1 Dimensiones ARWU, indicadores y ponderaciones Dimensión Peso Indicadores Peso Calidad de la educación 10% Alumnos de la universidad condecorados con Premios Nobel y Medallas Fields (Alumni) 10% Calidad de la facultad 40% Staff de la universidad condecorado con Premios Nobel o Medallas Fields (Award) 20% Cantidad de investigadores presentes en el grupo de los 200 investigadores más citados en las 21 áreas del conocimiento consideradas (HiCi) 1 20% Producción en investigación Desempeño per cápita de la Universidad 40% Artículos publicados en Ciencias y Ciencias de la Naturaleza durante los últimos 5 años (N&S) 2 20% Artículos indexados en el Thomson Reuters Science Citation index-expanded y el Social Science Citation Index durante el año anterior a la construcción del ranking (PUB) 10% Desempeño per cápita de los académicos de la universidad (PCP) 20% 10% 1 Las áreas temáticas de interés para ARWU son: Ciencias de la Agricultura, Biología y Bioquímica, Química, Medicina Clínica, Ciencias Computacionales, Ecología y Medio Ambiente, Economía y Negocios, Ingeniería, Ciencias de la Tierra (Geociencias), Inmunología, Ciencia de los Materiales, Matemáticas, Microbiología, Biología Molecular y Genética, Neurociencia, Farmacología, Física, Ciencias Animales y Vegetales, Psicología y Psiquiatría, Ciencias Sociales en General y Ciencias del Espacio. 2 Para Universidades especializadas en Ciencias Sociales y Humanidades esta dimensión no es considerada, y su ponderación es redistribuida en otras dimensiones _2013

27 FUENTES DE INFORMACIÓN Para la construcción de los distintos indicadores, ARWU recolecta la información de fuentes secundarias. El sitio web del Premio Nobel, la International Mathematical Union for Fields Medals y varios sitios web del Thomson Reuters sobre citaciones y publicaciones constituyen sus principales fuentes de información. Para obtener el número de académicos y calcular el indicador de desempeño académico per cápita se considera a diversas fuentes nacionales validadas. UTILIZACIÓN DE LA INFORMACIÓN RECOLECTADA: TRANSFORMACIÓN DE INDICADORES EN PUNTAJES A continuación se explican los criterios utilizados para el cálculo los distintos indicadores. a. Alumni: indicador calculado en base a la cantidad de Premios Nobel y Medallas Fields sobre la cantidad de alumnos de la universidad en cuestión. Este indicador considera una ponderación en función de la antigüedad con que fueron obtenidos esos premios. Por ejemplo, aquellos obtenidos entre 1991 y 2000 asumen un peso de 0.9, mientras que los galardonados entre 1981 y 1990 asumen un peso de 0.8, y así sucesivamente hasta alcanzar el valor mínimo de 0,1. Si el galardonado tiene relación con varias universidades, este valor es compartido por las distintas instituciones, mientras que si el premio ha sido asignado a un grupo de galardonados, el valor es dividido por cada uno de ellos y asignado a la universidad que corresponda. Este indicador busca medir calidad de enseñanza de forma indirecta. b. Award: indicador calculado a partir de la cantidad de integrantes del staff de la universidad en cuestión que han sido galardonados con Premios Nobel o Medallas Fields. c. Hci: indicador calculado en base a la aparición de académicos de la universidad en cuestión dentro de los más citados en ciertas áreas temáticas. ARWU define una lista de los 200 investigadores más citados en cada una de las áreas temáticas de relevancia para el ranking, y luego analiza la pertenencia de éstos a las distintas universidades clasificadas. d. N&S: indicador calculado a partir de la cantidad de artículos publicados en ciencias y ciencias naturales durante los últimos cinco años, considerando el quinto año como el precedente al de la 10_

28 elaboración del ranking. Considera sólo como válidas las publicaciones calificadas como Article o Proceedings paper. En caso de que una misma publicación corresponda a varios autores, al autor principal se le asigna el valor 1, 0.5 a autores secundarios, 0.25 a autores de tercer orden y 0.1 a cualquier otro autor de menor rango. e. PUB: Este indicador corresponde a la cantidad bruta de publicaciones indexadas en el Science Citation Index-expanded y el Social Science Citation Index durante el año previo a la publicación del ranking. Aquellas publicaciones indexadas en el Social Science Citation Index cuentan por dos. Esto último tiene por finalidad contrarrestar el dominio que tienen las disciplinas relacionadas con las ciencias, la ingeniería y la medicina en el sistema de indexación. f. PCP: indicador calculado a partir de los puntajes ponderados de los anteriores cinco indicadores, dividido por el número total de académicos tiempo completo de la respectiva universidad. Si no es posible acceder a la cantidad de académicos que forman parte de una universidad para construir este indicador, se utiliza sólo el valor de los anteriores cinco indicadores al cual se les aplica una ponderación. ARWU-FIELD RANKING Adicionalmente al ranking ARWU, Shangai Consultancy elabora rankings disciplinares, llamados ARWU-FIELD. Éstos consideran las áreas de ciencias naturales y matemáticas (SCI); ingeniería, tecnología y ciencias computacionales (ENG); ciencias de la vida y agricultura (LIFE); medicina y farmacia (MED) y ciencias sociales (SOC) 1. ARWU-FIELD fue creado con un objetivo distinto al del ARWU, pues responde a la necesidad de considerar la diversidad disciplinaria para realizar una comparación adecuada entre las universidades a nivel mundial. Es decir, este ranking no apunta a la búsqueda de un criterio de comparación que permita establecer la brecha existente entre las universidades chinas y las estadounidenses, sino que surge con el objetivo explícito de realizar comparaciones por área entre las distintas universidades a nivel mundial. Su origen es más reciente 1 ARWU Fields no considera a las Artes y Humanidades debido a la dificultad de encontrar indicadores comparables internacionalmente y de confianza. Psicología y Psiquiatría tampoco son incluidos en el ranking debido a su naturaleza multidisciplinaria y las dificultades que esto plantea para su clasificación _2013

29 y se remonta al año 2007, en donde fue diseñado por el Center of World Class Universities of Shangai Jiao Tong University (CWCU). Este ranking se basa en los mismos fundamentos metodológicos que el ARWU, y por tanto su objetivo es evaluar a las universidades según especialidad en función de su desempeño investigativo. En general, no existen mayores diferencias entre el ARWU y el ARWU-FIELD en lo relativo a las dimensiones e indicadores. El desempeño académico per cápita (PCP) no es utilizado en el ARWU-FIELD, no obstante éste incorpora el porcentaje de publicaciones en las revistas indexadas que forman parte del top 20% (TOP) según cada especialidad, e introduce un indicador de gastos en investigación (FUND) utilizado únicamente para evaluar a las universidades en el área de ingeniera. Los indicadores y sus pesos según especialidad se grafican en la Tabla 2. Tabla 2 ARWU-FIELD: indicadores y ponderación por disciplina Indicador Peso SCI ENG LIFE Alumni 10% Alumnos de la No aplica Universidad ganadores de Medallas Fields en matemáticas o Premios Nobel en química o física desde 1951 Award 15% Miembros del staff de la universidad ganadores de Premios Nobel o Medallas Fields desde 1961 HiCi 25% Académicos muy citados en 5 categorías: matemáticas, física, química, ciencias de la tierra y ciencias del espacio. PUB 25% Artículos indexados en Science Citation Index-Epanded (disciplinas SCI) Alumnos de la Universidad ganadores de Premios Nobel en fisiología o medicina desde 1951 No aplica Miembros del staff de la universidad ganadores de Premios Nobel en fisiología o medicina desde 1961 Académicos muy citados en 3 categorías: ingeniería, ciencias computacionales y ciencias de los materiales. Artículos indexados en Science Citation Index- Epanded disciplinas (ENG) Académicos muy citados en 8 categorías: biología y bioquímica; biología molecular y genética; microbiología; inmunología; neurociencia; ciencias de la agricultura; ciencia vegetal y animal; ecología y medio ambiente. Artículos indexados en Science Citation Index- Epanded disciplinas (LIFE) 10_

30 TOP 25% Porcentaje de Porcentaje de artículos artículos publicados publicados en el top en el top 20% de 20% de revistas de revistas de disciplinas ENG disciplinas SCI FUND 25% No aplica Total de gastos relacionados a la investigación en ingeniería Porcentaje de artículos publicados en el top 20% de revistas de disciplinas LIFE No aplica Indicador Peso MED SOC Alumni 10% Alumnos de la Universidad ganadores de Premios Nobel en fisiología o medicina desde 1951 Alumnos de la Universidad ganadores de Premios Nobel en economía desde 1951 Award 15% Miembros del staff de la universidad ganadores de Premios Nobel en fisiología o medicina desde 1961 Miembros del staff de la universidad ganadores de Premios Nobel en economía desde 1961 HiCi 25% Académicos muy citados en 3 Académicos muy citados en 2 categorías: medicina clínica; categorías: ciencias sociales, farmacología; ciencias general (parcialmente); sociales, general economía y negocios. (parcialmente) PUB 25% Artículos indexados en Science Citation Index- Epanded disciplinas (MED) TOP 25% Porcentaje de artículos publicados en el top 20% de revistas de disciplinas MED FUND 25% No aplica No aplica Artículos indexados en Social Science Citation Index disciplinas (SOC) Porcentaje de artículos publicados en el top 20% de revistas de disciplinas SOC ARWU-FIELD SUBJECT Adicionalmente al ranking ARWU, se elaboran rankings específicos para algunas áreas disciplinares: Matemáticas, Física, Química, Computación y Economía y Negocios _2013

31 Al igual que el ARWU-FIELD responde a la necesidad de considerar la diversidad disciplinaria para realizar una comparación adecuada entre las universidades a nivel mundial. El año 2009 se publicó la primera versión, y la segunda en Este ranking se basa en los mismos fundamentos metodológicos que el ARWU, y por tanto su objetivo es evaluar a las universidades según especialidad en función de su rendimiento en investigación principalmente, ad-hoc a la disciplina analizada. En efecto se utilizan caso las mismas dimensiones e indicadores. Se excluye, al igual que en el ARWU-FIELD, el desempeño académico per cápita (PCP), no obstante éste incorpora el porcentaje de publicaciones en las revistas indexadas que forman parte del top 20% (TOP) según cada especialidad. Los pesos de cada indicador son los mismos que en el caso anterior, aunque los indicadores y las fuentes de información son diferentes para cada área, específicos para el área. 10_

32 TIMES HIGHER EDUCATION WORLD UNIVERSITY RANKINGS CONTEXTO DE CREACIÓN La aparición del ranking de THE surge como una respuesta europea al Academic Ranking of World Universities publicado en China por la Universidad Jiao Tong 1. Su primera versión data del 2004, solo un año después de la primera edición del ARWU. Tal como se discutirá a continuación, el apronte metodológico del ranking THE difiere sustancialmente del empleado por ARWU, puesto que no se limita a los resultados de investigación, sino que considera una visión más amplia de las instituciones, incluyendo también la reputación y variables de desempeño académico. OBJETIVOS DEL RANKING Y ENFOQUE El THE Ranking declara que es el único ranking global del desempeño de universidades capaz de juzgarlas de acuerdo a todas sus misiones centrales: enseñanza, investigación, transferencia de conocimiento e internacionalización. Su primer editor, John O Leary, enfatizó la idea de que el propósito del ranking residía en lograr una evaluación completa y equilibrada de las mejores universidades 2 ; de esta forma, el ranking buscó desde sus inicios diferenciarse del ARWU. ORGANIZACIÓN QUE LO ELABORA El ranking es publicado por Times Higher Education (THE), revista inglesa semanal creada en 1971 dedicada a temas relacionados con la educación superior. THE es editada por TSL Education Ltd, compañía que hasta 2008 fue una división de News International y actualmente es propiedad de Charterhouse Capital Partners El término en ingles es rounded. En The Great Brain Race: How Global Universities Are Reshaping the World 32 10_2013

33 Desde la primera versión del ranking -el 2004-, hasta la versión del año 2009, THE contrató los servicios Quacquarelli Symonds para la recolección de los datos, una empresa en ese entonces dedicada casi exclusivamente al reclutamiento de MBA s y la confección de rankings de programas de MBA. Para la recolección de datos sobre investigación, en tanto, contrató a The British Company, Evidence Ltd. En octubre de 2009, THE anunció que para las siguientes ediciones se asociaría con Thomson Reuters para todo lo relacionado con la recolección de datos. Thomson Reuters es una compañía canadiense especializada en análisis de datos para empresas y profesionales; en el ámbito académico, es reconocida por la elaboración del índice de citaciones de publicaciones científicas Web of Knowledge. CRITERIOS PARA INCLUSIÓN DE UNIVERSIDADES Para la última edición del ranking, correspondiente al año 2012, las universidades fueron incluidas si cumplían los siguientes criterios: Enseñan en más de una disciplina. - Tienen más de publicaciones ISI durante los últimos 5 años (o sea, un promedio de 200 anuales). La nota metodológica del ranking señala que, en casos excepcionales, se incluyen instituciones que no cumplen con el segundo criterio. Con ello se busca no excluir a universidades enfocadas en disciplinas que tradicionalmente presentan bajos resultados de investigación en forma de publicaciones ISI. ÁREAS CUBIERTAS, INDICADORES, PROXIES El actual Ranking THE contempla 13 indicadores, los que se agrupan en cinco áreas: docencia, investigación, citas, ingresos de la industria e internacionalización. El resumen de las dimensiones, indicadores y ponderación se presenta en la siguiente tabla: 10_

34 Tabla 3 Dimensiones THE, indicadores y ponderaciones Indicador Peso Calculo Peso Docencia 30% Investigación 30% Prestigio en enseñanza 15% Titulados de doctorado/número de académicos 6% Estudiantes de pregrado / número de académicos 4,5% Titulados de doctorado / titulados de pregrado 2,25% Ingresos de la institución/ número de académicos 2,25% Prestigio en investigación 18% Ingresos por investigación 6% Publicaciones ISI/ número de académicos 6% Citas 30% Citation Impact 30% Ingresos de la Industria 2,5% Internacionalización 7,5% Ingresos para investigación obtenidos desde la industria/ número de académicos Académicos internacionales/ académicos nacionales Estudiantes internacionales/ estudiantes nacionales Artículos con coautor internacional/total de artículos 2,5% 2,5% 2,5% 2,5% Cabe señalar que, para el cálculo de los distintos indicadores, se utilizan factores de ajuste según las disciplinas (el procedimiento detallado no es público). FUENTES DE INFORMACIÓN Todo el proceso de recolección de información es labor de Thomson Reuters. En la práctica, el trabajo asociado con THE forma parte del Global Institutional Profiles Project, una iniciativa de Thomson Reuters que tiene como propósito proveer el recurso mejor informado y más efectivo para construir perfiles de universidades e instituciones alrededor del mundo. Es en este marco que se desarrollan dos instrumentos de recolección de información: la 34 10_2013