Caracterización de Ranking Universitarios. Jenny Marcela Sánchez Torres Giovanna Milena Moreno Meneses

Transcripción

1 Jenny Marcela Sánchez Torres Giovanna Milena Moreno Meneses Caracterización de Ranking Universitarios

2 Caracterización de Ranking Universitarios

3

4 Caracterización de Ranking Universitarios Jenny Marcela Sánchez Torres Giovanna Milena Moreno Meneses

5 Caracterización de Ranking Universitarios Primera edición, 2011 ISBN: Universidad Nacional de Colombia Autores: Jenny Marcela Sánchez Torres Profesora Asociada de la Universidad Nacional de Colombia Giovanna Milena Moreno Meneses Estudiante Maestria Ingeniería Industrial. Universidad Nacional de Colombia Diseño de Carátula: Andrés Camilo Gantiva Rueda Impreso y hecho en Bogotá, Colombia Prohibida la reproducción total o parcial por cualquier medio sin la autorización escrita del titular de los derechos patrimoniales.

6 Caracterización de Ranking Universitarios Este estudio pretende aportar en el conocimiento de los ranking y en la discusión que ellos generan, a través de una revisión de sus principales características, muy especialmente, de las variables e indicadores que son considerados para la publicación del listado de las IES Jenny Marcela Sánchez Torres 1 Giovanna Milena Moreno Meneses 2 Octubre de Profesora Asociada de la Universidad Nacional de Colombia 2 Estudiante Maestria Ingeniería Industrial. Universidad Nacional de Colombia

7

8 7 Tabla de Contenido 1 Introducción 4 2 Un acercamiento a los Ranking y las Clasificaciones Universitarias Ranking y Clasificaciones universitarias Fortalezas y Debilidades de los ranking Los principios de Berlín Conclusiones sobre los Ranking y Clasificaciones 8 3 Caracterización de los Ranking Universitarios Metodología utilizada Identificar los ranking a analizar Caracterizar los ranking identificados Analizar los resultados Análisis de los resultados de la Caracterización de los ranking revisados Evolución en el tiempo Cobertura, origen geográfico y procedencia Periodicidad e instrumentos en el tiempo Variables e indicadores usados en los ranking Conclusiones de la Caracterización de los ranking 26 4 Comparativo de posiciones de algunas IES en Ranking Universitarios Ranking e IES seleccionadas para comparar Resultados de la comparación Conclusiones sobre la posición de los Ranking 34 5 Conclusiones y Recomendaciones 35 6 Bibliografía 37 7 Glosario 39 8 Anexos Perfiles de los ranking Acerca de las autoras 55

9 8

10 9 Introducción 1 Si bien es cierto existen diversas formas para evaluar la calidad de la educación universitaria debido a la complejidad de los procesos misionales que se deben llevar a cabo: la formación, la investigación y la tercera misión, en los últimos años las métricas a partir de indicadores cuantitativos se han incrementado. Estas métricas de alguna manera se concentran en los denominados ranking los cuales suscitan, muy especialmente, desamores en la medida en que se motivan discusiones en torno a las metodologías utilizadas, quiénes los patrocinan, y el entorno de lo que pretenden medir. Al menos en el contexto colombiano, cada vez que un ranking anuncia sus resultados se observa, de un lado, el desconocimiento de lo qué estos instrumentos significan y cuál es su principal propósito, y de otro, el énfasis sobre la escasa participación de la Instituciones de Educación Superior IES- colombianas en ellos. Es por lo anterior, que este sencillo documento pretende aportar en el conocimiento de los ranking y en la discusión que ellos generan, a través de una revisión de sus principales características, muy especialmente, de las variables e indicadores que son considerados para la publicación del listado de las IES. Esta revisión se propone para los principales ranking universitarios internacionales y nacionales. El documento tiene cuatro capítulos, un primero que reseña los principales conceptos básicos relacionados con ranking y clasificaciones universitarias; un segundo en el que se realiza una caracterización detallada de cada uno de los ranking estudiados; un tercero en el que se revisan las posiciones de algunas IES iberoamericanas en los ranking; y, finalmente, un cuarto en el que se presentan las conclusiones.

11 10

12 11 2 Un acercamiento a los Ranking y las Clasificaciones Universitarias Actualmente, el mundo enfrenta una demanda creciente por el acceso a la información, en donde con facilidad se interactúa con diferentes culturas y se tiene una mayor disposición a la comparación, situación de la cual las IES no han sido ajenas, en el sentido que no ya no sólo son evaluadas con estándares del propio país o del entorno, sino que son comparadas con estándares internacionales. Como consecuencia, y desde que el U.S.News hace veinte años publicó su primer resultado comparativo entre IES estadounidenses se ha incrementando el número de ranking en donde las instituciones compiten por un lugar prominente en la jerarquía global de la educación superior (Robert & Thompson, 2007)(Salmi, 2009). De esta manera los ranking y clasificaciones se han convertido en un punto de referencia para la toma de decisiones de diferentes actores de la sociedad como son los ciudadanos, los organismos de control y, en general, todo aquel que tenga algún interés en la educación superior. Por ello, al considerar el creciente interés sobre los ranking universitarios, esta sección pretende dar una panorámica acerca del papel y del significado de estos. Así en la primera sección se presentan las precisiones sobre estos conceptos y los diferentes términos que se usan como sinónimos de este; en la segunda sección se esbozan las principales fortalezas y debilidades halladas en la breve revisión de literatura; en la siguiente sección se presentan los principios de Berlín; y, finalmente se cierra el capítulo presentando algunas conclusiones. 2.1 Ranking y Clasificaciones universitarias Los ranking 3 universitarios han tenido una gran acogida tanto por las mismas IES como por la sociedad en general (estudiantes, padres de familia, futuros estudiantes, 3 Según la Real Academia Española (RAE) un ranking es una clasificación de mayor a menor, en la cual se elabora una lista que establece una relación entre el conjunto de elementos que la integran, en donde cada elemento posee una característica propia y especial que lo hará estar por arriba o por debajo de los otros elementos (RAE, 2011). Generalmente, los ranking, cualquiera sea su tipo o los elementos que relacionen, se publican en un orden ascendente en el sentido que quien ocupa el primer lugar es el que tiene la mayor importancia. Un sinónimo del concepto de ranking es la clasificación, la cual según la RAE se define como la forma de obtener un determinado puesto en una competición, es decir determina la clase o el grupo a que corresponde un elemento; como ejemplo de esto se encuentran las clasificaciones de equipos deportivos, de los lideres más sobresalientes en el mundo empresarial, de los libros más leídos, entre otros temas. Así los conceptos de ranking y clasificación son aplicables a cualquier campo de estudio o de la vida diaria. Sin embargo el alcance de este documento está dirigido al contexto universitario.

13 12 entes de control gubernamental, entre otros) dado que se han constituido en una herramienta de análisis y comparación para las instituciones, que pretenden medir su calidad, incluso en algunos casos definen un nivel de prestigio entre la comunidad o pueden influir en la asignación de recursos para la financiación de la institución. De igual manera, para las instituciones se ha incrementado la necesidad de información sobre la calidad relativa de estas, en donde el flujo de información óptimo contribuye a un mejor funcionamiento del mercado de la educación superior, al permitir tener criterios para la toma de decisiones de los actores en un sistema descentralizado y auto-regulado.(yonezawa, 2010). Dentro de la literatura revisada los ranking universitarios, también conocidos como league tables son definidos como la enumeración y conteo de las características o criterios de valoración de las IES (Sanoff, 2007), en donde la metodología común es adjudicar valores numéricos a los diferentes criterios de calidad y calcular un indicador que permita establecer un orden descendente desde el primero hasta el último. Se parte de la suposición que los diferentes productos, servicios u organizaciones están en competencia entre sí para definir quién es el mejor (Gibbons, 1998). Según (Usher & Savino, 2007) los ranking universitarios son listas de ciertas agrupaciones de instituciones por lo general, dentro de una sola jurisdicción nacional, clasificadas en forma comparativa de acuerdo con un conjunto común de indicadores en orden descendente. Los resultados se presentan, habitualmente, en forma de posiciones mediante la comparación de instituciones en relación con una gama de indicadores, en los que el número de éstos en un sistema de evaluación puede variar de manera significativa, dado que de acuerdo con los indicadores que se elijan y a la ponderación que se les otorgue a cada uno de estos, la posición de la institución va a estar determinada (Gibbons, 1998). En relación con las clasificaciones estas buscan agrupar las instituciones por tipos homogéneos o, al menos, por semejanza, a la luz de ciertos atributos significativos para definir el perfil y la naturaleza de la organización (Bernasconi, 2006). Otra definición planteada por (Perez & Lopez, 2009) es que las tablas de clasificación se caracterizan por utilizar varios índices compuestos para medir diferentes ámbitos, señalando los perfiles de las instituciones que tienen características similares. De acuerdo con (Salmi & Saroyan, 2007) las clasificaciones se caracterizan por ser elaboradas a partir de información proporcionada por las instituciones o a partir de información de dominio público para llevar a cabo una medición de la calidad asignada a la unidad de comparación en relación con sus competidores. En todo caso es importante tener en cuenta que las clasificaciones tienen efectos sobre el presente y el futuro de las instituciones, de ahí, que coincidimos con (Buela-Castro, Bermudez, Sierra, Quevedo-Blasco, & Castro, 2010) sobre la importancia de que estén bien elaboradas, sean transparentes y, por supuesto, que sigan unos principios éticos.

14 13 En consecuencia, a partir de las referencias revisadas sobre los conceptos de ranking universitarios y clasificaciones, se puede establecer algunas diferencias, entre las cuales se encuentran la forma como son presentados los resultados y el objetivo que estos persiguen. Así, los ranking buscan medir una institución a través de un solo indicador compuesto 4 que genera una lista ordenada de instituciones con un determinado valor, en donde se establece una posición o una medida ponderada. Por su parte, las clasificaciones no generan un listado de mayor a menor, sino que según los criterios definidos por quién realiza la consulta, agrupan las instituciones que cumplen con ellos y permiten que el usuario defina una ponderación a las variables consideradas, lo cual sin duda varía los resultados finales. Es por ello, como lo señalan (Thibaud & Lesueur, 2009) que la posición de una institución educativa, puede variar de una manera considerable, pues el resultado presentado va a depender del criterio o ponderación utilizado en la valoración. Desde el inicio de los ranking universitarios estos han generado un gran interés, dado que han sido asociados a la realización de diferentes objetivos al interior de las IES, por ejemplo en algunos casos los ranking se han considerado como: una herramienta para medir la calidad de la enseñanza que se imparte en la institución; un instrumento para fomentar o promover la acreditación de las instituciones; un mecanismo para reflejar la reputación de una institución; o, un elemento para la toma de decisiones dentro de las mismas IES tanto en el ámbito gubernamental como en la esfera de la asignación de recursos (Salmi, 2009). Si bien los ranking universitarios pueden ser de utilidad para cada uno de estos objetivos, es necesario ser cuidadoso en la interpretación de los resultados, dado que un equivocado análisis de los resultados puede llevar a la toma de decisiones de una manera errada que podría ir en detrimento precisamente de la calidad de la institución. En concordancia con ello (Ordorika, 2011) manifiesta que desde la perspectiva de la economía del conocimiento, los ranking precisamente van a evaluar o medir los productos del conocimiento o de las actividades de investigación, al considera como criterios el número de premios nobel, el número de publicaciones y el número de citaciones del personal académico de una institución; lo cual con lleva a que se tenga una visión parcial de las instituciones y no se consideren otras características que son propias de las IES, tales como el tipo de población que atienden. En ese mismo sentido, (Galvis, 2011) estima que los ranking deben ser considerados herramientas que proporcionan información útil para la toma de decisiones, en la medida que se observan dos grandes beneficios: i) proporcionan información para decidir a qué instituciones se pueden enviar a los docentes que se encuentran en 4 Un indicador compuesto está en función de dos o más variables, en donde se miden características multidimensionales, y se obtiene al ponderar cada una de las variables con unos pesos que representan la importancia relativa que cada uno de ellos debe tener en el índice agregado (Pacheco, 2002).

15 14 proceso de formación; y, ii) seleccionar las instituciones con las cuales la universidad puede hacer convenios e intercambios. En suma, tanto ranking como clasificaciones son herramientas que son utilizadas como insumos por los tomadores de decisiones en el ámbito de la ciencia y la tecnología, especialmente, aquellos pertenecientes a agencias relacionadas con la financiación de actividades de investigación y de funcionamiento de las instituciones, por ello tal y como lo expresan (Thibaud & Lesueur, 2009) es necesario tener en cuenta que no son un fin en sí mismo, sino que el objetivo de estas herramientas es proporcionar una medición para mejorar la eficiencia y la productividad del sistema educativo. 2.2 Fortalezas y Debilidades de los ranking Autores como (Aguillo & Granadino, 2006) y (Garcia, 2007) señalan como fortalezas de los ranking, que se trata de instrumentos que permiten ofrecer información confiable y oportuna, que enmarcan la educación superior en una escala global, con participación multilateral, libre de intereses de poder, mediante el uso de metodologías objetivas para obtener los resultados. Que dicha información es útil frente a las necesidades de los usuarios 5, a la autoevaluación y de contribuir a la autorreflexión de las instituciones. Así mismo, consideran que, como quiera que algunos ranking incluyen la opinión de expertos como se verá en la siguiente sección-, generalmente pares reunidos en comités, el consenso diluye los efectos de la subjetividad, y el uso de técnicas cuantitativas, generalmente bibliométricas, que proporcionan objetividad y facilitan su aplicación en diferentes contextos dada su viabilidad técnica. Coincidimos, especialmente, con (Aguillo & Granadino, 2006) en que los ranking tienen como fortaleza en ser un mecanismo de rendición de cuentas a la sociedad de las actividades de las IES, si bien, algunos de ellos presentan miradas parciales dejan entrever el rol de las IES en la sociedad actual. Sin embargo, autores como (Eccles & Gootman, 2002) y (Müller Böling & Federkeil, 2007) señalan que los ranking no sólo presentan fortalezas, también presentan debilidades como las asociadas a las diferentes preferencias de los usuarios de las IES, por ello con frecuencia la elaboración de los ranking se encuentra enfocada a los intereses de los usuarios institucionales olvidándose de los intereses heterogéneos de sus usuarios finales, es decir, sus futuros estudiantes. De igual forma, (Müller Böling & Federkeil, 2007) hace énfasis en que en términos estadísticos, el enfoque de los ranking, hace caso omiso de la existencia de errores estándar en los datos, dado que se publican el listado de instituciones ordenadas en una escala continua del número 5 Las IES, futuros estudiantes, padres de familia, entidades de control en la educación superior, la sociedad en general, etc.

16 15 uno al número x, de tal manera que en este enfoque se supone que cada diferencia en un puesto del rango de una institución marca una diferencia en rendimiento / calidad con una institución ubicada en una posición más baja, lo cual no, necesariamente, es cierto dado que se pueden presentar diferencias producidas por fluctuaciones aleatorias de los datos, y pueden ser mal interpretados como diferencias reales. 2.3 Los principios de Berlín Como ya se mencionó durante la última década han surgido un gran número de ranking universitarios, los cuales utilizan diferentes metodologías y persiguen diferentes objetivos, por ello la Unión Europea promueve la creación en el año 2006 del International Observatory on Academic Ranking and Excellence (IREG) 6, que postuló unos principios éticos para la formulación y evaluación de ranking, y definió una serie de recomendaciones y características que debe tener un ranking, en cuanto a la recolección, procesamiento de los datos y en la presentación de los resultados. Estas recomendaciones se conocen como los Principios de Berlín las cuales están encaminadas a generar un sistema de mejora continua y de perfeccionamiento de las metodologías utilizadas para la elaboración y difusión de los ranking. 2.4 Conclusiones sobre los Ranking y Clasificaciones A partir de lo antes señalado encontramos que durante los últimos años en el ámbito mundial, la realización de ranking y clasificaciones sobre IES, ha tomado una gran acogida. Sin importar si se trata de ranking o clasificaciones buscan evaluar y comparar las IES, a partir de una serie de criterios. Así mismo, tal y como de manera acertada lo señalan (Kaiser, Jonglobed, & Chep, 2010) el resultado de esas comparaciones tiene un impacto sobre las mismas actuaciones de actores como las mismas IES, las decisiones de política de agencias financiadoras, e incluso la percepción de la sociedad en general. La diferencia existente entre estos dos conceptos, está dada por la forma cómo se obtienen los resultados presentados, sin que esto implique que un concepto sea mejor que el otro, pues en realidad más que los resultados, lo relevante es el análisis y el contexto en el cual son considerados las posiciones que cada uno reporta. Por ello a partir de esto, es importante y necesario identificar cuáles son los principales criterios definidos dentro los principales ranking internacionales, cuya caracterización se realizará en el siguiente capítulo. 6 Véase:

17 16

18 17 Caracterización de los Ranking Universitarios 3 Una vez clarificados los conceptos de ranking se desarrolla esta sección del documento, la cual se constituye en el núcleo del mismo, habida cuenta que en ella se expondrá la metodología y los resultados de la caracterización de algunos de los principales ranking universitarios. La caracterización pretende ilustrar cuáles son las principales particularidades de cada ranking y a su vez tener elementos que permitan realizar una comparación entre ellos. Entre las particularidades que se pueden observar, es de especial atención la que se realiza sobre las variables e indicadores que conforman el ranking toda vez que a partir de allí es posible obtener una panorámica de lo qué pretenden medir y cómo lo miden cada uno de ellos. Esta sección presentará en primer lugar la metodología, en segundo lugar los resultados de aplicar la metodología, y finalmente, unas conclusiones. 3.1 Metodología utilizada La revisión de la literatura realizada durante esta investigación, no permitió identificar una metodología exacta para la caracterización, por ello se definió una metodología de cuatro etapas, como se observa en la Figura 1. i) Identificar los ranking a analizar ii) Caracterizar los ranking iii) Analizar los resultados

19 18 Figura 1 Metodología aplicada para la caracterización de los ranking Identificar los rankings a analizar Caracterizar Definir los criterios a analizar Clasificar las variables e indicadores Clasificar según dimensiones Análizar los resultados de rankings Fuente: Elaboración propia A continuación, se describen cada una de las etapas realizadas Identificar los ranking a analizar A partir de la definición de los ranking universitarios, se realizó una revisión de los principales ranking en el ámbito internacional, para lo cual se tomaron en cuenta los ranking de mayor mención en el entorno académico, así se identifican 21 ranking como se observa ver Tabla 1. Es importante señalar que esta lista no pretende ser una relación exhaustiva de todos, pero sí corresponde a un conjunto de iniciativas interesantes, que en su mayoría, han sido avaladas por instituciones con reconocido prestigio, de tal forma que nos permite obtener una visión general del estado de los ranking o clasificaciones. Para obtener la información de cada ranking se realizó la búsqueda en artículos publicados en bases de datos indexadas como Scopus, ISI Web of Knowledge, JSTOR, Emerad, Academic Search Complete, entre otras; y en la página web correspondiente a cada uno de los ranking analizados.

20 19 Nombre del Ranking Tabla 1 Ranking Analizados País de Origen Año de Aparición Academic Ranking of World Universities 7 China 2003 Annual University Ranking Canadá 2000 CHE University Ranking Alemania 1998 Ranking Consejo Nacional de Acreditación Colombia 2006 Eduroute University Ranking (Edu) Estados Unidos 2008 Global MBA Ranking Inglaterra 2007 Hochschulranking Alemania 2004 Humboldt Ranking Alemania 2004 Professional Ranking of World Universities (Mines de París) Francia 2007 QS Top Universities Inglaterra 2009 Ranking de Instituciones de Investigación Iberoamericanas. -Ri3 España 2006 Ranking de la Universidad de Leiden Holanda 2008 Ranking Mundial de Universidades en la Web (Webometrics) España 2004 Ranking Swissup Suiza 2003 Ranking Universidades Chilenas Chile 2006 SIR Scimago España 2009 Ranking Sistema Universitario Estatal Colombia 2006 The Sunday Times University League Table Reino Unido 2004 Times Higher Education (THE) Reino Unido 2004 U- Sapiens Colombia 2010 U-Multirank Unión Europea 2010 Fuente: Elaboración propia a partir de los ranking analizados 7 7 También conocido como el ranking de Shangai

21 Caracterizar los ranking identificados En esta etapa se pretende tanto definir los criterios a valorar como identificar las variables e indicadores que componen cada ranking. Así, en cuanto a los criterios considerados, estos se encuentran relacionados en la Tabla 2. Tabla 2. Criterios considerados para el análisis de Ranking Variable Año de Aparición País de Origen Entidad que emite el ranking Cobertura 8 que tiene el ranking Tamaño de la Muestra Periodicidad de emisión del ranking Tamaño de la muestra Número de instituciones publicadas Página Web Procedencia del ranking Tipo de datos utilizados Fuente de datos Instrumentos utilizados Dimensiones y categorías evaluadas 9 Posibles valores Año en el cual es emitido por primera vez el ranking País al cual pertenece la entidad que emite el ranking Nombre de la institución que se encarga de elaborar el ranking Mundial, Regional, Nacional, Subinstitucional Número de instituciones que son evaluadas para elaborar el ranking Anual, semestral, trianual Número de instituciones que son evaluadas para elaborar el ranking Número de instituciones que aparecen dentro del ranking Información disponible en la web correspondiente al ranking Clasificación acerca del tipo de institución que diseña e implementa el ranking: Centros de investigación, IES, Medios de comunicación, Entidades estales Cuantitativos, cualitativos, mixtos Primaria, Secundaria Estadísticas, Encuestas, Bibliometria, Cibermetria Categorías generales. Misiones de las IES. Categorías de Capital Intelectual Variables e Indicadores considerados dentro de cada ranking Algunas observaciones generales sobre el ranking. Criterios considerados dentro la evaluación Particularidades del ranking,

22 21 Con base en los criterios definidos para el análisis de los ranking, se elaboró un perfil para cada uno de ellos, tal como se observa en la Tabla 3, la cual corresponde al Perfil del Ranking QS Top Universities. El detalle de cada uno de los perfiles de los ranking analizados se encuentra en el Perfiles de los ranking Así, desde su alcance geográfico se encuentran los ranking globales, nacionales y los subinstitucionales. Los ranking globales realizan la comparación de un gran número de IES ubicadas en diferentes regiones del mundo. Un ejemplo de estos ranking son el Academic Ranking of World Universities de la Universidad Jiao Tong de Shanghai, y el Times Higher Education Supplement (THES) de Reino Unido. Los sistemas de ranking regionales son aquellos con los que se miden las universidades de una región geográfica y son comparadas unas con otras. Un ejemplo de este ranking universitario regional, es el, es el Ranking de Instituciones de Investigación Iberoamericana Ri3. Los sistemas de ranking nacionales son aquellos con los que se miden las universidades de un país y son comparadas unas con otras. Un ejemplo de este ranking universitario, es el creado por el US News and World Report, en 1981, en el cual se comparan las instituciones de un mismo país y se divide el listado definitivo, de acuerdo con ciertas características institucionales y sólo se comparan instituciones de características similares. Finalmente, los ranking subinstitucionales comparan determinadas unidades universitarias con otras unidades que tienen características similares de otras instituciones. Por lo general, sólo abarcan instituciones nacionales y se refieren a ciertas áreas de conocimiento como artes, ciencias naturales, humanidades, entre otros. Un ejemplo de este tipo de ranking es CHE University Ranking. 9 Dimensiones y categorías asociadas a las variables e indicadores. Las cuales se detallen dentro del texto.

23 22 Tabla 3. Perfil del Ranking QS Top Universities 1. Año de Aparición País de Origen Inglaterra 3. Entidad que emite el ranking 4. Cobertura que tiene el ranking QS Top Universities QS Quacquarelli Symonds Ltd. Mundial 5. Tamaño de la Muestra instituciones 6. Periodicidad de emisión Anual 7. Número de instituciones publicadas Página Web university-rankings/world-university-rankings/home 9. Procedencia del ranking Centro de Investigación 10. Tipo de datos utilizados Mixtos 11. Fuente de datos Primarias 12. Instrumentos utilizados Estadísticas, Encuestas y Bibliometría 13. Dimensión y categorias evaluadas 14. Variables / Indicadores considerados dentro de la evaluación 15. Algunas observaciones generales sobre el ranking FORMACIÓN E INVESTIGACIÓN Número de Estudiantes de tiempo completo de la institución Número de docentes extranjeros en la institución Número de documentos académicos publicados en Scopus durante los últimos 5 años Percepción de los estudiantes sobre la institución Número de Estudiantes extranjeros en la institución Percepción de los empleadores sobre la calidad de los graduados de universidad Percepción de los docentes sobre la institución Se elaboran clasificaciones ordenadas en cinco áreas de conocimiento claves: Arte & Humanidades, Ingeniería & IT, Ciencias de la Vida & Biomedicina, Ciencias Naturales, Ciencias Sociales. Los resultados se obtienen mediante la aplicación de encuestas aplicadas a los suscriptores de las bases de datos de World Scientific y de International Book Information Services, las encuestas son aplicadas a estudiantes, docentes y empresarios.

24 23 Luego de caracterizar cada ranking se procede a identificar las variables 10 o los indicadores 11 que son considerados dentro de la medición. Una vez identificadas las variables e indicadores se realiza una clasificación de acuerdo con tres tipos de dimensiones: una relacionada con las categorías generales que abordan estas variables o indicadores, una siguiente relacionada con las funciones misionales 12 de las IES; y, una final relacionada con las categorías de capital intelectual Así, una variable es un concepto de un objeto de estudio que puede asumir diferentes valores de los establecidos en un conjunto (Diccionario Espasa, 1997; 826), es decir una variable determina un aspecto que desea medirse de un objeto de estudio y para conseguirlo se establece un conjunto de indicadores definidos que permiten asignarle a la variable un determinado valor. (Sanchéz Torres, 2005). 11 Un indicador está definido como una característica que es observable y claramente identificable de una variable, de tal manera que la selección del indicador adecuado a cada variable dependerá de un sin número de circunstancias conceptuales, económicas y culturales. En suma, como definen (Martínez & Albornoz, 1998) los indicadores representan una medición agregada y compleja que permite describir o evaluar un fenómeno, su naturaleza, estado y evolución. 12 Para este caso, según (Aziz, 2006) y (Balán, 2008) entre los criterios que definen una institución como dedicada a la investigación, es la importancia relativa que se otorga a la generación de nuevo conocimiento. Adicionalmente a este criterio, se establecen otras características tales como: i) hacer énfasis en la formación doctoral en estudiantes y profesores; ii) tener un nivel significativo de inversión en investigación, basado en la capacidad para movilizar recursos financieros externos; iii) contar con una extensa red de grupos de investigación o investigadores de alta calidad como generadores de nuevo conocimiento que hacen parte de equipos interdisciplinarios, con socios internacionales que buscan resolver problemas del mundo real a través de la integración, en lo posible: Universidad - Estado Empresa; iv) Alta producción científica, medida en términos de artículos en revistas internacionales indexadas. Además de las funciones de formación e Investigación, varios autores como (Clark, 1998) y (Etzkowitz, Webster, Gebhardt, & Terra, 2000) han puesto de manifiesto la necesidad de la incorporación y consideración de una tercera misión en las instituciones, en donde la universidad debe involucrarse más en los procesos sociales, económicos y culturales de su entorno. En suma la tercera misión se concibe como la actividad emprendedora de la Universidad, desde la visión de ésta, como una institución para la transferencia de I+D o del conocimiento tecno científico. (Bueno Campos & Casani Fernandez de Navarrete, 2007). 13 Las capacidades se entienden como lo que se sabe hacer, que incluye la capacidad personal, las organizativas y las tecnológicas y estructurales, que confieren valor a las actividades de la organización (Bueno, 2007). El modelo para la medición de las capacidades de las Instituciones bajo el enfoque de Capital intelectual propuesto por la Universidad Nacional de Colombia se encuentra integrado por tres conceptos (Universidad Nacional de Colombia, y otros, 2009), los cuales corresponden a: i) Capital Humano el cual está integrado por las habilidades, experiencias, formación, los conocimientos, habilidades, valores y actitudes de las personas que hacen parte de la Institución (Roos, Roos, Edyinsson, & Dragonetti, 1997), (Sveiby, 2001), (Jaramillo & Forero, 2001), (MERITUM, 2002); ii) Capital Relacional, que corresponde al conjunto de relaciones externas que establece la institución con su entorno. (Roos, Roos, Edyinsson, & Dragonetti, 1997), (MERITUM, 2002) (Euroforum, 1998) (Sánchez, 2000);y, iii) Capital Estructural el cual está relacionado con la estructura organizacional formal e informal, los métodos y procedimientos empleados, el software especializado, las bases de datos, los sistemas de información, la investigación y desarrollo de productos, así como el sistema de gestión y de liderazgo de la institución. En general, comprende la cultura del trabajo y todo aquello que contribuye a que el capital humano se sienta motivado y en constante creatividad y aporte. (Edvisson, 1997) (CIC, 2003) (MERITUM, 2002)

25 24 En cuanto a la primera dimensión que abarca las categorías preliminares en las que se pueden clasificar las variables e indicadores se definen doce, a saber: 1. Estadísticas de docentes 2. Estadísticas de estudiantes 3. Gestión académica 4. Información de egresados 5. Infraestructura de las instituciones 6. Internacionalización 7. Percepción de la comunidad académica 8. Programas curriculares 9. Publicaciones 10. Reconocimientos 11. Relación con el entorno 12. Otro En relación con la siguiente dimensión relacionada con valorar las funciones misionales de la Universidad, estas corresponden a Formación, Investigación y Tercera misión, y se pretende establecer en qué proporción se evalúan cada una de ellas en cada ranking, con el fin de realizar, si es posible, comparaciones entre ellos. Así mismo, se contempló la clasificación de las variables e indicadores según las categorías del Capital Intelectual en la medida que este concepto permite establecer el grado de desarrollo de las capacidades para llevar a cabo una actividad, por lo anterior valorar estas funciones permite establecer qué tanto evalúan los ranking estas capacidades Analizar los resultados Para la observación y registro de los criterios de los ranking, se utilizó una herramienta software 14, en la cual se ingresaron los datos, y se utilizó como apoyo la herramienta de Excel, para obtener las respectivas gráficas. 3.2 Análisis de los resultados de la Caracterización de los ranking revisados De acuerdo con la metodología definida para la caracterización, a continuación, se presentan los resultados obtenidos. 14 Sistema para la Administración de Indicadores de Medición de los Ámbitos de la Sociedad de la Información SAIM-SI, desarrollada por González M; Galvis E y Sánchez-Torres, JM

26 Evolución en el tiempo Como ya se mencionó los ranking universitarios se han incrementado de una manera notable durante los últimos 15 años, así se observan ranking desde el año de 1998 cuando surgió el CHE University Ranking y hasta la fecha sigue apareciendo nuevos ranking. (Ver Gráfico 1). Es notable el año 2004 en el que se presentan cuatro ranking, dos de los cuales son nombrados con frecuencia en medios de comunicación: Webometrics y el Times Higher Education. Gráfico 1. Evolución en el tiempo de los ranking Fuente: Recopilación a partir de los ranking analizados Cobertura, origen geográfico y procedencia En cuanto a la cobertura, en el Gráfico 2 se evidencia que 11 de los ranking analizados tienen una cobertura mundial, es decir evalúan un gran número de IES en diferentes países del mundo, bajo criterios pre establecidos. Los ranking con una cobertura nacional son los que siguen en importancia y, son éstos los que han presentado una tendencia creciente como resultado del interés de los diferentes estamentos en los países de establecer parámetros de comparación.

27 26 Gráfico 2. Cobertura de los ranking Cobertura de los ranking Subinstitucional, 1 Regional, 3 Mundial, 9 Nacional, 8 Fuente: Recopilación a partir de los ranking analizados En cuanto a la agrupación de la región en la cual son publicados los ranking, se observa en el Gráfico 3 que la mayoría -que equivalen al 63%- son emitidos por países europeos como España, Francia, Alemania, Suiza, Reino Unido, entre otros. Gráfico 3. Ranking por Región Fuente: Elaboración propia a partir de los ranking analizados

28 27 En el Gráfico 4, se relacionan las entidades que realizan la publicación de los resultados de los ranking, siendo los Centros de investigación, los que en su mayoría realizan esta labor; algunos de estos son Scimago, CSIC, Centro de Estudios Científicos y Tecnológicos (CWTS), entre otros. De igual forma, 7 de los ranking estudiados, son divulgados por medios de comunicación (como publicaciones especializadas o revistas) que elaboran el ranking y se encargan de realizar la respectiva divulgación. En el caso de las instituciones estatales que se encargan de emitir y publicar los respectivos resultados estos corresponden a los ranking emitidos por Colombia, en donde el Ministerio de Educación Nacional y el Consejo Nacional de Acreditación, realizan esta labor. Gráfico 4. Procedencia de los ranking en cuanto a la dependencia que publica sus resultados Procedencia de los ranking Instituciones Estatales, 2 IES, 2 Medios de Comunicación, 7 Centros de Investigación, 10 Fuente: Elaboración propia a partir de los ranking analizados El detalle de las entidades que emiten cada uno de los ranking estudiados se puede observar en la Tabla 4, relacionada con la procedencia de la publicación.

29 28 Tabla 4. Procedencia de la publicación de los ranking RANKING IES CENTROS DE INVESTIGACIÒN INSTITUCIONES ESTATALES MEDIO DE COMUNICACIÓN Academic Ranking of World Universities X Annual University Ranking X CHE University Ranking X CNA X Eduroute University Ranking (Edu) X Global MBA Ranking X Hochschulranking X Humboldt Ranking X Professional Ranking of World Universities (Mines de París) X QS Top Universities X Ranking de Instituciones de Investigación Iberoamericanas. -Ri3 Ranking de la Universidad de Leiden Ranking Mundial de Universidades en la Web (Webometrics) X X X Ranking Swissup X Ranking Universidades Chilenas X SIR Scimago X SUE X The Sunday Times University League Table Times Higher Education (THE) X X U- Sapiens X U-Multirank X Fuente: Elaboración propia a partir de los ranking analizados

30 29 Al realizar un análisis entre la cobertura y la procedencia de los ranking, encontramos que de los nueve ranking que tienen cobertura mundial, cuatro de ellos son generados por centros de investigación y tres por medios de comunicación. En el caso de los ranking regionales, estos únicamente tienen como procedencia los Centros de Investigación. Por su parte, para los ranking nacionales se observa una distribución equitativa como quiera que de los ocho ranking, tres provienen de Centros de Investigación, tres de Medios de Comunicación y dos de entes gubernamentales Periodicidad e instrumentos en el tiempo En cuanto a la periodicidad con la cual son elaborados los ranking, como se observa en el Grafico 5, 18 de ellos son emitidos anualmente, únicamente el ranking SwissUp (Suiza) es emitido cada 3 años. Esta característica es de notable importancia, y coincidimos con lo señalado por parte de ellos como quiera que la entidad que emite este último ranking considera que de un año a otro una IES no tiene cambios significativos que permitan hacer una evaluación o comparativo en las variables o indicadores considerados. Gráfico 5. Periodicidad con la cual son emitidos los ranking Periodicidad de emisión de los ranking Trianual 1 Semestral 2 Anual Fuente: Elaboración propia a partir de los ranking analizados

31 30 En el Gráfico 6 se relacionan los instrumentos empleados para la recolección de los datos, en donde 16 de los ranking analizados utilizan estadísticas, las cuales corresponden en su mayoría a información suministrada por terceros independientes, como son los organismos gubernamentales que recopilan y publican información sobre las instituciones en su jurisdicción. La ventaja de este instrumento es que permite comparar las instituciones de forma objetiva. Otro de los instrumentos utilizados son las encuestas, que corresponden a la percepción u opinión o experiencias de diversos interesados para obtener datos comparables sobre distintas instituciones en cuanto a la calidad de la educación. (Usher & Savino, 2007) Gráfico 6. Instrumentos utilizados para realizar la medición en los ranking Instrumentos utilizados Cibermetria 2 Encuestas 7 Bibliometria 11 Estadísticas Fuente: Elaboración propia a partir de los ranking analizados Otros de los instrumentos que son usados por los ranking es la bibliometría 15 y la cibermetría 16, los cuales surgieron ante la necesidad de dar soporte electrónico a la 15 Bibliometría consiste en la observación y tratamiento matemático-estadístico de los datos bibliográficos incluidos en las publicaciones científicas con el objetivo de calcular las características y el comportamiento de la ciencia. Los indicadores que se establecen en los estudios permiten valorar la cantidad, estabilidad y visibilidad internacional de los grupos de investigación, establecer, sobre la base de dónde y qué se publica, los patrones de Calidad de las publicaciones de los autores y el número de veces que son citados. 16 Cibermetría es una disciplina emergente que a partir de las técnicas y el modelo bibliométrico, pretende extender la aplicación de los métodos cuantitativos a la descripción de los procesos de comunicación

32 31 evaluación de las instituciones, a través de la página web y que son una aplicación de los métodos cuantitativos a la descripción de los procesos de comunicación científica en Internet (Aguillo & Gradino, 2006). En el caso del uso de la Cibermetría esta técnica es utilizada por tan solo dos ranking, Eduroute University Ranking y Webometrics, dado que estos ranking tienen como objetivo la aplicación de los métodos cuantitativos a los procesos de comunicación científica a través de Internet, a la determinación del volumen y a la tipología de los contenidos académicos en las páginas web Variables e indicadores usados en los ranking En los 21 ranking analizados se identificaron en total 191 indicadores y 55 variables para un total de 246, los cuales se clasifican de acuerdo con 12 categorías. Algunos de los indicadores encontrados en las diferentes categorías fueron: 1. Estadísticas de docentes: cantidad de docentes de tiempo completo de la institución, ingresos del personal docente, etc. 2. Estadísticas de estudiantes: número de estudiantes en las instituciones, tasas de deserción y de retención en las instituciones, otros. 3. Gestión académica: Puntajes Pruebas de Selección Universitaria (PSU): De acuerdo con el porcentaje de alumnos en distintos tramos, Porcentaje del presupuesto destinado para Servicios al Estudiante, recursos financieros que recibe la institución. 4. Información de egresados: Actividades realizadas por la oficina desarrollo profesional, Graduados vinculados en el mercado laboral, Graduados de pregrado y postgrado. 5. Infraestructura de las instituciones: metros construidos en los diferentes espacios de la instituciones como aulas, salas TIC, laboratorios, talleres, etc. 6. Internacionalización: Movilidad internacional de docentes y estudiantes, Convenios internacionales, entre otros. 7. Percepción de la comunidad académica: percepción de los estudiantes y docentes sobre temas académicos y administrativos de la institución. 8. Programas curriculares: Número de maestrías y doctorados activos y dictados desde la ciudad de la IES, Matrícula de programas con acreditación de alta científica en Internet, a la determinación del volumen y de la tipología de los contenidos académicos en la Web, y a tratar de desentrañar las interrelaciones sociales y el consumo de información por parte de los usuarios.

33 32 calidad, programas de pregrado y postgrado. 9. Publicaciones (papers publicados en las diferentes bases de datos, número de revistas indexadas, artículos académicos publicados en la página web, etc) 10. Reconocimientos premios nobel de miembros de la comunidad académica, etc. 11. Relación con el entorno: Estudios que demuestren la necesidad social del programa en la modalidad en que se ofrece, Percepción de los empleadores sobre la calidad de los graduados de universidad, realización de Spin-offs, entre otros. 12. Otro: Diversidad social según el colegio donde estudiaron sus alumnos, Lugar de la mujer en la universidad (número de profesoras, estudiantes y miembros del Consejo Consultivo). Un análisis detallado de las categorías como el que se señala en la Tabla 5 destaca que la categoría de publicaciones cuenta con 59 variables e indicadores; le sigue las categorías de gestión académica y reconocimientos con 30 variables e indicadores y la categoría de percepción con 20 variables e indicadores. Sin perjuicio de lo anterior y al analizar la composición de cada categoría en términos de variables e indicadores se observa que la categoría de publicaciones mantiene el mayor número de indicadores con 55, le siguen los reconocimientos con 29 indicadores y la percepción con 17 indicadores. Lo cual es consecuente con el poco número de variables con que se mide cada una de ellas, en la medida que un menor número de variables señala el consenso existente para establecer qué se mide y cómo se mide. Por lo mismo, es curioso, en consecuencia, observar cómo la categoría de gestión administrativa es la que mayor número de variables posee (18) y le sigue la categoría de relación con el entorno (9).

34 33 Tabla 5. Categorías definidas en el análisis de los ranking Categorías Indicadores Variables Total Publicaciones Gestión académica Reconocimientos Percepción comunidad académica Relación con el entorno Estadísticas de estudiantes Infraestructura Internacionalización Información de Egresados Estadísticas de Docentes Programas curriculares Otro Total general Fuente: Análisis de los ranking Con respecto a la distribución de las mencionadas categorías se observa en el Gráfico 7, que 17 ranking contemplan variables e indicadores relacionados con publicaciones, 10 ranking contemplan variables e indicadores relacionados con la categoría de reconocimientos y 9 ranking contemplan variables e indicadores relacionados con la categoría de percepción de la comunidad académica.

35 34 Gráfico 7. Número de ranking según categoría general que miden Programas curriculares Otro Relación con el entorno Infraestructura Ges ón académica Estadís cas de Docentes Internacionalización Información de Egresados Estadís cas de estudiantes Percepción Comunidad Académica Reconocimientos Publicaciones Fuente: Análisis de los ranking El Gráfico 8 presenta la composición de cada ranking según las categorías definidas. Así, paradójicamente, el ranking que mayor número de categorías contempla es el ranking nacional utilizado por el SUE con 10 categorías; le siguen el U-multirank y el Ranking Revista América economía con 9 categorías cada uno.

36 35 Gráfico 8. Categorías generales medibles en los ranking U-Rank The Sunday Times University League Table SIR SCImago Ranking SwissUp Webometrics Ranking de ins tuciones de inves gación iberoamericanas. - RI3 Professional Ranking of World Universi es (Mines Paris) HochschulRanking EduRoute University Ranking (EDU) CHE University Ranking Academic Ranking of World Universi es 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Estadís cas de Docentes Estadís cas de estudiantes Ges ón académica Información de Egresados Infraestructura Internacionalización Otro Percepción Comunidad Académica Programas curriculares Publicaciones Reconocimientos Relación con el entorno Fuente: Análisis de los ranking

37 36 Al agrupar estas categorías conforme las tres misiones de las IES, el primer hallazgo notorio como, se observa en el Gráfico 9 y el Gráfico 10 es que la función de investigación es aquella que se evalúa con mayor presencia como quiera que cuenta con número de variables e indicadores bastante representativo (44%) con respecto al número de variables e indicadores utilizados en las funciones de formación (39%) y de tercera misión (17%). Gráfico 9. Distribución de los Ranking por Función Misional de las IES Distribución de Ranking por Función Misional Tercera Misión, 41 Formación, 97 Investigación, 108 Fuente: Elaboración propia a partir del análisis de los ranking Así mismo, en cuanto a la distribución de variables e indicadores en cada una de la dimensiones se observa que para las misiones de formación y tercera misión cuentan con un porcentaje del 37% y del 35% de variables, lo que puede indicar, especialmente, que para la tercera misión aún hay aspectos de la misión de los cuales no hay claridad, ni conceso general sobre qué criterios se pueden utilizar para medirlas de manera universal. (U-Multirank, 2010). Mientras que para la función de investigación el porcentaje de uso de variables es solo del 6%, ver Gráfico 10.

38 37 Gráfico 10. Distribución de variables e indicadores 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% Distribución de Variables e Indicadores 37% 63% Formación Inves gación Tercera Misión Total No. variables No. indicadores % 94% 35% 65% 23% 77% Fuente: Elaboración propia a partir del análisis de los ranking En la Tabla 6 se observan los indicadores que son utilizados en más de dos ranking para medir la función de investigación, entre los que se destaca el número de publicaciones en diferentes bases de datos internacionales. Igualmente llaman la atención la inclusión de mediciones relacionadas con la actividad de las páginas web.

39 38 Tabla 6. Indicadores utilizados en más de dos ranking en la función de investigación Indicadores Número de ranking que lo usan Número de artículos publicados en Science. 9 Número de páginas recuperadas desde motores de búsqueda (Google, Yahoo, Live Search, Exalead) Frecuencia de citación de los investigadores por sus iguales en revistas científicas. 6 5 Número de artículos publicados en Nature 5 Número de artículos publicados en la base de Datos ISI Inversión de dinero en investigación 2 Movilidad internacional de docentes 2 4 Número de académicos extranjeros participantes en la realización de estudios. Número de documentos académicos publicados en Scopus durante los últimos 5 años Número de estudiantes extranjeros en la institución Número de Premios Médaille Fields de investigadores Número de Premios Nobel de investigadores. 2 Productividad Scielo 2 Tasa de publicación en el 25% de las "mejores revistas", según el indicador SJR desarrollado por SCImago Research Group. 2 Fuente: Elaboración propia a partir del análisis de los ranking Como se puede observar en la Tabla 7 para el caso de la misión de formación se destaca el uso de la medición de la percepción de los diferentes estamentos de la Comunidad Académica: docentes, estudiantes.