Estudio acerca de la Validez Predictiva del Ranking de Notas 1
Estudio acerca de la Validez Predictiva del Ranking de Notas El Consejo de Rectores de las Universidades Chilenas ha mandatado al Sistema Único de Admisión a realizar estudios que evalúen los factores de selección utilizados en su sistema de admisión. En particular, con respecto al Ranking de Notas, el presente estudio busca medir la calidad de este factor según su predictibilidad en el rendimiento académico de los estudiantes. Para ello, se considera el desempeño de estudiantes de primer año de las universidades participantes en el Sistema Único de Admisión durante el año 2015. Consejo de Rectores de las Universidades Chilenas, 2017 Alameda 1371, piso cuatro, Santiago de Chile www.consejoderectores.cl Comité Editorial: Comisión Ranking de Notas (Sistema Único de Admisión, CRUCH), integrada por: Guillermo Marshall (Pontificia Universidad Católica de Chile); Jaime San Martín (Universidad de Chile); Francisco Gil (Universidad de Santiago de Chile); Sebastián Donoso (Universidad de Talca); Roberto Felipe Schurch (Ministerio de Educación); Nicolás Grau (Universidad de Chile). Coordinación y Edición General: Tatiana Diener Cabezas, Periodista Diseño: Paulina Fuenzalida Vera Fotografías: https://pixabay.com Sistema Único de Admisión Consejo de Rectores de las Universidades Chilenas 1 a edición, marzo 2017 200 ejemplares ISBN: 978-956-7581-10-8 Impreso en: Editora e Imprenta Maval SPA Santiago, Chile Prohibida la reproducción total o parcial de este libro por cualquier medio impreso, electrónico y/o digital, sin la debida autorización escrita del Comité Editorial. Área de Estudios Sistema Único de Admisión sua@consejoderectores.cl 3
Agradecimientos El Consejo de Rectores de las Universidades Chilenas (CRUCH) agradece el trabajo de las 33 universidades que participaron de este estudio, autorizando que los datos de sus respectivas instituciones fueran utilizados. De forma especial se agradece a los encargados de admisión y a las distintas unidades académicas y administrativas, quienes fueron responsables de la construcción de las bases de datos de rendimiento académico a partir de las cuales se efectuó el presente estudio. También es importante reconocer la labor desarrollada por los profesionales del Área de Estudios del Sistema Único de Admisión del CRUCH, a cargo de la ingeniera Valeria Signorini; un agradecimiento especial para Matías Grau Veloso, quien lideró la realización de este trabajo. Universidades participantes: UCH PUC UDEC PUCV UTFSM USACH UACH UCN UV UANT ULS UBB UFRO UMAG UTAL Universidad de Chile Pontificia Universidad Católica de Chile Universidad de Concepción Pontificia Universidad Católica de Valparaíso Universidad Técnica Federico Santa María Universidad de Santiago de Chile Universidad Austral de Chile Universidad Católica del Norte Universidad de Valparaíso Universidad de Antofagasta Universidad de La Serena Universidad del Bío-Bío Universidad de La Frontera Universidad de Magallanes Universidad de Talca UDA UTA UNAP UMCE UPLA UTEM ULA UCM UCSC UCT UDP UMAYOR UFT UNAB UAI UANDES UDD UAH Universidad de Atacama Universidad de Tarapacá Universidad Arturo Prat Universidad Metropolitana de Ciencias de La Educación Universidad de Playa Ancha Universidad Tecnológica Metropolitana Universidad de Los Lagos Universidad Católica del Maule Universidad Católica de La Santísima Concepción Universidad Católica de Temuco Universidad Diego Portales Universidad Mayor Universidad Finis Terrae Universidad Andrés Bello Universidad Adolfo Ibáñez Universidad de Los Andes Universidad del Desarrollo Universidad Alberto Hurtado 4 5
Índice 1. INTRODUCCIÓN 9 2. ANTECEDENTES 13 3. DATOS 19 3.1 Caracterización de los participantes en el estudio 20 3.2 Medidas de rendimiento 22 3.3 Factores de selección 23 4. ASPECTOS METODOLÓGICOS 27 4.1 Niveles de agregación 28 4.2 Correlaciones 30 5. RESULTADOS 37 5.1 Correlaciones 39 5.1.1 Sobre la prueba electiva 44 5.2 Factores de selección en su conjunto: aporte del Ranking 5.2.1 Comparación de modelos lineales 46 5.2.2 Comparación gráfica 2012-2013 51 6. CONCLUSIONES 57 BIBLIOGRAFÍA 62 46 4.3 Modelos lineales 32 6 7
1 Introducción 8 9
El Consejo de Rectores de las Universidades Chilenas (CRUCH) acordó crear, en junio de 2013, un organismo que contribuyera al mejoramiento continuo y fortalecimiento del sistema de admisión universitaria. Así surge el Sistema Único de Admisión (SUA), que tiene entre sus funciones generar estudios que permitan dotar de elementos técnicos la discusión sobre admisión a la Educación Superior. El CRUCH, en su Sesión Extraordinaria Nº1 del año 2012, acordó incorporar un nuevo factor de selección a los ya existentes -puntaje Notas de Enseñanza Media, NEM; y los resultados de las Pruebas de Selección Universitaria, PSU-, denominado Ranking de Notas1 1. Se desarrolló como una herramienta para medir aspectos que el resto de los factores de selección no observaba, independiente de la procedencia del estudiante, con foco en el desempeño académico relativo a sus pares. El Ranking de Notas busca cumplir con un doble propósito: ayudar a seleccionar a los mejores estudiantes para la educación superior y mejorar la equidad en el acceso al sistema universitario. mentando la literatura nacional e internacional referente a estudios de validez predictiva y a otros aspectos del Ranking de Notas. En el capítulo 3 (Datos) se presenta la estadística descriptiva referente a los datos con los que se realizó el presente estudio. Luego, en el capítulo 4 (Aspectos metodológicos) se describe la metodología utilizada; en el capítulo 5 (Resultados) se muestran y comentan los resultados obtenidos al aplicar las metodologías. Finalmente, en el capítulo de 6 (Conclusiones) se describen las conclusiones de los resultados obtenidos, se discuten las limitaciones y se proponen futuras investigaciones. Con el objeto de contar con una evaluación sobre el nuevo factor de selección Ranking de Notas, el CRUCH ha encargado al SUA realizar un estudio respecto al Ranking de Notas, específicamente, medir la calidad de este factor según su predictibilidad en el rendimiento académico de los estudiantes. Para ello, se considera el desempeño de estudiantes de primer año de las 33 universidades que participan en el Sistema Único de Admisión. El objetivo del presente informe es estudiar y determinar la capacidad predictiva del Ranking de Notas en el rendimiento académico de los estudiantes del Sistema Único de Admisión, esto, sin analizar el aporte de este factor en la equidad del sistema de admisión. Para esto se construyeron medidas de rendimiento para las universidades pertenecientes al SUA y se relacionaron estas medidas con el Ranking de Notas y el resto de los factores de selección. Este informe se estructura de la siguiente manera: en el capítulo 2 (Antecedentes) se dan a conocer los aspectos importantes a tener en cuenta en estudios sobre factores de selección, co- 1 Acuerdo Nº 24/2012 10 11
2 Antecedentes 12 13
Tomando en cuenta que el principal propósito de los factores de selección es ordenar a los postulantes que aspiran a ingresar a las diversas carreras ofrecidas por las universidades que participan en el Sistema Único de Admisión, es que se hace necesario estudiar si los puntajes con los que se construye este ordenamiento entregan información relevante para las universidades y, por tanto, seleccionar cuáles estudiantes deben ingresar y cuáles no. En consecuencia, la información que entregan los factores debiera tener relación con el posterior desempeño del o la estudiante en la universidad. Para determinar si los factores de selección permiten predecir el éxito de los estudiantes en la educación universitaria, es que, tanto nacional como internacionalmente, se realizan estudios de validez predictiva que permitan relacionar el éxito académico de los estudiantes con los factores de selección. Existe una vasta literatura internacional sobre la predictibilidad de las pruebas estandarizadas y puntajes asociados al rendimiento escolar con el rendimiento académico universitario. Por ejemplo, Camara and Echternacht (2000) revisaron diversos estudios que analizan la predictibilidad del SAT 1 en el éxito académico en distintas instituciones de educación superior de Estados Unidos (college), mostrando que las notas del colegio, en conjunto con el SAT, son sustancialmente buenos predictores. Los resultados encontrados son robustos, independiente de las medidas de rendimiento utilizadas, aunque cuando se mide la constancia de los estudiantes, la significancia de estos factores desciende, dado que la relación con la constancia dependería, también, de factores no académicos. Las relaciones lineales, metodología utilizada recurrentemente, permiten cuantificar el aporte de cada uno de los factores de selección en la predictibilidad. Por ejemplo, el trabajo de Geiser and Studley (2002) analiza la predictibilidad de las pruebas SAT I y II en los resultados académicos de los estudiantes de la Universidad de California, tomando como medida de comparación el ajuste de los modelos y, a su vez, cuánto están correlacionadas estas pruebas con medidas socioeconómicas. 1 El SAT (Scholastic Assessment Test) es un examen estandarizado que se usa en admisiones a universidades en los Estados Unidos. También existen críticas a las metodologías habitualmente utilizadas en estudios de validez predictiva. Por ejemplo, el paper de Rothstein (2004) comenta los problemas asociados a que, en la validación del SAT como instrumento de predicción, se asuma que exista muestreo aleatorio, ya que parte del poder predictivo proviene de ese supuesto. Sobre el sistema de admisión chileno destacan dos trabajos que fueron encargados por el CRUCH, los cuales analizaron la validez predictiva y validez diferencial de las Pruebas PSU y el puntaje NEM. El primer estudio, Manzi et al. (2006), tuvo por objetivo analizar la validez predictiva en un contexto de transición entre la PAA y la PSU. El segundo estudio de validez diferencial de Manzi et al. (2010) analizó el sesgo sociodemografico de los factores de selección. Se utilizan resultados de ambos estudios a fin de realizar comparaciones con los resultados obtenidos en el presente trabajo. Es importante destacar que el Informe Pearson (2013) 2 tiene un capítulo de predictibilidad de los factores de selección. En éste se utilizan metodologías similares a las utilizadas en el presente estudio para analizar la predictibilidad de los distintos factores de selección. Además, en este capítulo se simula un Ranking de Notas que, si bien es diferente al que se utiliza en la actualidad, muestra que el Ranking aumenta su predictibilidad a medida que se avanza en la carrera y con una mayor significancia en la titulación. Otro trabajo en que se analiza el Ranking, y se le compara con el SAT y su poder predictivo en el rendimiento, es el de Cohn et al. (2004), donde se encuentran resultados significativos para el Ranking aunque de magnitud menor. En Chile, la discusión en el ámbito público sobre el Ranking de Notas tiene como idea central que los estudiantes con un buen rendimiento en sus contextos educativos rendirán en la educación superior aún mejor de lo que podrían predecir el resto de 2 En junio de 2011, el Consejo de Rectores y el Ministerio de Educación solicitaron una evaluación internacional la batería de PSU, la cual fue adjudicada vía licitación pública a la consultora internacional Pearson. El informe final fue entregado el 22 de enero del 2013. 14 15
sus factores de selección. El trabajo realizado por Contreras et al. (2009) observa el rendimiento de los estudiantes en su primer año y utiliza como variables explicativas las PSU, el puntaje NEM y una variable dicotómica relacionada con el Ranking. El principal resultado que se obtiene es que esta variable de habilidad relativa capturaría aspectos que el resto de los factores no evidencia. La medida de rendimiento que utilizan son las notas del primer año y la forma en que capturan el efecto Ranking es con una variable dicotómica que expresa si el estudiante es o no del 5% superior de rendimiento de su establecimiento de egreso. En el mismo sentido, el documento técnico del Comité Técnico Asesor (CTA) del CRUCH, Bravo et al. (2010), afi rma que la posición relativa de egreso importa, pero sin ocupar la variable Ranking como se calcula hoy. El Ranking de Notas, como se construye actualmente, se introdujo al Sistema Único de Admisión de manera reciente, por lo cual existe un debate en desarrollo sobre sus ventajas y desventajas. La discusión se sitúa en dos aspectos: primero sobre su impacto en la equidad del sistema y, segundo, sobre su calidad como predictor del rendimiento. Naturalmente, este trabajo pretende ayudar a dar respuesta al segundo aspecto del debate, sin someter a análisis temas relacionados con la equidad. 16 17
3 Datos 18 19
Los datos necesarios para la realización de este estudio provienen de dos fuentes: por un lado están las variable relacionadas con el rendimiento de los estudiantes y, por otro, las variables con las que se intentará explicar este rendimiento. La base de datos se construyó con información de los estudiantes pertenecientes a las 33 universidades que participan en el Sistema Único de Admisión (SUA) que ingresaron a primer año en las generaciones 2012 y 2013. Para ello, cada universidad reportó medidas de rendimiento de sus estudiantes, agregándose, luego, variables referentes a los factores de selección. 3.1 Caracterización de los participantes en el estudio Cabe puntualizar que la generación de estudiantes que ingresó a las universidades adcritas al SUA en el año 2013, es la primera en la cual se consideró el Ranking de Notas como factor de selección. Por tanto, para este trabajo se consideraron a los y las estudiantes que ingresaron por vía regular a alguna de las carreras de la oferta académica de los Procesos de Admisión 2012 y 2013. La vía regular es el tipo de ingreso que realizan aquellos(as) estudiantes que participan del proceso de postulación y selección que lleva a cabo el Departamento de Evaluación, Medición y Registro Educacional (DEMRE) 1 y que son seleccionados tanto en cupos regulares como en cupos supernumerarios BEA 2. En la Tabla 3.1 se presenta el número de carreras y de estudiantes por universidad considerado para el presente estudio. Estos son los casos que al menos cumplen los criterios necesarios para realizar los análisis de correlaciones, es decir, que la carrera cuente con al menos 10 datos válidos. 1 Organismo encargado de administrar el Proceso de Admisión por mandato del CRUCH 2 Los cupos supernumerarios constituyen un sistema especial de ingreso el cual crea cupos adicionales para quienes se adjudiquen la Beca de Excelencia Académica (BEA). Tabla 3.1: Distribución de carreras y estudiantes por universidad Admisión 2012 Admisión 2013 Universidad Carreras Estudiantes Carreras Estudiantes UCH 49 4.729 48 4.447 PUC 39 4.247 43 4.121 UDEC 84 4.794 86 4.696 PUCV 50 2.848 48 2.763 UTFSM 36 3.409 38 2.982 USACH 63 3.507 63 3.052 UACH 46 2.309 49 2.513 UCN 34 1.676 33 1.693 UV 51 2.934 51 2.559 UANT 27 1.055 25 1.039 ULS 33 1.422 34 1.429 UBB 37 2.049 40 2.052 UFRO 39 1.792 36 1.667 UMAG 11 325 11 283 UTAL 25 1.759 28 2.073 UDA 14 500 13 580 UTA 33 1.197 35 1.126 UNAP 20 590 16 426 UMCE 19 929 22 970 UPLA 38 1.351 36 1.226 UTEM 27 1.490 28 1.440 ULA 16 435 18 523 UCM 23 1.096 24 1.122 UCSC 26 1.530 23 1.241 UCT 34 1.331 41 1.577 UDP 26 2.307 28 2.397 UMAYOR 52 3.041 50 2.927 UFT 15 696 17 767 UNAB 102 6.829 115 7.637 UAI 10 1.693 11 1.556 UANDES 15 1.015 20 1.268 UDD 36 2.579 36 2.289 UAH 21 986 22 1.045 Total 1.151 68.450 1.188 67.486 20 21
3.2 Medidas de rendimiento Para cumplir los objetivos del presente estudio fue necesario cuantificar el rendimiento de los estudiantes considerados. Para ello, se solicitó a las universidades que reportaran diversos indicadores, a fin de describir de diferentes maneras el desempeño de los y las estudiantes. Estos indicadores fueron los siguientes: los relativos a los promedios de notas, al avance curricular en la carrera y a la situación académica. Los datos se solicitaron para el nivel anual y semestral. Los indicadores relacionados con el promedio de notas obtenidos por los estudiantes se diferenciaron en dos aspectos: si consideraban o no los ramos reprobados. Es decir, se solicitó un promedio de notas ponderado que incluyera la nota obtenida en ramos reprobados y un promedio que solo incluyera los ramos aprobados. En ambos casos, al ser promedios ponderados, se consideró que cada asignatura tenía una importancia en función de sus créditos o unidades docentes. La variable relacionada con el avance curricular consideró el número de créditos que el o la estudiante aprobó y se dividió por los que debió aprobar, según la malla curricular de la carrera. Dado que este indicador fue reportado por 30 de las 33 universidades, en esta ocasión no fue posible utilizarlo para el análisis. También se solicitaron indicadores referentes a la situación académica de los estudiantes al finalizar el año, por ejemplo, si el o la estudiante se encontraba en una situación académica regular o no. Esto, con el objetivo de elaborar indicadores de deserción. No obstante, cabe tener presente que los datos utilizados en este estudio responden al desempeño obtenido durante el primer año y no permiten observar la deserción en función de la información relativa al segundo año. De todas maneras es importante la construcción de este indicador, para contar con esta información cuando se encuentren disponibles los datos. Finalmente, los análisis que se presentan en el capítulo 5 (Resultados), tendrán relación solo con un indicador referente a promedios. En particular, con el promedio para ramos aprobados y reprobados para el primer año. Este indicador es el que cuenta con un número mayor de datos válidos, además de ser el indi- cador utilizado en trabajos anteriores respecto a predictibilidad de los factores de selección, por ejemplo, en Manzi et al. (2006) y Manzi et al. (2010). 3.3 Factores de selección Los factores de selección fueron las variables con las que se intentó explicar el rendimiento, utilizándose correlaciones y modelos lineales. Los factores de selección son tres: las PSU (Lenguaje; Matemática; Ciencias; e Historia, Geografía y Ciencias Sociales), Notas de Enseñanza Media (NEM) 3 y Ranking de Notas. La estadística descriptiva de los factores de selección se muestra en la Tabla 3.2 para los Procesos de Admisión 2012 y 2013. Tabla 3.2: Estadística descriptiva de los factores de selección Admisión 2013 Obs Media Desv. Min. Max. Ranking 67.486 627,4 114,9 249 850 NEM 67.486 602,5 93,2 249 826 PSUL 67.486 594,8 78,7 244 850 PSUM 67.486 600,0 77,4 246 850 PSUH 38.818 593,0 86,7 150 850 PSUC 49.032 578,1 87,3 217 850 Admisión 2012 Obs Media Desv. Min. Max. NEM 68.450 604,9 93,1 249 826 PSUL 68.450 598,5 78,2 218 850 PSUM 68.450 604,6 77,8 195 850 PSUH 40.049 598,1 89,3 196 850 PSUC 50.141 582,2 85,0 183 850 3 El promedio de notas de Enseñanza Media es transformado a un puntaje estándar mediante tablas de conversión, constituyendo así el puntaje NEM. 22 23
Utilizando los factores de selección se construyó otra variable: el Puntaje de Selección. Este es el puntaje con el que el o la estudiante quedó seleccionado en la respectiva carrera. Este valor se calculó ponderando los puntajes de cada factor de selección según los porcentajes asignados para cada carrera. Estos puntajes se incorporaron la recuperación de puntajes 4. En la Tabla 3.3 se presentan las correlaciones entre los factores de selección para los participantes del presente estudio en el Proceso de Admisión 2013. Existen dos aspectos a destacar, el más importante es la fuerte correlación entre el puntaje NEM y el puntaje Ranking, lo que permite adelantar que estos factores entregan información similar y, el otro aspecto, es que el puntaje Ranking presenta una menor correlación que el puntaje NEM con las pruebas de Lenguaje y Matemática. Tabla 3.3: Correlación de factores de selección Proceso Admisión 2013 NEM RANKING PSUL PSUM NEM 1.00 RANKING 0.97 1.00 PSUL 0.41 0.36 1.00 PSUM 0.46 0.41 0.57 1.00 4 Los puntajes obtenidos en la PSU son válidos por dos Procesos de Admisión. El sistema asigna automáticamente la batería PSU que más le convenga a cada estudiante para cada postulación 24 25
4 Aspectos metodológicos 26 27
Afin de relacionar el rendimiento académico de los estudiantes de las universidades adscritas al Sistema Único de Admisión (SUA) con los factores de selección, se utilizaron distintas metodologías, desde las más básicas hasta algunas de mayor complejidad. En cada una de las metodologías están presente todos los factores de selección, pero siempre con el foco en el aporte del Ranking de Notas. Dado el objetivo del presente estudio, es necesario entender que las medidas de rendimiento son construidas en condiciones educativas muy heterogéneas, tanto en exigencia como en énfasis de las áreas del conocimiento. Incluso, dentro de una misma universidad, ocurre que en una misma carrera, pero en distintas sedes, los estudiantes no son sometidos a los mismos niveles de exigencia. Para hacerse cargo de esta situación es que la unidad más básica que se toma en cuenta en las metodologías es la carrera, según el código con el cual se postula a la admisión universitaria (código DEMRE). Las metodologías del estudio se aplicaron para el Proceso de Admisión 2013, dado que este fue el primer año que se utilizó el puntaje Ranking como factor de selección. Para enriquecer el análisis, también se estudió cómo se comportaban los factores de selección un periodo antes (Proceso de Admisión 2012), cuando aún el Ranking no era parte del proceso, a fin de observar el aporte del Ranking al conjunto. Por ejemplo, se compararon las correlaciones de los puntajes ponderados en el Proceso de Admisión 2013 con los del Proceso de Admisión 2012. 4.1 Niveles de agregación Como se mencionó anteriormente, la unidad básica que se consideró en el presente trabajo fueron las carreras. Sin embargo, no es posible presentar los resultados a nivel de éstas, puesto que, dependiendo de la restricción de matrícula mínima, son más de mil carreras. Por esto, para los distintos análisis se agruparon las carreras según tres criterios: por universidad (ver Tabla 3.1), por área Cineunesco y por media de Puntaje de Selección. Para la agrupación según universidad se consideraron todas las carreras presentes en una universidad, lo que permite observar los resultados para cada una de las 33 universidades que participan en el SUA. El segundo criterio de agregación es el de la pertenencia de las carreras a las áreas Cineunesco. Esta clasificación permite observar los resultados para las distintas áreas del conocimiento y así evaluar cómo se comportan los factores de selección según el área del conocimiento. La distribución de carreras y estudiantes según esta agregación se presenta en la Tabla 4.1. Tabla 4.1: Distribución de carreras y estudiantes por área Cineunesco Admisión 2012 Admisión 2013 Área Cineunesco Carreras Estudiantes Carreras Estudiantes Administración y Comercio 96 7.604 102 7.530 Agropecuaria 32 2.189 32 2.028 Arte y Arquitectura 74 3.645 78 3.598 Ciencias Básicas 63 3.246 66 3.307 Ciencias Sociales 132 6.963 132 6.517 Derecho 35 3.749 35 3.762 Educación 200 7.822 190 7.065 Humanidades 26 917 25 894 Salud 191 13.218 207 13.362 Tecnología 302 19.097 321 19.423 Total general 1.151 68.450 1.188 67.486 El tercer criterio permite hacerse cargo de la heterogeneidad de las carreras según el puntaje de sus estudiantes. Para ello se clasificaron las carreras según la media del Puntaje de Selección de sus estudiantes y se decidió agrupar a los estudiantes en deciles, quedando diez niveles con distintos tramos de Puntaje de Selección. La distribución de carreras y estudiantes por deciles se presenta en la Tabla 4.2. Esta agregación apunta a juntar carre- 28 29
ras según la selectividad de éstas, entendiéndose que a mayor Puntaje de Selección las carreras son más selectivas. Tabla 4.2: Distribución de carreras y estudiantes por deciles Admisión 2012 Admisión 2013 10 cuantiles de puntaje ponderado Carreras Estudiantes Carreras Estudiantes Decil 1 [456-539] 164 6.002 193 6.363 Decil 2 [539-553] 128 6.189 149 6.643 Decil 3 [553-565] 117 6.455 129 6.757 Decil 4 [565-579] 128 6.829 135 6.812 Decil 5 [579-594] 117 6.487 130 6.798 Decil 6 [594-613] 103 6.887 112 6.919 Decil 7 [613-635] 101 7.041 106 6.963 Decil 8 [635-660] 96 7.611 100 6.891 Decil 9 [660-688] 62 6.747 69 6.621 Decil 10 [689-796] 63 6.680 65 6.719 Total general 1.079 66.928 1.188 67.486 4.2 Correlaciones Las correlaciones son una forma frecuente con que se comienzan los análisis para relacionar variables. Para el presente estudio se utilizó el coefi ciente de correlación de Pearson, el cual relaciona la medida de rendimiento -promedio ponderado de ramos aprobados y reprobados-, con los distintos factores de selección. Las correlaciones se hicieron a nivel de carrera, pero solo para carreras con más de diez estudiantes con datos válidos. El coefi ciente de correlación de Pearson asocia un valor de rango entre -1 y +1 a la relación lineal entre dos variables cuantitativas. Mientras más cercano sea el valor a los extremos (+1 o -1), representa una asociación lineal mayor y el signo de la correlación indica si la relación es negativa o positiva. En caso de tomar valores cercanos a 0, la correlación indica ausencia de relación lineal. En consecuencia, se obtuvo una correlación para cada factor de selección con el desempeño académico, lo que se hizo para cada carrera. Para presentar los resultados se agruparon las carreras según los criterios antes descritos, es decir, por universidad, área Cineunesco y media de Puntaje de Selección. Para promediar las correlaciones obtenidas se aplicó la metodología utilizada por Manzi et al. (2006) y Manzi et al. (2010) que consiste en lo siguiente: realizar la transformación Z de Fischer a las correlaciones, luego obtener promedios ponderado según nivel de agregación y, fi nalmente, realizar la transformación inversa. La transformación de Fischer se muestra en la ecuación 4.1 y la transformación inversa en la ecuación 4.2. (4.1) (4.2) También es posible utilizar correcciones estadísticas a las correlaciones obtenidas para hacerse cargo de los problemas de restricción de rango asociados. Esto surge al trabajar solo con la muestra de estudiantes presentes en las carreras y no con toda la muestra. Para esto, Manzi et al. (2010) utilizaron la metodología propuesta por Gulliksen and Wilks (1950), para la cual se requieren las correlaciones con las muestras restringidas, a las que se les aplica una corrección que toma en cuenta las desviaciones estándar de los factores de selección en la muestra completa. La corrección por restricción de rango se presenta en la ecuación 4.3. Donde: (4.3) r corr = Correlación corregida por restricción de rango r xy = Correlación original S X = Desviación estándar en población no restringida (muestra completa de los estudiantes que rinden la PSU) s x = Desviación estándar de puntajes en población restringida (al interior de cada una de las carreras) 30 31
Con las correlaciones corregidas se aplicaron los mismos procedimientos para agrupar los resultados desde el nivel de carrera, hasta los tres criterios ya descritos. Los resultados se muestran entre paréntesis, junto a los obtenidos en las correlaciones no corregidas. Entre los requisitos de selección para la admisión universitaria están las pruebas electivas. Cada carrera decide libremente si en sus requisitos solicita la prueba de Ciencias, prueba de Historia, Geografía y Ciencias Sociales o el mejor resultado que obtengan los estudiantes entre estas dos. Para observar de mejor manera la diferencia entre carreras con distintos requisitos en cuanto a la prueba electiva, es que cuando se agrupan los resultados de las correlaciones de éstas, se agrupan con los criterios anteriores y se distinguen según el requisito. El último análisis realizado con correlaciones es con los Puntajes de Selección. Es decir, a nivel de carrera, se relacionan los Puntajes de Selección de los estudiantes con su rendimiento. Para ese análisis se incluyó el Proceso de Admisión 2012. Así, se obtienen dos correlaciones para cada carrera, una para el 2012 y otra para el 2013. Con estos resultados se puede comparar el cambio en las correlaciones, recordando que para el Proceso de Admisión 2012 el puntaje Ranking no fue parte de los factores de selección. 4.3 Modelos lineales Para los modelos lineales, la medida de rendimiento fue el promedio de notas, dado que, si bien se solicitó el grado de avance de primer año a las universidades, un grupo importante de éstas no presentó este indicador, y las variables explicativas fueron los factores de selección. Para el análisis solo se consideraron carreras que tuvieran al menos 30 estudiantes con datos válidos, para así disminuir la imprecisión de los resultados obtenidos. La metodología de modelos lineales consiste en aplicar relaciones lineales simples para cada una de las carreras por separado. Para observar el aporte de los factores de selección se realizaron cuatro modelos por carrera: en el primer modelo solo está presente la PSU (4.4), en el segundo están presentes la PSU y el puntaje Ranking (4.5), en el tercero están presentes la PSU y el puntaje NEM (4.6) y en el último modelo están presentes todos los factores de selección (4.7). En este último modelo se incorporan los factores NEM y Ranking, pese a su alta correlación, ya que es el modelo que se utiliza para la selección real. Donde: (4.4) (4.5) (4.6) (4.7) PAA i = promedio de notas acumulado de primer año del alumno i NEM i = puntajes del alumno i en los respectivos factores de selección PAA i = puntajes del alumno i en la prueba k, con k: Lenguaje, Matemáticas, Ciencia o Historia, Geografía y Ciencias Sociales i = error estándar del modelo Para cada carrera se obtuvieron cuatro grupos de coefi cientes para los factores de selección y los R 2 ajustados para cada modelo. Se presentan los resultados de igual manera que las correlaciones, es decir, los promedios ponderados (por número de estudiantes) de los R 2 ajustados, según universidad, área Cineunesco o según media de Puntaje de Selección. Se presenta el R 2 ajustado de los modelos, dado que este estadístico indica cómo las variables independientes en su conjunto explican la varianza de la variable dependiente. En este sentido se puede observar cómo a mayor R 2 ajustado, las variables independientes presentes en los modelos, es decir, los factores de selección, explican de mejor manera la variación de los promedios. 32 33
Es importante mencionar que el estadístico R 2 no se hace cargo de la dirección del efecto, sino solo de la magnitud. Por ejemplo, un coeficiente asociado a un determinado factor de selección podría tener un signo negativo, lo que significa que está relacionada negativamente con el rendimiento. Sin embargo, al incluir dicho factor en los modelos, podría aumentar el R 2 obtenido. Es por esto que las conclusiones deben realizarse luego de observar los resultados de todas las metodologías, ponderando la información precisa que nos entrega cada una de éstas y entendiendo las limitaciones y alcances de sus resultados. 34 35
5 Resultados 36 37
Acontinuación se presentan los principales resultados obtenidos luego de aplicar la metodología expuesta en el capítulo anterior. Primero, se analizan los resultados de las correlaciones, agrupados según universidades, área Cineunesco y deciles de Puntaje de Selección. Luego, se analizan los modelos lineales y, por último, se comparan las correlaciones entre los Procesos de Admisión 2012 y 2013. Por otro lado, se comparan los resultados con estudios anteriores. Las correlaciones de los procesos 2003-2007 se obtienen de Manzi et al. (2010) y las de 2012 y 2013 son del presente estudio. Los resultados para 2012 y 2013 se muestran de dos maneras: solo para las universidades del CRUCH y para toda la muestra, es decir, para las universidades pertenecientes al SUA. En la Tabla 5.1 se presentan las correlaciones promedio para toda las carreras, entre los factores de selección y el promedio ponderado, para los períodos mencionados. Si bien se presentan los resultados del Proceso de Admisión 2003, se debe mencionar que en este proceso se aplicó por última vez la Prueba de Aptitud Académica (PAA), por ende, como se trata de distintas pruebas, los resultados no son comparables. Aun así, permite observar cómo se comportaban anteriores factores de selección. Al comparar los distintos resultados (Tabla 5.1), se puede observar que las correlaciones obtenidas son similares, lo que muestra estabilidad en la relación entre los factores de selección y el rendimiento de primer año. La PSU de Lenguaje tiene correlaciones promedio en torno al 0,1 y, la PSU de Matemática y el puntaje NEM, tienen correlaciones cercanas a 0,25. Tabla 5.1: Correlaciones promedios de la muestra completa Año N carreras N alumnos Correlaciones promedios PSUL PSUM NEM Ranking 2003 766 42.725 0,02 0,13 0,25 2004 777 40.160 0,08 0,29 0,27 2005 824 41.334 0,11 0,25 0,26 2006 851 43.575 0,10 0,24 0,24 2007 918 46.465 0,10 0,25 0,25 2012* 874 49.304 0,11 0,24 0,24 2013* 889 47.600 0,11 0,25 0,22 0,20 2012** (SUA) 1.151 68.450 0,12 0,24 0,25 2013** (SUA) 1.188 67.486 0,12 0,25 0,24 0,22 *Último año de aplicación de la Prueba de Aptitud Académica. **Resultados para las 25 universidades del CRUCH, a fin de comparar con años anteriores. *** Resultados para las 33 universidades pertenecientes al SUA. 5.1 Correlaciones A continuación se presentan las correlaciones agrupadas según los tres criterios ya mencionados solo para la generación 2013, donde se observa el comportamiento del Ranking de Notas y se le compara con el resto de los factores de selección. Cabe recordar que en dicha generación se incorporó el Ranking de Notas. Como se mencionó en la sección 4.2 (Correlaciones), al conocer el rendimiento solo de los estudiantes que participan de la carrera y no de la totalidad, se podría estar subestimando la validez predictiva de los factores de selección. Por ello, también se presentan las correlaciones corregidas por restricción de rango, siempre entre paréntesis. Esto, en las Tablas 5.2, 5.3 y 5.4. Si bien los resultados reportados inicialmente son satisfactorios, por ejemplo, mostrando estabilidad en los factores de selección y una adecuada correlación para el Ranking de Notas, esto no necesariamente se cumple al observar los resultados desagre- 38 39
gados según la universidada la cual pertenecen las carreras. En consecuencia, en la Tabla 5.2 se presentan las correlaciones obtenidas según la pertenencia de las carreras. De manera general, destaca para la mayoría de las universidades una alta correlación del puntaje NEM y una correlación de un valor similar, pero un poco menor, para el Ranking. También destaca que en todas las universidades la PSU de Matemática presenta una mayor correlación que la PSU de Lenguaje. Al mirar los resultados de manera más detallada, se observa que ocho universidades presentan una correlación alta en estudios de predictibilidad, mayor a 0,3, del puntaje NEM (PUCV, UTA, UNAP, ULA, UCM, UNAB, UANDES y UDD). En el caso opuesto, solo la Universidad de Santiago (USACH) presenta una correlación menor a 0,1. Para el caso del puntaje Ranking, son cuatro las universidades que presentan una alta correlación, mayor a 0,3 (PUCV, UTA, UNAP y UAI), y dos universidades presentan una correlación menor a 0,1 (USACH y UMCE). En el caso de la PSU de Lenguaje, ninguna universidad supera la correlación de 0,3 y solo cinco superan la correlación 0,2 (UMAG, UDA, UTA, UCM y UNAB). En el otro extremo, se observan once universidades con correlación menor a 0,1 (PUCV, UACH, UV, ULS, UBB, UFRO, UMCE, UPLA, UDP, UANDES y UAH). En contraposición, la PSU de Matemática presenta una correlación bastante más alta, con nueve universidades que tienen correlaciones mayores a 0,3 (UDEC, UTFSM, UCN, UBB, UDA, UTA, UNAP, UNAB y UAI). Quizás lo más destacable es que ninguna universidad presenta una correlación menor a 0,1. Tabla 5.2: Correlaciones agrupadas según universidad Correlaciones (Corregidas) Universidad NEM Ranking PSUL PSUM UCH 0,22 (0,36) 0,19 (0,29) 0,11 (0,21) 0,22 (0,48) PUC 0,27 (0,51) 0,26 (0,46) 0,15 (0,27) 0,18 (0,37) UDEC 0,28 (0,39) 0,25 (0,34) 0,11 (0,20) 0,30 (0,59) PUCV 0,34 (0,43) 0,31 (0,38) 0,07 (0,15) 0,29 (0,60) UTFSM 0,17 (0,25) 0,14 (0,17) 0,10 (0,19) 0,31 (0,59) USACH 0,05 (0,08) 0,01 (0,01) 0,12 (0,20) 0,23 (0,46) UACH 0,18 (0,24) 0,17 (0,21) 0,07 (0,11) 0,21 (0,41) UCN 0,21 (0,28) 0,20 (0,24) 0,15 (0,28) 0,34 (0,62) UV 0,19 (0,27) 0,16 (0,22) 0,00 (-0,01) 0,21 (0,46) UANT 0,17 (0,19) 0,15 (0,16) 0,13 (0,24) 0,24 (0,42) ULS 0,17 (0,24) 0,15 (0,19) 0,03 (0,06) 0,24 (0,50) UBB 0,22 (0,30) 0,20 (0,26) 0,06 (0,13) 0,33 (0,65) UFRO 0,23 (0,31) 0,22 (0,27) 0,09 (0,16) 0,17 (0,35) UMAG 0,21 (0,25) 0,22 (0,25) 0,21 (0,38) 0,25 (0,45) UTAL 0,21 (0,32) 0,15 (0,20) 0,14 (0,25) 0,29 (0,56) UDA 0,24 (0,29) 0,23 (0,25) 0,21 (0,37) 0,31 (0,59) UTA 0,37 (0,42) 0,38 (0,44) 0,21 (0,36) 0,32 (0,59) UNAP 0,39 (0,51) 0,31 (0,37) 0,17 (0,33) 0,31 (0,54) UMCE 0,11 (0,16) 0,09 (0,11) 0,05 (0,10) 0,11 (0,25) UPLA 0,19 (0,25) 0,17 (0,22) 0,05 (0,09) 0,17 (0,32) UTEM 0,23 (0,30) 0,20 (0,25) 0,10 (0,18) 0,29 (0,57) ULA 0,31 (0,38) 0,29 (0,32) 0,11 (0,24) 0,29 (0,54) UCM 0,32 (0,44) 0,27 (0,36) 0,21 (0,36) 0,24 (0,47) UCSC 0,17 (0,24) 0,16 (0,22) 0,12 (0,22) 0,20 (0,46) UCT 0,25 (0,33) 0,23 (0,28) 0,18 (0,32) 0,20 (0,40) UDP 0,28 (0,40) 0,27 (0,38) 0,05 (0,12) 0,16 (0,41) UMAYOR 0,20 (0,28) 0,16 (0,21) 0,12 (0,22) 0,22 (0,44) UFT 0,24 (0,34) 0,24 (0,33) 0,16 (0,28) 0,23 (0,44) UNAB 0,30 (0,39) 0,26 (0,34) 0,20 (0,34) 0,31 (0,58) UAI 0,41 (0,55) 0,41 (0,54) 0,19 (0,35) 0,32 (0,67) UANDES 0,31 (0,48) 0,27 (0,41) 0,03 (0,06) 0,19 (0,48) UDD 0,30 (0,42) 0,28 (0,41) 0,14 (0,26) 0,23 (0,49) UAH 0,18 (0,26) 0,18 (0,25) 0,02 (0,01) 0,11 (0,25) Entre paréntesis la correlación corregida por restricción de rango 40 41
El siguiente nivel de agregación en que se presentan las correlaciones es de acuerdo al área Cineunesco de clasificación de las carreras. Las correlaciones se presentan en la Tabla 5.3. Se observa que los puntajes NEM y Ranking solo presentan correlaciones menores a 0,2 en el área de la salud y, en general, presentan una alta correlación con el rendimiento, aunque siempre ligeramente menor la correlación del puntaje Ranking que la del puntaje NEM. Para la PSU de Lenguaje se observan bajas correlaciones. En particular, en áreas que se podrían llamar afines (Ciencias Sociales, Derecho o Humanidades) no se presentan correlaciones altas. Tabla 5.3: Correlaciones agrupadas según Área Cineunesco Correlaciones (Corregidas) Área Cineunesco NEM Ranking PSUL PSUM Administración y Comercio 0,30 (0,41) 0,28 (0,37) 0,13 (0,24) 0,24 (0,51) Agropecuaria 0,30 (0,40) 0,26 (0,33) 0,17 (0,29) 0,30 (0,59) Arte y Arquitectura 0,23 (0,33) 0,20 (0,29) 0,06 (0,09) 0,17 (0,33) Ciencias Básicas 0,30 (0,42) 0,26 (0,34) 0,22 (0,35) 0,33 (0,57) Ciencias Sociales 0,26 (0,39) 0,25 (0,36) 0,10 (0,20) 0,15 (0,32) Derecho 0,27 (0,39) 0,25 (0,34) 0,15 (0,29) 0,18 (0,37) Educación 0,26 (0,35) 0,24 (0,30) 0,12 (0,22) 0,19 (0,39) Humanidades 0,26 (0,34) 0,22 (0,29) 0,16 (0,30) 0,23 (0,47) Salud 0,17 (0,28) 0,14 (0,22) 0,10 (0,19) 0,23 (0,50) Tecnologia 0,23 (0,32) 0,20 (0,27) 0,11 (0,20) 0,33 (0,63) Entre paréntesis la correlación corregida por restricción de rango De manera general destacan aspectos similares a lo ya expuestos, es decir, NEM y Ranking con una correlación alta, si bien el Ranking un poco por debajo. También se observa una alta correlación de la PSU de Matemática y bastante más baja la correlación de la prueba de Lenguaje. Aunque no se observan patrones muy destacables, sí existen pequeñas diferencias en los tramos de puntajes. En los tramos de menores Puntaje de Selección, el NEM y el Ranking tienen una mayor correlación que en las carreras de un mayor puntaje. Esto es similar a lo que ocurre con la prueba de Lenguaje y distinto a lo que sucede con la prueba de Matemática, donde se observa una estabilidad en todos los tramos del Puntaje de Selección. Tabla 5.4: Correlaciones agrupadas según deciles de Puntaje de Selección Correlaciones (Corregidas) 10 cuantiles de ptj pond NEM Ranking PSUL PSUM Decil 1 [456-539] 0,28 (0,36) 0,26 (0,33) 0,14 (0,25) 0,24 (0,46) Decil 2 [539-553] 0,31 (0,39) 0,30 (0,37) 0,16 (0,30) 0,27 (0,54) Decil 3 [553-565] 0,25 (0,33) 0,23 (0,29) 0,16 (0,29) 0,26 (0,52) Decil 4 [565-579] 0,28 (0,36) 0,26 (0,32) 0,14 (0,26) 0,27 (0,51) Decil 5 [579-594] 0,24 (0,32) 0,21 (0,27) 0,10 (0,18) 0,26 (0,50) Decil 6 [594-613] 0,23 (0,32) 0,20 (0,27) 0,10 (0,19) 0,27 (0,57) Decil 7 [613-635] 0,19 (0,29) 0,16 (0,22) 0,09 (0,17) 0,22 (0,47) Decil 8 [635-660] 0,20 (0,29) 0,17 (0,23) 0,08 (0,16) 0,27 (0,54) Decil 9 [660-688] 0,21 (0,34) 0,19 (0,29) 0,09 (0,17) 0,18 (0,41) Decil 10 [689-796] 0,21 (0,42) 0,19 (0,35) 0,10 (0,17) 0,24 (0,50) Entre paréntesis la correlación corregida por restricción de rango La última agregación de correlaciones que se presenta tiene como objetivo observar si existen diferencias en las correlaciones en función del tramo del Puntaje de Selección en que se encuentra la carrera. Los detalles de cómo se construye esta agrupación se encuentran en la sección 4.1 (Niveles de agregación). En general, en las tres tablas anteriores se observa que las correlaciones sin corrección están subestimando la predictibilidad de los factores de selección. A su vez, es transversal que la PSU de Matemática presenta la mayor diferencia al corregir por restricción de rango, llegando en varias ocasiones a superar el valor 0,5. 42 43
5.1.1 Sobre la prueba electiva Por ahora se han presentado resultados referentes a las pruebas de Matemática y Lenguaje, al puntaje NEM y Ranking, pero para calcular el Puntaje de Selección en cada carrera, también se requiere el puntaje de una de las dos pruebas electivas: la PSU de Historia, Geografía y Ciencias Sociales o la PSU de Ciencias. Algunas carreras tienen como requisito una prueba en particular y otras le permiten al estudiante utilizar el puntaje mayor entre ambas pruebas. En la Tabla 5.5 se presentan las correlaciones para la prueba electiva. Son tres columnas agrupadas por universidad. En la primera, se promedian las correlaciones de las carreras que tienen entre sus requisitos la prueba de Ciencias como obligatoria; en la segunda columna, las carreras que tienen la prueba de Historia, Geografía y Ciencias Sociales (Historia) como obligatoria; y en la tercera, las carreras que consideran el mejor puntaje entre ambas pruebas (Opcional). En algunos casos no se presentan correlaciones, lo que se explica porque existen universidades que no tienen carreras con ese requisito. Por ejemplo, la Universidad Andrés Bello (UNAB) no tiene como requisito obligatorio la prueba de Historia, Geografía y Ciencias Sociales para ninguna de sus carreras. Tabla 5.5: Correlaciones por tipo de prueba electiva Correlaciones por Prueba Electiva Universidad Ciencias Historia Opcional UCH 0,34 0,09 0,08 PUC 0,30 0,06 0,10 UDEC 0,31 0,11-0,00 PUCV 0,16 UTFSM 0,23 USACH 0,19 0,15 0,20 UACH 0,24 0,09 0,07 UCN 0,32 0,09 0,12 UV 0,21-0,08 0,11 UANT 0,32 0,07 0,11 ULS 0,22 0,15 0,15 UBB 0,21 0,21 0,18 UFRO 0,20 0,19 0,04 UMAG 0,27-0,05 0,18 UTAL 0,37 0,12 0,14 UDA -0,14 0,22 UTA 0,31 0,21 UNAP 0,36 0,23-0,03 UMCE 0,19 0,10 0,12 UPLA 0,29 0,09 UTEM 0,15 0,15 ULA 0,26 0,08 0,18 UCM 0,29 0,26 0,14 UCSC 0,02 0,19 UCT 0,20 0,27 0,15 UDP 0,35 0,14 UMAYOR 0,21 UFT 0,29 0,28 0,26 UNAB 0,37 0,26 UAH -0,06 0,11 UAI 0,38 0,11 0,18 UANDES 0,29 0,08 0,18 UDD 0,20 0,21 44 45
En la tabla anterior destaca que la PSU de Ciencias es la que tiene una mayor correlación. También se observa que, en algunos casos, las correlaciones tienen un valor más bajo cuando la prueba electiva es opcional y, en otros, cuando la PSU de Historia, Geografía y Ciencias Sociales es obligatoria. Solo la PSU de Ciencias toma valores de correlación mayores a 0,3, lo que ocurre en diez universidades (UCH, UDEC, UCN, UANT, UTAL, UTA, UNAP, UDP, UNAB y UAI). 5.2 Factores de selección en su conjunto: aporte del Ranking el número de estudiantes de la carrera, de los R 2 para los cuatro modelos, de todas las carreras que pertenecen a cada universidad. Se observa que, en general, el modelo que cuenta solo con las PSU tiende a ajustar con un valor menor de R 2 y, que al introducir alguno de los dos factores de selección anclados en el rendimiento escolar, NEM o Ranking, mejora notoriamente este ajuste. Al explicar el rendimiento utilizando solo las PSU, no existe ninguna universidad que supere el valor 0,2; en cambio, 19 universidades no superan el valor 0,1 de R 2 ajustado. Esta sección tiene por objetivo analizar el aporte del Ranking a los factores de selección en su conjunto, sin compararlos por separado, es decir, cuál es el aporte del Ranking a la predictibilidad si se suma al resto de los factores de selección. Para esto se utilizaron dos metodologías: comparación de modelos lineales y comparación de correlaciones en Puntaje de Selección. De este modo, primero se presentan resultados de modelos que relacionan linealmente el promedio de notas con los factores de selección, analizando el ajuste de estos modelos al contar o no con la presencia del Ranking. La segunda metodología correlaciona el Puntaje de Selección obtenido por el o la estudiante con el rendimiento, comparando el resultado de estas correlaciones para cada carrera entre 2013 (incluyendo el Ranking en el Puntaje de Selección) con el 2012 (sin incluir el Ranking en el Puntaje de Selección). 5.2.1 Comparación de modelos lineales A continuación se presentan los resultados obtenidos a partir de los modelos lineales. La metodología utilizada se encuentra detallada en la sección 4.3 (Modelos lineales). Cada una de las tablas muestra cuatro columnas de resultados, donde se presentan los valores promedio de los R 2 ajustados obtenidos para cada carrera según las tres agregaciones ya descritas. Por ejemplo, en la Tabla 5.6 se presentan los promedios, ponderados por 46 47
Tabla 5.6: Medidas de ajuste agrupadas según universidad R 2 ajustado Universidad Solo PSU Ranking NEM NEM y Ranking UCH 0,105 0,161 0,164 0,166 PUC 0,084 0,154 0,149 0,158 UDEC 0,123 0,186 0,194 0,196 PUCV 0,087 0,197 0,206 0,210 UTFSM 0,114 0,170 0,172 0,180 USACH 0,070 0,108 0,111 0,114 UACH 0,081 0,116 0,115 0,112 UCN 0,133 0,200 0,201 0,202 UV 0,049 0,084 0,092 0,097 UANT 0,086 0,113 0,108 0,120 ULS 0,106 0,147 0,152 0,152 UBB 0,131 0,192 0,195 0,202 UFRO 0,045 0,097 0,103 0,107 UMAG 0,108 0,091 0,105 0,139 UTAL 0,112 0,170 0,177 0,180 UDA 0,085 0,123 0,120 0,134 UTA 0,127 0,214 0,213 0,217 UNAP 0,156 0,222 0,258 0,258 UMCE 0,021 0,038 0,042 0,039 UPLA 0,048 0,063 0,070 0,087 UTEM 0,074 0,145 0,150 0,152 ULA 0,089 0,180 0,182 0,173 UCM 0,116 0,193 0,210 0,209 UCSC 0,059 0,099 0,099 0,099 UCT 0,066 0,109 0,116 0,111 UDP 0,061 0,163 0,161 0,163 UMAYOR 0,072 0,107 0,115 0,117 UFT 0,066 0,134 0,134 0,133 UNAB 0,130 0,193 0,202 0,203 UAI 0,149 0,283 0,282 0,292 UANDES 0,084 0,196 0,203 0,218 UDD 0,083 0,135 0,142 0,148 UAH 0,045 0,069 0,067 0,067 Al introducir alguno de los factores anclados en el rendimiento escolar, ya sea NEM o Ranking, se produce el principal impacto en el ajuste de los modelos lineales. En la mayoría de los casos, es el NEM el que aumenta más el valor del ajuste, pero existen ocho universidades en que los modelos con Ranking ajustan de mejor manera que los con NEM 1 (PUC, UACH, UANT, UDA, UTA, UDP, UAI y UAH). Por otro lado, cuando están presentes todos los factores de selección, en general no existe una diferencia significativa en el ajuste, en comparación con cuando están presentes el NEM o el Ranking por separado, llegando en algunos casos a disminuir el R 2 ajustado 2. En la Tabla 5.7 se presentan los resultados de las medidas de ajuste según el área Cineunesco en la cual la carrera esté clasificada. Al intentar explicar el rendimiento solo con las PSU, el área que presenta un menor ajuste es Arte y Arquitectura; en contraposición, esta el área de Ciencias Básicas con el mayor R 2 ajustado. Al igual que en la tabla anterior, se observa que el ajuste mejora bastante al introducir el puntaje NEM o el puntaje Ranking y, al completar con todos los factores de selección, aumenta el ajuste, pero en menor medida. 1 Estas diferencias no son necesariamente significativas. 2 Recordar que esta medida de ajuste penaliza por el número de variables presentes en el modelo. 48 49
Tabla 5.7: Medidas de ajuste agrupadas según área Cineunesco Área Cineunesco Administración y Comercio R 2 ajustado Solo PSU Ranking NEM NEM y Ranking 0,075 0,179 0,182 0,186 Agropecuaria 0,115 0,199 0,208 0,212 Arte y Arquitectura 0,037 0,077 0,084 0,089 Ciencias Básicas 0,145 0,197 0,201 0,204 Ciencias Sociales 0,046 0,113 0,114 0,115 Derecho 0,064 0,128 0,133 0,134 Educación 0,077 0,132 0,141 0,145 Humanidades 0,066 0,124 0,128 0,136 Salud 0,101 0,142 0,148 0,154 Tecnología 0,128 0,189 0,191 0,193 Tabla 5.8: Medidas de ajuste agrupadas según deciles de Puntaje de Selección 10 cuantiles de puntaje ponderado R 2 ajustado Solo PSU Ranking NEM NEM y Ranking Decil 1 [456-539] 0,089 0,143 0,150 0,159 Decil 2 [539-553] 0,104 0,180 0,184 0,181 Decil 3 [553-565] 0,088 0,138 0,143 0,147 Decil 4 [565-579] 0,095 0,153 0,157 0,157 Decil 5 [579-594] 0,093 0,153 0,158 0,164 Decil 6 [594-613] 0,104 0,168 0,174 0,177 Decil 7 [613-635] 0,081 0,138 0,146 0,148 Decil 8 [635-660] 0,094 0,160 0,163 0,169 Decil 9 [660-688] 0,073 0,142 0,140 0,143 Decil 10 [689-796] 0,124 0,179 0,182 0,187 Para analizar si los modelos ajustan diferente según el tramo de Puntaje de Selección de la carrera, se presenta la Tabla 5.8. Se observa, al igual que en las tablas anteriores, que las PSU por sí solas logran un menor ajuste que al introducir NEM o Ranking y, que cuando están presentes todos los factores de selección, el R 2 ajustado no aumenta de manera significativa, al compararlo con los modelos con NEM o Ranking por separado. Si bien en la Tabla 5.8 se aprecia un alto ajuste para el decil de carreras más selectivas, en general no existen aspectos que se puedan destacar según el tramo de Puntaje de Selección, más allá de los ya expuestos. 5.2.2 Comparación gráfica 2012-2013 En esta sección se presenta gráficamente una comparación entre la correlación de puntajes ponderados para los procesos 2012 y 2013. Para ambos procesos se realizó una correlación por carrera entre el Puntaje de Selección que obtuvo el o la estudiante, con el rendimiento en primer año. En consecuencia, para cada carrera se obtuvieron dos correlaciones, una para el año 2012 y otra para el año 2013. Cabe recordar que en el Puntaje de Selección para el Proceso de Admisión 2012 no estaba presente el puntaje Ranking, a diferencia del Proceso de Admisión 2013, en el que tuvo una ponderación fija para todas las carreras de 10 %. En la Ilustración 5.1 se presenta un histograma de la resta para cada carrera, entre la correlación 2013 menos la correlación 2012, por lo cual, si el resultado es negativo, la correlación es mayor para el Proceso de Admisión 2012; en cambio, si el resultado es positivo, la correlación será mayor para el Proceso de Admisión 2013. La diferencia de correlaciones que se grafica en el histograma tiene media 0,004, lo que supone que en promedio no hay dife- 50 51
rencia, pero sí se aprecia que existe un grupo de carreras que mejora la correlación y otro grupo que la empeora. Estos resultados no son atribuibles a la introducción del puntaje Ranking en el Puntaje de Selección. Ilustración 5.1: Histograma de resta de correlaciones 2013-2012 lo descrito. Cabe mencionar que no se observa una tendencia, existiendo carreras con una correlación más alta para el 2012 y otras con una correlación mayor para 2013. En la práctica, la recta identidad corta de manera bastante simétrica la dispersión de puntos, es decir, no hay un mejoramiento o empeoramiento que sea general. Ilustración 5.2: Correlaciones 2012 y 2013 por carrera Utilizando la misma información que en la ilustración anterior, es decir, para cada carrera la correlación para el Proceso de Admisión 2012 y para el Proceso de Admisión 2013, se construyeron tres ilustraciones (5.2, 5.3 y 5.4). Estas muestran gráfi cos de dispersión con las siguientes características: el eje y (vertical) corresponde a la correlación 2013; el eje x (horizontal) corresponde a la correlación 2012; cada punto es una carrera y se gráfi ca en la recta identidad en rojo (f(x) = x). La recta identidad permite analizar para cuál proceso la correlación es mayor: si el punto esta sobre la recta, la correlación será mayor en el Proceso de Admisión 2013 y si se encuentra por debajo, la correlación será mayor en 2012. En la Ilustración 5.2 se presenta el gráfi co de dispersión para toda la muestra según Para analizar cómo se comporta el Puntaje de Selección con mayor detalle, a continuación se presentan los resultados según área Cineunesco y según decil de tramo de Puntaje de Selección. En la Ilustración 5.3 se presentan diez gráfi cos, uno para cada área Cineunesco. Se busca analizar si en las distintas áreas se aprecian diferencias de correlaciones, encontrándose que en ninguna de las áreas éstas mejoran o empeoran. En la Ilustración 5.4 se presentan diez gráfi cos, uno para cada tramo de decil de Puntaje de Selección. Nuevamente, se busca analizar si en los distintos tramos de selectividad (medida por decil de Puntaje de Selección) las correlaciones se comportan 52 53
de diferentes maneras. Al igual que antes, no se observan diferencias importantes según decil. De todas maneras sí se puede destacar que existen tramos más estables entre 2012 y 2013, lo que se aprecia cuando los puntos se encuentran más cercanos a la recta identidad. Ilustración 5.3: Correlaciones 2012-2013 por carrera: Cineunesco Ilustración 5.3: Correlaciones 2012-2013 por carrera: tramo Puntaje de Selección 54 55