Validez predictiva del ranking de notas en dos universidades de Santiago Mg. Nadia Segovia Ormazábal nadia.segovia@uv.cl
Antecedentes Desde el año 2013 se integra el ranking de notas como un elemento adicional en el proceso de admisión a las universidades del CRUCH. Busca beneficiar a los estudiantes que presentan un buen rendimiento académico en su contexto educativo Considera la trayectoria escolar de los estudiantes, contextualizando su rendimiento a sus respectivos establecimientos educacionales Se han realizado modificaciones en su formula de aplicación (Ponderación y Contexto educativo). Fuente: CRUCH, 2016
Antecedentes Ranking de Notas tiene doble propósito 2 Mejorar la equidad en el acceso al sistema universitario Ayudar a seleccionar a los mejores estudiantes para la educación universitaria.
Antecedentes: Estudios sobre el Ranking Propósito del Ranking Autores Objetivo Metodología Conclusiones Mejorar la equidad en el acceso Larroucau, T. Ríos, I. Mizala, A. Evaluar el impacto del ranking en la composición de los estudiantes seleccionados. - Datos 2013 - Diversas simulaciones que modifican ponderaciones de Ranking, NEM y PSU - El ranking de notas genera un impacto positivo en la selección de estudiantes - Beneficia a los alumnos de mejor desempeño escolar, de menor NSE, a las mujeres, a establecimientos municipales, particulares subvencionados y establecimientos más vulnerables. Seleccionar a los mejores estudiantes Kri, F. Gil, F. González, M. Determinar la capacidad predictiva del ranking de notas en el rendimiento Datos de los estudiantes de la Universidad de Santiago de Chile ingresados entre los años 2002 y 2008 Los promedios de notas, las tasas de retención, de reprobación, de titulación oportuna y general de los estudiantes con altos puntajes-ranking es mayor que las de aquellos con antecedentes escolares inferiores
Formulación del problema Estos estudios han utilizado principalmente simulaciones y datos de años anteriores a su implementación, quedando pendiente la evaluación con datos posterior a la inclusión del ranking. Cuál es la capacidad predictiva del ranking de notas en el desempeño universitario de los estudiantes? Es dicha capacidad constante en el tiempo y equivalente entre hombres y mujeres? Qué se busca por medio de este estudio? Recabar evidencias que permitan evaluar la validez predictiva del ranking de notas en el rendimiento académico de los estudiantes, evaluando además la posibilidad de que tal predictividad sea diferente para hombres y mujeres, situación que se relaciona con la existencia de un sesgo de medición.
Antecedentes teóricos: Validez Concepto que ha evolucionado de los tipos de validez, como la validez de contenido, de criterio y de constructo, a un concepto unitario. Validez Validez Predictiva Grado en que la evidencia empírica y los fundamentos teóricos apoyan la interpretación de los resultados de la prueba u otros modos de evaluación (Shepard, 1993) para lo cual fue elaborada Dado que la razón principal para el uso de las pruebas estandarizadas en los procesos de admisión a la universidad es predecir el éxito de los estudiantes en la universidad (Geiser & Studley, 2003), los estudios sobre validez predictiva son esenciales para respaldar el uso de estas pruebas (Manzi, et al 2008).
Validez Predictiva (VP). Estudios sobre la VP Autores Objetivo Metodología Conclusiones Mattern, K. Patterson, B. Manzi, J. Bravo, D. Del Pino, G. Donoso, G. Martínez, M. Pizarro, R. Estudian la relación entre el desempeño en el SAT y las calificaciones del primer año de universidad Evaluar la VPde la PSU y NEM con rendimiento académico del primer año Datos de las cohortes 2006-2010 -25 Universidades del Cruch -Selección 2003 a 2006 - SAT y el promedio de notas en secundaria son fuertes predictores de las calificaciones en el Primer Año (0.6) - Los resultados son consistentes a través de las cinco cohortes - El SAT no presenta sesgo que afecte a grupos minoritarios - El cambio en las pruebasde admisión se asocia a un incremento en la capacidad predictiva de la nueva batería - Existe estabilidad de los resultados para todas las versiones de la PSU estudiadas.
Validez y Predicción Diferencial La capacidad predictiva de las pruebas debe ser invariante respecto de las características sociodemográficas de los examinados (Bravo, et al 2010). Validez Diferencial Compara la magnitud de la relación entre el resultado de la prueba de selección y el rendimiento en la universidad, para diferentes grupos. Predicción Diferencial Analiza si la relación entre los factores de selección y el rendimiento académico puede describirse a través de un modelo de regresión único para todos los subgrupos examinados
Si los residuos de la ecuación son desiguales entre grupos: Subpredice Los alumnos tienden a tener un desempeño mejor que el modelo de regresión predice Sobrepredice Los alumnos tienden a tener un desempeño peor que el modelo de regresión predice. Estudio: se encontró con respecto a la validez diferencial que no se evidencian diferencias importantes en las comparaciones por género y dependencia para ninguno de los factores, presentando sólo algunas diferencias la NEM.
Objetivos del Estudio Objetivo General Analizar la capacidad predictiva del ranking de notas de enseñanza media con respecto al desempeño académico de los estudiantes que ingresaron a la Universidad de Santiago y Pontificia Universidad Católica de Chile, en la primera cohorte que utilizó este factor de selección. Objetivos Específicos Evaluar la validez predictiva del ranking de notas en el rendimiento académicos de los estudiantes durante los dos primeros años de estudio, comparando los resultados con los demás factores de selección obligatorios (PSU de lenguaje, PSU de matemáticas y NEM) Evaluar la validez predictiva del ranking de notas según el área de conocimiento de la carrera, comparando los resultados con los demás factores de selección obligatorios (PSU de lenguaje, PSU de matemáticas y NEM) Evaluar la presencia de sesgos en la capacidad predictiva del ranking considerando el sexo de los estudiantes, comparando los resultados con los demás factores de selección obligatorios (PSU de lenguaje, PSU de matemáticas y NEM)
Metodología: Población y Muestra Población: La población a estudiar corresponde a las instituciones de educación superior que utilizan en su proceso de selección el Sistema Único de Admisión. Muestra: La muestra considera 2 instituciones: la Universidad de Santiago (USACH) y la Pontificia Universidad Católica de Chile (PUC), en la cohorte de ingreso del 2013.
1.2 Caracterización de la Muestra Distribución de la muestra según sexo Institución Femenino Masculino Total USACH 1.390 1.739 3.129 PUC 2.190 1.904 4.094 Total 3.580 3.641 7.221 Distribución de las carreras según las áreas de conocimiento. USACH PUC Total Área del Conocimiento / Institución N % N % N % Ciencias Agrícolas - - 1 2,4 1 1,0 Ciencias Naturales 2 3,6 9 22,0 11 11,3 Ciencias Sociales 14 25,0 11 26,8 25 25,8 Humanidades 3 5,4 10 24,4 13 13,4 Ingeniería y Tecnología 33 58,9 3 7,3 36 37,1 Medicina y ciencias de la salud 4 7,1 7 17,1 11 11,3 Total 56 100 41 100 97 100
Variables del Estudio 2.1 Variables Predictoras 2.2 Variables Criterio 2.3 Variables de Agrupación Ranking de Notas PSU NEM Rendimiento Académico por Semestre Rendimiento Académico al 2do Año Sexo Área del Conocimiento* *Ciencias Naturales; Ingeniería y Tecnología; Medicina y Ciencias de la Salud; Ciencias Sociales y; Humanidades.
Análisis de datos: Consideraciones Se utilizó la carrera del estudiante como unidad de análisis básica. Se consideró en los análisis las carreras que presentaban más de 20 estudiantes (USACH = 56, PUC = 41). Para evaluar la validez predictiva, se realizaron correlaciones en general y diferenciando según sexo (validez diferencial). Para obtener los resultados por nivel agregado (universidad y área de conocimiento), se promediaron las correlaciones simples por carrera, utilizando el método de Hedges-Olkin. Para analizar la predicción diferencial, se ajustó una regresión lineal común para todos los estudiantes de una misma carrera, considerando una ecuación para cada predictor en forma separada y se comparó el promedio de los residuos diferenciando según sexo.
Resultados 1. Caracterización de los factores de selección Institución Sexo PSU PSU Ranking NEM lenguaje matemáticas Media D.E. Media D.E. Media D.E. Media D.E. USACH PUC F 706 89 659 65 611 63 602 58 M 668 93 628 67 609 65 639 61 F 738 77 700 59 680 63 667 63 M 723 84 690 66 683 65 715 76
2. Validez predictiva 2.1 Validez predictiva al segundo año USACH PUC 0,33 0,35 0,2 0,17 0,16 0,12 0,06 0,07 Ranking NEM PSU lenguaje PSU matemáticas Correlación promedio según área de conocimiento Área del Conocimiento Ciencias Naturales USACH Rank. NEM PSU Leng. PSU Mat. Rank. NEM PUC PSU Leng. PSU Mat. -0,10-0,04 0,22-0,01 0,44 0,46 0,14 0,12 Ingeniería y Tecnología 0,08 0,12 0,01 0,18 0,33 0,33 0,19 0,21 Medicina y cs. de la salud -0,17-0,02 0,19 0,05 0,16 0,15 0,11 0,14 Ciencias Agrícolas - - - - 0,42 0,45 0,31 0,34 Ciencias Sociales 0,11 0,15 0,12 0,14 0,35 0,38 0,13 0,23 Humanidades -0,02 0,08 0,14 0,24 0,31 0,31 0,26 0,20 Correlación promedio por institución entre el rendimiento académico al 2 año y los factores de selección
2. Validez predictiva 2.2 Validez predictiva por semestre académico Correlación entre el rendimiento académico por semestre y los factores de selección en la Universidad de Santiago Correlación entre el rendimiento académico semestral y los factores de selección, Pontificia Universidad Católica de Chile 0,40 0,30 0,40 0,20 0,30 0,10 0,20 0,00-0,10-0,20 1 semestre 2 semestre 3 semestre 4 semestre Ranking NEM PSU Lenguaje PSU Matemática 0,10 0,00 1 semestre 2 semestre 3 semestre 4 semestre Ranking NEM PSU Lenguaje PSU Matemática
2. Validez predictiva 2.2 Validez predictiva por semestre académico. Área de Conocimiento Universidad de Santiago 0,20 0,15 0,10 0,05 0,00-0,05-0,10-0,15-0,20 0,20 0,15 0,10 0,05 0,00-0,05-0,10-0,15-0,20 Ranking NEM Ciencias Naturales Ingeniería y Tecnología Medicina y cs. de la salud Ciencias Sociales Humanidades Ciencias Naturales Ingeniería y Tecnología Medicina y cs. de la salud Ciencias Sociales Humanidades 0,25 0,20 0,15 0,10 0,05 0,00-0,05-0,10 0,50 0,40 0,30 0,20 0,10 0,00 PSU Lenguaje PSU Matemática Ciencias Naturales Ingeniería y Tecnología Medicina y cs. de la salud Ciencias Sociales Humanidades Ciencias Naturales Ingeniería y Tecnología Medicina y cs. de la salud Ciencias Sociales Humanidades
2. Validez predictiva 2.2 Validez predictiva por semestre académico. Área de conocimiento Pontificia Universidad Católica de Chile 0,45 0,40 0,35 0,30 0,25 0,20 0,15 0,10 0,05 0,00 0,50 0,40 0,30 0,20 0,10 0,00 Ranking NEM Ciencias Naturales Ingeniería y Tecnología Medicina y ciencias de la salud Ciencias Agrícolas Ciencias Sociales Humanidades Ciencias Naturales Ingeniería y Tecnología Medicina y ciencias de la salud Ciencias Agrícolas Ciencias Sociales Humanidades 0,25 0,20 0,15 0,10 0,05 0,00 0,50 0,40 0,30 0,20 0,10 0,00 PSU Lenguaje PSU Matemáticas Ciencias Naturales Ingeniería y Tecnología Medicina y ciencias de la salud Ciencias Agrícolas Ciencias Sociales Humanidades Ciencias Naturales Ingeniería y Tecnología Medicina y ciencias de la salud Ciencias Agrícolas Ciencias Sociales Humanidades
3.1 Validez diferencial al segundo año Universidad de Santiago Pontificia Universidad Católica de Chile 0,32 0,35 0,35 0,35 0,09 0,15 0,11 0,16 0,15 0,17 0,17 0,23 0,2 0,04-0,01 Ranking NEM LEN-0,01 MAT Ranking NEM LEN MAT Mujer Hombre Mujer Hombre
3.2 Validez diferencial por semestre académico Universidad de Santiago Pontificia Universidad Católica de Chile 0,15 0,1 0,05 0-0,05-0,1-0,15 Ranking de Notas 0,15 0,1 0,05 0-0,05-0,1 PSU Lenguaje 0,4 0,3 0,2 0,1 0 Ranking de Notas 0,35 0,25 0,15 0,05-0,05 PSU Lenguaje 0,2 0,1 0-0,1-0,2 NEM 0,4 0,3 0,2 0,1 0 PSU Matemáticas 0,4 0,3 0,2 0,1 0 NEM 0,35 0,3 0,25 0,2 0,15 0,1 0,05 0 PSU Matemáticas
4. Predicción Diferencial Promedios de residuos estandarizados de los factores de selección por sexo, según institución Institución Sexo Ranking NEM PSU Lenguaje PSU Matemáticas USACH PUC Mujer 0,03 0,02 0,05 0,06 Hombre - 0,03-0,02-0,04-0,06 Mujer - 0,02-0,02 0,04 0,05 Hombre 0,00 0,01-0,08-0,12
Conclusiones Objetivo General Analizar la capacidad predictiva del ranking de notas de enseñanza media con respecto al desempeño académico de los estudiantes que ingresaron a la Universidad de Santiago y Pontificia Universidad Católica de Chile, en la primera cohorte que utilizó este factor de selección. La validez predictiva del ranking de notas presenta una tendencia más similar a la NEM que a la presentada por las PSU Existe diferencias en su magnitud dependiendo de la institución y las variables de agrupación
Conclusiones Objetivo Específico 1 Evaluar la validez predictiva del ranking de notas en el rendimiento académicos de los estudiantes durante los dos primeros años de estudio, comparando los resultados con los demás factores de selección obligatorios (PSU de lenguaje, PSU de matemáticas y NEM) Al segundo año la USACH presenta una relación casi nula con el ranking, siendo de mayor relevancia la PSU de matemáticas En la PUC la capacidad predictiva del ranking de notas es mayor, al igual que la NEM. Por semestre, se aprecia en ambas instituciones que al avanzar en los períodos académicos, el ranking y la NEM van aumentando su capacidad predictiva La PSU de matemáticas disminuye de forma notoria su predictividady la PSU de lenguaje se mantiene relativamente estable entre los semestres evaluados
Conclusiones Objetivo Específico 2 Evaluar la validez predictiva del ranking de notas según el área de conocimiento de la carrera, comparando los resultados con los demás factores de selección obligatorios (PSU de lenguaje, PSU de matemáticas y NEM) La USACH los factores con mayor capacidad predictiva al segundo año son la PSU de lenguaje y matemáticas, en cambio en la PUC son la NEM y el ranking de notas Pero al considerar el rendimiento académico por semestre, en la USACH al cuarto semestre es mayor la NEM y el ranking, al igual que en la PUC, disminuyendo notoriamente la PSU de lenguaje y matemática en ambas instituciones.
Conclusiones Objetivo Específico 3 Evaluar la presencia de sesgos en la capacidad predictiva del ranking considerando el sexo de los estudiantes, comparando los resultados con los demás factores de selección obligatorios (PSU de lenguaje, PSU de matemáticas y NEM) En la Universidad de Santiago se observaron discrepancias mayores que en la Pontificia Universidad Católica, donde el ranking de notas y la NEM favorecen al sexo masculino y la PSU de lenguaje al sexo femenino. Existe un sesgo predictivo a favor de los estudiantes de sexo masculino en las pruebas de la PSU, de este modo, la prueba PSU sobrepredice el rendimiento de los hombres. Con respecto al ranking y la NEM, se aprecian diferencias en la relación según institución. Las diferencias son mínimas, por tanto se puede concluir que no existe evidencia suficiente que permita determinar la presencia de sesgo predictivo en la NEM y el ranking de notas según el sexo del estudiante.
Conclusiones El ranking de notas es un predictor del desempeño académico de los estudiantes que va aumentando al transcurrir los períodos académicos, de modo que la incorporación de alumnos con mejor desempeño académico en su formación secundaria asegura la excelencia académica en la universidad, comprobándose así uno de los pilares por los cuales se incluyó el ranking de notas como criterio de selección. Los resultados en las pruebas PSU indican una disminución marcada de la validez predictiva del rendimiento académico de la PSU de matemáticas, y una relación estable pero menor en la PSU de lenguaje.
Limitaciones Selección de la muestra Restricción en el rango de valores de los predictores Confiabilidad de los predictores y las variables criterio
Proyecciones Considerar múltiples criterios, como por ejemplo las tasas de retención y tasas de graduación Seguimiento de la cohorte 2013 hasta titulación Considerar establecimientos educacionales Evaluar si mejoró la equidad en el acceso al sistema universitario Evaluar impacto en la enseñanza media
Validez predictiva del ranking de notas en dos universidades de Santiago Mg. Nadia Segovia Ormazábal nadia.segovia@uv.cl Gracias por su atención