Documentos Técnicos. Resultados de la Aplicación PSU. de Pruebas de Selección Universitaria Admisión 2004

Transcripción

1 Documentos Técnicos Septiembre 2004 PSU Resultados de la Aplicación de Pruebas de Selección Universitaria Admisión 2004 Comité Técnico Asesor Honorable Consejo de Rectores de las Universidades Chilenas

2 H.Consejo de Rectores de las Universidades Chilenas Alameda 37, 4ºpiso, Santiago. Casilla Fono: (2) Fax: (2) página web: Representante Legal: Sr. Carlos Lorca Auger, Secretario General

3 Documentos Técnicos Resultados de la Aplicación de Pruebas de Selección Universitaria Admisión 2004 Septiembre 2004 Comité Técnico Asesor Honorable Consejo de Rectores de las Universidades Chilenas

4 Consejo Directivo para las Pruebas de Selección y Actividades de Admisión del H. Consejo de Rectores de las Universidades Chilenas. Sr. Luis Riveros Cornejo, Rector Universidad de Chile Sr. Pedro Pablo Rosso Rosso, Rector Pontificia Universidad Católica de Chile Sr. Sergio Lavanchy Merino, Rector Universidad de Concepción Sr. Ubaldo Zúñiga Quintanilla, Rector Universidad de Santiago de Chile. Presidente del Consejo de Universidades Estatales. Sr. Alvaro Rojas Marín, Rector Universidad de Talca. Presidente de la Agrupación de Universidades Regionales Comité Técnico Asesor del Consejo Directivo Sr. Gustavo Hawes Barrios, Presidente Sr. David Bravo Urrutia Srta. Graciela Donoso Benigna Sr. Guido del Pino Manresa Sr. Jorge Manzi Astudillo Sr. Manuel Martínez Martínez

5 Presentación La información es tradicionalmente considerada un recurso estratégico de primer nivel. Esta afirmación cobra aún mayor validez en los días en que nos adentramos a la sociedad del conocimiento. Las exigencias del mundo actual requieren de información apropiada, oportuna y confiable, que sirva de base a las decisiones que individuos y organizaciones deben tomar para su desarrollo. El H. Consejo de Rectores de las Universidades Chilenas realiza anualmente un complejo proceso de medición para la selección de estudiantes que se incorporan a sus programas de pregrado. Los antecedentes generados en cada uno de los procesos pueden convertirse en una invaluable fuente de conocimiento y base para decisiones, siempre y cuando se encuentren a disposición de las personas e instituciones. Asimismo, esa información es de enorme interés para las familias, las instituciones educacionales y los propios estudiantes, quienes deben incorporarla en sus decisiones. Esta publicación es la primera de una serie que el H. Consejo de Rectores inicia, poniendo en conocimiento del público y de los lectores especializados los resultados obtenidos a partir de la aplicación de las Pruebas de Selección Universitaria, como asimismo otros estudios que produzcan información de importancia para la comunidad nacional. El trabajo que damos a conocer en esta oportunidad ha sido realizado por especialistas del Comité Técnico Asesor del Consejo Directivo para las Pruebas de Selección y Actividades de Admisión a la Universidad del H. Consejo de Rectores de las Universidades Chilenas. Esperamos que la información aquí contenida cumpla su cometido de ser una fuente de conocimientos, concitar la discusión, el análisis y la reflexión académica en torno al tema, permitiendo mejores y más afinadas decisiones. Prof. Luis A. Riveros Vicepresidente Ejecutivo Santiago, Septiembre de 2004

6 Resultados de la Aplicación Pruebas de Selección Universitaria Admisión 2004 En este documento se presenta una síntesis de los principales resultados técnicos de la primera aplicación de las Pruebas de Selección Universitaria, efectuada en el mes de Diciembre de 2003, y utilizada para el proceso de admisión Este análisis está enfocado en el examen de las cualidades métricas de las preguntas y pruebas aplicadas, para lo cual se utilizaron tanto técnicas basadas en la teoría clásica de la medición como en la teoría de respuesta al ítem, los que constituyen enfoques complementarios de análisis. El análisis se desarrolla en seis secciones. En la primera se caracteriza en términos generales los instrumentos aplicados y la población examinada. En la segunda sección se realiza el análisis de los ítemes, incluyendo como indicadores el grado de dificultad, la capacidad discriminativa de los ítemes, el grado de omisión y la equivalencia entre las formas. En la tercera sección se reporta la confiabilidad de las pruebas, así como se muestran los coeficientes de correlación de los puntajes exhibidos entre pruebas. En la cuarta sección se analizan los aspectos relacionados con la distribución de puntajes en las pruebas. En la quinta sección, se considera el tema de la equidad, para lo cual se analiza la evidencia disponible sobre las diferencias de puntajes entre distintos tipos de establecimientos así como las diferencias por género. Finalmente, se incluye un resumen con las principales conclusiones de este informe.

7 I. Las Pruebas de Selección Universitaria 2004 En conformidad con lo acordado por el H. Consejo de Rectores, el proceso de admisión a las universidades del año 2004 sustituyó la batería de pruebas conformada por las Pruebas de Aptitud Académica (PAA) y de Conocimientos Específicos (PCE) por un nuevo conjunto de instrumentos, las Pruebas de Selección Universitaria (PSU), que aseguran una mayor articulación con el marco curricular de la Enseñanza Media. Dentro de los aspectos que fueron considerados en el cambio anterior destacan 2 : el beneficio que tiene sobre el sistema universitario la elevación de los estándares de la Educación Media; la escasa referencia curricular efectiva de las Pruebas de Aptitud Académica y la importante disminución en el número de postulantes que rendía las Pruebas de Conocimientos Específicos; los antecedentes internacionales que muestran la preeminencia de pruebas de admisión universitaria referidas al currículo escolar en los países desarrollados el fuerte y creciente impacto que han exhibido las pruebas de admisión universitaria sobre la Educación Media; El modelo de medición de las nuevas pruebas combina dos aspectos: habilidades cognitivas y contenidos curriculares. En concreto, se mide el uso de estas habilidades aplicadas a las siguientes disciplinas: Lenguaje y Comunicación, Matemática, Historia y Ciencias Sociales y Ciencias (Biología, Física y Química). Esta nueva batería de pruebas responde a los requerimientos de una mayor alineación con el marco curricular vigente de la enseñanza media, manteniendo su propósito de servir como instrumentos para seleccionar postulantes a las universidades. Véanse los acuerdos de Enero de 200 y Agosto de Véase D.Bravo, J.Manzi, E.Himmel y R.Rosas, "Proyecto SIES: Síntesis del proceso de desarrollo y evaluación de bancos de preguntas para nuevas pruebas de admisión universitaria", Documentos de Trabajo, Universidad de Chile y Pontificia Universidad Católica de Chile, 30 de Julio de 2003.

8 Las pruebas anteriores también combinaban la medición de habilidades y contenidos. La diferencia principal se aprecia en el mayor grado de alineación curricular de las PSU en relación con la PAA. La batería empleada hasta la admisión 2003 estaba compuesta por tres pruebas de carácter obligatorio (la Prueba de Aptitud Académica en sus partes Verbal y Matemática y la Prueba de Historia y Geografía de Chile) y cinco de conocimientos específicos (Matemática, Física, Química, Biología y Ciencias Sociales). El nuevo sistema considera dos pruebas obligatorias (Matemática y Lenguaje y Comunicación) y una tercera que los estudiantes deben elegir entre Ciencias e Historia y Ciencias Sociales. En el caso de la Prueba de Selección Universitaria de Ciencias, ésta contiene un bloque común (con preguntas de Biología, Física y Química referidas al marco curricular común hasta segundo año de enseñanza media) y bloques específicos en Biología, Física y Química basados en el marco curricular de toda la Enseñanza Media. Los postulantes debieron rendir el bloque común y uno de los 3 bloques específicos, según su elección. Independientemente del bloque específico escogido se entregó un puntaje para la prueba de Ciencias, sin diferenciar el módulo específico rendido. El Cuadro Nº muestra que un número cercano a los 54 mil postulantes rindió las pruebas obligatorias de Lenguaje y Comunicación y Matemática. Por otra parte, Prueba Carácter Nº de Postulantes Matemática Obligatoria 53, % Lenguaje y Comunicación Obligatoria 53, % Historia y Ciencias Sociales Ciencias: Módulo electivo Biología Módulo electivo Física Módulo electivo Química Opcional Opcional 06, % 84, % 49,06 3.8% 9, % 5,37 0.0% CUADRO Nº / PRUEBAS DE SELECCIÓN UNIVERSITARIA / PROCESO DE ADMISIÓN 2004

9 cerca de un 70% rindió la prueba opcional de Historia y Ciencias Sociales y 55% la prueba de Ciencias, por lo que casi un 25% de los postulantes rindió ambas pruebas. Tal como muestra el Cuadro Nº2, si bien la mayor parte de los postulantes provino de establecimientos municipales y particulares subvencionados, la proporción de éstos es inferior (y la de los particulares pagados mayor) a la que se observa en la matrícula de la Enseñanza Media. Asimismo, mientras que aproximadamente 50% de los estudiantes de Enseñanza Media pertenece a la modalidad Técnico- Profesional, dicha proporción ascendió a sólo 24% dentro de los postulantes al proceso de selección Por último, dos tercios de los postulantes corresponden a estudiantes egresados el mismo año de Enseñanza Media mientras que el resto son alumnos rezagados. Categoría Proporción de Postulantes (a) Por dependencia Municipal Particular Subvencionado Particular Pagado 43% 4% 6% (b) Por modalidad Científico-Humanista Técnico-Profesional 76% 24% (c) Por año de egreso Egresado año 2003 Egresado años anteriores 70% 30% CUADRO Nº 2 / CLASIFICACIÓN DE POSTULANTES / PROCESO DE ADMISIÓN 2004

10 II. Análisis de Itemes II.. Grado de Dificultad y Capacidad Discriminativa Los resultados que se reportan resumen el funcionamiento de los ítemes en cada una de las pruebas. Desde el punto de vista métrico, lo fundamental es establecer si los ítemes cubren el rango de dificultad esperado y si su capacidad discriminativa se encuentra dentro del rango convencionalmente aceptable. La combinación de estas dos propiedades otorga garantías básicas acerca de la capacidad de las preguntas para evaluar en forma consistente y diferencial a los postulantes a las Universidades. El Gráfico Nº resume en el eje horizontal el grado de dificultad de las preguntas, medido por el porcentaje de respuestas correctas (así, el eje evoluciona desde mayor a menor dificultad). Lo esperable en pruebas de selección es contar con un conjunto de ítemes que cubra todo el espectro de grados de dificultad. Se han considerado aceptables grados de dificultad de entre 0, y 0,8. Por otra parte, en el eje vertical se incluye la capacidad discriminativa de los ítemes, medido por la correlación biserial. Este último indicador es relevante pues informa sobre cuán efectivo es un ítem para diferenciar a personas que poseen diferente nivel de habilidad. Así, si el ítem funciona en forma adecuada, quienes lo responden correctamente debieran tener un puntaje total mayor que quienes lo contestan incorrectamente. De esta manera, en el gráfico se ha considerado aceptable un rango para la correlación biserial de 0,25 o más. Estos parámetros fueron definidos previamente en un protocolo entregado al Comité Técnico Asesor el año 2003 por los equipos técnicos encargados. Los resultados generales obtenidos son altamente satisfactorios y se resumen en el Gráfico que incluye la totalidad de ítemes distintos utilizados en las distintas pruebas (un total de 52). Se puede apreciar que la casi totalidad de los ítemes aplicados (un 95,9%) está dentro de los rangos considerados aceptables.

11 En materia de grados de dificultad los ítemes están sesgados hacia los niveles de dificultad superiores (grado de dificultad 0,5 o menos) lo cual es deseable para un instrumento construido con propósitos selectivos. En términos de dificultad, los ítemes que están fuera de los rangos establecidos lo están, fundamentalmente, por exhibir niveles de dificultad superiores, lo que ciertamente es preferible. Hay un solo ítem que presenta un grado ostensible de dificultad menor (cercano a 90% de respuestas correctas). Por otra parte, en materia de capacidad discriminativa, prácticamente todos los ítemes están en el rango aceptable y unos cuantos en torno al límite inferior. Gráfico Distribución del grado de dificultad y capacidad discriminativa total de ítemes (itemes=52) Capacidad Discriminativa Grado de Dificultad Evidentemente la situación anterior se mantiene cuando se separan los ítemes por prueba. El Cuadro Nº3 que se presenta a continuación, resume los indicadores promedio para las distintas pruebas. Se aprecia que el grado de dificultad promedio de todas las pruebas se encuentra por debajo del 50%, una característica deseable para instrumentos de selección universitaria. El total de ítemes exhibe un promedio de 4% de respuestas correctas; y fluctúa desde un 32% en la prueba de Ciencias para el bloque común y el optativo de Biología, hasta un 47% en el caso de Lenguaje.

12 La capacidad discriminativa media es de 0,56, con un mínimo de 0,47 en el caso de Lenguaje y un máximo de 0,7 en la prueba de Matemática. Esto refleja que la capacidad discriminativa de las preguntas es adecuada y ofrece suficientes garantías para que la diferenciación de puntajes sea confiable. Prueba Nº de ítemes Proporción media de respuestas correctas Capacidad discriminativa media Tasa media de Omisión Matemática Lenguaje y Comunicación Historia y Ciencias Sociales Ciencias: Módulo común Módulo electivo Biología Módulo electivo Física Módulo electivo Química Todas las Pruebas CUADRO Nº 3 / RESUMEN DE CARACTERÍSTICAS DE LOS ÍTEMES POR PRUEBA / PROCESO DE ADMISIÓN 2004 Las preguntas también fueron analizadas con técnicas basadas en la teoría de respuesta al ítem. Este enfoque establece una relación funcional (no lineal) entre la probabilidad de responder correctamente un determinado ítem y el grado de dominio del atributo subyacente al ítem, permitiéndose la estimación simultánea de las propiedades psicométricas de los ítemes y la habilidad de quienes son evaluados. Para el análisis de ítemes se calibró el conjunto de preguntas evaluadas en cada prueba, estimándose sus parámetros. En este enfoque dos de los parámetros de los

13 ítemes tienen una correspondencia conceptual con los de la teoría clásica: uno que se relaciona con la dificultad del ítem (parámetro de localización) y otro con su capacidad discriminativa (parámetro de pendiente). Los resultados se muestran en el Cuadro N 4 y confirman los resultados provenientes del análisis realizado con el enfoque de la teoría clásica. Prueba Promedio parámetro a (pendiente) Capacidad Promedio parámetro b (posición) Grado de Dificultad Matemática 0.89 (0.32) (0.77) Lenguaje y Comunicación 0.49 (0.7) (0.94) Historia y Ciencias Sociales Ciencias 0.56 (0.23) 0.60 (0.27) (.04) 0.35 (.38) CUADRO Nº 4 / RESUMEN DE PARÁMETROS IRT / PROCESO DE ADMISIÓN 2004 (DESVIACIÓN ESTÁNDAR ENTRE PARÉNTESIS) II.2. Tasas de Omisión La proporción de examinados que deja un ítem sin responder es otro criterio de interés. El Cuadro 3 mostró un 29% de omisión en el total de ítemes aplicados en las pruebas de selección universitaria. Cuando se analizan las tasas de omisión para los ítemes ordenados según su posición en cada prueba, se puede concluir que no existe un patrón definido que implique mayor omisión hacia el final de las pruebas.

14 El patrón anterior exhibido por todas las pruebas permite concluir que el tiempo otorgado para responder las pruebas resultó apropiado, sin que exista evidencia de que haya sido un factor que incidiera en la dificultad de las preguntas. La omisión, más bien, muestra una alta correlación con el grado de dificultad de las preguntas siendo, de acuerdo a lo deseable, más elevada para las preguntas más difíciles. Es decir, la omisión refleja desconocimiento del contenido medido por el ítem, tal como se muestra en el Gráfico Nº2 que incluye la totalidad de los ítemes. Gráfico 2 Relación entre Omisión y Dificultad Tasa de Omisión Grado de Dificultad

15 III. Confiabilidad de las Pruebas y Correlaciones entre Pruebas III.. Confiabilidad de las pruebas Todo tipo de medición involucra algún nivel de error. La teoría clásica conceptualiza que todo puntaje observado en una prueba está constituido por dos partes: una parte "verdadera" y una parte de "error". El objetivo de todo test es poder determinar con la mayor precisión posible el puntaje verdadero de cada examinado y, por lo tanto, minimizar el error. El concepto de confiabilidad resume precisamente el grado en que las puntuaciones observadas pueden ser consideradas como puntuaciones verdaderas. Prueba Forma Forma 2 Forma 3 Forma 4 Nº de ítemes Matemática Lenguaje y Comunicación Historia y Ciencias Sociales Ciencias: Módulo común Módulo común más módulo electivo Biología Módulo común más módulo electivo Física Módulo común más módulo electivo Química CUADRO Nº 5 / CONFIABILIDAD DE LAS PRUEBAS POR FORMA / PROCESO DE ADMISIÓN 2004 (COEFICIENTE ALFA DE CRONBACH)

16 Debe aclararse que la confiabilidad debe ser estimada para cada forma de las pruebas que fue aplicada, por lo que el cuadro N 5 reporta un valor para cada forma de prueba empleada. El indicador comúnmente utilizado es el coeficiente alfa de Cronbach. A nivel nacional e internacional, valores del indicador de confiabilidad superiores a 0,9 son considerados altamente positivos. Como se aprecia del Cuadro Nº5, la confiabilidad de las pruebas es en todos los casos muy satisfactoria, revelando altos índices de consistencia interna de los puntajes. III.2. Correlaciones entre pruebas El Cuadro Nº6 que se presenta a continuación muestra los coeficientes de correlación de los puntajes de las distintas pruebas para la batería de pruebas aplicada en la admisión 2003, mientras que el Cuadro Nº7 hace lo mismo para las PSU para la admisión Por ejemplo, se aprecia que para la admisión 2003 el coeficiente de correlación entre los puntajes de la PAA de Matemáticas y la PAA Verbal fue de 0,77; la correlación de la PAA de Matemáticas con la Prueba de Historia de Chile fue de 0,70; y la correlación entre la PAA Verbal y la prueba de Historia de Chile fue de 0,78. En el caso de las PSU, la correlación entre Matemática y Lenguaje fue de 0,72; y así sucesivamente. Las diferentes poblaciones que rinden las pruebas de conocimientos específicos y de aptitud para la admisión 2003 hace difícil la comparación entre ellas. La principal conclusión que se puede obtener del cuadro es que en términos generales se mantienen las correlaciones exhibidas por la batería antigua de pruebas. En el margen, la menor correlación que exhiben las dos pruebas más importantes (Lenguaje y Matemática) en el caso de la PSU en relación a las PAA (0,72 en comparación con 0,77) 3 debe interpretarse positivamente por cuanto potencialmente se podría traducir en una mejor capacidad predictiva. No obstante, estudios específicos podrán llevarse a cabo sólo después de un año (una vez que los postulantes hayan cursado el primer año de universidad). 3 Nótese que la correlación entre los puntajes de la PSU de Matemática y los obtenidos por los mismos postulantes en la PSU de Lenguaje y Comunicación es de 0,72, un valor intermedio entre la correlación que exhibía la PAA-M y la PAA-V (0,77) por una parte, y la PCE-M y la PAA- V (0,67), por otra.

17 PAA-M PAA-V H.Chile PCE-M PCE-B PCE-F PCE-Q PCE-CS PAA-M PAA-V H.Chile PCE-M PCE-B PCE-F PCE-Q PCE-CS PAA-M: Prueba de Aptitud Académica parte Matemática PAA-V: Prueba de Aptitud Académica parte Verbal H.Chile: Prueba de Historia y Geografía de Chile PCE-M: Prueba de Conocimientos Específicos Matemática PCE-B: Prueba de Conocimientos Específicos Biología PCE-F: Prueba de Conocimientos Específicos Física PCE-Q: Prueba de Conocimientos Específicos Química PCE-CS: Prueba de Conocimientos Específicos Ciencias Sociales CUADRO Nº 6 / CORRELACIONES ENTRE PRUEBAS / PROCESO DE ADMISIÓN 2003 PSU-M PSU-L PSU-CS PSU-B PSU-F PSU-Q PSU-M PSU-L PSU-CS PSU-B PSU-F PSU-Q PSU-M: PSU-L: PSU-CS: PSU-B: PSU-F: PSU-Q: Prueba de Selección Universitaria Matemática Prueba de Selección Universitaria Lenguaje y Comunicación Prueba de Selección Universitaria Historia y Ciencias Sociales Prueba de Selección Universitaria Ciencias (módulo electivo Biología) Prueba de Selección Universitaria Ciencias (módulo electivo Física) Prueba de Selección Universitaria Ciencias (módulo electivo Química) CUADRO Nº 7 / CORRELACIONES ENTRE PRUEBAS / PROCESO DE ADMISIÓN 2004

18 IV. Distribución de Puntajes en las Pruebas IV.. Consideraciones Generales. Los puntajes finales de las distintas pruebas se obtienen luego de aplicar un procedimiento de conversión a los puntajes corregidos (obtenidos al descontar un cuarto de punto por cada respuesta incorrecta) y se expresan en una escala que se escoge arbitrariamente. En el caso de las pruebas de selección universitaria, la gran mayoría de los puntajes finales se concentra entre 200 y 800 puntos. En esta sección se discute los procedimientos de conversión, las distribuciones estadísticas de los puntajes finales y la relevancia de estos aspectos en el proceso de selección. Los principales métodos de conversión de puntajes son la estandarización y la normalización. Ninguno de estos procedimientos altera el ordenamiento relativo de los puntajes aún cuando sí afectan el cálculo de los puntajes ponderados y, por ende, pueden ser determinantes en que un alumno sea admitido o no en una carrera determinada. Por otro lado, los puntajes finales se utilizan en la toma de decisiones, tanto por parte de los postulantes como de las autoridades universitarias. Decisiones adecuadas requieren una buena comprensión de las características del procedimiento de conversión empleado. La estandarización consiste en una transformación lineal de los puntajes corregidos a una escala preestablecida. El promedio y la desviación estándar de los puntajes corregidos, así como los valores pre-establecidos correspondientes para los puntajes finales, determinan esta transformación. En el caso de las PSU y la PAA los valores nominales de la escala de la media y la desviación estándar han sido históricamente de 500 y 00 respectivamente, pero los valores reales han diferido de los nominales.

19 La normalización es una transformación no lineal, que depende sólo de las frecuencias porcentuales acumuladas o de los percentiles. La media y la desviación estándar de la escala en que se expresan los puntajes finales siguen fijándose arbitrariamente. Ambos métodos de conversión permiten que el puntaje de un postulante indique su ubicación relativa dentro de una prueba. En el caso de la estandarización, el puntaje del postulante se expresa en términos del número de desviaciones estándar por sobre el promedio en la prueba, el denominado puntaje-z. Este es idéntico si se calcula para los puntajes corregidos o para los finales. Por ejemplo, un puntaje de 633 puntos en la PSU de Matemática de la admisión 2004 correspondió a un puntaje-z de,22 mientras que este mismo puntaje-z correspondió a 67 puntos en la PAA parte Matemática de la admisión En la normalización, la ubicación relativa de un postulante es su percentil, es decir, el porcentaje de puntajes igual o inferior al obtenido por éste. El puntaje final calculado es el percentil correspondiente de una distribución normal con el promedio y la desviación estándar prefijados. Por ejemplo, el percentil 90 de la PSU de Matemática de la admisión 2004 fue de 633 puntos, mientras que el percentil 90 de la PAA parte Matemática de la admisión 2003 correspondió a 705 puntos. Para facilitar la interpretación de los puntajes y para que la ponderación efectiva de cada prueba coincida con la que la universidad haya determinado, es deseable asignar un mismo puntaje final a dos personas que rindieron distintas pruebas, pero que tienen una misma ubicación relativa en ellas. La estandarización y la normalización apuntan a lograr esto, pero para ello es fundamental usar el mismo promedio y desviación estándar en ambas pruebas. Por otra parte, ambos procedimientos no entregan resultados consistentes entre sí, a menos que la distribución estadística de los puntajes corregidos sea aproximadamente normal. En consecuencia, la elección del procedimiento de conversión depende de la distribución de los puntajes corregidos en la población de postulantes. Cabe señalar que la distribución estadística de los puntajes refleja primordialmente la variabilidad de las habilidades que las pruebas pretenden medir, dentro de la población a la cual se aplican las pruebas. No hay así razones a priori para que la distribución de puntajes de una prueba se asemeje a una predeterminada, y en particular a la denominada curva normal (la anormalidad no es de por sí algo negativo en este caso)

20 Una ventaja del proceso de normalización, con promedio y desviación estándar estables, es que permite anticipar con exactitud la proporción de postulantes que se ubica por encima de cada puntaje. Esto es importante en un sistema de medición de altas consecuencias, pues entrega señales estables a los postulantes y a las instituciones, y resulta relevante para entender e interpretar los puntajes. Otra ventaja de este procedimiento es que la distribución de los puntajes finales se mantiene relativamente estable entre un año y otro, con lo cual las ponderaciones efectivas de cada prueba coinciden con las buscadas por las unidades que imparten una carrera determinada. Cabe hacer notar que si una prueba presenta una desviación estándar mayor que otra, su ponderación efectiva también aumenta. IV.2. Distribuciones empíricas de las pruebas. Las pruebas de las PSU fueron sometidas a dos procedimientos para transformar sus puntajes brutos. Las prueba de matemática y ciencias fueron normalizadas, mientras que en las otras dos se llevó a cabo una transformación lineal. En las dos últimas no se llevó a cabo una normalización, puesto que la distribución de sus puntajes brutos era semejante a la distribución normal. Tal como puede apreciarse en el Gráfico 3, las distribuciones resultantes en los cuatro casos se aproximan a la distribución normal. En los cuatro casos el promedio corresponde a 500 puntos, aunque su desviación estándar es diferente. La de ciencias es de 00 puntos, la de historia 08, la de matemática 09 y la de lenguaje Gráfico 3 Distribución de Puntajes Estandarizados de Pruebas Admisión 2004 (PSUM, PSUL, PSUH, PSUC) 4 Para facilitar la comparación con la distribución empírica, todas las figuras de los Gráficos 3 y 4 incluyen también una distribución normal.

21 Gráfico 3 Distribución de Puntajes Estandarizados de Pruebas Admisión 2004 (PSUM, PSUL, PSUH, PSUC)

22 Para establecer un punto de referencia comparativo, se presentan también, en el Gráfico 4, las distribuciones obtenidas en la última versión de las pruebas tradicionales. Con respecto a éstas, también existía una combinación de procedimientos de transformación de puntajes: las pruebas de aptitud eran sometidas a transformación lineal, mientras que las pruebas de conocimientos específicos eran normalizadas. Tal como puede observarse, en tres de los casos se observan distribuciones simétricas, cercanas a la normal (o exactamente normales, como en el caso de la PCE de Biología, que es la única prueba de ese tipo mostrada en el Gráfico 5 ). En el caso de la PAAM se observa una clara asimetría, que era tradicional en esta prueba. Esta asimetría no aparece en la PSUM debido al proceso de normalización empleado en este caso, aunque su distribución de puntajes brutos mostró la misma asimetría que era tradicional con la PAAM 6. Gráfico 4 Distribución de Puntajes Estandarizados de Pruebas Admisión 2003 (PAAM, PAAV, PAAHyG, PCEB) 5 No se muestran las restantes Pruebas de Conocimientos Específicos, puesto que sus distribuciones son equivalentes a la que aparece en el gráfico. 6 Esta asimetría también se observaba, incluso más acentuadamente, en los puntajes brutos de las PCE de matemática.

23 Gráfico 4 Distribución de Puntajes Estandarizados de Pruebas Admisión 2003 (PAAM, PAAV, PAAHyG, PCEB)

24 IV.3. Análisis de las pruebas. (a) Evolución de las desviaciones estándar Tal como muestra el Cuadro N 8, prácticamente en ninguno de los años anteriores la desviación estándar de la prueba de Aptitud Académica en sus partes Matemática y Verbal fue de 00 puntos. La Prueba de Aptitud Matemática, por ejemplo, presentó desviaciones estándar de entre 20 a 40 puntos entre 999 y Lo mismo ocurre con la Prueba de Aptitud Verbal que exhibió desviaciones estándar de entre 06 y 22 puntos. Vale decir, los parámetros no sólo variaron en el tiempo sino también entre pruebas, lo cual es problemático, dado el esquema de ponderación de pruebas que aplican las universidades para calcular los puntajes de postulación. También se observa que en todos los años allí examinados, la desviación estándar en la prueba de Matemática (PAA) fue superior a la desviación estándar en la prueba Verbal. El año 2004, con la primera aplicación de las PSU, también se observan diferencias en los valores de la desviación estándar entre las pruebas de Lenguaje y Matemática. Como se aprecia del cuadro Nº8 la desviación estándar en la prueba de Matemática fue de 09 puntos, mientras que la de la prueba PSU de Lenguaje y Comunicación fue de 22 puntos. Esta diferencia contrasta con la que se había producido con la PAA, donde lo habitual había sido una mayor desviación estándar de la prueba de matemática, que era la prueba con una distribución más asimétrica, como se observó en el Gráfico 4. Año Desviación Estándar Matemática Asimetría Desviación Estándar Lenguaje Asimetría 999 (PAA) 2000 (PAA) 200 (PAA) 2002 (PAA) 2003 (PAA) 2003 (PSU) ,44 0,6 0,46 0,46 0,43 0,07 (0,66) ,35 0,8 0,23 0,5 0,5 0,6 CUADRO Nº 8 / EVOLUCIÓN DE LA DESVIACIÓN ESTÁNDAR Y ASIMETRÍA DE LOS PUNTAJES ESTANDARIZADOS EN MATEMÁTICA Y LENGUAJE

25 (b) Asimetría y no ajuste de la distribución normal Una característica de la PAA-Matemática y de las PCE, al menos en los últimos años, es su fuerte grado de asimetría (ver Cuadro 9), lo que indica una violación del supuesto de normalidad. Dado el carácter intermedio entre la PAA parte Matemática y la PCE Matemática que a priori tiene la PSU de Matemática, sumado al hecho de que esta prueba se aplicó al total de los postulantes, no resulta sorprendente el grado de asimetría que presentan los puntajes brutos de esta prueba. Los cambios en la desviación estándar en la PAA-MAT están probablemente motivados por la falta de simetría de la distribución de puntajes y por usar una estandarización en vez de una normalización. El carácter no normal de la distribución de puntajes corregidos hizo aconsejable un proceso previo de normalización de la PSU-MAT, tal como había sido regularmente utilizado en las PCE. Los problemas de comparabilidad suscitados entre el 2003 y el 2004 obedecen, en parte, a la normalización, especialmente por el efecto que el cambio de procedimiento de transformación produjo en la desviación estándar de la prueba de matemática, que bajó de 40 puntos en la PAAM a 09 puntos en la PSUM. Esta generó una fuerte disminución de los puntajes de la PSU-MAT con respecto a la PAA- MAT del año anterior, con las conocidas consecuencias sobre los alumnos y las universidades en el proceso de admisión Aunque sea redundante, vale la pena recordar que la fijación de una desviación estándar de 09 no tiene relación alguna con el cambio en el tipo de pruebas, puesto que una situación semejante se habría producido si se hubiera decidido normalizar la PAAM. En general, la PSU-MAT aparece como más difícil que la PAA-MAT, cuando se mira el tramo superior de la escala. Esto obedece principalmente al cambio en la desviación estándar, de 40 a 09, pero es también afectado por el uso de una normalización en vez de una estandarización. Para un mismo puntaje en ambas pruebas, la ubicación relativa del postulante es mucho mejor para la PSU-MAT. Por ejemplo, el 5,7% de los puntajes en la PSU-MAT excede los 660 puntos, porcentaje que casi se triplica para la PAA-MAT (5,9%). En términos de posición relativa, un puntaje en la PSU-MAT de 660 puntos es homologable a 743 de la PAA-MAT.

26 (c) Comparación de puntajes El cuadro 9 ilustra dos maneras de comparar los puntajes entre la PAA-MAT 2003 y la PSU-MAT La primera columna indica el número z de desviaciones estándar (40 y 09 respectivamente) sobre el promedio. En términos de una estandarización con parámetros estables, los puntajes de la segunda y tercera columna debieran coincidir. Sin embargo, los de la tercera columna son sensiblemente inferiores a los de la segunda. El puntaje que aparece en la cuarta columna se obtiene igualando posiciones relativas usando porcentajes acumulados o percentiles. Para z=0 todos los valores coinciden con el promedio. Para z=0,5 la disminución de puntaje es de 5 puntos para la columna 3 y de 20 puntos para la columna 4. La caída se acrecienta a medida que aumenta z, siendo más marcada cuando se mira la columna 4. Nº de PAA desviaciones Matemática estándar (z) 2003 sobre 500 puntos PSU Matemática 2004 PSU equivalente en posición relativa 0 0,5, CUADRO Nº 9 / COMPARACIÓN DE PUNTAJES DE MATEMÁTICA: PAA Y PSU La idea es que un postulante con 70 puntos en la PAA-MAT es equivalente a uno con 663 puntos en la PSU-MAT, una diferencia de 47 puntos, cuando se utiliza el puntaje z para la comparación. En términos de posición relativa, medida por el percentil, esta caída aumenta a 75 puntos. En el caso de las pruebas de Aptitud, parte verbal y de Lenguaje y Comunicación, la igualdad de la desviación estándar (22 puntos) y la normalidad aproximada de los puntajes corregidos no generan estas diferencias.

27 V. Equidad. La brecha en los puntajes obtenidos en las pruebas de admisión universitaria (así como en otras mediciones educacionales) entre estudiantes provenientes de liceos municipales y particulares pagados es un rasgo de constante preocupación en Chile. Dados los aspectos indicados en la sección anterior, es pertinente que, antes de comparar brechas de puntajes entre distintas pruebas o entre distintos años, se expresen los puntajes en una escala común. Una forma ampliamente aceptada para realizar estas comparaciones consiste en expresar la magnitud de las brechas como proporción de la desviación estándar. El gráfico 5 muestra que la brecha tanto en la última aplicación de la PAA como en la primera aplicación de las PSU, la diferencia a favor de los establecimientos particulares pagados asciende a cerca de una desviación estándar en el caso de la prueba de matemática. Asimismo, esta diferencia es levemente menor en el caso de Lenguaje. Gráfico 5 Magnitud de la brecha entre establecimientos particulares pagados y municipales en pruebas obligatorias / Todos los postulantes.2. Diferencia Estandarizada PAA 2003 PSU Matemática Lenguaje

28 La conclusión principal es que las brechas de puntajes entre estas categorías de establecimientos se mantuvieron entre un año y otro. Los gráficos 6 y 7 descomponen lo anterior por tipo de postulante: de la promoción o rezagado. Se observa que las brechas son superiores para los primeros, pero es precisamente este grupo el que exhibe una disminución mayor. Los rezagados, por otra parte, muestran un leve aumento en el diferencial. Gráfico 6 Magnitud de la brecha entre establecimientos particulares pagados y municipales en pruebas obligatorias / Postulantes de la promoción.2. Diferencia Estandarizada Matemática Lenguaje PAA 2003 PSU 2004 Gráfico 7 Magnitud de la brecha entre establecimientos particulares pagados y municipales en pruebas obligatorias / Postulantes rezagados Diferencia Estandarizada Matemática Lenguaje PAA 2003 PSU 2004

29 Por último, en otra dimensión, se aprecia que aunque los hombres tienen mayores puntajes que las mujeres en todas las pruebas en la batería antigua (admisión 2003), en el caso de las PSU se registra una eliminación de esta brecha en el caso de la prueba de lenguaje. Este último resultado resulta coherente con lo que se observa en otras mediciones nacionales e internacionales. No obstante, debe señalarse que la magnitud de la brecha por género no llega a la tercera parte de la brecha por dependencia exhibida en los gráficos anteriores. Gráfico 8 Magnitud de la brecha entre hombres y mujeres en pruebas obligatorias / Todos los postulantes Diferencia Estandarizada PAA 2003 PSU Matemática Lenguaje

30 VI Conclusiones En resumen, del análisis realizado se puede inferir que:. La gran mayoría de las preguntas de las 4 pruebas presentan parámetros adecuados en términos de su grado de dificultad y capacidad discriminativa. Estos resultados son equivalentes a los observados en las pruebas tradicionales, y son compatibles con la naturaleza selectiva de estas pruebas. Dado que la calidad métrica de las preguntas es determinante con respecto a la calidad de un instrumento de medición, este resultado es fundamental. 2. Las cuatro pruebas poseen una alta confiabilidad. La confiabilidad es una característica técnica básica en un instrumento de medición, que refleja el grado en que las puntuaciones obtenidas están libres de error de medición. Nuevamente, las confiabilidades observadas con las nuevas pruebas son equivalentes a las obtenidas en las pruebas tradicionales. 3. La distribución estadística de los puntajes en las pruebas refleja la variabilidad de las habilidades medidas en la población. En el caso de Matemática, la fuerte asimetría de la distribución de los puntajes brutos ya estaba presente en la PAA y la PCE de Matemática. Por su parte, la distribución de los puntajes corregidos de la PSU en Lenguaje y Comunicación es muy semejante a la de la PAA-Verbal. 4. La contracción de los puntajes de la PSU de matemática con respecto a la PAA de matemática obedece primariamente al cambio en su desviación estándar y adicionalmente a los cambios aplicados en los procedimientos para estandarizar los puntajes. Esta diferencia, en consecuencia, se debe a procedimientos técnicos que son independientes de la reformulación llevada a cabo con las pruebas.

31 5. Las brechas observadas por dependencia o género en las PSU son equivalentes o levemente inferiores a las constatadas en las pruebas anteriores. En consecuencia, no hay evidencia para sostener que el cambio en las pruebas haya producido una modificación relevante en esta materia. A partir de los resultados obtenidos, el Comité Técnico Asesor recomienda establecer un esquema estable para la conversión de puntajes que asegure que las pruebas mantengan una distribución equivalente en el tiempo. El procedimiento de normalización, o alguna variante del mismo, con promedio y desviación estándar fijos, es la opción más natural. La adopción de un procedimiento como el descrito permitirá anticipar la distribución de puntajes de cada prueba, lo que adicionalmente garantizará el efectivo cumplimiento de las ponderaciones que las universidades asignan a las pruebas. En estas condiciones, los postulantes a las universidades y las instituciones universitarias podrán tomar decisiones mejor informadas.

32 Gustavo Hawes Barrios Director Instituto Investigación y Desarrollo Educacional Universidad de Talca ghawes@utalca.cl David Bravo Urrutia Profesor Departamento de Economía Universidad de Chile dbravo@econ.uchile.cl Guido Del Pino Manresa Profesor Titular Departamento de Estadística Facultad de Matemáticas Pontificia Universidad Católica de Chile gdelpino@mat.puc.cl Graciela Donoso Benigna Jefe Unidad de Análisis Departamento de Evaluación, Medición y Registro Educacional Universidad de Chile gdonoso@uchile.cl Jorge Manzi Astudillo Profesor Escuela de Psicología Pontificia Universidad Católica de Chile jmanzi@puc.cl Manuel Martínez Martínez Profesor Titular Facultad de Química y Biología Universidad de Santiago de Chile mamartin@lauca.usach.cl

33