ES REDUNDANTE LA PRUEBA DE SELECTIVIDAD?

Transcripción

1 ES REDUNDANTE LA PRUEBA DE SELECTIVIDAD? Ricardo Gimeno Nogués, Raquel Redondo Palomo y Antonio Rúa Vieytes Departamento de Métodos Cuantitativos Facultad de Ciencias Económicas y Empresariales (ICADE) Universidad Pontificia Comillas de Madrid C/ Alberto Aguilera 23, Madrid, Teléfono: (ext.: 2243) rgimeno@cee.upco.es RESUMEN Como consecuencia de la futura reforma en las pruebas de acceso a la universidad española, en donde la principal novedad será la eliminación de la prueba de conjunto o selectividad, cabe reflexionar sobre tan controvertida prueba y preguntarnos si realmente dicha prueba ha servido para algo y su aplicación ha sido efectiva en el rendimiento del alumno una vez dentro de la universidad o, por el contrario, si se trata de una prueba redundante. A partir del expediente académico y de las notas de selectividad de una muestra de alumnos durante siete años, se llevará a cabo un análisis econométrico del grado de explicación que estas notas tienen sobre la prueba de conjunto y se constatará si dicha prueba es efectiva o redundante. Palabras Clave: Rendimiento académico, Modelos econométricos, Bachillerato, Selectividad 1

2 1. INTRODUCCIÓN Dentro de los cambios que se están produciendo en el sistema educativo español ocupa un lugar destacado la desaparición de la Prueba de Acceso a la Universidad (PAU) más conocida como Selectividad. Este cambio va a repercutir no sólo en la forma en la que los alumnos que terminan el bachillerato afrontan su nueva etapa universitaria, sino que, principalmente, va a suponer un papel mucho más activo de las propias universidades a la hora de seleccionar a sus alumnos, facilitando con ello la búsqueda de los elementos diferenciadores de cada Universidad que caracteriza al modelo anglosajón, en general, y al americano más concretamente. La PAU, en sus orígenes, constituía un intento de objetivar, homogeneizar e incluso dar transparencia al proceso de admisión de la Universidad pública española. La disparidad entre la demanda de las distintas carreras universitarias y el número de plazas ofertadas en cada una de ellas exigía la existencia de un criterio que permitiera escoger a aquellos alumnos que mejor pudieran aprovechar la oportunidad de cursar unos estudios de tipo universitario. La existencia de un criterio igual para todo el sistema universitario se utilizaba como garantía de igualdad de oportunidades para todos los estudiantes, sin discriminación según la región o lugar de procedencia. Esta nota permitía ordenar a los aspirantes a cada licenciatura, de tal forma que la entrada en la carrera seguía un sistema similar a la ley de la oferta y la demanda de los mercados de competencia perfecta, en la que eran escogidos los alumnos con mejores notas, estableciendo las famosas notas de corte por facultades y universidades. La nota de la PAU era el resultado de realizar una media ponderada del expediente académico. Esta nota del expediente académico se obtenía calculando la nota media de cada curso dando más peso a los cursos más próximos al comienzo del periodo universitario COU en el viejo sistema, Bachillerato en el actual y menos a medida que nos alejamos en el tiempo (BUP o ESO). A esta nota se le incorporaba el resultado del famoso examen que se asimilaba a la Selectividad, aunque en realidad sólo era una parte de él. La justificación principal de la presencia de dicho examen radicaba en ciertas suspicacias sobre la homogeneidad a la hora de calificar según el Instituto o colegio de procedencia del estudiante (tema que daría para otro estudio). Sin embargo el examen de selectividad, a pesar de concebirse como una forma de evitar agravios comparativos entre alumnos de distintos centros, ha sido visto siempre por ellos como algo impopular. Tradicionalmente se ha aducido que en dicha prueba el alumno se jugaba todo su futuro a una carta. Este razonamiento era, en parte, injusto puesto que el examen solo suponía una parte de la nota final de la PAU. Como consecuencia de estas críticas y de la nueva visión de la Universidad Pública Española, en la que se busca que cada Universidad busque sus propias señas de identidad y su especialización, era claro que la prueba de selectividad estaba abocada a su desaparición. En la actualidad nos enfrentamos a un panorama dominado por dos grandes tendencias: - Descenso en el número de alumnos que acceden a la Universidad debido al descenso de la natalidad, que con ser ya fuerte su reflejo entre los jóvenes de 18 años, irá creciendo en los próximos años. - Aumento del número de universidades tanto públicas como privadas, y con ello del número de plazas ofertadas. 2

3 Como consecuencia de esto ya se observa que en muchas titulaciones de casi todas las universidades están quedando plazas libres, en las que por tanto está entrando todos los alumnos solicitantes, desapareciendo con ello la temida nota de corte. Este fenómeno no es homogéneo para todas las titulaciones, sino que es más común en unas que en otras, y sigue siendo muy complicado el ingreso en algunas facultades. La desaparición de las pruebas de selectividad en estas condiciones obliga a cada una de las universidades españolas, tanto públicas como privadas, a replantearse su política de admisiones, de tal forma que resulta de la máxima relevancia saber qué es lo que se puede conocer y qué es lo que no se puede saber sobre el rendimiento académico futuro en la Universidad de un solicitante de 18 años. En este campo del análisis del rendimiento académico existen trabajos muy interesantes (Rua (2001); Rua y Kennedy (2002) y Rua y Redondo (2002)) en los que se demuestra cómo el lugar de procedencia o de formación preuniversitaria tienen un peso destacado en el futuro éxito académico del alumno de primer curso. Este camino abierto es el que pretendemos explorar como criterio para la selección de los alumnos universitarios. El presente trabajo ha sido dividido en tres partes. En la primera de ellas (sección 2) se analiza la situación actual en la que se intenta inferir el rendimiento académico de los futuros alumnos a partir de la prueba de selectividad. En segundo lugar trataremos de comprobar la capacidad de predicción del expediente académico sin recurrir a la prueba de selectividad, para analizar la necesidad de la incorporación de alguna prueba adicional de forma individualizada por cada Universidad (sección 3). Por último trataremos de estudiar la necesidad de tratar por separado a los solicitantes a cada una de las licenciaturas que oferten las universidades o, si por el contrario, es posible hacer un tratamiento único para todas las facultades (sección 4). En la sección 5 concluiremos resumiendo los resultados más interesantes presentados en este trabajo. 2. LOS DATOS Para el estudio de las siguientes secciones hemos utilizado una muestra de 1881 alumnos de las licenciaturas de Derecho y Administración y Dirección de Empresas (ADE). La elección de estas dos licenciaturas se ha debido a que son las dos carreras con mayor demanda por parte de los aspirantes a entrar en la Universidad. La división de las 1881 observaciones entre las dos carreras es de 927 de Derecho y 953 de ADE. Para evitar las particularidades que pudieran presentarse por las peculiaridades de un examen de selectividad en concreto, la muestra procede de 7 años distintos, desde 1994 a 2001, de igual forma, el origen geográfico de los aspirantes se reparte por toda España. De cada uno de esas 1881 observaciones, se dispone de información de una serie de variables: Prueba de Acceso a la Universidad. Nota resultado de hacer media entre el examen de Selectividad y el expediente académico. Nota media en la Universidad. Para homogeneizar la variable, puesto que de los estudiantes de los últimos años no se dispone de información sobre la nota media de toda la carrera, se utiliza la nota media del primer año en la Universidad. Rua y Kennedy (2002) establecen cómo la relación entre las variables pre y post universitarias se debilitan en los últimos años de carrera, 3

4 por lo que tampoco resultaría razonable, y tendremos que renunciar a intentar hacer predicción sobre estos años. Notas finales de las siguientes asignaturas: Lengua Española 1, Lengua Extranjera 1, Historia 1, Formación Religiosa 1, Matemáticas 1, Ciencias Naturales 1, Lengua Española 2, Latín 2, Lengua Extranjera 2, Geografía 2, Formación Religiosa 2, Matemáticas 2, Física Química 2, Lengua Extranjera 3, Geografía 3, Filosofía 3, Formación Religiosa 3, Matemáticas 3. Estas asignaturas se cursan a las edades de 14, 15 y 16 años. Hemos dejado fuera intencionadamente las notas de las asignaturas del último año previo a la entrada en la Universidad (antiguo COU y actual 2º de bachillerato), por considerar que muchas universidades tendrán que adelantar sus procesos de selección y no dispondrán, en el momento de la toma de decisión de información sobre las notas obtenidas en dicho curso, por lo que hemos preferido situarnos en igualdad de condiciones que esas universidades. 3. SITUACIÓN ACTUAL (CON SELECTIVIDAD) Hasta ahora las universidades han usado la nota de la PAU como única información para la selección de los alumnos. Este criterio de selección se basa en el convencimiento de que buenos expedientes académicos preuniversitarios implica buen rendimiento académico universitario. Esta será la primera de las hipótesis básicas que trataremos de analizar, HIPÓTESIS 1: El rendimiento académico puede predecirse a partir de la nota de la P.A.U. Para contrastar dicha hipótesis hemos partido de un modelo de regresión lineal del tipo de la ecuación (1), NM i = β 1 + β 2 PAU i + u i (1) donde NM i es la Nota Media de la Universidad, PAU i es el resultado de la Prueba de Acceso a la Universidad y u i es la perturbación aleatoria. Los parámetros del modelo son β 1 y β 2, que han sido estimados en la Tabla 1. En dicha tabla se puede observar cómo la pendiente de la recta es de aproximadamente 0.9, lo que indicaría que la relación entre la nota de la PAU y la de primero de carrera es directa, aunque ligeramente más baja en la carrera. De cualquier forma, el grado de explicación que logramos alcanzar sobre la nota que se va a obtener en la Universidad es del 24.2%. Esto es, la capacidad predictiva de la PAU sobre la Nota media de la carrera es de un cuarto de la variabilidad de ésta última. El resto (un 75% aproximadamente), se nos va a escapar. Si bien podríamos considerar la cifra como baja, tenemos que considerar toda una serie de factores que hacen poco creíbles coeficientes de determinación mucho más altos. Entre ellos el cambio de ambiente de los alumnos, la metodología de estudio o incluso los cambios de lugar de residencia para aquellos que marchan a estudiar a una ciudad distinta a la del domicilio familiar. 4

5 TABLA 1: MODELOS ECONOMÉTRICOS CON LA NOTA MEDIA EN LA UNIVERSIDAD COMO VARIABLE DEPENDIENTE FRENTE A LA PRUEBA DE ACCESO A LA UNIVERSIDAD (Modelo de la ecuación (1)) Modelo Toda la muestra Modelo Derecho Modelo ADE (Derecho + ADE) Número de Observaciones Constante P.A.U (0.037) (0.047) (0.056) Coeficiente de determinación (R 2 ) Estadístico de Significación Conjunta Suma de los errores al cuadrado Entre paréntesis la desviación típica de los parámetros estimados. La cifra del coeficiente de determinación del 24.2% va a ser nuestro benchmark, nuestro objetivo a alcanzar por cualquier otro método de predicción que propongamos. Si con el método actual que desaparece obtenemos esta cifra, sería deseable que el nuevo sistema que se implante alcance, como mínimo, esta cifra. 4. SITUACIÓN FUTURA (SIN SELECTIVIDAD) En el futuro la valiosa información proporcionada por la PAU queda reducida, en principio al expediente académico. El primer interrogante que nos surge es si la PAU era el mejor resumen que podríamos haber hecho del expediente académico, o si por el contrario resulta un medio empobrecedor de predecir el rendimiento académico. HIPÓTESIS 2: El expediente académico preuniversitario es un buen predictor del rendimiento académico en la Universidad. De forma similar a como hacíamos en la HIPÓTESIS 1, proponemos un modelo de regresión lineal, en este caso múltiple, en el que las variables exógenas se corresponden con las notas del expediente académico, como refleja el modelo de la ecuación (2), NM i = β 1 + β 2 X1 i + β 3 X2 i + β 4 X3 i β 19 X18 i + u i (2) donde los X1 i, X2 i, X3 i... X18 i representan a cada una de las asignaturas del expediente académico. Los resultados de la estimación de este modelo pueden verse en la Tabla 2. Se observa en este modelo estimado cómo el coeficiente de determinación ha descendido del 24.2% al 19.4%, con lo que estaríamos diciendo que un proceso de admisiones que utilizara solo la información proporcionada por el expediente académico llevaría a peores resultados. Tenemos que señalar que en los modelos estimados en la tabla 2, así como sucederá posteriormente en las tablas 3 y 4, las estimaciones de los parámetros individuales se ve afectada por la presencia de una fuerte multicolinealidad. Esto no afecta ni al coeficiente de determinación ni al contraste de significación conjunta, que son los que en estos momentos nos interesan. Para una adecuada asignación de pesos de 5

6 cada una de las asignaturas, de cara a una nueva PAU sería preciso hacer previamente un análisis de componentes principales como el realizado en Rúa et al. (2003), para hacer la regresión posterior sobre estos componentes principales limpios de multicolinealidad. En cualquier caso llama la atención, tanto en este modelo como en los siguientes, cómo una de las asignaturas con un mayor grado de correlación es la asignatura de Filosofía. Dado el descenso en el coeficiente de determinación obtenido con el expediente académico parece claro que la PAU contiene información extra. Ese es el objetivo de estudio de nuestra tercera hipótesis. HIPÓTESIS 3: La Prueba de Acceso a la Universidad contiene información que va más allá del mero expediente académico. Para contrastar esta hipótesis utilizamos un modelo similar al de la ecuación (2), PAU i = β 1 + β 2 X1 i + β 3 X2 i + β 4 X3 i β 19 X18 i + u i (3) TABLA 2: MODELOS ECONOMÉTRICOS CON LA NOTA MEDIA EN LA UNIVERSIDAD COMO VARIABLE DEPENDIENTE FRENTE AL EXPEDIENTE ACADÉMICO (Modelo de la ecuación (2)) Modelo Toda la muestra Modelo Derecho Modelo ADE (Derecho + ADE) Número de Observaciones Constante Lengua Española 1 Lengua Extranjera 1 Historia 1 Formación Religiosa 1 Matemáticas 1 Ciencias Naturales 1 Lengua Española 2 Latín 2 Lengua Extranjera 2 Geografía 2 Formación Religiosa 2 Matemáticas 2 Física Química 2 Lengua Extranjera * * * (0.037) (0.049) (0.055) * * * (0.038) (0.051) (0.057) * * (0.037) (0.049) (0.056) * * * (0.039) (0.052) (0.058) * * * (0.033) (0.045) (0.049) * * * (0.036) (0.047) (0.055) * * * (0.037) (0.048) (0.056) * (0.034) (0.045) (0.050) * * * (0.039) (0.052) (0.059) * * * (0.035) (0.047) (0.051) * * * (0.040) (0.054) (0.060) * * * (0.035) (0.046) (0.052) (0.035) (0.046) (0.054) * * * (0.037) (0.050) (0.055) 6

7 Geografía * (0.036) (0.048) (0.052) Filosofía (0.034) (0.044) (0.052) Formación Religiosa * * * (0.040) (0.055) (0.059) Matemáticas * (0.030) (0.040) (0.046) Coeficiente de determinación (R 2 ) Estadístico de Significación Conjunta Suma de los errores al cuadrado Entre paréntesis la desviación típica de los parámetros estimados. (*) Variable no significativa con α=5% Los resultados de la estimación de la ecuación (3) se presentan en la Tabla 3, en la que se observa que el expediente académico, que debería suponer matemáticamente un 50% de la nota de selectividad, llega en realidad hasta el 60%. Esto implica que tanto el examen presencial, como las notas del último año previo a dicho examen (recordamos que esas notas no se habían tenido en cuenta) proporcionan un tipo de información que no es reducible al expediente conocido, y que es relevante en la predicción del comportamiento futuro en la Universidad, puesto que la diferencia entre los coeficientes de determinación de los modelos (1) y (2) era de 24.2% y 19.4% respectivamente. TABLA 3: MODELOS ECONOMÉTRICOS CON LA PRUEBA DE ACCESO A LA UNIVERSIDAD COMO VARIABLE DEPENDIENTE FRENTE AL EXPEDIENTE ACADÉMICO (Modelo de la ecuación (3)) Modelo Toda la muestra Modelo Derecho Modelo ADE (Derecho + ADE) Número de Observaciones Constante Lengua Española * (0.014) (0.020) (0.021) Lengua Extranjera * (0.015) (0.021) (0.022) Historia * (0.015) (0.020) (0.021) Formación Religiosa * * * (0.015) (0.021) (0.022) Matemáticas (0.013) (0.018) (0.019) Ciencias Naturales * (0.014) (0.019) (0.021) Lengua Española (0.014) (0.020) (0.021) Latín * (0.013) (0.019) (0.019) Lengua Extranjera (0.015) (0.021) (0.022) Geografía * * * (0.014) (0.019) (0.019) Formación Religiosa * * * 7

8 (0.016) (0.022) (0.023) Matemáticas * * * (0.014) (0.019) (0.020) Física Química (0.014) (0.019) (0.020) Lengua Extranjera (0.015) (0.020) (0.021) Geografía (0.014) (0.020) (0.020) Filosofía (0.013) (0.018) (0.020) Formación Religiosa * * (0.016) (0.022) (0.022) Matemáticas (0.012) (0.016) (0.017) Coeficiente de determinación (R 2 ) Estadístico de Significación Conjunta Suma de los errores al cuadrado Entre paréntesis la desviación típica de los parámetros estimados. (*) Variable no significativa con α=5% Puesto que hemos comprobado que la nota de PAU no puede asimilarse al expediente académico, la hipótesis 4 irá en sentido contrario. HIPÓTESIS 4: El expediente académico no contiene información extra que se hubiera perdido en el valor único de la Prueba de Acceso a la Universidad Para contrastar esta hipótesis lo que haremos será comprobar el grado de explicación conjunto que logran el expediente académico y la PAU, de tal forma que cabría esperar en el caso de que la hipótesis fuera cierta, que el coeficiente de determinación que obtuviéramos fuera similar al del modelo (1), mientras que en el caso de que la hipótesis no fuera cierta, este coeficiente debería crecer sustancialmente. El modelo quedará por tanto, NM i = β 1 + β 2 X1 i + β 3 X2 i + β 4 X3 i β 19 X18 i + β 20 PAU i + u i (2) El resultado de estimar este modelo se observa en la Tabla 4. El coeficiente de determinación obtenido en este caso ha sido de 26.2% lo que supone una muy leve mejora sobre el 24.2% que obteníamos con el valor individual del PAU. 5. DIFERENCIAS ENTRE LICENCIATURAS Una pregunta que surge es si estos resultados se mantienen cuando, en lugar de analizar globalmente los modelos, procedemos a un análisis pormenorizado carrera por carrera. Esto tiene sentido en un escenario como el que se nos avecina con carreras saturadas y otras con exceso de plazas. Lo que haremos será incorporar una nueva hipótesis que trate de señalar si conviene individualizar los procesos de selección de los alumnos por carreras o por si por el contrario está justificado la evaluación conjunta 8

9 como en la práctica se estaba haciendo en la actualidad mediante la Prueba de Acceso a la Universidad. HIPÓTESIS 5: la relación entre rendimiento académico y expediente académico es independiente de la carrera analizada. Para contrastar esta hipótesis, vamos a utilizar el contraste de cambio estructural de la ecuación (5). Para encontrar más detalles sobre este contraste puede consultarse Greene (1999). e' e TODOS ( e' e ADE ( e' e + e' e ADE + e' ederecho ) k ) N 2k DERECHO (5) e' etodos es la suma de cuadrados de los errores del modelo único para toda la e' eade y e' ederecho son las sumas de los errores de los modelos donde muestra, mientras que estimados respectivamente para los alumnos de Administración y Dirección de Empresas y de Derecho. El parámetro k es el número de parámetros que incluye la muestra, mientras que N es el tamaño muestral del conjunto. Los modelos estimados para las submuestras de Derecho y ADE se encuentran en las tablas de la 1 a la 4 en las columnas siguientes a la de la muestra conjunta tratada hasta ahora. Los resultados del contraste se presentan en la Tabla 5. TABLA 4: MODELOS ECONOMÉTRICOS CON LA NOTA MEDIA EN LA UNIVERSIDAD COMO VARIABLE DEPENDIENTE FRENTE AL EXPEDIENTE ACADÉMICO Y LA PAU (Modelo de la ecuación (4)) Modelo Toda la muestra Modelo Derecho Modelo ADE (Derecho + ADE) Número de Observaciones Constante Lengua Española 1 Lengua Extranjera 1 Historia 1 Formación Religiosa 1 Matemáticas 1 Ciencias Naturales 1 Lengua Española 2 Latín 2 Lengua Extranjera 2 Geografía * * * (0.035) (0.047) (0.054) * * * (0.037) (0.048) (0.055) * * * (0.036) (0.047) (0.054) * * * (0.037) (0.049) (0.056) * * * (0.032) (0.043) (0.048) * * * (0.035) (0.045) (0.053) * * * (0.035) (0.047) (0.054) * * (0.032) (0.044) (0.048) * * * (0.037) (0.050) (0.057) * * * (0.033) (0.045) (0.049) 9

10 Formación Religiosa * * * (0.039) (0.051) (0.058) Matemáticas * * * (0.033) (0.044) (0.050) Física Química * * * (0.034) (0.045) (0.052) Lengua Extranjera * * * (0.036) (0.048) (0.053) Geografía * * * (0.034) (0.046) (0.050) Filosofía (0.033) (0.043) (0.050) Formación Religiosa * * (0.038) (0.052) (0.056) Matemáticas * * * (0.029) (0.039) (0.044) Prueba de Acceso a la Universidad (0.057) (0.078) (0.083) Coeficiente de determinación (R 2 ) Estadístico de Significación Conjunta Suma de los errores al cuadrado Entre paréntesis la desviación típica de los parámetros estimados. (*) Variable no significativa con α=5% TABLA 5: CONTRASTES DE CAMBIO ESTRUCTURAL ENTRE LICENCIATURAS Estadístico de cambio estructural Probabilidad asociada al estadístico Modelo Modelo Modelo Modelo Los modelos de las ecuaciones (1) y (4) en los que la PAU aparece como regresor de la Nota Media permiten afirmar que esta relación es independiente de la carrera analizada, mientras que los modelos (2) y (3) en los que los regresores son exclusivamente las variables procedentes del expediente académico, los modelos no son iguales en las carreras de Derecho y ADE. 6. CONCLUSIONES La desaparición de la PAU supone un verdadero reto para las Universidades, no sólo logístico, sino que puede llevar a la individualización del carácter de cada una de las Universidades. En este marco, del trabajo se pueden extraer las siguientes conclusiones: 1. El objetivo de capacidad de predicción del rendimiento académico del método de selección debería superar la barrera del 25% marcada por la actual PAU. 2. La utilización del expediente académico es una herramienta insuficiente para alcanzar dicha barrera. 3. Mientras que sistemas tipo PAU logran recoger toda la información contenida en el expediente académico, en estas pruebas aparece más información que se escapa del mero expediente. 10

11 4. Los sistemas de selección basados en el expediente académico deben individualizarse por carreras para lograr un grado óptimo de predectibilidad del rendimiento universitario, mientras que los sistemas tipo PAU son independientes de la carrera para la que vayan enfocados los alumnos. 7. BIBLIOGRAFÍA - Greene, W.H. (1999): Análisis Econométrico, (3ª Edición), Prentice may, Madrid. - Rúa, A. (2001): Contrastación no paramétrica de las diferencias existentes en el rendimiento académico entre los alumnos de 1º de ciencias empresariales europeas (e4), IX jornadas de la Asociación Española de Profesores de Matemáticas Universitaria para la Economía y la Empresa. 19 y 20 de julio. Las Palmas de Gran Canaria. CD-ROM - Rúa, A. y Kennedy, L. (2002): Influencia de la formación preuniversitaria en el rendimiento del 1º curso de Ciencias Empresariales Europeas (E4), X jornadas de la Asociación Española de Profesores de Matemáticas Universitaria para la Economía y la Empresa, Madrid 19 y 20 de septiembre. Enviado. - Rúa, A. y Redondo, R. (2002). Factores y tipología del rendimiento académico en 1º curso de Ciencias Empresariales Europeas (E4). X Jornadas ASEPUMA. Madrid. - Rúa. A., Redondo, R. y Gimeno, R. (2003) Tipología de los alumnos que entran en la universidad española, XI JORNADAS ASEPUMA, Oviedo. 11