Un modelo de valor añadido para resumir 25 años de Veterinaria en la Universidad de Murcia: rendimientos y género.

Transcripción

1 Un modelo de valor añadido para resumir 25 años de Veterinaria en la Universidad de Murcia: rendimientos y género. José García Clavel Universidad de Murcia. Facultad de Economía y Empresa Andrés Nieto Salinas Universidad de Murcia. Facultad de Economía y Empresa Ignacio Ayala de la Peña Universidad de Murcia. Facultad de Veterinaria Abstract: En 2012, la Facultad de Veterinaria de la Universidad de Murcia cumplirá 25 años formando profesionales. Esta facultad es uno de los centros con más infraestructura de la Universidad, e incluye entre otros, los estudios de Ciencias Veterinarias, y los de Ciencias y Tecnología de los alimentos. Aprovechando la efemérides, la Facultad a puesto a nuestra disposición un material muy completo que permite calcular el rendimiento de los estudiantes, así como evaluar los dos planes de estudio que han tenido. Aprovechamos esta información para comprobar si, como algunos afirman, se ha producido un descenso en la calidad media de los alumnos que acceden a la Universidad. Aplicaremos regresiones multinivel a un modelo de valor añadido para contrastar si, en ese periodo, realmente han cambiado tanto los alumnos. Keywords: Modelos de Valor Añadido. Regresión Multinivel. Género y rendimiento académico. 1 Introducción. 1.1 Los estudios de veterinaria en la Universidad de Murcia. Los datos que se van a analizar en este estudio hacen referencia a los graduados de primeras veinticinco promociones de la Facultad de Veterinaria de la Universidad de Murcia, desde En total 2016 estudiantes, (852 hombres y 1164 mujeres), con un porcentaje creciente de mujeres, como ocurre en otras disciplinas científicas en la mayoría de los países de nuestro entorno (Jensen, 2006; Taylor y Robinson, 2009). Esta feminización de los estudios científicos tiene varias causas (Cho, 2007) y, desde hace tiempo está siendo impulsada desde 1

2 diversas instancias, para compensar la falta de mujeres con carreras profesionales científicas que hasta hace poco existía. Las consecuencias de la mayor presencia de mujeres en carreras científicas, y en concreto en la carrera de veterinaria, son variadas. Han sido analizadas por ejemplo, desde un punto de vista de las implicaciones económicas para la profesión (Brown y Silverman, 1999; Rucker, 2002), desde el punto de vista de los cambios en la propia cultura de los veterinarios (Coffman, 2002), y hasta desde el punto de vista de la influencia que esto ha tenido en los planes de estudio (Foster et alt., 2010). En esta comunicación nos planteamos si, aceptado que la presencia de las alumnas en las aulas es una tendencia creciente y que las estadísticas para esta titulación indican que las notas de acceso de las mujeres son, por término medio, superiores a las de los varones, la parte docente del sistema ha evolucionado para adaptarse a la nueva situación. 1.2 El valor añadido en Educación: medición del rendimiento educativo. Es comúnmente aceptado que la prosperidad económica y social de un país y de sus habitantes depende cada vez más de la educación y de la formación de estos. Desde hace menos tiempo, pero parece una tendencia que se está consolidando, la escasez de recursos económicos está llevando a reclamar una mayor exigencia de rendimiento de cuentas (la accountability de los sajones) a los centros académicos por parte de la Sociedad. Los modelos de Valor Añadido (ver por ejemplo Martínez Arias et alt., 2009 para una revisión bastante completa de estos modelos, o el monográfico de McCaffrey en el Journal of Educational and Behavioral Statistics de 2004) nacieron precisamente para tratar de medir la contribución al progreso académico de los alumnos, descontada la influencia de otros factores ajenos al centro educativo. No hay un único modelo de Valor Añadido, pero todos tienen en común, además de una cierta complejidad econométrica en la construcción de los modelos, el seguimiento de los estudiantes a lo largo de un cierto periodo de tiempo. Esta exigencia de continuidad en el tiempo, necesita, evidentemente, una visión a largo plazo de las tareas de evaluación por parte de los responsables educativos, y una consistencia técnica entre los que llevan a cabo la evaluación. Por desgracia, aún no ha cuajado esta cultura en todas partes: se realizan una pruebas de diagnostico en la ESO, pero no se continua con el seguimiento de ese alumno, ni se tiene en cuenta su anterior marca, ni sus circunstancias personales. Los modelos estadísticos de Valor Añadido tienen su origen en las investigaciones que sobre la efectividad de las escuelas de Estados Unidos y en el Reino Unido llevaron a cabo James S. Coleman y Christopher Jencks a mediados de los sesenta y principios de los setenta en Estados Unidos e Inglaterra respectivamente. Aunque estudios posteriores han matizado algunas 2

3 de las conclusiones a las que llegaron estos equipos de investigadores, en su momento fueron dos trabajos muy influyentes que, por primera vez, afirmaban que por encima de la influencia de la escuela, estaba la importancia de otras variables como la raza, aptitudes y estatus socioeconómico al hablar de resultados educativos. En este trabajo pretendemos conocer la aportación de la facultad de veterinaria a la formación de los estudiantes que ingresan en sus aulas a lo largo de sus 25 años de existencia. Ese estudio nos permitirá comprobar si, como afirman algunos observadores, se está produciendo un deterioro en la cualificación de los alumnos que ingresan en la Universidad, y en concreto si esta situación afecta más a los hombres que a las mujeres. De entre las diferentes estrategias que se han propuesto para los modelos de Valor Añadido, en este trabajo hemos optado por los modelos Multinivel o jerárquicos. Está decisión está derivada de una hipótesis de trabajo: las promociones que ingresan cada año en la facultad son un conjunto de personas que han crecido en similares ambientes generacionales, y antes de graduarse, han pasado por similares profesores y condiciones dentro de la facultad de veterinaria. 2 Metodología. 2.1 Descripción de la muestra: La información en la que se basa este estudio proviene de la Secretaría de la Facultad de Veterinaria. Para cada uno de sus egresados con un código que respeta su anonimato- se conoce el año de entrada a la facultad, la calificación obtenida en la prueba de acceso a la Universidad (PAU), su sexo, el año que obtuvieron la graduación y la nota media del expediente. Además conocemos el plan de estudios que estaba vigente en ese momento y por diferencias entre año de entrada y de salida, es posible saber el tiempo empleado en terminar los estudios. Gráfico 1: Número de Graduados por promoción. Diferencia por sexo. Fuente: Universidad de Murcia y elaboración propia 3

4 A lo largo de este periodo, el número de graduadas ha ido subiendo en comparación con sus colegas masculinos, como se puede observar en el Gráfico 1. Para el total de la población, el número medio de años para terminar los estudios que deberían durar 5 años- es 7.1 aunque, considerando que los datos provienen de la información referida a los egresados, quizás sea una cifra que se queda corta, y la situación puede ser incluso peor. Respecto a la nota de entrada, para el conjunto de la población se encuentra en 6.74 (algo superior para las mujeres, con 6.8 frente a los 6.6 de los hombres, que tienen una mayor dispersión estándar: frente a los de sus compañeras). La nota media ha ido incrementándose a lo largo del periodo, tanto para hombres como para mujeres. Este incremento puede tener varias causas: quizás los alumnos han mejorado en estos últimos años; quizás la Facultad está atrayendo a alumnos que antes iban a otras carreras de Ciencias y ahora prefieren acudir a veterinaria por ejemplo por la incorporación de Tecnología de los Alimentos, o por pérdida de atractivo de Medicina o Biología-; quizás simplemente las pruebas de acceso son más fáciles cada vez En cualquier caso, analizando las notas de acceso, las diferencias entre hombres y mujeres han ido cambiando a lo largo del periodo: las mujeres van obteniendo mejores notas que los hombres, y esas diferencias cuando se les somete a un contraste no paramétrico como el de Mann-Whitney para igualdad de medias- son estadísticamente significativas. Con las notas de graduación, curiosamente ocurre lo contrario: en términos generales, los hombres obtienen mejores notas de graduación que las mujeres, aunque en este caso, al aplicar un contraste de Mann-Whitney para la igualdad de medias, concluimos que las diferencias no son significativas. El Gráfico 2 permite ilustrar gráficamente ambos resultados Gráfico 2: comparación de las notas de graduación y de entrada para hombres y mujeres Fuente: Universidad de Murcia y elaboración propia 4

5 La obtención de este inesperado resultado es un lugar común afirmar que las mujeres obtienen mejores calificaciones que los varones en la Universidad-, nos llevó a pensar en un modelo que midiera la variación, el valor añadido, que aporta la Facultad de veterinaria a cada estudiante a lo largo de el periodo estudiado. Por desgracia, la única medida que se dispone del background con el que acceden los estudiantes a la carrera es su nota de acceso. La buena noticias es que, por lo menos, se trata de una medida estable: los cambios en esas pruebas de Acceso a la Universidad en la Universidad de Murcia son posteriores a 2006, y los alumnos seleccionados de esa otra manera aún no están egresados, y por tanto están fuera de nuestra población de referencia. El modelo inicial que proponemos es: GradMark i 0 1 * EntrMark i i donde GradMark son las notas medias de graduación, EntrMark, las nota obtenida en las Pruebas de Acceso a la Universidad, y i, una perturbación aleatoria que cumple las condiciones habituales en el modelo MCO. Los primeros resultados pusieron de manifiesto que, de ninguna manera, se estaban cumpliendo tales supuesto. Además, ese modelo inicial no permitía abordar uno de los objetivos de nuestro trabajo: el estudio del paso del tiempo a lo largo de las 25 promociones para las que se dispone de datos. Para ello asignamos a cada observación un segundo subíndice en el que se determina la promoción a la que pertenece esa persona. El modelo anterior quedaría: 0 1 * EntrMark i, j i, j donde el subíndice i va desde 1 hasta 2016 (más adelante, por diversos problemas la muestra quedó reducida a 1286 personas), y el subíndice j varía de 1 hasta 25. Para poder estimar estos resultados necesitamos una estimación multinivel, ya empleada con profusión en el campo educativo. El programa que empleamos para el cálculo de los estimadores fue el software MLwiN, v Estimaciones Multinivel: Para la estimación del modelo seguiremos la propuesta de Goldstein (1997) partiendo de un modelo nulo: 0 u 0, j 5

6 donde suponemos que el punto de corte con el eje vertical, es aleatorio, y no incluye ningún predictor. Se supone que este estimador sigue una distribución normal, al igual que la parte aleatoria correspondiente al primer nivel (los alumnos i, j ) y la correspondiente al segundo nivel (las promociones, u 0, j ). En concreto, se supone: u 0, j N(0, u ); u 2 u0 N(0, ); 2 0 A partir de este modelo, llamado modelo nulo, se van incorporando predictores que permitan mejorar la estimación del modelo. De igual manera, la estimación del modelo nulo permite valorar la necesidad de recurrir a esta metodología. En efecto, si la variabilidad explicada por las variaciones producidas por las diferentes promociones fuera irrelevante, no tendría sentido recurrir a los modelos multinivel. De la estimación del modelo nulo por MLwiN se obtiene: 7.087(0.043) u 0, j es decir, es el valor medio de la nota de graduación, con una desviación típica de 0.043, por lo que el parámetro es significativamente distinto de cero. La estimación de la parte aleatoria del modelo da los siguientes resultados: u 0, j N(0, u ); u 0.033(0.012) N(0, ); 0.445(0.018) Como es habitual, la variación dentro del primer nivel, los alumnos en este caso, es superior a la variación dentro del segundo nivel (0.445 frente a 0.033) pero en ambos casos se trata de parámetros significativamente diferentes de cero. Al ser significativa la variación entre promociones, está justificado el empleo de los modelos multinivel. La salida de la estimación se completa con una medida estadística, la razón de verosimilitud de la estimación, que permite una valoración global de la bondad del modelo y tener un criterio de comparación con los sucesivos modelos. Para este primer modelo nulo la razón de verosimilitud es de Una vez fijado el modelo nulo, incorporamos de modo sucesivo predictores tanto a la parte fija como a la parte aleatoria del modelo. La primera de las incorporaciones, el Modelo I, es la nota obtenida en la Prueba de Acceso a la Universidad (variable EntrMark). Si la 6

7 incorporamos sólo como parte fija, es decir sin variación en ninguno de los niveles, el resultado es: 0.474(0.027)EntrMark i, j 3.868(0.187) u 0, j El parámetro asociado al términos constante sigue siendo significativo, pero al introducir una nueva explicativa pasa a ser menor: La pendiente es positiva, como no podría ser de otra manera y significativa. La razón de verosimilitud cae hasta , y las varianzas de las perturbaciones en sendos niveles- se reducen pero se mantienen significativas. En el Modelo II empezamos a usar la estrategia multinivel haciendo el parámetro 1 recién estimado pueda variar en el segundo nivel. Es decir, la hipótesis que planteamos es que, a lo largo del periodo estudiado, no siempre se ha mantenido constante el valor añadido por los estudios a los alumnos. El modelo así planteado, además de estimar el coeficiente que acompaña a la variable EntrMark, implica también la estimación de una nueva varianza de los residuos vinculados a ese nuevo coeficiente variable, 2 u 1, así como la covarianzas entre ambos residuos del segundo nivel. La estimación de la parte fija del Modelo II da los siguientes resultados: 1, j EntrMark i, j 3.763(0.298) u 0, j 1, j 0.490(0.046) u 1, j La estimación de la parte aleatoria queda: u 0, j N(0, u u ); u 1.129(0.572) 1, j 0.177(0.088) 0.028(0.014) N(0, ); 0.351(0.014) Todos los parámetros del modelo, tanto en la parte fija como en la parte aleatoria son significativos. Como se esperaba, la estimación de la parte fija apenas si experimenta variaciones respecto al Modelo I, pero es importante notar que la varianza de la nueva perturbación introducida al hacer el parámetro 1 variable en los niveles 2, es decir según cada una de las distintas promociones, es 0.028, significativamente distinta de cero. No está recogido en los resultados de este trabajo, pero al comprobar si sería posible encontrar variaciones en el primer nivel de este mismo parámetro, la respuesta fue negativa. 7

8 En el Modelo III, se introduce la variable sexo, modelizada con la variable dicotómica Gndr que toma el valor 0 en el caso de varón, y 1 si se trata de una mujer. Inicialmente la introducimos sólo en la parte fija del modelo. La estimación de ésta queda: 1, j EntrMark i, j 0.184(0.035)Gndr i, j 3.785(0.299) u 0, j 1, j 0.503(0.045) u 1, j Es decir, la nota media de graduación de las mujeres es puntos inferior a los de un estudiante varón de similares características. En la parte aleatoria del modelo observamos que las varianzas de los residuos siguen siendo significativas. Este modelo tienes una razón de verosimilitud de (frente a los del modelo nulo: hemos incorporado 4 nuevos parámetros a estimar, consiguiendo una diferencia entre las razones de verosimilitud de 315,84. Este valor se contrasta con una distribución Chi-cuadrado con 4 grados de libertad, y en este caso se rechaza que el Modelo III no haya supuesto una mejora respecto al Modelo Nulo). Estimaciones subsiguientes determinaron que este coeficiente no varía ni entre los estudiantes ni a lo largo de las promociones. Sin embargo, nos planteamos si se está produciendo una interacción entre el valor añadido que aporta al estudiante la Facultad de Veterinaria y el sexo del mismo. Para eso construimos una variable ficticia multiplicativa GnEnMark que toma el valor 0 si es un hombre y la nota de acceso a la universidad si se trata de una mujer. Es el modelo IV, cuya estimación resulta: 1, j EntrMark i, j 0.028(0.005)GnEnMark i, j 3.664(0.299) u 0, j 1, j 0.522(0.046) u 1, j Hemos eliminado la variable Gender, porque deja de ser significativa al introducir la variable multiplicativa, que además mejora la razón de verosimilud del Modelo III. Al tratar de completar el modelo introduciendo comportamiento variable en el nuevo parámetro estimado, la variaza de esas perturbaciones resulta no significativa por lo que podemos afirmar que no se ha producido variación a lo largo del tiempo en el modo en que los alumnos y las alumnas han aprovechado su paso por la Facultad. Por tanto, aunque las mujeres entran con mejores calificaciones medias, una vez en la facultad, pierden su ventaja (o los hombres progresan más) de manera que al terminar los estudios se ha producido una igualación en sus calificaciones. La situación es incluso algo peor al comparar el plan de estudios ya extinguido ( ) con el que entró en vigor en 2001). 8

9 El Gráfico 3 permite observar como, si únicamente consideramos lo que está pasando con los egresados del mismo plan, es evidente que las mujeres están siendo perjudicadas. Gráfico 3: Relación entre nota de Acceso a la Universidad y Nota de Graduación según sexo y Plan de Estudios. Fuente: Universidad de Murcia y elaboración propia. Parece que las nuevas metodologías y tipos de exámenes están beneficiando más a los alumnos varones, aunque fuera de nuestro país, los resultados no son coincidentes: Richardson y Woodley (2003) encontraron que en veterinaria, el 83.3% de los hombres se gradúan, frente el 74.4% de las mujeres, mientras que en medicina u odontología, las mujeres superan a los varones, mientras que estudios como los de Tyrer y otros (2002) no encuentran diferencias significativas. La cuestión de las nuevas tecnologías y su efecto sobre el rendimientos abre otro aspecto a la investigación: cuál está siendo el efecto del plan de estudios? Aunque es pronto para evaluarlo, ya que al disponer sólo de la información de los egresados, aún son pocos los que lo han hecho con el nuevo plan (el tiempo medio en finalizar la carrera es algo más de 7 años) hemos modelizado con una nueva variable, Plan, que toma el valor 0 si el alumno se graduó con el primer Plan de Estudios, y el valor 1 si no la hecho con el plan actualmente vigente. Realizadas las primeras estimaciones, que omitimos aquí, se vió oportuno incluir también una variable multiplicativa que recogiera el efecto que sobre la relación entre Nota de Acceso y nota media de graduación el valor añadido que está aportando la Facultad- está teniendo el nuevo plan. Es el Modelo V, cuya estimación resulta: 1, j EntrMark i, j 0.025(0.005)GnEnMark i, j 2.111(0,450)Plan ij 4,i PEM 2.423(0.443) u 0, j 1, j 0.749(0.072) u 1, j 4,i 0.391(0.072) 4,i 9

10 La razón de verosimilitud de este modelo es de 2199,77 y permite observar varios resultados interesantes. En primer lugar, aunque pueda parecer que el nuevo plan ha conllevado una mejora de en las notas medias de graduación, sin embargo este valor hay que matizarlo por el valor que toma la nota de entrada. Para el caso de la carrera de veterinaria, la nota media de acceso a la Universidad para los estudiantes del plan vigente es de 7.01 (frente al 6.39 de media de los egresados del plan antiguo, aunque hay que recordar que al tratarse de los alumnos que se han graduado en relativamente poco tiempo puede considerarse que son los mejores de su promoción y es lógico que su media sea más alta que la de el total de egresados del plan antiguo). Para esa persona, suponiendo que fuera hombre, su calificación sería ( )*7.01=7.04. Si estuviera vigente aún el plan antiguo, su calificación sería Un segundo resultado interesante es el encontrar que el la influencia de la nota de entrada decrece. Es decir, si ese parámetro refleja el valor añadido por la Facultad a sus egresados podríamos decir que éste está disminuyendo: que a igualdad del resto de criterios, y suponiendo que la nota de selectividad sigue midiendo los conocimientos de los estudiantes antes de entrar en la Universidad, el nuevo plan de estudios obtiene peores resultados resultados. Dicho lo anterior, como al estimar la varianza de las perturbaciones de los residuos asociados al parámetro 4,i que hemos hecho que sea aleatorio al primer nivel, su varianza es (0.003), esto indica que la variación a ese nivel es significativamente distinta de cero. Por tanto, sería conveniente esperar unos años más a ver si la tendencia se estabiliza y crece el número de egresados por el nuevo plan. Mientras tanto, quizás se podrían revisar alguno de los aspectos que hemos encontrado en este trabajo y que pasamos a resumir en las conclusiones. 3 Conclusiones: A lo largo del periodo estudiado, el valor añadido aportado por los estudios de la Facultad de Veterinaria parece haber disminuido. En igualdad de condiciones, resulta que la nota media de graduación de las mujeres es algo inferior que la de sus compañeros de estudio. Más llamativo que esto, y quizás debería ser objeto de una reflexión por parte de las autoridades es el hecho de que el aprovechamiento de la formación impartida en las aulas parece que es menor en el caso de las mujeres. A igualdad de las otras variables explicativas, las mujeres pierden puntos por cada punto más de nota de acceso a la Universidad. La situación parece incluso que se agrava con el nuevo plan de estudios, vigente desde 2001 hasta la fecha. Este último resultado, sin embargo, debe tomarse con prudencia pues al tratarse de datos de egresados de la 10

11 Facultad, aún son pocos, proporcionalmente los que lo han hecho siguiendo exclusivamente ese nuevo plan. La combinación de los efectos referidos en el párrafo anterior explica un poco el hecho observado con la primera estadística descriptiva: las notas de acceso a la Facultad de Veterinaria de las estudiantes es significativamente superior a la de los varones. Sin embargo, después de los años en la Facultad, esa diferencia desaparece y, en el momento de la Graduación, los alumnos han recuperado esa diferencia hasta el punto de superar, de media, a sus compañeras de estudio. Si es por mayor provecho de los hombres, o por menor aprovechamiento relativo de las mujeres es un asunto que queda por determinar. Y en su caso corregir. Referencias: Brown J.P., Silverman J.D. (1999): The current and future market for veterinarians and veterinary medical services in the United States. J Am Vet Med Assoc 215: Cho, D. (2007): The Role of High School Performance in Explaining Women's Rising College Enrollment. Econ Educ Rev, 1: Coffman, J.R. (2002): Veterinary medical education and a changing culture. J Vet Med Educ 29(2): Foster N, Gardner D, Kydd J, Robinson R, Roshier M. (2010): Assessing the influence of gender, learning style, and pre-entry experience on student response to delivery of a novel veterinary curriculum. J Vet Med Educ 37(3): Goldstein, H. (1997): Methods in school effectiveness research. School Effectiveness and School Improvement, 8(4): Jensen A.L. (2006): The new veterinary curriculum at the Royal Veterinary and Agricultural University, Denmark. J Vet Med Educ 33(2): Martinez Arias, R., Gaviria J.L. y Castro, M. (2009): Concepto y evolución de los modelos de valor añadido en educación. Revista de Educación 348: McCaffrey, D.M., Lockwood, J.R., Koretz, D., Louis, T.A. y Hamilton, L. (2004): Models for value-added modeling of teacher effects. Journal of Educational and Behavioral Statistics, 29, Richardson J.T.E., Woodley A. (2003): Another look at the role of age, gender and subject as predictors of academic attainment in higher education. Stud Higher Educ. 28: Rucker, M.J. (2002) Gender changes and the future of our profession. J Vet Med Educ 29(2):

12 Taylor K.A., Robinson D.C. (2009): Unleashing the Potential: Women s Development and Ways of Knowing as a Perspective for Veterinary Medical Education. J Vet Med Educ 36(1): Tyrer SP, Leung WC, Smalls J, Katona C. (2002) The relationship between medical school training, age, gender and success in the MRCPsych examinations. Br J Psychiatry 26: