Evaluación diagnóstica de las habilidades matemáticas al ingreso en las Facultades del Área Científico-Tecnológica

Transcripción

1 Evaluación diagnóstica de las habilidades matemáticas al ingreso en las Facultades del Área Científico-Tecnológica Informe presentado a la Comisión Sectorial de Enseñanza, Universidad de la República. Heber Enrich 1, Marina Míguez 1, Maria Noel Rodriguez Ayán 2 y Julia Leymonié 3. Julio, Facultad de Ingeniería 2 Facutlad de Química 3 Facultad de Ciencias 1

2 Título del proyecto Evaluación diagnóstica de las habilidades matemáticas al ingreso en las Facultades del Área Científico Tecnológica Informe final Introducción Los antecedentes de Facultades del área Científico-Tecnológica (CT) en pruebas diagnósticas, así como los informes de "Características deseables" en el marco del proyecto de actividades conjuntas con ANEP de la CSE fueron los insumos para diseñar un diagnóstico comparado para el área, mostrando el interés de los Servicios por conocer al estudiante ingresante y sus aptitudes, habilidades y conocimientos adquiridos en el sub-sistema educativo anterior. La Facultad de Ciencias (FC) recibe actualmente 800 estudiantes por año, las Facultades de Ingeniería (FI) y Química (FQ) han recibido respectivamente, en estos últimos años, unos 1100 y 600 nuevos estudiantes por año. La Facultad de Arquitectura (FA) cuenta con 621 estudiantes matriculados en 2003 y 650 en Por otra parte, se han detectado en los últimos años graves deficiencias de formación en un grupo importante de los estudiantes que ingresan a la Universidad, que compromete seriamente el avance de los mismos en las diferentes Carreras. Las inequidades geográficas y sociales que se han profundizado en nuestro país en los últimos tiempos han llevado, por ejemplo, a carencias graves de formación, que hacen de la inserción de los jóvenes en la Universidad una experiencia injustamente dificultosa. A comienzos de la década de los 90 comenzó a incursionarse en el estudio de la población estudiantil ingresante al primer año de diversas Facultades. Los distintos Servicios han llevado a cabo diversos trabajos de indagación y relevamiento de información sobre los estudiantes que ingresan. La experiencia en el área CT indica que la asignatura en la que se hace más evidente la necesidad de un apoyo adicional al curricular es Matemática. Todo lo anterior conduce a la necesidad de efectuar un diagnóstico de conocimientos de los estudiantes, al momento de ingresar a la Facultad, de modo de diseñar adecuadamente las acciones correctivas, dirigidas a la población estudiantil en 2

3 riesgo de fracaso académico. La búsqueda de soluciones en este sentido bajaría niveles de frustración y descontento entre los estudiantes que se encuentran en posición desventajosa. Desde el año 1992 la FC aplica, al comienzo del curso lectivo, una evaluación diagnóstica, de carácter obligatorio, pero no eliminatorio. La prueba consta de una serie de preguntas sobre conocimientos específicos para cada Licenciatura (Física, Matemáticas, Química, Biología, etc.) estando diseñada por docentes de cada Licenciatura. El Consejo de la FC valoró, en el año 2003, la importancia de continuar aplicando esta evaluación y encomendó a la Unidad de Enseñanza (UE) la implementación de la misma para el año Con ese fin la UE realizó un relevamiento de pruebas y resultados anteriores, así como de opiniones de los distintos actores de la institución. A partir de estas informaciones se elaboró una propuesta en conjunto con la Facultad de Ingeniería en los casos correspondientes, de evaluación diagnóstica fundamentada en el marco teórico de los enfoques de la evaluación de sistema. Para la elaboración de las pruebas la UE contó con la colaboración de las Comisiones Coordinadoras Docentes de las distintas Licenciaturas y para su aplicación contó con la participación estudiantil. En el proceso de elaboración de las pruebas para el año 2005 también participaron los Coordinadores Docentes de las distintas licenciaturas y otros docentes de la Facultad interesados en los temas de ingreso. Al igual que en el año 2004, se trabajó conjuntamente con las Facultades de Ingeniería y Medicina. En la FQ, además de las carencias diagnosticadas en Matemática, se ha detectado que muchos estudiantes no están familiarizados con los recursos tecnológicos propios de la modalidad de enseñanza flexible. Esto dificulta el aprovechamiento de muchas asignaturas, especialmente de primer año, que ofrecen dicha modalidad de cursado para facilitar los estudios de aquellos alumnos que trabajan, que están radicados en el interior, etc. En dicha Facultad en el año 2004 se realizó la experiencia de un curso de nivelación de Matemática que resultó breve en el tiempo y de baja frecuencia, en los dos semestres del año. Se propone darle continuidad a esta iniciativa, procurando una optimización de la oferta de nivelación, en términos de tiempo, ubicación en el semestre, contenidos a abordar, etc. En 2006 se propuso una prueba diagnóstica inicial en FQ para evaluar nivel de conocimientos especialmente en Matemática y familiarización con el uso de la 3

4 tecnología educativa. Posteriormente se dictó un curso de nivelación, inmediatamente previo al comienzo del primer semestre lectivo, con el objetivo de actuar en favor de la adquisición de conocimientos y destrezas aconsejables para cursar la Facultad, pero también como etapa de adaptación de los estudiantes al ámbito universitario, a su ritmo, sus tiempos y sus características. Actualmente los resultados del curso de nivelación están siendo evaluados. La FI comenzó a realizar pruebas diagnósticas al ingreso en 1992, con carácter obligatorio desde 1995 para todos los estudiantes ingresantes a FI. La Prueba Diagnóstica (PD), desde 1995 a 2002, constó de una serie de preguntas sobre conocimientos específicos de Física y Matemática, estando diseñada por docentes designados por los Institutos de Física y Matemática, respectivamente. A partir de 2002, a iniciativa de la UEFI, se incorporó a la PD una prueba de Lengua (PL). La misma tuvo como objetivo diagnosticar el manejo de los instrumentos básicos de comunicación escrita de los alumnos. En la edición 2003, por primera vez se buscó componer conjuntamente la PD, así la prueba 2003 constó de preguntas de Física, de Matemática y de preguntas que conjugaban conocimientos de ambas asignaturas. En un proceso de desarrollo y mejora del diagnóstico, la PD 2004 tuvo entre sus objetivos comparar resultados en Facultad de Ingeniería con estudiantes ingresantes de las Licenciaturas de Matemática y Física de la FC. Profundizando en la línea de investigación de diagnóstico de las características de la población ingresante a FI, en marzo de 2005 se aplicó una herramienta diagnóstica al ingreso (HDI) más completa, con carácter obligatorio para la totalidad de los estudiantes ingresantes a FI. El grupo que diseñó la prueba estuvo integrado por docentes de diferentes Institutos de Facultad de Ingeniería, docentes de la UE, contando con colaboración de docentes de Enseñanza Media. Se ha detectado que muchos fracasos académicos universitarios no se deben exclusivamente a la falta de conocimientos disciplinares específicos de la carrera que han elegido sino a problemas de comprensión lectora, de expresión escrita, o a las actitudes y estrategias que los estudiantes disponen para afrontar sus estudios universitarios. Sobre la base de estos antecedentes, la HDI 2005 estuvo integrada por diversos componentes que valoraron las diferentes competencias que se entendieron básicas por los especialistas de las diferentes áreas a evaluar, buscando mejorar la 4

5 comprensión del complejo fenómeno de la transición enseñanza media universidad. Por último, se realizó una devolución global de los resultados de la HDI 2005 a los estudiantes ingresantes. El objetivo central de esta actividad fue que los ingresantes contaran con un panorama global de la significación de los resultados de toda la prueba a 15 días de iniciado el semestre, teniendo así más elementos a la hora de tomar decisiones. Se realizó un análisis en profundidad de los resultados el cual fue discutido por diversos actores de la Institución así como en órganos de cogobierno. La FA posee algunos antecedentes de los cuales se informó en el estudio sobre características deseables realizado para CSE en 2004, pruebas cuyos resultados intentaban conocer las habilidades de los estudiantes en la lecto-escritura. (Trabajo realizado por la Cátedra de Teoría). Se realiza también un cuestionario que se procesa de forma cualitativa en la Unidad de Asesoramiento Pedagógico (UAP) y allí se responde a los principales aspectos que hacen a la vida de los estudiantes en lo que respecta a: su relación con internet y herramientas virtuales, actividades que más lo motivan, barreras que podrían existir para el buen desarrollo de su Carrera, motivo para inscribirse en la FA. Dicho formulario se aplica en el contexto del Seminario inicial y el informe se devuelve a los docentes y se difunde en la página Web de Facultad. Los antecedentes antes mencionados y las opiniones vertidas en los informes citados si bien son intentos que no se encuentran centralizados están mostrando el interés de la Institución por conocer al estudiante ingresante y sus aptitudes, habilidades y conocimientos adquiridos en el sub-sistema educativo anterior. El presente trabajo En lo que respecta a Matemática, se retomaron los aportes realizados por los docentes de los 4 Servicios del área CT, interesando gran familiaridad con contenidos de la materia como conjuntos, relaciones, funciones, ecuaciones, inecuaciones, sistemas de ecuaciones lineales, entre otros (para más información puede verse el informe del área CT acerca de las características deseables), determinadas competencias como reconocer y formular problemas, desarrollar el lenguaje y simbolismo para comunicar ideas matemáticas, desarrollar habilidades lógicas y comprender la estructura de la teoría matemática. 5

6 La realización de la prueba de Matemática con 8 preguntas comunes a todas las Facultades del área Científico-Tecnológica (CT) así como la implementación simultánea de la misma, al ingreso, en tres de las Facultades, permite realizar por primera vez una aproximación a la identificación de rasgos comunes de los perfiles de los estudiantes al comienzo de sus carreras, en cuanto a conocimientos y habilidades. Esto posibilita la descripción de un panorama general del Área CT. También es interesante el avance realizado respecto a la elaboración de instrumentos que permitan predecir el desempeño estudiantil futuro. Objetivo general Diseñar herramientas diagnósticas equivalentes, con poder predictivo sobre el rendimiento académico en matemática, al ingreso en la Universidad para el área Científico-Tecnológica (CT). Objetivos específicos 1. Validar la herramienta diagnóstica con valor predictivo de rendimiento académico en matemática en la Universidad para el área CT. 2. Realizar una primera aproximación en conjunto del área CT a la valoración de la formación académica en matemática de la población de ingreso 2006, a través de la determinación de sus niveles de suficiencia. 3. Analizar y comparar los resultados obtenidos por los estudiantes entre las Facultades del área CT. 4. Conocer, a través de los docentes, la pertinencia de una prueba que brindará información para el desempeño en los cursos de matemática. Metodología de trabajo Fase 1: diseño de la prueba de Matemática Se realizaron dos reuniones entre integrantes de las UE de las Facultades y el responsable del proyecto, cuyo objetivo fue establecer los grandes lineamientos de trabajo. Luego se realizaron otras reuniones complementarias, previas a la aplicación de las pruebas, a las cuales asistieron integrantes de las Unidades de Enseñanza de las Facultades de Ciencias, Química e Ingeniería y especialistas en la disciplina Matemática de Química e Ingeniería, así como también una profesora de Matemática 6

7 de Enseñanza Media, colaboradora de la Unidad de Enseñanza de la Facultad de Ciencias. Los temas tratados en estas reuniones fueron el ajuste de criterios de pertinencia, de relevancia de contenidos y de nivel de dificultad del núcleo común de la prueba. En virtud de las gestiones del responsable de este proyecto ante el CODICEN, se incluyeron 2 preguntas que fueron aplicadas en el Censo Nacional de Aprendizajes en 6º año de Bachillerato de Enseñanza Media (ANEP, 2003). A fin de poder identificar fácilmente las preguntas a comparar entre las distintas Facultades del área participantes del proyecto, se identificó cada una de las preguntas comunes con un código que permite ubicarlas independientemente del lugar de orden que ocupen en la prueba de cada Facultad. Este código se muestra en la tabla 1. Tabla 1 PREGUNTA CÓDIGO 1 Conjuntos 2 Regla de la cadena 3 Rectas paralelas 4 Límite 5 Función derivada 6 Extremos 7 Trigonometría 8 Porcentajes El núcleo común de la prueba fue elaborado tomando en cuenta los criterios mencionados. Fase 2: implementación de la prueba La prueba se aplicó en la FQ el 25 de febrero, en la FI el 4 de marzo y en la FC el 8 de marzo, antes del inicio del semestre lectivo. En la FA se implementó luego de avanzado el semestre. Fase 3: análisis de resultados En primer lugar, en cada Facultad se analizaron los resultados de la prueba, en el marco de cooperación entre las UE y las Cátedras de Matemática correspondientes. Cabe mencionar que en el caso de la FC, se aplicaron dos pruebas diferentes que incluían las preguntas comunes de Matemática, una para las licenciaturas en Matemática y Física (prueba de Matemática y Física) y otra para las licenciaturas en Biología, Bioquímica, Geología y Geografía (prueba de Matemática, Física y Química). 7

8 En segundo lugar se procedió al intercambio de ideas entre las UE de las Facultades, a fin de establecer la modalidad de trabajo conjunto con fines comparativos, así como la definición de los parámetros que se emplearían para tal comparación. Éstos fueron: En relación con el resultado general: Porcentaje de resultados, en relación con la suficiencia mínima requerida en cada Servicio. En relación con las 8 preguntas comunes: Porcentaje de preguntas correctas Proporción de distractores más seleccionados Poder discriminante de cada pregunta, en relación con el puntaje total de la prueba (I dis basado en correlaciones, clásico) Índice de dificultad de cada pregunta (I dif ) 1994): El índice I dis correlaciones se estimó según la teoría clásica de los tests (Muñiz, I dis, j (basado en correlaciones) = ρ ítem j puntaje total (corregido) siendo: ρ: coeficiente de correlación de Pearson entre las dos variables puntaje total (corregido): puntaje total puntaje en el ítem j Dado que el puntaje total resulta de la suma de todos los puntajes parciales, dentro de los cuales se encuentra el ítem cuyo poder de discriminación se desea analizar, es necesario corregir el total, de modo de evitar sesgos en el resultado. Con esta corrección se analiza el grado de asociación lineal entre el ítem y el resto de la prueba. Así calculado, el I dis es una medida de la capacidad del ítem para discriminar entre el resultado de los alumnos en las demás preguntas, o lo que es lo mismo, en qué grado el ítem y el resto de la prueba miden lo mismo. Puesto que se trata de un índice de correlación, el rango de valores teóricamente está comprendido entre 1 y +1. Una categorización de los valores del índice se muestra en la Tabla 2, adaptada de Cohen y Manion (1994), Muñiz, (1994): 8

9 Tabla 2 Poder discriminante (a) I dis bajo [0 0,2) moderado [0,2 0,4) alto [0,4 0,6) muy alto 0,6 (a) Valores negativos de este índice indican que la pregunta debe eliminarse, puesto que implicaría que no mide lo mismo que el resto del test. Coeficientes de correlación bivariada superiores a 0,6 - valor que significaría que las dos variables comparten el 36 % (ρ 2 ) de la varianza - son poco frecuentes en las Ciencias Sociales. Ello se debe a que las variables que se suelen medir (en este caso el rendimiento en Matemática) son sumamente complejas, pues resultan influenciadas por una multiplicidad de factores los cuales contribuyen a explicar parte de la varianza pero que por diversos motivos no son tenidos en cuenta: porque su medida excede los propósitos de los estudios, porque resultan difíciles de cuantificar, porque su existencia se desconoce, etc. Así es como en las investigaciones sobre rendimiento académico no se logran porcentajes de varianza explicada elevados, aún en los estudios multivariados que incluyen factores psicosociales (véase p.e. Clifton, Perry, Adams y Roberts, 2004; McKenzie y Schweitzer, 2001; Zeegers, 2004). El cálculo del I dif se indica en la parte de resultados, específicamente para cada Facultad. En resumen, de las actividades planteadas en el proyecto han sido realizadas las siguientes: 1. Reuniones entre el equipo participante 2. Reuniones con docentes de Matemática del área CT 3. Reuniones con docentes de Enseñanza Media 4. Diseño de pruebas 5. Aplicación de las pruebas 6. Corrección de las pruebas 7. Devolución de resultados a estudiantes 9

10 8. Análisis y comparación de los resultados entre las Facultades de Ciencias, Ingeniería y Química 9. Elaboración de informes internos en las Facultades de Ciencias, Ingeniería y Química 10

11 RESULTADOS Participantes Tabla 3: El número de estudiantes que participaron de este diagnóstico se muestra en la Tabla 3 Participantes por Servicio Nº de estudiantes que Facultad realizaron la prueba Ciencias 830 (a) Ingeniería 903 (b) Química 1188 (c) Arquitectura 345 (a) el número total de inscriptos fue de 903 estudiantes, pero algunos no realizaron la prueba (b) el número total de inscriptos 2006 fue de 1200 estudiantes, pero algunos no realizaron la prueba (debidamente certificados). (c) se aplicó también a estudiantes rezagados de generaciones anteriores a 2006 Rendimiento en Matemática En la Tabla 4 se muestran los porcentajes de aprobación de la parte de Matemática de la prueba, en relación con el nivel de suficiencia mínimo establecido por las respectivas Facultades (aún no se ha procesado los resultados de Arquitectura) para la prueba global de la componente matemática (en el caso de haber más). Tabla 4 Porcentaje de suficiencia por Servicio Estudiantes que lograron la suficiencia Facultad mínima requerida en la prueba de Matemática (%) Ciencias 12,0 Ingeniería Química 11,8 (a) 11,5 (b) (a) además de las preguntas de respuesta múltiple opción se consideran las preguntas de respuesta abierta. (b) generación 2006 solamente 11

12 Análisis comparativo inter- Facultades Dado que la prueba de Matemática contiene 8 preguntas comunes y que en las Facultades de Ciencias, Ingeniería y Química fue implementada al inicio de los cursos (período comprendido entre el 25 de febrero y el 8 de marzo), resulta pertinente comparar los resultados obtenidos en estos tres Servicios. Los parámetros de comparación seleccionados son los indicados en Metodología. Las Tablas 5, 6 y 7 resumen la comparación. Tabla 5 Porcentaje de respuestas correctas por Servicio Facultad PREGUNTA Código Ciencias (a) (b) Ingeniería Química 1 Conjuntos 77,9 53,3 79,8 65,4 2 3 Regla de la cadena Rectas paralelas 30,6 10,4 24,0 20,8 62,7 29,3 65,7 50,9 4 Límite 29,5 8,6 23,7 19,3 5 Función derivada 51,3 25,6 63,1 54,6 6 Extremos 42,8 18,1 41,8 34,6 7 Trigonometría 43,9 15,4 42,3 29,3 8 Porcentajes 54,6 43,1 59,7 49,4 (a) Matemática-Física, (b) Matemática-Física-Química 12

13 Tabla 6 Distractores más seleccionados por Servicio (*) Facultad PREGUNTA Código Ciencias Ingeniería Química (a) (b) 1 Conjuntos C C C C (10,3) (22,9) (10,8) (17,4) 2 Regla de la D B D D cadena (22,9) (19,7) (38,6) (32,2) 3 Rectas B B B B paralelas (19,2) (28,1) (16,9) (25,3) 4 Límite D D D D (30,6) (36,9) (44,7) (42,7) 5 Función B B B B derivada (19,9) (23,1) (23,7) (25,3) 6 Extremos A A A A (22,1) (13,4) (35,4) (26,7) 7 Trigonometría B A B B (13,3) (19,7) (22,8) (25,0) 8 Porcentajes C C C C (32,5) (41,3) (37,1) (40,8) (*) Valores entre paréntesis indican porcentaje (a) Matemática-Física, (b) Matemática-Física-Química Tabla 7 Poder discriminante del rendimiento total en Matemática por Servicio (*) Facultad PREGUNTA Código Ciencias (a) (b) Ingeniería Química 1 Conjuntos 0,262 0,266 0,232 0, Regla de la cadena Rectas paralelas 0,423 0,13 0,163 0,161 0,284 0,321 0,302 0,393 4 Límite 0,422 0,129 0,188 0,336 5 Función derivada 0,388 0,174 0,289 0,307 6 Extremos 0,326 0,159 0,149 0,117 7 Trigonometría 0,400 0,202 0,305 0,450 8 Porcentajes 0,268 0,232 0,167 0,215 (*) I dis, j (basado en correlaciones) = ρ ítem j puntaje total (corregido) (a) Matemática-Física, (b) Matemática-Física-Química 13

14 Los valores de la Tabla 7 son más bien bajos o moderados, lo cual sugiere que las pruebas de Matemática de estos tres Servicios no son unidimensionales, sino que están midiendo más de un constructo. A continuación se presentan datos descriptivos para las poblaciones ingresantes a las Facultades de Ingeniería y Química (Figuras 1, 2, 3 y 4) 14

15 Figura 1 FI FQ Frecuencia ,92% Frecuencia ,6% ,4% 0 Varones Sexo 19,08% Mujeres 0 Mujeres Sexo Varones 15

16 Figura 2 FI FQ Frecuencia ,93% Frecuencia ,9% 50,1% ,07% Montevideo Interior 0 Montevideo Lugar donde cursó 6º año Interior Lugar donde cursó 6º año Figura 3 16

17 FI FQ Frecuencia ,99% Frecuencia ,8% ,59% ,2% Publico Privado Instituto donde cursó 6º año 9,42% UTU 0 Público Privado Instituto donde cursó 6º año Figura 4 FI FQ 17

18 Frecuencia 90 Frecuencia ,00 5,00 10,00 15,00 Media =6,44 Desviación típ N = ,0 10,0 20,0 30,0 40,0 Puntaje en la prueba de Matemática Desv. típ. = 7,28 Media = 18,3 N = 581,00 Puntaje prueba Matemática 18

19 DISCUSIÓN Las dificultades para consensuar contenidos y habilidades comunes que colmaran las expectativas de las 4 Facultades del Área, solo permitieron establecer 8 preguntas en común. Por esta razón se dificultó el logro del primer objetivo específico del proyecto, si bien se realizaron importantes avances en el ensayo de algunos procedimientos útiles para la elaboración de un instrumento diagnóstico con valor de predicción de desempeños. Rendimiento en Matemática Los resultados de la Tabla 4 muestran que la gran mayoría de los estudiantes que ingresa al área CT de la UdelaR (88%) no muestran el nivel de desempeño en Matemática que las Facultades consideran mínimo, imprescindible para aprovechar las asignaturas que se imparten en el 1 er semestre. En particular en la FQ los estudiantes que no alcanzaron la suficiencia mínima (88,5%) se dividen en dos grupos: vulnerables (46,6%) y críticos (41,8%). El primero contiene a aquellos estudiantes que podrían nivelar su nivel de conocimientos en Matemática haciendo los esfuerzos necesarios. El grupo denominado crítico tiene muy baja probabilidad de alcanzar el nivel de Matemática exigido por la Facultad. En la FI se realiza una devolución a los estudiantes por parte del equipo docente que trabaja en la herramienta diagnóstica al ingreso, en una instancia realizada unos 15 días después del inicio del semestre lectivo. En la misma se realiza una presentación de los resultados de la prueba en sus distintas componentes, reflexionando con ellos sobre los aciertos y errores encontrados, las características de la población de ingreso y se realizan recomendaciones para mejorar sus estrategias de aprendizaje y adaptación a la Universidad. En la FC los estudiantes recibieron la información correspondiente a su desempeño en las pruebas diagnósticas en la primer semana de abril. Los resultados de la evaluación diagnóstica al ingreso se presentaron en sala de docentes de primer año, a los efectos de su discusión y toma de decisiones futura. Los resultados de las pruebas de matemática se presentaron según tres grupos de desempeño: bajo (entre 0 y 27 % de respuestas correctas) medio (entre 28 % y 72 %) y alto (entre 73 % y 100 %). La suficiencia mínima indispensable para cursar adecuadamente primer año es del 73 % de respuestas correctas, o sea los estudiantes del grupo alto. Estos representan el 24 % de la población en las Licenciaturas en Matemática y Física, y el 19

20 6,3 % en las Licenciaturas en Biología, Bioquímica, Geología y Geografía. En las Licenciaturas en Matemática y Física el grupo medio lo constituye la gran mayoría de la población (61,6 %) y en las Licenciaturas en Biología, Bioquímica, Geología y Geografía, el grupo medio es solo del 34, 2 %. Comportamiento de las preguntas comunes de Matemática en los diferentes Servicios Dificultad de las preguntas a) En la FQ se estimó la dificultad de cada ítem en el marco de la teoría clásica de los tests (véase p.e. Muñiz, 1994). I dif, j = Nº de aciertos en el ítem j / Nº de estudiantes que contestaron el ítem Este índice representa la fracción (o proporción) de aciertos en la pregunta, de modo que cuanto más elevado, más fácil resulta el ítem. Existen distintos criterios para categorizar los niveles de dificultad de los ítems. Uno de los más usados es considerar a un ítem con dificultad < 0,2 como muy difícil y uno con dificultad > 0,8 muy fácil, situando el nivel medio de dificultad en un entorno de 0,5. La Tabla 8 muestra los I dif, j de los ítems para FQ. Tabla 8 Índices de dificultad en FQ (a) Nº Código Índice de Dificultad 1 Conjuntos 0,67 2 Regla de la cadena 0,25 3 Rectas paralelas 0,53 4 Límite 0,2 5 Función derivada 0,6 6 Extremos 0,39 7 Trigonometría 0,33 8 Porcentajes 0,5 (*) I dif, j = Nº de aciertos en el ítem j / Nº total de estudiantes que contestaron De acuerdo con los resultados de la Tabla 8 los ítems en FQ se pueden agrupar en: 20

21 Preguntas difíciles: Extremos, Trigonometría, Regla de la cadena y Límite (20-39% acierto). La pregunta de extremos (39%) podría ser considerada de dificultad media. Preguntas de dificultad media: Función derivada, Rectas paralelas y Porcentaje (50-55% acierto) Preguntas más bien fáciles: Conjuntos (67% acierto, también podría considerarse de dificultad media. b) En la FI se utilizó el Índice de dificultad de acuerdo a (Míguez et al, 2000) Este define a la dificultad de una pregunta como : I d = E / n E = nº de errores en la pregunta, n = nº total de estudiantes. Esta medida resulta ser complementaria del I dif adoptado por la FQ, ya que ambos suman 1. En general se considera que si Id >0,85, el ítem es muy difícil; y si Id < 0,15-0,20, el ítem es muy fácil, recomendándose presentar ítems en toda la escala de acuerdo a los objetivos de las pruebas (ANEP,CDC, 1997)). Los resultados obtenidos para cada pregunta en la FI se muestran en la Tabla 9: Nº Tabla 9 Índices de dificultad en FI (a) Conjuntos Código Regla de la cadena Rectas paralelas Límite Función derivada Extremos Trigonometría Porcentajes (a) I d = E / n Índice de Dificultad 0,20 0,76 0,34 0,76 0,37 0,58 0,58 0,40 21

22 c) En FC se estimó la dificultad de cada ítem en el marco de la teoría clásica de los tests como I dif, j = Nº de aciertos en el ítem i / N siendo N el número de estudiantes que respondieron la prueba (Leymonié y Czerwonogora, 2004). Nº Tabla 10 Índices de dificultad en FC Índice de Dificultad Código (a) (b) Conjuntos 0,79 0,58 Regla de la cadena 0,38 0,16 Rectas paralelas 0,69 0,36 Límite 0,34 0,1 Función derivada 0,65 0,4 Extremos 0,54 0,33 Trigonometría 0,59 0,27 Porcentajes 0,57 0,46 (a) Matemática-Física, (b) Matemática-Física-Química Para valorar la dificultad de las preguntas se usó el mismo criterio que el empleado en FQ. En el análisis de las 8 preguntas comunes, en FC se observan algunas diferencias en cuanto a la dificultad de las preguntas según la población a la que fueron aplicadas. En la prueba de Matemática, Física y Química aplicada a los estudiantes que ingresaron a las licenciaturas en Biología, Bioquímica, Geología y Geografía, todas las preguntas comunes resultaron difíciles (preguntas 2, 3, 4, 6 y 7) o de dificultad media (preguntas 1 y 8). En la prueba de Matemática y Física, aplicada a los estudiantes que ingresaron en las licenciaturas en Matemática y Física, se puede considerar la pregunta 1 como fácil, mientras que el resto de las preguntas comunes resultaron de dificultad media, excepto la 4, que podría considerarse la más difícil. Con respecto a la pregunta número 8 (porcentajes) que fue aplicada en el Censo Nacional de Aprendizajes en 6º año de Bachillerato de Enseñanza Media del año 2003, cabe destacar que el índice de dificultad, expresado como porcentaje de aciertos, fue del 22% considerando en conjunto, todas las orientaciones de bachilleratos. 22

23 Distractores más seleccionados En primer lugar, cabe señalar que los distractores más seleccionados por los estudiantes en las 8 preguntas son los mismos, con algunas variaciones en la prueba de Matemática, Física y Química de la FC (preguntas 2 y 7). En la Pregunta 1, elegir el distractor C implica conocer la relación entre la unión y la o pero no reconocer el condicional en el enunciado Cualquier estudiante de ingeniería o de economía es estudiante universitario El distractor D en la pregunta 2, es elegido por aquellos estudiantes que conocen el concepto de composición pero no de su derivada, derivan independientemente cada una de las funciones que se componen. En la prueba de Matemática, Física y Química de la FC el distractor más elegido fue el B. Quienes eligieron este distractor confunden la derivada de la composición con la derivada del producto. En la pregunta 3, la elección del distractor B indica que el estudiante invierte el cociente en el momento de calcular la tangente del ángulo que determina la recta con el eje de abscisas. En la pregunta 4, el distractor más elegido es el D, lo que sugiere que los estudiantes piensan que los infinitésimos se comportan como infinitos. En la pregunta 5, el distractor más elegido fue el B. Quienes eligen esta opción demuestran tener presente la relación entre los extremos relativos y las raíces de la función derivada, pero no la que existe entre el signo de ésta y el crecimiento de la función. El distractor A elegido en la pregunta 6 evidencia reconocer la diferencia entre máximo y mínimo pero no diferenciar entre extremo relativo y absoluto. En la pregunta 7, el distractor B indica la elección de un intervalo que contiene estrictamente puntos solución; quienes lo eligen consideran el seno y el coseno de un ángulo con signos opuestos en el tercer cuadrante. En las Licenciaturas de Biología, Bioquímica, Geografía y Geografía seleccionan como distractor más frecuente el A, lo que estaría indicando que no comprenden que una proposición para ser verdadera debe cumplirse siempre. 23

24 La elección del distractor C en la pregunta 8 parece estar relacionado con la falta de atención al leer la letra, pues el estudiante calcula bien el porcentaje, pero incluye en su respuesta el precio con la seña incluida cuando se le pide cuál es el monto que queda para pagar, es decir, sin incluir la seña. En el Censo aplicado por la ANEP en el 2003, el distractor más elegido también fue el C. Poder discriminante de las preguntas En primer lugar cabe destacar que la mayoría de las preguntas en todas las pruebas (FC, FI y FQ) son de baja discriminación. Hay que considerar que el cálculo del índice de discriminación se realizó en FC en base a un número escaso de preguntas 20 preguntas en una de las pruebas y 14 en la otra. De acuerdo con la clasificación de la Tabla 2, los resultados de la Tabla 7 sitúan a las preguntas comunes en los siguientes niveles para las tres Facultades: Regla de la cadena, Extremos y Porcentaje: bajo poder discriminante. Para FC en la prueba de Matemática y Física se observan algunas variaciones: la pregunta Regla de la Cadena presenta un poder discriminante alto y las preguntas Extremos y Porcentajes presentan un valor moderado. La pregunta Porcentaje en el Censo de ANEP 2003, presenta un poder discriminante moderado (0,40). Conjuntos y Función derivada: poder discriminante moderado. En la prueba de Matemática, Física y Química de FC la pregunta Función derivada presenta un poder de discriminación bajo. Las preguntas sobre Límite, Rectas Paralelas y Trigonometría tienen un comportamiento diferente en los Servicios: en la prueba de Matemática y Física de FC Límite tiene poder de discriminación alto, en la FQ tiene un poder moderado, en tanto que en FI y en la prueba de Matemática, Física y Química de FC es bajo. Rectas Paralelas y Trigonometría tienen poder discriminantes más bien alto en FQ, y moderado en FI. En FC el poder de discriminación es moderado en Rectas paralelas y en Trigonometría es alto en la prueba de Matemática y Física y moderado en la prueba de Matemática, Física y Química. Estos resultados son razonables, habida cuenta de que tanto los índices de dificultad como los de discriminación dependen del conjunto de preguntas de la prueba 24

25 considerada, así como de las características de la población de estudiantes donde se aplicó. La variabilidad de los resultados también puede deberse a que si bien muchos de los alumnos que ingresan a FC, FQ y FI tienen un perfil educativo previo similar (Bachillerato orientación Ingeniería), también pueden ingresar a FQ y a FC con el Bachillerato orientación Biológica. Por lo tanto es esperable que el comportamiento de algunas preguntas pueda ser similar, en tanto que se observen diferencias en otras. Referencias ANEP (1997) La reforma de la Educación. Documento VI. ANEP (2003) Resultados del Censo Nacional de Aprendizajes en 6º año de Bachillerato de Enseñanza Media. Clifton, R., Perry, R., Adams, C. y Roberts, LW (2004). Faculty environments, psychological dispositions and the academic achievement of college students. Research in Higher Education, 45(8), Cohen, L. y Manion, L. (1994). Research Methods in Education. London: Ed. Routledge. Leymonié, J. y Czerwonogora, A. La Evaluación Diagnóstica de Conocimientos y Habilidades la Facultad de Ciencias CD del II Congreso de Enseñanza de la Facultad de Ingeniería, octubre McKenzie, K. y Schweitzer, R. (2001). Who Succeeds at University? Factors predicting academic performance in first year Australian university students. Higher Education Research & Development, 20(1), Míguez, M.; Loureiro, s. y Rodríguez-Ayán, M. ( ). Análisis y calificación de evaluaciones de múltiple opción. ALDEQ N XIV, Muñiz, J. (1994). Teoría clásica de los Tests. Madrid: Ediciones Pirámide. Zeegers, P. (2004). Student learning in higher education: a path analysis of academic achievement in science. Higher Education Research & Development, 23(1),