VALIDACIÓN Y CONFIABILIDAD DE UN INSTRUMENTO DE MEDICION PARA CARRERAS DE INGENIERIA

Transcripción

1 VALIDACIÓN Y CONFIABILIDAD DE UN INSTRUMENTO DE MEDICION PARA CARRERAS DE INGENIERIA Rodríguez, Norma L. (1) ; Herrera, Carlos G. (2) 1: Facultad de Cs. Exactas y Naturales - UNCa 2: Facultad de Tecnología y Cs. Aplicadas - UNCa norleor@yahoo.com.ar Abstract One of the main problems teachers face when evaluating students is to decide what kind of instrument will be used. Generally, research in education does not analyse rigorously the internal consistence of the instrument used in evaluation. In the initial course of Mathematics in the Faculty Technology and Applied Sciences, an instrument of performance in Mathematics was applied. The aim of this work is to analyse the validation and reliability of the instrument. Validation techniques were used according to the classical theory of Tests. The evaluation, wich was applied to a population of 100 students enrolled in 2008 in Engineering careers, consists in 10 multiple choice exercises related to: numerical sets, polinomials, equations, functions and trigonometry. The techniques applied were: ratio of difficulty for all items, the method of extreme groups, index of homogeneity or discrimination (internal consistency) and to measure reliability the two halves method and Cronbach alpha coefficient were used. The validity test shows that exercises 3, 4, 6, 8 and 9 discriminate well and were included in the final examination. On the other hand, exercices 1 and 10 had to be reformulated since they were the lower and higher difficulty respectively. Exercises 2, 5 and 7 could be improved. The internal consistency of the two halves (odd and even items) is moderate (50%) and Cronbach's alpha (0.54) indicates a moderate reliability of the examination. The analysis of reliability and validity of the evaluation allowed the modification the in order of items and for their degree of difficulty. It was also useful to reconsider the process of teaching and learning different topics of the course. Keywords: validation, reliability, mathematical examination. Volumen 2, Número 1, Julio Página 107

2 Resumen Uno de los principales problemas que se enfrenta el profesor al querer evaluar el aprendizaje de los alumnos es decidir qué tipo de pruebas utilizará. En general, en investigaciones en enseñanza no se hace un análisis riguroso de la consistencia interna de los instrumentos empleados En el marco del curso de Nivelación en la Facultad de Tecnología y Ciencias Aplicadas se aplicó un instrumento de rendimiento en Matemática de carácter obligatorio y eliminatorio. El objetivo de este trabajo es analizar la validez y confiabilidad del instrumento. Se utilizaron técnicas de validación según la Teoría Clásica de los Tests. La evaluación fue aplicada a una población de 100 alumnos ingresantes en el año 2008, a carreras de Ingeniería en Agrimensura, Electrónica e Informática, consistente en 10 ejercicios de opción múltiple referidos a: conjuntos numéricos, polinomios, ecuaciones, funciones y trigonometría. Las técnicas aplicadas fueron: índices de dificultad para todos los ítems, método de los grupos extremos, índice de homogeneidad o de discriminación (consistencia interna) y para la confiabilidad se aplicaron el método de dos mitades y el coeficiente alfa de Cronbach. De la validez surge que los ejercicios 3, 4, 6, 8 y 9 discriminan bien y se incluyen en el examen final; en cambio se deberían reformular los ejercicios 1 y 10 por ser de menor y mayor dificultad respectivamente. Los ejercicios 2, 5 y 7 se podrían mejorar. La consistencia interna de las dos mitades (item pares e impares) es moderada (50 %) y el alfa de Cronbach (0,54) indica una moderada confiabilidad del examen. El análisis de confiabilidad y validez permitió modificar la evaluación tanto en el orden de los ítems, como en el grado de dificultad de ellos. También valió para replantear el proceso de enseñanza aprendizaje de los diferentes temas del curso de nivelación. Palabras Clave: Validación; Confiabilidad; Examen de Matemática. Volumen 2, Número 1, Julio Página 108

3 Introducción La evaluación es probablemente tan antigua como la humanidad. Los exámenes o prueba de tipo tradicional generalmente son subjetivos, por lo que los docentes deben tender a efectuar una comprobación analítica y completa en la medición del rendimiento académico de los alumnos. Los test de rendimiento escolar son aquellos instrumentos que permiten evaluar los logros alcanzados por los alumnos en las distintas disciplinas. Estos test debieran construirse de acuerdo a los principios psicométricos de la teoría clásica de los test, validados en muestras pilotos y que estén de acuerdo a los objetivos de logros establecidos en la cátedra. En general en las investigaciones en enseñanza no se hace un análisis riguroso de la consistencia interna de los instrumentos empleados y la valoración sin el uso de un instrumento de medición validado debe ser cuestionado, porque podría llevar a errores de diferentes tipos, entre otros de: juicio, injusticia en la calificación de un tema, interpretación incorrecta de consignas por parte del alumno. Es así que uno de los principales problemas que enfrenta el profesor al querer evaluar el aprendizaje de sus alumnos, es decidir qué tipo de prueba utilizará. Con el fin de dar respuesta a esta problemática en el marco del curso de Nivelación en la Facultad de Tecnología y Ciencias Aplicadas, se decidió validar el instrumento utilizado, por su carácter obligatorio y eliminatorio. El objetivo de este trabajo es analizar la validez y confiabilidad del instrumento de rendimiento en Matemática del curso de ingreso en la Facultad de Tecnología y Ciencias Aplicadas de la Universidad Nacional de Catamarca. Volumen 2, Número 1, Julio Página 109

4 Marco Teórico Este trabajo se sustenta en la Teoría Clásica de los test (Spearman, 1927). La palabra test es un término que se emplea para designar cualquier tipo de instrumento o procedimiento para medir aptitudes, rendimientos, personalidad u otro aspecto del comportamiento de una persona. La palabra inglesa test se ha internacionalizado a pesar que se suele sustituir por prueba o examen. Los test son un conjunto de tareas, preguntas, problemas, estímulos, situaciones, etc. que intentan poner de relieve una muestra de los comportamientos del sujeto, representativa del atributo que se quiere evaluar. A estas preguntas o problemas de las denomina item o reactivo. Los test escolares son instrumentos pensados y realizados con el objeto de evaluar los logros alcanzados por los niños o jóvenes en edad escolar, en las distintas disciplinas. Las dos cualidades que debe cumplir una prueba son la confiabilidad y la validez. Un procedimiento de medición es confiable o fiable cuando mide el grado de estabilidad, precisión o consistencia que manifiesta el test como instrumento de medición de un rasgo determinado. La confiabilidad se refiere a la consistencia interna obtenido por los mismos individuos en distintas ocasiones. El coeficiente de Cronbach y la técnica de las dos mitades permiten evaluar la consistencia interna de un test. Un procedimiento de medición tiene validez cuando esta correlacionado con alguna evaluación del éxito en la tarea para la cual el test se usa como pronostico. El método más simple para calcular la validez de una prueba consiste en obtener el índice de correlación de Pearson entre el puntaje de cada item en relación al total del test, para ello se puede utilizar el coeficiente biserial Volumen 2, Número 1, Julio Página 110

5 El análisis de los ítems se realizo considerando el grado en que se mide el rasgo de interés y ello se puede efectuar estadísticamente usando los siguientes indicadores: a) El índice de dificultad: permite cuantificar el grado de dificultad de cada ítem del test de rendimiento óptimo. b) El índice de homogeneidad: llamado también índice de discriminación de un item informa el grado en que dicho item está midiendo lo mismo que la prueba global, es decir el grado en que contribuye a la consistencia interna del test. c) El índice de validez: permite comprobar que es lo que verdaderamente se está evaluando. Metodología El diseño de investigación es cuantitativo, descriptivocorrelacional. La población en estudio fue de 100 alumnos ingresantes de las carreras de Ingeniería en Agrimensura, Electrónica e Informática El instrumento que se valido consistió en un examen de Matemáticas de 10 ejercicios con opciones múltiples de 5 alternativas de respuestas, donde sólo una era correcta. Los ítems eran referidos a los temas: conjunto de números reales, polinomios, ecuaciones, funciones y trigonometría. El procedimiento de validación se llevó a cabo mediante las siguientes técnicas básicas para el análisis de los reactivos o ítem: índices de dificultad para todos los ítems, método de los grupos extremos, índice de homogeneidad o de discriminación (consistencia interna), grafico de dificultad Volumen 2, Número 1, Julio Página 111

6 versus discriminación y para la confiabilidad se aplicaron el método de dos mitades y el coeficiente de Cronbach. Resumen y discusión continuación la tabla resultante. En relación a las notas obtenidas en el examen se presenta a NOTAS FRECUENCIA PORCENTAJE PORCENTAJE ACUMULADO 0 1 1,0 1, ,0 3, ,0 8, ,0 24, ,0 37, ,0 53, ,0 76, ,0 90, ,0 96, ,0 100,0 Total ,0 Tabla N 1: Notas obtenidas por los alumnos en el examen de ingreso de Matemática. Año La nota mínima fue de 0 pues no respondió ningún ítem correcto, y de 9 como máxima. La media fue de 5 y el desvió estándar de 2 puntos. El 24% de los alumnos han obtenido notas menor o igual a 3 puntos, calificados como deficiente rendimiento y con igual porcentaje los que han logrado rendimiento mayor o igual a 7 puntos. Considerando que dicho examen se aprueba con 5 puntos, aprobaron el mismo el 63% de los alumnos. Volumen 2, Número 1, Julio Página 112

7 Al analizar la dificultad, determinada por la proporción de personas que contestan correctamente cada item, se obtienen los siguientes resultados: EJERCICIO O ITEM CONTESTADO CORRECTAMENTE (fa) CONTESTADO (BIEN O MAL) (fa) NO CONTESTADO (%) Tabla N 2: Características de los resultados al aplicar el examen de ingreso de Matemática a 100 alumnos de las carreras de ingeniería. Año 2008 Se puede observar que los ejercicios 1 y 7 fueron de menor dificultad o de mayor conocimiento de los alumnos ingresantes, por el contrario el item 10 fue el más difícil pues el 66% de los alumnos no lo contestaron. Los puntos 2, 4 y 8 no fueron respondidos por más de un tercio de los ingresantes. En la mayoría de las pruebas los reactivos deberían tener diversos niveles de dificultad debido a que una buena prueba discrimina en varios niveles. Por lo tanto, se deberían analizar los ejercicios antes mencionados o los temas involucrados en ellos para replantear el proceso enseñanza aprendizaje. Volumen 2, Número 1, Julio Página 113

8 La evaluación de la discriminación del ítem, determina si las personas que responden correctamente reactivos particulares también han tenido éxito en la prueba completa. Se presentan a continuación dos métodos de discriminación: EJERCICIO <3 >7 di OBSERVAC. E1 0,63 0,83 0,21 Muy Fácil E2 0,17 0,54 0,38 E3 0,08 0,58 0,50 * E4 0,17 0,67 0,50 * E5 0,42 0,79 0,38 Fácil E6 0,33 0,88 0,54 * E7 0,38 0,92 0,54 * E8 0,04 0,92 0,88 * E9 0,21 0,71 0,50 * E10 0,08 0,46 0,38 Muy Difícil Tabla N 3: Discriminación de los ítems por el Método de Grupo Extremo En la tabla 3, los ítems 3, 4, 6,7 y 8 parecen discriminar razonablemente bien (*) pues la diferencia entre los grupos de notas extremas (<3 y >7 puntos) es mayor o igual a El ítem 1 no discrimina bien porque el nivel de éxito es alto para ambos grupos, debe ser demasiado fácil. El ítem 10 es muy difícil porque ambos grupos el nivel de éxito es bajo. Otra forma de examinar la discriminación de los reactivos consiste en obtener la correlación entre el desempeño en cada ítem y el desempeño en la prueba completa (Método del Punto Biserial). El ítem 1 debería ser eliminado o modificado del examen por que el coeficiente obtenido es bajo (0.22). Los reactivos 6 y 8 son los que mejor discriminan. Volumen 2, Número 1, Julio Página 114

9 Una forma de representar los ítems es graficando las características de los reactivos que se elabora colocando en el eje horizontal la puntuación total de la prueba y en el eje vertical la proporción de examinados que respondieron correctamente los ítems. Se realizó este gráfico para tres reactivos de la prueba. 0,250 Proporción de respuestas correctas 0,200 0,150 0,100 0,050 0, Notas obtenidas en el examen EJERCICIO 1 EJERCICIO 2 EJERCICIO 8 Gráfico N 1: Curvas características de los ítems 1, 2 y 8 del examen de Matemática Se observa en las curvas una fuerte tendencia descendente en las notas altas (8, 9, 10) motivado por la baja proporción de alumnos que han obtenido dichas calificaciones. Comparando los ítems 1, 2 y 8 se observa que el ítem 1 fue contestado correctamente por mayor proporción de alumnos, mientras que por contrario el ítem 8 fue contestado correctamente por una baja proporción de alumnos, sin embargo se observa que para las notas superiores o iguales a 7 la proporción de alumnos que contesta este ítem es mayor. Volumen 2, Número 1, Julio Página 115

10 Otra representación grafica para analizar la discriminación, consiste en analizar la dificultad de los ítems en uno de los ejes y la discriminación (Correlación del punto biserial) en el otro eje. Considerándose como reactivos buenos los que se ubican en un rango de dificultad entre 0.30 y 0.70 y con una discriminación superior a DIFICULTAD (% de aprob) 0,9 0, ,7 0, ,5 0, ,3 9 0,2 0, ,00 0,20 0,40 0,60 0,80 DISCRIMINACION rpbis Gráfico N 2: Relación entre dificultad y discriminación de cada ítem Los ejercicios 3, 4, 6, 8 y 9 discriminan bien y se incluyen en el examen final; en cambio se deberían reformular los ejercicios 1 y 10 por ser muy fácil y difícil respectivamente. Se analizo la confiabilidad utilizando el método de las dos mitades (ítem pares e impares) obteniéndose una fiabilidad moderada (50%) y aplicando el alfa de Cronbach (0,54) confirma la moderada confiabilidad del examen de Matemática aplicado. Volumen 2, Número 1, Julio Página 116

11 Conclusión De la validez surge que los ejercicios 3, 4, 6, 8 y 9 discriminan bien y se incluyen en el examen final; en cambio se deberían reformular los ejercicios 1 y 10 por ser muy fácil y difícil respectivamente. Los ejercicios 2, 5 y 7 se podrían mejorar. El análisis de validez permitió modificar la evaluación tanto en el orden de los ítems, como en el grado de dificultad de ellos. También valió para replantear el proceso de enseñanza aprendizaje de los diferentes temas del curso de nivelación. Las modificaciones que se realicen mejorara la confiabilidad moderada obtenida del examen de Matemática analizado. Recomendación Seguir los principios de la Psicometría permite optimizar el sistema de evaluaciones, a los efectos de comprobar si se logran los objetivos propuestos en la disciplina, a fin de garantizar la confiabilidad y validez de los instrumentos de evaluación que se utilizan. Volumen 2, Número 1, Julio Página 117

12 Bibliografía Kaplan, R.; Saccuzzo, D. (2006) Pruebas Psicológicas. Editorial Thompson. México D.F. Cap. 4, 5 y 6. Abad et al (2006) Introducción a la Psicometría. Editorial Universidad Autónoma de Madrid. Tema III y IV. Cortada de Kohan, N. (1999). Teorías Psicométricas y Construcción de Tests. Lugar Editorial S.A. Buenos Aires. Cap 4, 5 y 6. Cohen, R.; Swerdlik, M. (2000): Pruebas y Evaluación Psicológica Introducción a las Pruebas y a la Medición. Mc. Graw Hill. Mexico DF. Parte 2. Volumen 2, Número 1, Julio Página 118