Divulgación Teoría de respuesta al ítem: una aplicación educativa

Transcripción

1 Divulgación Teoría de respuesta al ítem: una aplicación educativa Rocío Minerva Hidalgo Flores Maestría en Matemáticas Aplicadas Facultad de Ingeniería, Universidad Autónoma de Querétaro, México recibido: enero de 00 aceptado: julio de resumen En este artículo se describe la Teoría de Respuesta al Ítem, sus objetivos y supuestos básicos así como las tendencias futuras en investigación. En el contexto de tal teoría se analiza, a partir de un conjunto de datos resultado de una aplicación en el año 00, el Examen de Habilidades y Conocimientos Básicos (exhcoba), examen utilizado como criterio de ingreso a nivel licenciatura en la Universidad Autónoma de Querétaro, en particular para carreras en el área de ciencias básicas, ingenierías y matemáticas; para ello se utiliza el programa TestGraf de Jim Ramsay, el cual utiliza herramientas de la Teoría de Respuesta al Ítem. Reconociendo que no se hizo la evaluación de supuestos de la Teoría de Respuesta al Ítem, se concluye que en caso de que el conjunto de ítemes analizado resultara unidimensional en la evaluación de este supuesto, el examen exhcoba estima con mayor precisión los niveles de habilidad medios y con menor precisiń los niveles de habilidad bajos y altos. Se encuentra que el ítem, no es adecuado para el examen. 0 0 Introducción La Teoría de Respuesta al Ítem (tri) tiene su antecedente en la Teoría Clásica del Test (tct), la cual se fundó por un artículo escrito por Charles Spearman (0). Esta teoría se expandió intensamente durante los primeros 0 años luego de su origen y no fue sino hasta que con el trabajo de Novick () se alcanzó claridad en su estructura lógica. Tanto la tri 0

2 TEORÍA DE RESUESTA AL ÍTEM: UNA ALICACIÓN EDUCATIVA como la tct ofrecen estimaciones del rasgo latente de individuos medidos mediante un test o cuestionario. El cuestionario está compuesto de reactivos llamados ítemes, los cuales pueden ser de opción múltiple. Este conjunto de ítemes está construido de tal forma que subyacente a ellos se encuentra un rasgo o variable latente, el cual no es medible directamente sino sólo a través de su relación con las respuestas a los ítemes del test. Ejemplos de rasgos latentes psicológicos son depresión, ansiedad, edad mental, inteligencia, habilidad académica, etcétera. Las aplicaciones de la tri se dan principalmente en el campo psicológico, dondequiera que se aplique un test para medir un rasgo latente a un conjunto de individuos. En particular destacan las numerosas aplicaciones que se dan en el campo de la medición educativa donde el rasgo latente que se desea medir es una habilidad o destreza. Es el caso de la aplicación que se describe en este artículo. La muestra de estudiantes analizada es un conjunto de 0 aspirantes a ingresar a alguna de las licenciaturas que pertenecen al área de ingeniería de la uaq y se analizó un subconjunto de 0 ítemes de un total de 0. Los ítems analizados versan sobre matemáticas para el cálculo. Lo que se puede obtener del análisis de los datos, en el caso de que los supuestos de la tri se cumplan, son estimaciones de la habilidad en matemáticas para el cálculo de los examinados en el exhcoba así como estimaciones de la precisión de las mismas; pero no sólo eso, sino también los parámetros de los ítemes junto con índices que permiten evaluar el test completo, así como gráficas de las funciones de respuesta de los ítemes, las cuales aportan mucha información para evaluar el test. No se tiene la información de a qué tipo de cálculo se refieren los ítemes, si al diferencial o al integral, aunque personalmente creo que se refieren al diferencial. Objetivo de la tri La tri es una colección de modelos matemáticos y métodos estadísticos que se usan (Reise y cols., 00) para: a) Evaluar ítemes y test. b) Crear y administrar mediciones psicológicas. c) Medir individuos sobre constructos psicológicos. Los modelos que utiliza la tri son funciones matemáticas que relacionan la probabilidad de una respuesta particular a un ítem, con la habilidad general del sujeto (Cortada de Kohan, 00), dichas funciones se conocen como Funciones de Respuesta al Ítem. En el campo de la medición educativa, es de particular interés estimar la probabilidad de respuesta correcta al ítem del test

3 R. M. HIDALGO FLORES El objetivo básico de la modelación en la tri es determinar una función de respuesta al ítem para cada ítem sobre una medida. Estas funciones se usan para evaluar la calidad del ítem (Reise y cols., 00). Conceptos básicos Los postulados básicos de la tri son los siguientes: a) El resultado de un examinado en un ítem puede ser explicado por un rasgo latente que se simboliza con la letra griega θ. b) La relación entre la respuesta de un examinado a un ítem y el rasgo latente que subyace a los ítemes puede describirse como una función monótona creciente, ésta es la función de respuesta al ítem y la curva correspondiente a esta función se conoce como Curva Característica del Ítem (cci). Esta función especifica que a medida que el valor del rasgo latente (habilidad) aumenta, la probabilidad de respuesta correcta al ítem también aumenta. c) Las estimaciones de la habilidad obtenidas con distintos conjuntos de ítemes serán iguales, siempre y cuando los conjuntos de ítems midan la misma habilidad. Las estimaciones de los parámetros de los ítemes obtenidos en distintas muestras de examinados serán iguales. Es decir que en la tri los niveles de habilidad de los examinados y los parámetros de los ítemes son invariantes. Los supuestos de la tri son:. La unidimensionalidad del rasgo latente. Los ítemes que constituyen un test deben medir sólo una habilidad o rasgo latente predominante. Si los ítemes miden más de un rasgo, no se puede aplicar la tri. Una opción en tal caso es utilizar la Teoría Multidimensional de Respuesta al Ítem (tmri) (Beretvas y Williams, 00).. La independencia local, la probabilidad de responder correctamente a un ítem, no proporciona información acerca de la probabilidad de responder cualquier otro ítem correctamente más allá de lo que está incluido en el parámetro de habilidad (Oshima, ). En realidad, este supuesto se cumple como consecuencia del supuesto de unidimensionalidad (Lord, 0). Algunos modelos de la tri Existen diversos modelos en la tri (Bryce, 000), entre los más usados se encuentran los modelos logísticos (Baker y Kim, 00); entre estos se cuenta el modelo logístico de un parámetro o pl, también conocido como modelo

4 TEORÍA DE RESUESTA AL ÍTEM: UNA ALICACIÓN EDUCATIVA de Rasch: i (θ) = eθ b i + e θ b, i =,..., n, () i donde i (θ) es la probabilidad de que un individuo con nivel de habilidad θ conteste correctamente el ítem i; b es llamado el parámetro de dificultad del ítem i; n es el número de ítemes del test. La función forma una curva en forma de S similar a la función de distribución acumulada normal, con valores que van de 0 a en la ordenada y valores teóricos de a + en la abscisa. El parámetro b es el valor en la escala de habilidad θ para el cual la probabilidad de respuesta correcta es 0.. Este valor b indica la posición del ítem en la escala de habilidad: un valor grande de b indica que se trata de un ítem difícil. Esto significa que un individuo requiere tener un nivel alto de habilidad para contestar correctamente un ítem difícil. El modelo logístico de dos parámetros o pl es el siguiente: i (θ) = eda i (θ b i ) + e Da i (θ b, i =,..., n () i ) donde b es el parámetro de dificultad como en el modelo de un parámetro; a se llama parámetro de discriminación y es la pendiente de la curva de respuesta al ítem, evaluada en el punto θ = b; D =. es una constante introducida para que la función logística se ajuste a la función de distribución acumulada normal con exactitud de al menos 0.0. El valor de a indica qué tanto discrimina el ítem entre examinados de distinta habilidad, alrededor de θ = b. El modelo de tres parámetros o pl agrega un parámetro c de pseudo azar al modelo pl. Este parámetro representa la probabilidad de que un examinado de habilidad baja conteste correctamente un ítem de dificultad alta adivinando la respuesta. Los tres modelos presentados anteriormente se clasifican como modelos paramétricos. Existen también los modelos no paramétricos, uno de los cuales es utilizado por Ramsay (000) en su programa TestGraf. En TestGraf el proceso para estimar la cci, la curva correspondiente a la función de respuesta al ítem, consiste de los siguientes pasos: Se calcula el número de respuestas correctas x a de cada examinado a =,..., N en el test.. Se ordenan los examinados en base a los valores o calificaciones x a con rangos asignados aleatoriamente en casos de valores empatados.. El a-ésimo examinado por orden de tamaño se asigna al cuantil a-ésimo de la distribución normal estándar, z a, es decir, tal que (z z a ) = a %. 0

5 R. M. HIDALGO FLORES ara la opción correcta del reactivo i se computan los valores y ia, el cual es igual a si el examinado eligió la opción correcta y 0 si no.. Se estima la relación i (θ) suavizando la relación entre los valores de y ia y los valores de z a. Estos valores z a se toman como estimaciones iniciales de los valores del nivel de rasgo θ a. El suavizamiento se realiza usando el kernel gausiano con un parámetro de suavizamiento dado por default en TestGraf, pero que el usuario puede modificar. Específicamente, el suavizamiento de la relación se da a través del siguiente promedio ponderado con N i (θ q ) = w aq y ia, () a= w aq = [ ] (θa θ K q ) h [ Nb= (θb θ K q ) h ]. () El valor del parámetro h que usa TestGraf es por default h =.N /, y el kernel gausiano es K(u) = e u /. En lugar de promediar todos los valores θ a, se parte el dominio en Q intervalos de igual ancho (TestGraf usa Q = por default, pero permite al usuario dar otro valor) y, dado un intervalo, se promedian ponderadamente sólo los valores que caen dentro de éste, dando un peso mayor a los valores más cercanos al centro del intervalo y un peso menor a los más lejanos. En la ecuación (), θ q son los valores de habilidad de los examinados que caen dentro del intervalo q-ésimo (q =,..., Q) Una descripción detallada de este algoritmo se encuentra en el manual de TestGraf (Ramsay, 000). El programa permite usar dos tipos de variables de habilidad como variables independientes en el eje horizontal de las gráficas de las curvas características. Una de ellas es la calificación esperada de la prueba y es el número promedio o número esperado de ítemes correctos que un examinado en un nivel de habilidad particular tendrá. Su expresión es la siguiente: n η(θ) = i (θ), () i= donde i (θ) es la probabilidad de respuesta correcta al ítem i al nivel de habilidad θ. La otra variable consta de los cuantiles de la distribución normal estándar que utiliza como base en el suavizamiento. En este artículo se usó la primera

6 TEORÍA DE RESUESTA AL ÍTEM: UNA ALICACIÓN EDUCATIVA variable. Se prefirió ésta debido a que su escala va de 0 a 0, el número de reactivos del test, lo que facilita su interpretación. Expectativas y desarrollos recientes de la tri Bock () comenta sobre lo que considera son las expectativas sobre el desarrollo futuro de la tri. one énfasis en tres aspectos principalmente: a) La extensión de la estimación de la distribución latente a grupos múltiples de examinados. b) La posible interacción entre las características del ítem y las características del grupo, esto es, el funcionamiento diferencial del ítem (DIF) con respecto a grupos demográficos o flujos de parámetros del ítem con respecto a cohortes sucesivas (DRIFT). c) Quizás el desarrollo más prometedor sea el de las pruebas adaptativas por computadora. Estas pruebas permiten acortar el tiempo de la prueba manteniendo un nivel pre-especificado de precisión de la medición. Con el advenimiento de las computadoras personales con alta capacidad multimedia, las pruebas adaptativas computarizadas son una práctica real. En estas pruebas se estima provisionalmente el nivel de habilidad del examinado después de cada presentación de un ítem, el procedimiento dirige la selección del siguiente ítem hacia aquellos ítemes, de un banco de ítemes, que dan más información en ese nivel de habilidad (un banco de ítemes es una colección de ítemes para los cuales se conocen sus curvas características). Simultáneamente se calculan intervalos de confianza para el nivel de habilidad verdadero hasta que el intervalo de confianza sea aceptablemente pequeño, o bien hasta que se alcance el límite fijo de presentaciones. Ya que la computadora tiene la capacidad de desplegar una gran variedad de ítemes visual y auditivamente, y la respuesta se puede elegir por medio de un ratón o un teclado, estas pruebas son más enriquecedoras que cualquiera que se piense con sólo papel y lápiz; su uso es muy ventajoso cuando se tiene prisa por medir, por ejemplo, en mediciones relacionadas con la salud de los pacientes Reise y cols. (00) aborda las ventajas que tiene la tri sobre la tct, ilustra cómo la modelación con tri puede mejorar las mediciones psicológicas y señala que éstas ventajas harán que se use cada vez más la tri en las aplicaciones. También se percibe que uno de los grandes retos que enfrenta la tri es la falta de software amigable y ampliamente disponible que facilite su uso en un amplio sector de profesionales que trabajan con tests psicológicos. Otro de los aspectos que actualmente se estudian es el efecto del tiempo insuficiente para responder los ítemes de la prueba. Se ha documentado (Oshima, ) que en exámenes largos como el TOEFL y el SAT 0

7 R. M. HIDALGO FLORES ocurre este problema. En un examen puede suceder que algunos examinados no contesten algunos ítemes debido a que ya no les alcanzó el tiempo para hacerlo; sin embargo, en la tri se asume que la respuesta del examinado al ítem sólo depende de la habilidad del mismo. En Oshima () se hacen simulaciones para determinar cómo afecta el problema de los ítemes no contestados a las estimaciones y se concluye que se ven afectadas las estimaciones de los parámetros de los ítemes y de las habilidades. Existen diversos modelos propuestos para esta situación; por ejemplo, Goegebeur y cols. (00) proponen modelos para tratar con respuestas omitidas usando un enfoque basado en influencia local. Sinharay (00) comenta que existe escasez de trabajos sobre verificación del modelo desde una perspectiva bayesiana y analiza las consecuencias prácticas de la falta de ajuste del modelo. Argumenta que los paquetes de software estándar carecen de índices para medir la bondad del ajuste de los modelos de la tri que sean confiables y que esto empeora cuando se habla de modelos tri bayesianos, por lo cual ésta es un área que requiere más estudio. 0 Aplicación de la tri a los datos del exhcoba El examen exhcoba consta de 0 reactivos de los cuales los primeros 0 se refieren a conocimientos básicos de primaria y secundaria, y los últimos 0 se refieren a conocimientos básicos de bachillerato del área a la cual pertenece la carrera que se pretende cursar. En este caso el área es Ingeniería y los conocimientos básicos del área versan sobre matemáticas para el cálculo, física y química. El número de estudiantes de este subconjunto es de 0 y se analizan sólo 0 ítemes, que corresponden a conocimientos de bachillerato sobre matemáticas para el cálculo. Los datos brutos consisten de una matriz de ceros y unos. Un en el elemento (i, j) (renglón i y columna j) de la matriz significa que el individuo i contestó correctamente la pregunta j, mientras que un 0 indicaría que su respuesta no fue correcta. Luego entonces, con este subconjunto de datos tenemos una matriz de dimensión 0 por 0. Entre los análisis que despliega el TestGraf está la curva característica de la opción, para cada opción y cada ítem. La curva característica muestra la función de respuesta al ítem, im (θ), para cada una de las m opciones (m = en esta aplicación, la opción correcta y la incorrecta). La figura muestra las curvas características para la opción correcta para los ítemes y. El eje horizontal de las gráficas muestra los niveles de habilidad de los examinados y el eje vertical muestra la probabilidad de respuesta correcta al reactivo. La curva característica del ítem tiene nivel de dificultad alto, mientras que el ítem tiene dificultad baja. Si proyectamos una línea horizontal en (respuesta correcta) = 0. hasta intersectar la

8 TEORÍA DE RESUESTA AL ÍTEM: UNA ALICACIÓN EDUCATIVA FIGURA. Curvas características para la opción correcta de los ítemes y. curva y luego observamos a qué valor de habilidad corresponde, vemos que para el ítem el nivel de dificultad es alrededor de, mientras que para el ítem es alrededor de. Ambos ítemes son aproximadamente igual de discriminativos, pues sus pendientes tienen valores cercanos. El ítem es más discriminativo que el en casi todo su dominio, pues su curva característica es más encrespada. La figura muestra las gráficas correspondientes a los ítemes y. En ellas se aprecia que el ítem tiene discriminación alta para niveles bajos pero poca discriminación para niveles altos mientras que el tiene discriminación baja casi en todo el intervalo. Esto lo apreciamos si observamos las pendientes de las curvas. La curva característica del ítem se ve muy encrespada en los valores de habilidad bajos mientras que la curva característica del ítem está apenas ligeramente inclinada, lo que significa que el ítem discrimina muy bien entre examinados de habilidad baja, mientras que el ítem tiene poca discriminación para examinados de habilidades entre y. Son preferibles los ítemes altamente discriminativos, es decir, aquellos cuyas probabilidades cambian drásticamente. Los ítemes más discriminativos aportan más información psicométrica al test e incrementan la precisión de las estimaciones de habilidad en los niveles FIGURA. Curvas características para la opción correcta de los ítemes y.

9 R. M. HIDALGO FLORES donde son más discriminativos. Observemos también que la ordenada al origen de la curva característica del ítem es 0. y la correspondiente al ítem es 0.; estos son los valores de los parámetros de pseudo azar de ambos ítemes. Esto significa que el ítem tiene mayor probabilidad de ser contestado correctamente por adivinación que el ítem. Es una característica deseable del ítem que el valor del parámetro de pseudo azar no sea muy grande. En conclusión, el ítem no es adecuado pues su parámetro de pseudo azar no es bajo y ofrece muy poca discriminación a través de su dominio; eso se deduce de observarque su cci es una muy parecida a una recta horizontal, lo que indica que para cualquier nivel de habilidad del examinado, la probabilidad de respuesta correcta es aproximadamente constante. En el subconjunto de ítemes analizados fue el único que resultó inadecuado. Otro despliegue del TestGraf es la gráfica de la función de información de la prueba. La función de información de la indica la cantidad de información psicométrica que proporciona la prueba o test, en distintos niveles de habilidad. La función de información del ítem se calcula mediante 0 ( di ) 0 I i (θ) = dθ, i =,..., n, () i (θ) ( i (θ)) 0 donde i (θ) es el valor de la curva característica para la opción correcta. La función de información de la prueba, I(θ), es la suma de las funciones de información de los ítemes, es decir, 0 0 n I(θ) = I i (θ). () i= La prueba será informativa en la medida en que sus ítemes lo sean y esto se dará cuando las pendientes de las curvas características de los ítemes sean grandes en la mayor parte de sus dominios. Es decir, la prueba será informativa en la medida en que los ítemes sean discriminativos. La función de información de cada ítem sirve para juzgar la calidad del ítem. Ésta muestra cuánta información psicométrica proporciona el ítem en cada nivel de habilidad. La información está relacionada directamente con la precisión en la medición. Entre más información, más precisión. Los ítemes fáciles son mejores para diferenciar individuos en los niveles de habilidad bajos mientras que los ítemes difíciles son mejores para diferenciar individuos en los niveles altos. La figura muestra la función de información (gráfica izquierda) y la función de densidad de las habilidades esperadas (gráfica derecha) de este examen.

10 TEORÍA DE RESUESTA AL ÍTEM: UNA ALICACIÓN EDUCATIVA FIGURA. Gráficas de la función de información y densidad de la habilidad. La función de información indica que el subconjunto de ítemes es más informativo para los examinados con niveles de habilidad alrededor de 0 y menos informativo para examinados con niveles de habilidad en los extremos. La gráfica de densidad de la habilidad esperada es asimétrica, la curva está ligeramente abultada para los valores de habilidad superiores a. En este valor se sitúa aproximadamente el centro de la curva FIGURA. Gráfica de componentes principales de las curvas características. 0 En la figura se muestra la gráfica de los primeros dos componentes principales de las curvas (Ramsay y Silverman, 00). En el eje horizontal aparece el primer componente y en el vertical el segundo. En ella se despliegan las curvas características para la opción correcta de todos los ítemes simultáneamente. revio al análisis, el programa calcula la curva característica promedio y la resta de la curva característica de cada ítem de modo que el análisis de componente principal se realiza sobre las curvas características centradas. 0

11 R. M. HIDALGO FLORES Esta gráfica muestra los tipos de variación dominantes entre las curvas. La gráfica muestra que la primera componente principal representa la facilidad de los ítemes de modo que los más difíciles se ubican en el extremo izquierdo del eje horizontal y los más fáciles en el extremo derecho. La segunda componente principal desplegada en el eje vertical representa la discriminabilidad de los ítemes, pues los más discriminativos se encuentran arriba y los menos discriminativos abajo. Lo anterior significa que en la primera componente pesan más las variables facilidad de los ítems, mientras que en la segunda componente pesan más las variables que indican discriminabilidad de los ítems. Destaca en la esquina superior derecha de la gráfica la curva correspondiente al ítem, el cual es altamente discriminativo en habilidades bajas y fácil, porque para examinados de habilidad de 0 en adelante, la probabilidad de respuesta correcta es prácticamente. FIGURA. Gráfica del error estándar de las habilidades esperadas. Haciendo un ejercicio de clasificación de los ítemes de acuerdo a su nivel de dificultad, se encontró que el % de ellos es de dificultad baja, el % de dificultad media y el 0% de dificultad alta. También se encontró que alrededor del % de ellos son discriminativos en diversos niveles de habilidad. Además se encontró que la mayor parte de los ítemes discriminativos lo son en los niveles de habilidad medios, esto lo confirma la gráfica de la figura, que muestra la curva del error estándar de las habilidades estimadas, la cual se calcula mediante el recíproco de la raíz cuadrada de la función de información, esto es σ(θ) = I(θ). () 0 0 En la gráfica se observa que los ítemes proporcionan mayor precisión para las habilidades entre 0 y y las habilidades más bajas y altas son estimadas con mayor error. Conclusiones No se hizo un análisis de los supuestos del modelo en este trabajo; sin embargo, si el conjunto de ítems fuera unidimensional, se podría concluir que el examen exhcoba permite estimar con mayor precisión los niveles 0

12 TEORÍA DE RESUESTA AL ÍTEM: UNA ALICACIÓN EDUCATIVA de habilidad medios, pero los valores de habilidad bajos y altos de los examinados son estimados con menor precisión. Se concluye también que el ítem no es un ítem adecuado en el examen pues tiene un grado de discriminación muy bajo. Vale la pena comentar que la clasificación de los ítemes es realmente difícil ya que no todas las curvas son monótonas, por lo cual la clasificación subjetiva puede no ser exacta y se estudiarán en un futuro procedimientos funcionales de clasificación ya existentes. También cabe aclarar que el TestGraf no contiene estadísticos para diagnosticar el ajuste del modelo, lo cual es fundamental en el análisis de los resultados y en la validez de las conclusiones que se extraen de éste, en particular es muy importante evaluar el supuesto de unidimensionalidad de los ítemes, razón por la cual una tarea futura será indagar cuáles son las técnicas estadísticas utilizadas en la verificación de los supuestos de la tri. Referencias [] Baker, F., y S. Kim, Item Response Theory arameter Estimation Techniques, Ed. Marcel Dekker, Nueva York, EUA, 00 [] Beretvas, N., y N. Williams, The Use of Hierarchical Generalized Linear Model for Item Dimensionality Assessment, Journal of Educational Measurement () (00) pp.. [] Bock, R.D., A Brief History of Item Theory Response, Educational Measurement: Issues and ractice () () pp.. [] Bryce, B., An Introduction to Modern Measurement Theory, 000 (Véase [] Cortada de Kohan, N., La teoría de respuesta al ítem: supuestos básicos, Evaluar (00) pp. 0. [] Goegebeur, Y.,. de Boeck, G. Molenberghs y G. del ino, A Local-Influence-Based Diagnostic Approach to a Speeded Item Response Theory Model, Applied Statistics () (00) pp.. [] Lord, F.M., Applications of Item Response Theory to ractical Testing roblems, Erlbaum Associates, Hillsdale, Nueva Jersey, 0. [] Novick, M.R., The Axioms and rincipal Results of Classical Test Theory, Journal of Mathematical sychology () pp.. [] Oshima, T.C., The Effect of Speededness on arameter Estimation in Item Response Theory, Journal of Educational Measurement () () pp. 00. [0] Ramsay, J.O., TestGraf: A rogram for the Graphical Análisis of Multiple Choice Test and Questionnaire Data, Universidad de McGill, 000. [] Reise, S., A. Ainsworth y M. Haviland, Item Response Theory: Fundamentals, Applications, and romise in sychological Research, Current Directions in sychological Science () (00) pp. 0. [] Sinharay, S., Assessing Fit of Unidimensional Item Response Theory Models Using a Bayesian Approach, Journal of Educational Measurement, (00) pp.. [] Spearman, Ch., General Intelligence; Objectively Determined and Measured, American Journal of sychology (0) pp