Los distractores en preguntas de opción múltiple para estudiantes de Medicina Cuál es su comportamiento en un examen de altas consecuencias?

Transcripción

1 Los distractores en preguntas de opción múltiple para estudiantes de Medicina Cuál es su comportamiento en un examen de altas consecuencias? Alma Guadalupe Jurado Núñez

2 Preguntas de Opción Múltiple Tallo Opciones Educación Médica Objetividad y Efectividad Conceptual Cognición superior Estandarización del conocimiento Downing SM: Assessment of knowledge with written test forms. En International handbook of research in medical education Volume II. Editado por: Norman GR, Van der Vleuten C, Newble DI. Dorcrecht: Kluwer Academic Publishers; 2002:

3 Límite natural? Óptimo No funcionales Características Probabilidad de acertar al azar Testwiseness Educated guessing Exceso Rodriguez MC: Three options are optimal for multiple-choice items: A meta-analysis of 80 years of research. Educ Meas Issues Pract 2005, 24(2):3-13. Downing SM: Guessing on selected-response examinations. Medical Education 2003, 37:

4 20 Frecuencia % Correcta Buen distractor Baja frecuencia Discriminación Positiva No discriminación 0 1 Quintil 2 Quintil 3 Quintil 4 Quintil 5 Quintil Gráfico adaptado y modificado de: Trace line for a four-optionitem, Haladyna TM, Downing SM: How many options is enough for a multiple-choice test item? Educ Psychol Meas 1993, 53(4):

5 Índice de dificultad Índice de discriminación Correlación Punto-biserial Kehoe J: Basic item analysis for multiple-choice tests. PracticalAssessment, Research& Evaluation1995, 4(10).

6 Cuál es el comportamiento de los distractores en el Examen Profesional Teórico de la Facultad de Medicina de la UNAM? Relevancia social Confiabilidad y fortaleza Correspondencia con la realidad Implicaciones prácticas Modificación pertinente Punto de referencia Valor teórico Primer trabajo en México Nueva línea de investigación

7 Evaluar la funcionalidad de los distractores en el Examen Profesional Teórico de la Facultad de Medicina de la UNAM. Establecer las diferencias entre el número de distractores funcionales por ítem y los índices psicométricos. Evaluar el impacto al eliminar los ítems con cuatro DNF en el desempeño psicométrico del examen

8 Fase Teórica del Examen Profesional 2008 de la Facultad de Medicina de la UNAM mediante la Teoría Clásica de los Test (TCT) ITEMAN 3.5 Análisis psicométrico Análisis de frecuencia 420 Reactivos Cinco opciones (2100 totales, 1680 distractores) Número de DNF Eliminación de ítems con 4 DNF (34), análisis y comparación Depuración Diferencias entre DNF por ítem y su perfil psicométrico Diferencias significativas entre y dentro de los grupos ANOVA y Test Tukey HSD Post Hoc

9 Alfa de Cronbach.93 SEM (53.1%)DNF2.12±.99DNFporítem Mayoría categorizados en baja frecuencia 40% menor dificultad y discriminación entre ítems de cero ycuatrodnf

10 DNF por ítem Total de ítems Frecuencia % Tabla 1. Frecuencia de DNF en el Examen Profesional Teórico de la Facultad de Medicina de la UNAM. Enero 2008

11 Gráfico 1. Análisis estadístico del Examen Profesional Teórico de la Facultad de Medicina de la UNAM. Comparación de medias (Índice de dificultad, índice de discriminación y DNF por ítem)

12 ANOVA Índice de dificultad Suma de cuadrados Grados de libertad Media cuadrática F Sig. Entre grupos Dentro de los grupos Total Índice de discriminación Entre grupos Dentro de los grupos Total Correlación punto biserial Entre grupos Dentro de los grupos Total Tabla 2. Análisis del Examen Profesional Teórico de la Facultad de Medicina de la UNAM. ANOVA sentido único. Enero 2008.

13 Test Post Hoc Comparaciones Múltiples Variable Dependiente (I) DNF (J) DNF Tukey HSD Intervalo de confianza 95% Índice de dificultad Diferencia Media (I- J) Error estándar Sig. Límite inferior Límite superior Cuatro DNF Sin DNF * Un DNF * Dos DNF * Tres DNF * Índice de discriminación Cuatro DNF Sin DNF * Un DNF * Dos DNF * Tabla 3. Análisis del Examen Profesional Teórico de la Facultad de Medicina de la UNAM. Test TukeyHSD Post Hoc. Enero2008

14 Características Completo Depurado* Número de ítems Alfa de Cronbach Error estándar de medición P media (dificultad) Coeficiente de punto biserial medio Tabla 4. Comparación de análisis de reactivos del Examen Profesional Teórico de la Facultad de Medicina de la UNAM completo VS el depurado. Enero 2008

15 Elartedeevaluar Razonamiento médico, resolución de problemas y toma de decisiones 46.9% distractores funcionales Menosdel5%delosítemscontodosfuncionales Tres opciones Suficiencia y máxima eficiencia Tarrant M, et al: An assessment of functioning and non-functioning distractors in multiple-choice questions: a descriptive analysis. BMC Medical Education 2009, 9:40 Abad FJ, et al: Analysis of the optimum number alternatives from the Item Response Theory. Psicothema 2001, 13(1):

16 Acreditación del examen a expensas de testwiseness/ educated guessing Profesionalizar la evaluación del aprendizaje Formación adecuada implica optimización de recursos y mayor calidad Rogausch A, et al: Rarely selected distractors in high stakes medical multiple-choice examinations and their recognition by item authors: a simulation and survey. BMC Medical Education 2010, 10:85 Haladyna TM, et al: A review of multiple choice item-writing guidelines for classroom assessment. Appl Meas Educ 2002,15(3):

17 Un examen TCT vs Teoría de Respuesta al Ítem Interpretación Limitaciones Evaluación cualitativa Versiones posteriores Seguimiento Disminuir número de opciones Evidencia

18 Secretaría de Educación Médica Facultad de Medicina, UNAM Dr. Melchor Sánchez Mendiola Dr. Adrián Martínez González Dr. Fernando Flores Hernández Dr. Hermann Sommer Cervantes