ESTIMACIÓN DE ERROR EN PUNTOS DE CORTE DE STANDARD SETTING (BOOKMARK) ÁLEX TORRES - FABIÁN FUENTEALBA

Transcripción

1 ESTIMACIÓN DE ERROR EN PUNTOS DE CORTE DE STANDARD SETTING (BOOKMARK) ÁLEX TORRES - FABIÁN FUENTEALBA

2 I. Standard Setting CONTENIDOS I.1. Método Bookmark II. Fuentes de incertidumbre III. Hipótesis IV. Metodología y Hallazgos V. Conclusiones

3 I. STANDARD SETTING

4 ESTABLECIMIENTO DE PUNTOS DE CORTE QUÉ ES Y PARA QUÉ SIRVE? Standard Setting = determinación de puntos de corte Tarea que implica que un grupo de personas emite un juicio experto para determinar cuál es el logro mínimo en un instrumento para alcanzar un determinado Nivel de Logro Este juicio es regulado por un conjunto de procedimientos estandarizados que permiten objetivar el proceso

5 POR QUÉ ESTABLECER PUNTOS DE CORTE? El objetivo de la medición es obtener información para tomar decisiones educacionales; en particular, sobre las acciones que siguen a la medición. Disponer de puntajes o normas como resultado de la medición no es suficiente para cumplir ese objetivo. El puntaje de corte representa un criterio para interpretar el logro de aprendizajes de los evaluados.

6 QUÉ HACE EXACTAMENTE UN PROCEDIMIENTO DE STANDARD SETTING? (CISEK Y BUNCH, 2007) Basados en contenido Los jueces examinan una prueba, indicando para cada ítem si es o no representativo del nivel de desempeño esperado. Los jueces no saben cuál fue el nivel de dificultad empírico de los ítems. Basados en contenido y en información empírica: Los jueces examinan los ítems previamente ordenados según su dificultad. El ordenamiento del mapa de ítems funciona como guía para el trabajo de los jueces.

7 I. STANDARD SETTING I.1. MÉTODO BOOKMARK

8 MÉTODO BOOKMARK Ronda 1 Jueces analizan cada ítem y ubican una primera marca en aquel que indica Ronda 1 Ronda 2 el acuerdo Ronda es 3 el paso al nivel siguiente. Ronda 2 Se discute acerca de los valores extremos asignados en Ronda 1. Jueces vuelven a establecer cortes por grupo. Ronda 3 Se presentan datos de impacto. Jueces discuten nuevamente y vuelven a establecer cortes. La mediana o considerada el punto de corte sugerido por los jueces. El equipo técnico analiza puntajes de corte sugeridos.

9 II. FUENTES DE INCERTIDUMBRE

10 Ejemplo de punto de corte Nivel B Nivel A IRT Ítem Azul

11 Ejemplo de punto de corte Nivel B Nivel A IRT Ítem Azul

12 Nivel B Nivel A IRT Ítem Azul

13 Nivel B Indeterminados (13%) Nivel A IRT Ítem Azul

14 Se buscan fuentes de incertidumbre del Método Bookmark para generar intervalos de confianza y estimar la precisión de los puntos de corte. Se identifican dos tipos: I. Proceso de jueces I. Variabilidad de la votación de los jueces II. Instrumento I. Global : Error estándar del instrumento σ E = σ X 1 α. σ X : Dispersión de las estimación de habilidad de los examinados. α : Confiablidad del instrumento (Alfa de Cronbach). II. Nivel de Habilidad: Error en la estimación de dificultad del ítem escogido como punto de corte.

15 III. HIPÓTESIS

16 La pregunta que guía el presente estudio es: La incertidumbre estimada mediante estos tres métodos, entrega información distinta acerca de la calidad (precisión) de los puntos de corte establecidos bajo el método Bookmark? Al respecto se plantean las siguientes hipótesis: 1. Los puntos de corte no serán homogéneos en su precisión/ic. 2. El error asociado al punto de corte, ofrece mejor información que el de la prueba. 3. El error asociado a los jueces entrega información que no es redundante con el error asociado a la prueba. 4. El error asociado a los jueces entrega información que no es redundante con el error asociado a los puntos de corte y sus ítems/habilidades asociadas.

17 IV. METODOLOGÍA Y HALLAZGOS

18 Metodología Insumos: 1. Prueba de conocimientos en matemáticas sujeta a standard setting. 2. Calibración IRT con un modelo Rasch. 3. Las votaciones de los jueces expertos en el proceso standard setting.

19 1) Intervalo basado en las votaciones de los jueces: depende de su grado de acuerdo y la consecuente variabilidad de las votaciones. 2) Intervalo basado en el error estándar del test, está definido por: σ E = σ X 1 α, Depende de la medida de confiabilidad del instrumento y se encuentra en la escala reportada (o IRT). 3) Intervalo basado en el error de estimación de la dificultad del ítem, la precisión del intervalo dependerá de la cantidad de información que existe en la vecindad de la dificultad estimada del ítem.

20 Hallazgos Los puntos de corte basados en los niveles de desempeño con el método Bookmark, en los niveles A, B, C y D, donde el nivel A es el de mayor desempeño. Nivel desempeño D Nivel desempeño C Nivel desempeño B Nivel desempeño A Punto de corte DC Punto de corte CB Punto de corte BA Se mostrarán intervalos de confianza para los puntos de corte, basados en las distintas fuentes de error, y el porcentaje de examinados sin determinar según el intervalo para cada uno de ellos.

21 Tabla 1: Intervalo basado en votación de jueces. Intervalo (IRT) Estimación IRT Corte* Ítem inf sup % Indeterminados DC % CB % BA % Tabla 2: Intervalo basado en SEM (standard error of measurement) de la prueba. Intervalo (IRT) Estimación IRT Corte* Ítem inf sup % Indeterminados DC % CB % BA % Tabla 3: Intervalo basado en error de estimación de la dificultad del ítem. Intervalo (IRT) Estimación IRT % Indeterminados Corte* ítem inf sup DC % CB % BA % *: BA piso nivel de desempeño A (más alto). CB piso nivel B. DC piso nivel C.

22 Resumen de los hallazgos Porcentaje de indeterminación Corte Jueces SEM Error Dific. DC 8.77% 9.65% 8.77% CB 0.00% 10.40% 8.13% BA 0.00% 4.31% 3.18%

23 Propuesta: 1. No invisibilizar un tipo de error en función de otro. 2. Combinar la información que entrega votación de jueces y error/ indeterminación asociado a dificultad. 3. Análisis y evaluación ortogonales con estas dos fuentes, que a nivel numérico no son comparables pero sí lo son a nivel sustantivo. Baja indeterminación, punto de corte Baja indeterminación, punto de corte Alta indeterminación, votación de jueces CB (0% y 8.13%) DC (8.77% y 8.77%) Baja indeterminación, votación de jueces BA (0% y 3.18%) Nota: Provisoriamente se utiliza como límite entre las categorías un 5% de incerteza en la clasificación, como una forma de hacer el ejercicio lo más ilustrativo posible.

24 La utilidad de considerar está propuesta reside en: Una visualización integrada de los errores. El abordaje prospectivo de los puntajes de corte (generalmente en sistemas de evaluación que se sostienen en el tiempo). Si no se da el escenario ideal de baja incerteza en ambas fuentes, surgen diversas preguntas a integrar en el proceso: La indeterminación está en un punto de corte asociado a altas consecuencias? Si la incerteza proviene de la evaluación de los jueces es un constructo complejo o ambiguo para los jueces? hubo problemas en la expertise del proceso de SS? Si la incerteza viene de la prueba Está correctamente representado el continuo de habilidad? Es necesario construir nuevos ítems para siguiente prueba?

25 V. CONCLUSIONES

26 I. El intervalo asociado al ítem es una fuente de información más específica que la basada en el error global del instrumento. II. Los hallazgos encontrados ayudan a crear otras perspectivas para la toma de decisiones en análisis sustantivos del establecimiento de niveles de desempeño. III. Esta propuesta no elimina los elementos discrecionales involucrados en este proceso, es decir, no implican una decisión final libre de juicios al respecto de los valores obtenidos en los intervalos de confianza, pero se enfocarían a obtener una mejor información hacia la gestión. IV. Es necesario explorar el nivel de indeterminación que es tolerable en distintos contextos. Un porcentaje pequeño, puede impactar en muchas personas si el contexto de evaluación es una prueba a gran escala. Un número pequeño puede ser políticamente poco tolerable si el contexto es una prueba de altas consecuencias para los examinados.

27 REFERENCIAS Beretvas, S. N. (2004). Comparison of Bookmark Difficulty Locations Under Different Item Response Models. Applied Psychological Measurement, 28(1), Cizek, G. J., & Bunch, M. B. (2007). Standard Setting: A Guide to Establishing and Evaluating Performance Standards on Tests. Thousand Oaks, CA : Sage. Kane, M. (1994). Validating the Performance Standards Associated With Passing Scores. Review of Educational Research, 64(3), Zumbo, B. D. (2016). Standard-setting methodology: Establishing performance standards and setting cut-scores to assist score interpretation. Applied Physiology, Nutrition, and Metabolism, 41(6 (Suppl. 2)), S74 S82.

28 Gracias por su atención! Fabián Fuentealba Muñoz Estadístico y Ms. en Estadística de la P. Universidad Católica de Chile. fefuent1@uc.cl Álex Torres Peña Psicólogo y Ms. en Psicología Social Comunitaria de la P. Universidad Católica de Chile. atorresp@uc.cl