Incluya en esta zona El logo de su Institución. Eduardo Backhoff Escudero (INEE), Norma Larrazolo Reyna (UABC) y Felipe Tirado Segura (UNAM)

Transcripción

1 Incluya en esta zona El logo de su Institución Desarrollo y validación de un Generador Automático de Reactivos de respuesta construida para elaborar exámenes computarizados de ingreso a la educación superior Eduardo Backhoff Escudero (INEE), Norma Larrazolo Reyna (UABC) y Felipe Tirado Segura (UNAM) Noviembre de 2013 Este documento se ha realizado con la ayuda financiera de la Unión Europea. El contenido es este documento es responsabilidad exclusiva de sus autores y en modo alguno debe considerarse que refleja la posición de la Unión Europea

2 Introducción Premisa Aunque los exámenes de ingreso a las universidades no se pueden considerar exámenes diagnósticos, sí generan información importante para tener radiografías del tipo de habilidades y conocimientos que dominan los estudiantes. Estas radiografías académicas permiten que las instituciones educativas puedan implementar acciones dirigidas a reforzar las debilidades académicas de los estudiantes y con ello evitar la deserción y abandono escolar en etapas tempranas de los estudios universitarios.

3 Introducción Usos de los exámenes de ingreso En los Estados Unidos se utilizan los resultados de los exámenes Scholastic Aptitud Test (SAT) y American College Testing (ACT) para distintos propósitos: 1) realizar estudios de progreso o seguimiento longitudinal del sistema educativo norteamericano, 2) conducir estudios comparativos de logro educativo entre los estados norteamericanos, 3) proveer información destinada a escuelas, estudiantes y tomadores de decisiones en forma oportuna, y 4) elaborar índices educativos nacionales

4 Incluya en esta zona el título del apartado Incluya en esta zona el subtítulo del apartado Los resultados de los exámenes de admisión son también utilizados, para: 1) Colocar o ubicar a los estudiantes, durante su primer año escolar, en cursos básicos, medios o avanzados 2) Esto especialmente ocurre en la asignatura de matemáticas Sin embargo, en el caso de México no se hace uso de los resultados de los exámenes de admisión, más que para seleccionar a los estudiantes.

5 Introducción Desarrollo del EXHCOBA Hace más de 20 años desarrollamos el Examen de Habilidades y Conocimientos Básicos. También desarrollamos el Sistema Computarizado de Exámenes. Ambos desarrollos conforman un examen asistido por computadora que se utiliza para el ingreso al bachillerato y a las instituciones de educación superior, que se le conoce simplemente como EXHCOBA. En 2012, presentaron este examen 120 mil estudiantes, como parte del proceso para ingresar a distintas universidades estatales de México.

6 Introducción Filosofía del EXHCOBA El principal propósito de este examen es evaluar el aprendizaje escolar que adquieren los estudiantes durante su vida escolar. Su filosofía se centra en evaluar aquellas habilidades y conocimientos básicos que dan soporte a otros aprendizajes que se adquirirán en los niveles educativos posteriores.

7 Exámenes de opción múltiple Ventajas Las evaluaciones de gran escala requieren de procedimientos estandarizados y automatizados que sean validos y confiables. Por ello se utilizan las preguntas de opción múltiple. Ventajas de los reactivos de opción múltiple: 1) la objetividad y rapidez para calificar las respuestas, 2) la capacidad y versatilidad para evaluar múltiples habilidades intelectuales no-complejas. y 3) la confiabilidad y consistencia de los resultados.

8 Exémenes de opción múltiple Desventajas Desventajas de los reactivos de opción múltiple: 1) Difícil elaborar buenos reactivos, 2) dificultades para valorar habilidades intelectuales y conocimientos complejos, 3) distancia entre la forma de evaluar y uso del conocimiento en circunstancias vida real (evaluación auténtica) 4) rapidez con que se desgastan las preguntas y los exámenes, 5) sesgos ocasionado por la adivinación y la copia.

9 Filosofía del Excoba Se desarrolló un Generador Automático de Reactivos que permite construir y administrar una cantidad importante de reactivos equivalentes de cada competencia a evaluar. De esta manera se pueden generar decenas o cientos de reactivos digitales, y miles de exámenes aleatorios. O bien, se pueden generar una cantidad importante de versiones fijas de exámenes.

10 Estructura conceptual La evaluación auténtica pone énfasis en las actividades que se realizan dentro de un contexto real, conocimiento situado. Se trata de evitar que se evalúe el aprendizaje de manera artificial, solo seleccionando opciones de respuesta. Se pone acento en producir o construir respuestas. El modelo de aprender haciendo se transfiere a evaluar haciendo, hasta donde sea posible.

11 Tipos de reactivos Se trata de poder valorar la comprensión de las ideas, plantear dilemas que evoquen procesos de pensamiento en los que se requiera entender, juzgar y crear respuestas por parte de los estudiantes. Los alumnos construyen sus respuestas en un formato de respuesta abierta, o bien, en uno que solicita clasificar, ubicar, acomodar o seleccionar varios elementos conceptuales de un campo del conocimiento, construyendo la respuesta correspondiente.

12 Modelos de ítems Para cada competencia a evaluar se elaboró un modelo de evaluación que contiene dos grandes apartados: 1)la descripción del contenido a evaluar y 2)la plantilla o estrategia de evaluación. En la plantilla de evaluación se especifican todos los componentes conceptuales y gráficos que permitirán generar familias de ítems, ítems-padre e ítems-hijo, los cuales se generarán, se presentarán y se calificarán en un sistema computarizado.

13 Modelos de ítems La estrategia basada en recursos digitales se sustenta en: 1. Aprovechar las ventajas de los recursos computarizados para evaluar respuestas construidas. 2. La posibilidad de presentar imágenes dinámicas interactivas donde los sustentantes deben construir respuestas, ya sea por texto escrito o al acomodar por medio de arrastres (drag) los componentes que se presentan en las posiciones correspondientes (campo estructural)

14 Modelos de ítems Puede generar miles de reactivos por familias, ejemplo tabla periódica Se termina el problema de copiado y de fuga de exámenes

15 Modelos de ítems Cuando se presentan reactivos dentro de un campo en el que se emiten diversas respuestas, las relaciones estructurales se reconstruyen, los elementos son componentes de una respuesta más compleja Mesopotamia Cultura andina

16 Modelos de ítems Localiza en el mapa las capitales, los estados enunciados y coloca (arrastra) la etiqueta del nombre. Permite la calificación ponderada y distribuida (ej: geografía política y física)

17 Interfaz computarizada

18 Interfaz computarizada

19 Modelo de ítem Familias de ítems Seleccionar las partes de una figura geométrica que indica la fracción Escribir la fracción que representan las partes sombreadas de una figura geométrica Ítems-padre Ítems-hijo Pentágono 1/5,2/5,3/5,4/5,3/15,6/15,9/15,12/15 Triángulo 1/3,2/3,3/9,6/9,2/12,4/12,6/12,8/12,10/12 Estrella 1/3,2/3,1/4,2/4,3/4,1/6,2/6,3/6,4/6,5/6,2/8,4/8,6/8,3/9, 6/9 Cuadros apilados 1/5,2/5,3/5,4/5,2/10,4/10,6/10,8/10,3/15,6/15,9/15, 12/15 Pentágono 1/5,2/5,3/5,4/5,3/15,6/15,9/15,12/15 Triángulo 1/3,2/3,3/9,6/9,2/12,4/12,6/12,8/12,10/12 Estrella 1/3,2/3,1/4,2/4,3/4,1/6,2/6,3/6,4/6,5/6,2/8,4/8,6/8,3/9, 6/9 Cuadros apilados 1/5,2/5,3/5,4/5,2/10,4/10,6/10,8/10,3/15,6/15,9/15, 12/15

20 Modelo de ítem

21 Modelo de ítem

22 Modelo de ítem

23 Interfaz computarizada

24 Interfaz computarizada

25 Conclusiones Uso de los exámens de ingreso Los exámenes de ingreso a las instituciones de educación superior tienen un gran potencial para proporcionar información sobre las competencias, habilidades y conocimientos de los estudiantes. Esta información debe de utilizarse, no solo como herramienta de selección de aspirantes, sino que también debe de aprovecharse para detectar áreas académicas donde los estudiantes presentan dificultades. Con lo anterior se pueden establecer programas educativos remediales que eviten la reprobación y el abandono escolar en los primeros años universitarios.

26 Conclusiones Uso de los exámens de ingreso La evaluación asistida por computadora de los procesos cognoscitivos es un campo muy prometedor de la educación. El Excoba es un ejemplo de la integración de la teoría cognitiva, la teoría de la medición y la tecnología digital para evaluar competencias escolares. Pasamos de un solo examen de opción múltiple a un generador de ítems capaz de elaborar decenas o cientos de ítems y exámenes equivalentes conceptualmente. Contar con mejores exámenes de ingreso, implica tener información de alta calidad que puedan utilizarse para evitar el abandono escolar.

27 Conclusiones Uso de los exámens de ingreso MUCHAS GRACIAS POR SU ATENCIÓN