EL VALOR ESTRATÉGICO DE LA ESTANDARIZACIÓN DE LA EVALUACIÓN DEL APRENDIZAJE: DEPURACIÓN DE LOS BANCOS DE REACTIVOS DEL INITE MEDIANTE TRI. Dra. Yolanda Edith Leyva Barajas Directora de Evaluación y Certificación Instituto Internacional de Investigación de Tecnología Educativa, S. C. Dentro de la temática del coloquio de modelos logísticos de análisis de reactivos, se presenta el caso de la reingeniería de un sistema de evaluación del aprendizaje que opera en los 8 campus de la Universidad Tecnológica de México (UNITEC). Este modelo se ha desarrollado y es administrado por el Instituto Internacional de Investigación de Tecnología Educativa, S. C. (INITE) mediante un software desarrollado para la administración del sistema de evaluación denominado SEA. La reingeniería se hizo en 3 niveles: el nivel conceptual del modelo de evaluación, la modificación del software y la depuración de los bancos de reactivos. Tal reingeniería tuvo como propósito principal el de otorgar un valor estratégico tanto en la toma de decisiones para el diseño y actualización curricular, como en los procesos de innovación y mejora continua de los programas y recursos de intervención didáctica que se desarrollan en el Instituto.
Los cambios a nivel conceptual consistieron en un cambio de enfoque de evaluación de conocimientos y habilidades mentales a la evaluación de competencias en diversos contextos. Para hacer posible tales cambios se reestructuraron las tablas de especificaciones de todas las asignaturas que se evalúan mediante este sistema; y para su operación, fue necesario realizar nuevos desarrollos al software que administra los bancos de reactivos, así como la depuración de los bancos mediante análisis de teoría de respuesta al ítem y la elaboración de nuevos reactivos que permitieran evaluar competencias, todo esto con la finalidad de generar versiones de examen que nos permitieran garantizar un proceso de evaluación válido, confiable, y útil. Todos los procesos se llevaron a cabo siguiendo estándares de calidad internacionales (APA, 1999). 2 2
ESTRATEGIAS DE IMPLEMENTACIÓN DEL MODELO Para la implementación de tal reingeniería del modelo de evaluación, desarrollamos 4 líneas de trabajo: 1. La reingeniería de las tablas de planeación de la evaluación, mediante un cambio de la taxonomía de Bloom a la de Marzano (2000), para una evaluación de competencias. Este cambio nos permitió trabajar desde la fase de la planeación, en el análisis y diseño de tareas e instrumentos de evaluación que permitieran recuperar evidencias de desempeño ante un amplio y representativo rango de factores contextuales y situacionales para evaluar capacidad de adaptación y transferencia de conocimientos y habilidades aplicables en diversos contextos y situaciones. 2. La adaptación del software (SEA) con mejoras a su funcionalidad y con nuevos desarrollos y enlaces con otros sistemas para mejorar la generación y calificación de exámenes, así como el análisis de reactivos tanto con teoría clásica como con ITR. Esto con la finalidad de que se pudieran generar versiones de exámenes equivalentes y con ello garantizar la equidad en el proceso evaluativo. Estos nuevos desarrollos y enlaces permitieron llevar a cabo el mantenimiento de los bancos de reactivos mediante Kalt Criterial. La reingeniería implicó cambios desde la estructura de la base de datos, hasta el uso de una plataforma más actualizada que permite la escalabilidad para gestionar exámenes adaptativos en línea. De forma más específica se incorporaron los siguientes desarrollos y modificaciones: a) Desarrollo de un algoritmo iterativo que asegura una distribución uniforme de los grados de dificultad de las preguntas para generar versiones equivalentes y con validez de medida. b) Reestructuración del modelo de datos y adaptación para la incorporación del formato de multirreactivos. Esto nos permite integrar casos y problemas con una diversidad de situaciones contextuales diversas en todos los campos profesionales. c) Migración del sistema SEA a una plataforma web, con acceso a través de un browser para salida a Internet, escalable para gestión de exámenes en línea. d) Reconstrucción parte en SQL y parte en Java. e) Incorporación de variantes de reportes para retroalimentación a diferentes tipos de usuarios de los resultados de la evaluación (alumnos, profesores, directivos y al INITE para integrar procesos de innovación y mejora continua). f) Presentación de Pantallas más amigables para todos los usuarios. g) Integración con otros sistemas sustantivos de la Universidad: un CRM y un sistema de control escolar. h) Creación de módulos para revisiones de reactivos, para reestructuración de bancos y para piloteo de reactivos nuevos sin afectar la calificación de los alumnos. 3. La incorporación de la estrategia del portafolios de evaluación como complemento a la evaluación de competencias en su función formativa, para recuperar una mayor diversidad de evidencias de desempeño y de actitudes y valores asociados a tales competencias profesionales, a 3 3
lo largo de los cuatrimestres y para el fortalecimiento de los procesos de metacognición y autoeficacia (Marzano, 2000; 2006; Seda-Santana, 2002). 4. En el área de psicometría, reforzar el proceso de mantenimiento, depuración y calibración de los bancos de reactivos mediante un software de análisis con teoría de respuesta al ítem (Kalt Criterial) para el diseño de versiones de examen con validez de medición que garantizaran la equidad en la administración de versiones de exámenes. Los modelos matemáticos utilizados en este tipo de software, son modelos basados tanto en lo que se conoce como teoría clásica de análisis de ítems, como en los métodos basados en la Teoría de Respuesta al ITEM (TRI) y en el análisis de Rasch. Estos modelos incluyen estándares que hemos fijado para determinar la calidad de cada uno de los reactivos en particular, así como de las versiones de examen en forma global y por áreas o secciones (Tristán, 1995). En la presente ponencia sólo se describirán los procesos de esta última línea de trabajo, por el tema del coloquio en la que se inscribe. El INITE cuenta actualmente con 191 bancos de reactivos de los cuales están activos 42 bancos del plan de estudios de preparatoria, 47 de la Facultad de Ciencias Sociales y Administrativas, 25 bancos de carreras de Ingeniería y 4 bancos de los exámenes diagnóstico de admisión, tanto de preparatoria como de licenciatura. En cuanto a número de reactivos aproximadamente están activos 90,000 de los cuales un 25% son multireactivos y están asociados a casos. Con estos bancos se generan aproximadamente un millón ochocientos mil exámenes al año, lo cual permite llevar a cabo procesos de análisis de reactivos con poblaciones significativamente grandes. Como parte de los procesos de calibración de los reactivos, los reactivos nuevos se incorporan a las versiones de examen para su piloteo en condiciones de examen con la población objetivo real; el alumno no sabe que hay reactivos que no contarán para su calificación, él contesta su examen y en el momento de la calificación del examen el sistema sólo califica el instrumento base, formado por los reactivos probados que cumplen los requerimientos técnicos de ajuste, dificultad y discriminación; mientras que los reactivos que se van a pilotear no los toma en cuenta para la calificación de los alumnos. Dado que los exámenes generados son de impacto para la población, nos hemos impuesto la exigencia de llevar a cabo procesos rigurosos y sistemáticos en el mantenimiento, depuración y calibración de los bancos de reactivos, y en la revisión permanente de las versiones de exámenes generadas. Estos procesos integran los siguientes pasos: Paso 1.- Obtención y validación de base de datos Generación de base de datos Verificación de la información Paso 2.- Corrida con Kalt criterial Conformación de archivo de claves Conformación de datos de criterio Conformación de datos de especificaciones 4 4
Generación de reportes: estadístico, global, logístico y resumen técnico Se presentan a continuación algunos de los reportes que proporciona el programa para apoyar la toma de decisiones para la depuración de los reactivos y el diseño de versiones de examen. Figura 1. Reportes estadísticos 5 5
Figura 2. Reporte Global Figura 3. Reporte logístico 6 6
Figura 4. Reporte Técnico: Recta 20-80 7 7
Paso 3.- Análisis de datos Análisis de la información de acuerdo con los parámetros y estándares mínimos para la generación de versiones de examen. Para la generación de las versiones de exámenes se retomaron conceptos del diseño de pruebas de Wright y Stone (1998) como el concepto de diferencia mínima medible y definición de un factor de espaciamiento. También consideramos los indicadores que nos proporciona el programa Kalt Criterial, el cual considera el punto de corte como un parámetro para el cálculo de otros indicadores que nos ayudan a obtener una medición más apropiada de los rasgos o contenidos a evaluar. Análisis de reactivos Indicador Estándares Dificultad (teoría clásica) Entre 27-87 Correlación punto biserial Mayor o igual a.20 Ajuste Mayor o igual a.30 Dificultad logística Entre -2.19 y 2.20 Discriminación criterial Mayor o igual a.60 Análisis de los distractores Es mayor la proporción de respuestas correctas en GS que en GI Los distractores son más atractivos para el grupo inferior La frecuencia de los distractores es significativamente inferior a la de la opción crítica. Hay distractores con frecuencia mínima o nula Paso 4.- Conformación de nuevas versiones Propuesta de diseño de nuevas versiones Validación Integración de nuevas versiones en SEA Liberación de versiones que cumplen con los siguientes indicadores Reporte estadístico Estándares Media de la población evaluada Entre 50 y 60 Desviación estándar Mayor o igual a 12 Confiabilidad Criterial (fórmula de Mayor o igual Livingston) a.80 Error estándar de medida Menor o igual a 10 Diferencia media absoluta Menor o igual a 5 8 8
Figura 4. Pantalla del módulo de generación manual de versiones RESULTADOS DE LA IMPLEMENTACIÓN DEL MODELO A corto plazo el trabajo en esta línea, nos han permitido garantizar en gran medida, una evaluación objetiva, válida, confiable y equitativa, mediante la generación de versiones de exámenes que cubren estándares de calidad exigentes y acordes con los estándares de la APA en la elaboración de pruebas objetivas a gran escala (APA, 1999). Lo cual representó un avance significativo ya que durante algunos años en el proceso de gestión de los bancos de reactivos que se llevaba a cabo en UNITEC, sólo se contaba con análisis clásico de reactivos, y el único parámetro utilizado era el índice de dificultad, para bloquear aquellos reactivos que tenían índices de dificultad muy altos, no se verificaba ningún indicador de discriminación o correlación reactivo-prueba, por lo que en la generación de exámenes personalizados que realizaba el sistema se podía generar versiones para cada alumno sin que necesariamente fueran equivalentes. No existían procesos de verificación de la dificultad media ni de ningún otro parámetro de cada versión generada, con lo cual no se garantizaba el principio de equidad. Los impactos de estas mejoras a los procesos, se vieron reflejadas en diversos indicadores. Entre los principales efectos detectados estuvo la disminución de la frecuencia de revisiones de examen solicitadas por los alumnos a través del módulo de revisión, estabilidad en los índices de aprobación y en los promedios de calificación de los alumnos; incremento en los índices de correlación entre los resultados de los alumnos en nuestros exámenes y en los exámenes externos 9 9
que aplica el CENEVAL (ver cuadro 1). La comparación con criterios de evaluación externos nos proporcionó evidencia de validez concurrente. Tabla 1. CORRELACIONES ENTRE EL PUNTAJE GLOBAL DEL EGEL Y EL PROMEDIO DE LICENCIATURA (2007) FACS EGEL r Administración 0.47** Contaduría 0.55** Derecho 0.66** Economía 0.75** Informática 0.54** Mercadotecnia 0.52** Turismo 0.55** ING. EGEL r Ingenería de Software 0.53** Ingeniería Civil - Ingeniería Electrónica 0,62** Ingeniería Mecánica 0.52** Ingeniería Química 0.50** Ingeriería Industrial 0.56** **Significativa al.001 También se incrementaron los índices de validez predictiva de los exámenes de diagnóstico que aplicamos a los aspirantes tanto a preparatoria como a licenciatura. Las correlaciones se obtuvieron entre los resultados en los exámenes y los promedios de calificación obtenidos por los alumnos un cuatrimestre posterior a su ingreso (ver tabla 2), es importante señalar que en el caso de UNITEC, los exámenes no se usan para admisión, ya que todos los alumnos son aceptados, su función es diagnóstica ya que a partir de los resultados se proponen trayectorias académicas acordes al perfil obtenido, por lo que resulta muy importante la validez predictiva de estos exámenes, la cual se ha ido incrementando hasta obtener índices parecidos a los de pruebas como las que administra el CENEVAL y el ETS (Tabla 3). 10 10
Tabla 2. Correlaciones con el promedio del examen diagnóstico y el promedio de las secciones del EXANI I contra el promedio del primer cuatrimestre n r P < 0.05 PROMD 242.28.13 PROMS 242.43.13 Tabla 3. Índices de Validez Predictiva de otras r pruebas semejantes EXANI-I Nacional 1997 0.46 SAT Verbal 0.36 SAT Matemático 0.35 SAT Verbal y Matemático combinado 0.42 Promedio de las pruebas de conocimientos del ETS 0.32 Prueba de Matemáticas nivel I 0.34 Prueba de composición en Inglés 0.30 Fuente: Donlon, Thomas F. Ed. (1984) The College Board Technical Handbook for the Scholastic Aptitude Test and Achievement Tests. College Entrance Examination Board, New York. ACT de Inglés 0.36 ACT Matemáticas 0.44 ACT Ciencias Sociales 0.35 ACT Ciencias Naturales 0.40 Fuente: Lenning, O. T. (1975): Predictive Validity of the ACT Test at Selective Colleges. ACT Research Report No. 69. 11 11
En cuanto a los beneficios que ha reportado el sistema de evaluación con todas estas mejoras tanto para UNITEC como para el INITE, podemos señalar: Proporciona información acerca de los logros de aprendizaje de los alumnos a partir de los mismos estándares. Constituye una medida de la eficacia de la institución con indicadores como índices de aprobación y promedios de calificación. Permite el control, sistematización, estandarización y replicabilidad del modelo de evaluación del aprendizaje. Posibilita el análisis comparativo entre alumnos, grupos, planteles, modelos educativos y carreras. Garantiza el mismo perfil de egreso en todos los planteles del sistema. Permite identificar áreas de oportunidad en los egresados antes de que apliquen el EGEL del CENEVAL. Posibilita análisis comparativos con estándares nacionales externos. Proporciona indicadores de la eficacia de otros recursos de aprendizaje elaborados por el INITE para la innovación y mejora continua de los materiales y recursos. En un mediano plazo, con algunos desarrollos al software, se podrá transitar a la administración de exámenes adaptativos en línea con calificación y retroalimentación inmediata, potenciando la evaluación ya que se podrán incluir materiales multimedia: imágenes, secuencias y sonidos para ejemplificar diversas tareas y contextos, materiales que actualmente desarrollamos en el área de medios educativos del INITE como apoyo a la intervención didáctica. Finalmente el modelo de evaluación permite procesos de investigación evaluativa a partir de los resultados generados por el propio sistema (SEA), por lo que hemos desarrollado diversas líneas de investigación evaluativa para el seguimiento y construcción de indicadores que expliquen los resultados obtenidos por los alumnos, que permitan identificar cuáles intervenciones o prácticas educativas tienen más probabilidad de éxito en diferentes contextos; aprovechando la información para la mejora continua de todos los elementos del modelo educativo, incluyendo desde luego a la propia evaluación. 12 12
REFERENCIAS BIBLIOGRÁFICAS American Psychological Association, American Educational Research Association, National Council on Measurement in Education (1999): Standards for educational and psychological Testing. Washington. APA. Donlon, T. F. Ed. (1984) The College Board Technical Handbook for the Scholastic Aptitude Test and Achievement Tests. College Entrance Examination Board, New York. Lenning, O. T. (1975): Predictive Validity of the ACT Test at Selective Colleges. ACT Research Report No. 69. Marzano, R. J. (2000): Designing a New Taxonomy of Educational Objectives. Corwin Press, Inc. A Sage Publications Company. California. Marzano, R. J. (2006): Classroom Assessment & Grading that Work. Association for Supervision and Curriculum Development (ASCD) USA. Seda-Santana, I. (2002): Evaluación por portafolios. Revista Latinoamericana de Estudios Educativos. 1-34 Tristán, Agustín (1999) Contribución al estudio del error de medida (parte 1). Notas sobre Evaluación Criterial. CENEVAL / IEIA, México. Incluido en el Manual de Usuario de Kalt Criterial (2006), Instituto de Evaluación e Ingeniería Avanzada, S.C. San Luis Potosí, México. Tristán, Agustín, (1996): Formulación directa para calcular la Confiabilidad con Alfa de Cronbach, Cuadernos del CENEVAL 96-1. Incluido en el Manual de Usuario de Kalt Criterial (2006), Instituto de Evaluación e Ingeniería Avanzada, S.C. San Luis Potosí, México. Tristán, Agustín (1995): Nuevas capacidades de Kalt para el dictamen de cuestionarios objetivos. Memoria del I Foro Nacional de Evaluación Educativa. México: CENEVAL. Wright, B. D. & Stone, M. H. (1998): Diseño de mejores pruebas utilizando la técnica de Rasch. CENEVAL,México. 13 13
CURRICULUM Yolanda Edith Leyva Barajas Licenciada en Psicología, con Maestría en análisis experimental de la conducta de la Facultad de Psicología de la UNAM. Doctorada en Educación del Doctorado Interinstitucional de la Universidad Autónoma de Aguascalientes. Ha ocupado puestos directivos en normatividad académica, investigación y evaluación en la Dirección General del Bachillerato de la Secretaría de Educación Pública, la Universidad Chapultepec, el Ceneval y la UNITEC. Actualmente es Directora de Evaluación y Certificación del INITE (Instituto Internacional de Investigación de Tecnología Educativa, S.C.), México. Ha impartido cursos y desarrollado proyectos en evaluación educativa, como consultora independiente para varias instituciones de México y de América Latina. Además de contar con varias publicaciones técnicas, es revisora editorial de la Revista Mexicana de Análisis de la Conducta y de la Revista de la Educación Superior, ANUIES. 14 14