EXAMEN EN LÍNEA: UNA ALERNATIVA DE E-ASSESSMENT

Transcripción

1 ISBN: EXAMEN EN LÍNEA: UNA ALERNATIVA DE E-ASSESSMENT Miguel Angel Ylizaliturri Salcedo Instituto de Evaluación e Ingeniería Avanzada, S. C. Departamento de Desarrollo Informático Resumen Se presenta la motivación para implementar sistemas de e-assessment (evaluación electrónica) a través de exámenes en línea asistidos por computadora y el tipo de pruebas que pueden ser desarrolladas. Se revisan las situaciones que pueden comprometer la integridad de la evaluación y sus soluciones además de los requerimientos técnicos y ventajas del uso del examen en línea. Se muestra una aplicación real para un sistema de exámenes en línea accesible que ya se utiliza en nuestro país.

2 Introducción El individuo sujeto de evaluación actual pertenece al grupo de estudiantes de pregrado, nacidos entre 1981 y 1995 conocido como Net Generation o generación de la red, dado que se caracterizan por entenderse: digitales, conectados, experienciales, inmediatos y sociales; fuertemente vinculados al uso de las Tecnologías de Información y Comunicación (TIC), herramientas fundamentales del e-learning o aprendizaje electrónico y a su vez del e-assessment o evaluación electrónica. Aunado a esta dinámica demográfica, los requerimientos de una evaluación válida, objetiva y confiable, enriquecida por el uso de multimedia en los instrumentos, con una importante reducción de costos y incremento de la certidumbre para recabar la competencia de una persona; y la creciente disponibilidad de centros de cómputo en las instituciones educativas hacen patente la necesidad de implementar sistemas de e-assessment, con el fin de mejorar los procesos de enseñanza-aprendizaje. Dentro de las características deseables en el sistema de e-assessment, podrían citarse, entre otras: la construcción de un banco de reactivos enriquecido con recursos multimedia más allá del contenido tradicional, con la capacidad de ser distribuido electrónicamente, con un mecanismo para interactuar fácilmente con el sistema, de forma que la retroalimentación a sustentantes y encargados de la evaluación pueda ser instantánea, con producción de evidencias de las respuestas recibidas y de los puntajes otorgados, además de permitir al sustentante familiarizarse con el material y metodología de trabajo fácilmente. La complejidad del reto es grande, y la creación de proyectos llave en mano para realizar e-assessment escapa del alcance técnico y económico de la mayoría de las instituciones educativas en nuestro país. Con esto en mente, desde 1998 el Instituto de Evaluación e Ingeniería Avanzada trabaja sobre una plataforma computacional para producir software viable que pueda resolver dichas necesidades de una manera económica, sencilla, confiable y segura, siendo pioneros en el campo de la examinación en línea. Es importante señalar que el pasar de la dupla lápiz y papel a ratón y monitor implica fuertes cambios en el ámbito institucional, durante los cuales se deberán de detectar las fortalezas y las debilidades del sistema de e-assessment implementado, con el fin de garantizar la integridad académica del proceso de evaluación. Pruebas que se pueden aplicar en un sistema de exámenes en línea El examen en línea consiste en una prueba diseñada en forma especial para aprovechar las capacidades computacionales, como los componentes multimedia: sonidos y videos que puede analizar el sustentante, dibujos y animaciones complejas, entre otros. 2

3 Partiendo de los fines que persiga el instrumento de evaluación, existirán distintas necesidades de supervisión, control y plataforma computacional para realizar el instrumento, por lo que se podrían clasificar en: Pruebas no supervisadas: por sus características el sustentante las podrá contestar en cualquier sitio que esté a su alcance. Aquí se pueden considerar las pruebas que pueden ser contestadas a través de un navegador de páginas web, usando Internet o la Intranet de la institución, pero que por su diseño y alcance no exigen vigilancia alguna; se asume que el individuo contesta honestamente, más no hay control ni garantía de ello durante la aplicación. Puede ser el caso de ejercicios, pruebas de demostración, encuestas de opinión, en los que se confía en la buena fe de los participantes. Pruebas supervisadas: que pertenecen al conjunto de pruebas objetivas, en las que se requiere controlar la aplicación: autentificar la identidad del sustentante, indicar tiempos de ejecución válidos, sitios, equipos de cómputo y fechas autorizados para contestar el instrumento, vigilancia contra actos fraudulentos, aisladas de Internet. Pruebas mixtas: aquellas en las que las bondades de las modalidades anteriores se combinan, en distinta proporción, en respuesta de las necesidades específicas de la institución, en función de las características del instrumento y las limitaciones técnicas existentes. En función del tipo de instrumento que se aplica podríamos considerar: Exámenes predefinidos: corresponden a la prueba cuyo contenido se ha determinado previamente a la aplicación. Exámenes de habilidades y desempeños: utilizan reactivos de elección simple que permiten analizar el juicio crítico del sustentante frente a problemas y casos, al evaluar valores positivos, negativos y neutros. Simuladores: presentan situaciones de la vida real para evaluar competencias profesionales, de forma que se puedan analizar las consecuencias de las respuestas elegidas previamente por el sustentante, a través de nuevas preguntas relacionadas. Pruebas adaptativas: pruebas que varían en función de las respuestas del sustentante, de manera que el programa identifica los niveles de desempeño del sustentante y en base a ello elige los reactivos que este debe contestar. Requerimientos operativos para el sistema de examen en línea supervisado En cuanto al equipo de cómputo será indispensable contar con un conjunto de terminales con capacidades multimedia, de las que tendrá que encargarse el administrador del sistema, reservando una para contener los instrumentos y funcionar como servidor de exámenes, y otras tantas que funcionaran como terminales de aplicación con las especificaciones de seguridad indispensable cubiertas; conectividad garantizada, por medio 3

4 de esquemas de red de área local LAN, ya sea cableada o inalámbrica, control de la comunicación a Internet si se requiriera, impresoras controladas para la emisión de reportes y demás dispositivos de apoyo requeridos. A su vez, el sistema de e-assessment, va mas allá del equipo de cómputo requerido: un área de trabajo acondicionada con buena iluminación, ventilación y provisiones de seguridad; personal técnico y operativo entrenado para vigilar y administrar la aplicación; protocolos y reglamentos de operación que indiquen claramente las prohibiciones e indicaciones para mantener el orden y la integridad de la prueba; señalización adecuada en el centro de aplicaciones y los servicios necesarios. Situaciones que comprometen la fiabilidad de un sistema de e-assessment Para poder garantizar la fiabilidad de la prueba, hay varios aspectos que deben considerarse: Es más sencillo realizar actos fraudulentos en un entorno basado en las TIC que en el aula tradicional, dado que es muy sencillo utilizar técnicas como copia y pega y realizar plagios en escritos y ensayos de otros autores o bien, realizar consultas en Internet para hallar soluciones a problemas planteados como parte de la prueba, o comunicarse con otros sustentantes por medio de herramientas de mensajería. Se debe de aislar el centro de cómputo de Internet, o bien deshabilitar los servicios de red críticos, como transferencia de archivos, acceso remoto, correo electrónico, programas de mensajería, conexión a servicios web o HTTP, salvo aquellos que resulten indispensables para la comunicación entre el servidor de exámenes y las máquinas terminales y controlar el acceso a red, incluyendo el caso particular de las redes inalámbricas. Además, se debe considerar el empleo de varias fórmulas de examen, donde los reactivos que conforman la prueba y sus opciones de respuesta puedan ser sorteadas para producir exámenes individualizados, e inclusive, producirlos de forma automatizada con preguntas distintas de un banco de reactivos vasto, en el que por medio de los parámetros de calibración se pueda garantizar la equivalencia entre cada una de las pruebas elaboradas. El número de equipos de cómputo disponibles en la institución dificulta examinar a todos los sustentantes simultáneamente; ellos podrían memorizar o copiar las preguntas, en papel o utilizando un dispositivo electrónico. Debe hacerse énfasis en evitar cualquier uso de dispositivos capaces de almacenar o transmitir información: equipos de telefonía móvil, computadoras portátiles, cámaras fotográficas o de video, asistentes personales; bloquear servicios de impresión y deshabilitar el uso de discos removibles (diskettes, unidades de memoria flash, discos duros portátiles, discos ópticos grabables entre otros). 4

5 Los sustentantes podrían tener acceso a las computadoras donde se aplican los exámenes en horarios distintos a las aplicaciones y sustraer información o contraseñas de usuario. En este caso el control de acceso será el más estricto posible, asegurándose que en los momentos que no se realizan evaluaciones no estén disponibles archivos que contengan información sensible; que los sistemas de e-assessment utilicen algoritmos de encriptación y seguridad poderosos y que las contraseñas de usuario sean seguras, personales y de preferencia vigentes por períodos cortos de tiempo, tanto para los sustentantes como para los supervisores y diseñadores de la prueba. Podría existir software como spyware, virus u otros perjudiciales, susceptible de ser manipulado por algún sustentante competente que afecte la aplicación de la prueba. Los antivirus, herramientas como filtros del tráfico de red o firewalls, actualizaciones críticas de seguridad del sistema operativo y otras aplicaciones, deberán mantenerse al día y realizar inspecciones periódicas para garantizar la integridad y seguridad del entorno de cómputo. La terminal de cómputo per se enfrenta la dificultad de autentificar la personalidad del sustentante y asegurar que responda el instrumento sin ayuda externa. Debe ser entonces una combinación del uso de códigos de acceso personalizados, únicos, limitados para exámenes específicos en momentos de aplicación puntuales y de las personas autorizadas para supervisar la aplicación, quienes deberán validar la identidad del sustentante, indicar que equipo es el asignado para que se realice la prueba y vigilar el transcurso de la aplicación, presencialmente y a través de dispositivos de seguridad cuando estén al alcance de la institución, utilizando una vigilancia presencial o remota (uso de sistemas de cámaras de seguridad y circuito cerrado de televisión). Ventajas del sistema de e-assessment Se hace de la evaluación por computadora una experiencia motivante en el proceso de aprendizaje, creando una visión positiva de la evaluación, gracias a la rápida retroalimentación que se puede llevar a cabo, al entregar reportes provisionales o definitivos de calificación al instante, con información clara y pertinente. En el caso de los aspectos que atañen la personalidad del sustentante, el enfrentar el examen en el equipo de cómputo puede dar mayor confianza y soltura una vez que los usuarios finales se hayan familiarizado con el sistema de evaluación, a través de simuladores o tutoriales de uso, teniendo una mayor sensación de control sobre el medio de aplicación y evitando tareas que consumen tiempo en la prueba tradicional, como marcar 5

6 alvéolos en hojas de respuesta ópticas, borrar respuestas, manejar un cuadernillo de varias páginas que puede volverse un tanto engorroso, entre otras. Para el evaluador, se facilita y favorece la construcción de bancos de reactivos con capacidades multimedia, que permitan ser calibrados en función de los múltiples modelos existentes, con un énfasis en el uso de tablas de especificaciones para el diseño de las pruebas, de modo que se pueda automatizar el proceso de construcción de instrumentos a medida; utilizando un sistema de calificación robusto, más allá del control de respuestas buenas y malas, sino utilizando los mejores estimadores disponibles, con capacidades de emisión de reportes útiles y sencillos de construir. A pesar de la inversión que hay que realizar para implementar sistemas de e- Assessment, la relación costo beneficio se ve impactada favorablemente por las múltiples ventanas de oportunidad que se abren para la institución: el personal y equipo dedicado a la calificación puede centrarse en las tareas de análisis de resultados y mejoramiento de los instrumentos y reactivos; se eliminan los tiempos y costos implicados en lectura de hojas de respuesta y las tareas para preparar documentos e instrumentos para su impresión, organización y distribución, además de unificar en un solo modelo y procedimiento la aplicación de los distintos tipos de exámenes. La familia de programas Kalt y el Sistema de Exámenes en Línea. Desde sus inicios en 1976, la familia de programas Kalt ha facilitado las tareas de evaluación, a través de diversos productos: Kalt, Kalt Plus, Kalt Criterial, Kalt Opinion, Sistema de Gestión Banco de Reactivos y su complemento natural, Sistema de Exámenes en Línea. El Sistema de Exámenes en Línea desarrollado desde 1998, es una extensión del Banco de Reactivos, que permite administrar y aplicar las pruebas construidas a través del Sistema de Gestión Banco de Reactivos de manera manual o automatizada, utilizando las capacidades multimedia del ambiente de operación Windows para computadora personal sobre una red de área local LAN. Arquitectura del Sistema de Exámenes en Línea El Sistema de Exámenes en Línea de la familia de programas Kalt esta diseñado de forma modular, contemplando dos componentes básicos: El administrador y el examinador, indicados en la figura 1. En cuanto a la seguridad, ambos módulos emplean poderosos algoritmos de encriptación a 128 bits, garantizando la seguridad del instrumento, combinado con el uso de un dispositivo de seguridad externo en el módulo administrador, sin el cual el sistema no es operativo, además de un esquema de contraseñas para aplicador con fechas de caducidad configurables. Mediante la configuración pertinente y la operación correcta del sistema de 6

7 examen en línea, los puntos débiles que comprometen la integridad académica de la evaluación son previsibles y solubles. Módulo administrador Es el servidor de exámenes. En él se depositan los exámenes a aplicar, y permite establecer los parámetros que servirán para controlar una aplicación: mecanismo para identificar a los sustentantes, manejar una base de datos compatible con cualquier administrador de bases de datos comercial, autorizar y configurar las distintas máquinas donde los sustentantes realizarán la prueba, y monitorear el estado de la aplicación. Módulo examinador Se instala en cada computadora terminal, donde el sustentante podrá interactuar con los reactivos que componen la prueba e indicar sus respuestas, en una interfaz sencilla que considera las distintas acciones que realiza el sustentante en un examen de papel tradicional, como conocer el tamaño de la prueba, elegir el reactivo que desea contestar, marcar reactivos pendientes, solicitar ayuda al aplicador por medio de una interfaz de comunicación privada, entre otras. Características del módulo administrador. Toda aplicación pasa por 5 etapas como se muestra en la figura 2. Estas etapas consisten en: Preparación: Extraer del Banco de Reactivos el instrumento a aplicar y configurar por medio del modulo de descripción de exámenes los parámetros de aplicación de dicha prueba, permitiendo indicar si se desea: generar un orden aleatorio para preguntas y para opciones de respuesta en cada instrumento aplicado; folios de acceso autorizados para aplicar un examen en particular; tiempo de aplicación máximo permitido; si se permitirá al sustentante corregir sus respuestas después de terminar un reactivo y la manera en que se concluye la aplicación, además de poder indicar alguno de los modelos de calificación disponibles, y la emisión de reportes de calificación como se puede apreciar en la figura 3. Inicio de aplicación: En esta etapa, se permite la entrada a los sustentantes al centro de aplicación, se identifican y asignan usuarios a terminales y se dan las indicaciones pertinentes. Desarrollo: Durante la aplicación, el administrador puede monitorear el desarrollo de la prueba a través de una pantalla de monitoreo como se muestra en la figura 4, pudiendo comunicarse con los sustentantes para dar indicaciones a través de un servicio de mensajería cerrado, se puede cortar un examen en cualquier momento si el administrador lo requiere. Al mismo tiempo el sustentante inspecciona y contesta los reactivos en su módulo examinador, como se puede ver en la figura 5. 7

8 Fin de aplicación: Cuando el sustentante termina el instrumento, el tiempo autorizado se agotó o el administrador decide cortar una aplicación, se elaborará la constancia de aplicación si fue solicitada, se realiza la calificación configurada y el sustentante abandona el centro de aplicación. Recuperación: Al término de una jornada, se recuperan de todas las terminales los archivos de respuestas en extenso de cada sustentante, que pueden ser utilizados para posteriores análisis psicométricos, que permitan realizar la calibración de la prueba. Todo archivo temporal y de trabajo es removido de las máquinas terminales en esta etapa. Conclusión La principal barrera a vencer para aceptar la implementación de nuevos mecanismos de evaluación es la falta de conocimiento sobre las formas y mecanismos para garantizar una evaluación segura, confiable e íntegra. Mediante medidas muy sencillas, y utilizando la combinación de hardware y software apropiado se puede lograr un sistema robusto. Dado que el implementar proyectos a gran escala no es fácil, se puede echar mano de sistemas comerciales, probados y confiables, compatibles con la tecnología disponible, para producir sistemas de e-assessment exitosos a cualquier nivel académico y con todo el potencial que la multimedia y las Tecnologías de Información y Comunicación nos ofrecen. 8

9 Referencias bibliográficas Examen en Línea ( ). Manual de usuario, Instituto de Evaluación e Ingeniería Avanzada, S. C., México. Heberling, M. (2002). Maintaning Academic integrity in Online Education. Online Journal of Distance Learning Administration. Vol. 5 No. 1 MacKenzie D.(2003), Assessment for E-Learning: What are the Features of an Ideal E- Assessment System?. De 7 th CAA Conference, Loughborough, Loughboroug University. Rowe, N. C. (2004). Cheating in Online Student Assessment: Beyond Plagiarism. Online Journal of Distance Learning Administration. Vol. 7 No. 2 Tristán L. A. (2001). Exámenes en Línea: Uso y Abuso. Foro Regional De Evaluación Educativa. CENEVAL. Campeche. pp Witherspoon J. (2005). Building the Academic Ecosystem: Implications of E-Learning. International Journal of Instructional Technology & Distance Learning, Vol. 3, No. 3, pp

10 Figura 1. Arquitectura del Sistema de Exámenes en Línea Figura 2. Etapas de la aplicación de un examen. Figura 3. Pantalla de descripción de exámenes del módulo administrador 10

11 Figura 4. Pantalla de monitoreo de terminales del módulo administrador Figura 5. Pantalla de aplicación del módulo examinador 11

12 CURRÍCULUM Ing. Miguel Angel Ylizaliturri Salcedo Ingeniero en Computación por la Facultad de Ingeniería de la Universidad Autónoma de San Luis Potosí. Profesor de asignatura en la Facultad de Ingeniería de la Universidad Autónoma de San Luis Potosí para las carreras de Computación e Informática. Actualmente es el responsable del Departamento de Desarrollo Informático del Instituto de Evaluación e Ingeniería Avanzada, S.C. México. Responsable de varios proyectos relacionados con aplicaciones informáticas para evaluación en línea, calificación de pruebas, administración de bancos de ítems, etc. Cuenta con publicaciones en aplicaciones de la informática para e- assessment y manejo de las competencias informáticas. 12