SISTEMA GESTOR PARA AYUDAR EN LA EVALUACIÓN DE CONOCIMIENTOS

Transcripción

1

2 SISTEMA GESTOR PARA AYUDAR EN LA EVALUACIÓN DE CONOCIMIENTOS Lourdes Jiménez, Roberto Barchino, Salvador Otón, José Antonio Gutiérrez, José Javier Martínez, Antonio García y Eva García Departamento de Ciencias de la Computación. Universidad de Alcalá. Campus Universitario. Escuela Técnica Superior de Ingeniería Informática. { lou.jimenez, roberto.barchino, salvador.oton, jantonio.gutierrez, josej.martinez, a.garciac, eva.garcial }@uah.es RESUMEN Las tecnologías de la información y comunicación se encuentran ampliamente difundidas en nuestra sociedad y su influencia en las actividades destinadas al proceso de enseñanza son muy importantes en la actualidad. Esta influencia ha dado lugar a la aparición de nuevas técnicas específicas para el aprendizaje, denominadas e-learning. A nuestro juicio la clave tecnológica utilizada en los sistemas e-learning es Internet, ya que se utiliza para realizar la mayoría de las actividades del proceso de enseñanza y aprendizaje. En este trabajo se presenta un nuevo sistema de gestión para la configuración de la evaluación basada en un lenguaje de marcas. El objetivo de este estudio es obtener un diseño interoperable y reutilizable de planes de evaluación. Estos planes pueden ser exportados e importados por el Sistema Gestor del Aprendizaje EDVI Educación a Distancia Vía Internet [1] [2] [3] desarrollado por el grupo de Investigación TiFYC del Departamento de Ciencias de la Computación de la Universidad de Alcalá. El principal logro de este sistema es reducir el tiempo necesario para configurar las actividades y/o procesos de evaluación, la simplificación y la automatización de ellas. PALABRAS CLAVES Evaluación, e-assessment, e-learning 1. INTRODUCCIÓN Una de las claves tecnológicas utilizada en los sistemas e-learning es, sin lugar a dudas, Internet. Debido a que se utiliza para realizar la mayoría de las actividades del proceso de enseñanza y/o aprendizaje, como se propone en la Arquitectura LTSA del Comité para estandarizar las tecnologías para el aprendizaje [4]. La figura 1 muestra un diagrama con los elementos principales, las relaciones y las acciones de la arquitectura. Figura 1. Arquitectura LTSA. Esta arquitectura define las entidades básicas en los sistemas e-learning: estudiantes, profesores, contenidos y evaluaciones. En este entorno, se puede definir el término "evaluación" como la comprobación del nivel de conocimientos y habilidades alcanzado por el alumno. Estos conocimientos y habilidades deben ser establecidos a priori y el nivel alcanzado se debe obtener a través de técnicas de evaluación.

3 En la actualidad existen algunos lenguajes de modelado que se utilizan en los sistemas e-learning. Éstos lenguajes ofrecen anotaciones semánticas para la creación de objetos de aprendizaje que pueden ser reutilizados. La mayoría de ellos se centran en la creación de objetos docentes para diseñar todo el proceso. El Comité Europeo de Normalización en Tecnologías de Aprendizaje [5] a través de su Observatorio enumera los lenguajes de modelado más importantes que son: OUNL EML, IMS Learning Design, PALO, MID, LMML, TARGETEAM y TML / Netquest. Estos lenguajes se centran en el proceso mismo de aprendizaje, dejando a las actividades de evaluación de los conocimientos en un segundo plano. Para ayudar en la creación de pruebas de evaluación la institución norteamericana IMS Global Learning Consortium, Inc., ha propuesto una especificación denominada (Question & Test Interoperability) [6]. Sin embargo, esta especificación se centra en un nivel muy bajo, se define un modelo XML para organizar las preguntas y exámenes, además de proponer numerosos tipos de preguntas, pero no en el proceso en sí mismo. Para llenar el vacío existente entre la definición global de un proceso de aprendizaje y la especificación detallada de los contenidos de evaluación, y para lograr la posibilidad de modelar el proceso de evaluación como una pieza única reutilizable, se propone un nuevo método de configuración de la evaluación. La segunda figura representa la relación entre la configuración de la evaluación basada en la evaluación de los atributos de uso del sistema que se propone y el nivel inferior donde se definen los campo establecidos en la especificación QTI. Figura 2. Niveles de abstracción. En la actualidad, la codificación tanto del examen como de las preguntas está perfectamente definida en la especificación QTI. Por ello, en estas etapas en el proceso de evaluación se utiliza dicha especificación. Se puede considerar dicha especificación como un estándar de facto ya que su uso está muy extendido. Es en el nivel superior donde se sitúa nuestro sistema.

4 2. PROCESO DE EVALUACIÓN Para definir una configuración de evaluación eficiente, ésta debe tener el suficiente nivel de abstracción que permita la reutilización y la interoperabilidad de dicha configuración. En concreto, estos dos términos, en nuestro contexto, se pueden definir de la siguiente manera: Reutilización. Capacidad de reutilización de las configuraciones de evaluación en otras acciones formativas. Esto es muy importante ya que permite al profesor tutor volver a utilizar criterios de evaluación de otras acciones formativas para las actuales. Interoperabilidad. Capacidad de utilización de las configuraciones de evaluación por otros sistemas gestores del aprendizaje. Es decir, esta característica permite la intercomunicación de criterios de evaluación entre Learning Management Systems heterogéneas. Para el establecimiento de las características del proceso de evaluación, se han analizado y estudiado las necesidades de la organización Sunion Formación y Tecnología S.A., a través de su programa de formación on-line. Tras este estudio se han definido cuatro tipos de evaluaciones asociadas a cualquier acción formativa virtual, a saber: Evaluación Inicial. Antes de comenzar el curso y tienen como objetivo determinar el nivel de conocimientos del alumno a priori. Evaluación Final. Después de terminar la acción formativa. El objetivo es comprobar si se han alcanzado los conocimientos y habilidades por el alumno establecidos por el profesor del curso. Evaluación por Módulos. Al finalizar cada tema o capítulo del curso, el alumno puede validar las habilidades adquiridas en ese módulo concreto. Evaluación Libre. En todo momento. Permiten la auto-evaluación del alumno para medir su progreso y detectar posibles problemas en el aprendizaje. 3. ATRIBUTOS DE EVALUACIÓN El análisis realizado ha determinado una serie de parámetros de evaluación. El profesor-tutor tiene a su disposición éstos para la programación de las actividades docentes relacionadas con el proceso de evaluación. Los atributos identificados son los siguientes: Tipo de Examen. Establece el modo de obtener las preguntas de la prueba. Puede ser fija, el profesor decide que preguntas forman parte del examen o aleatoria donde el examen se va generando en tiempo real y con preguntas seleccionadas al azar. Numero Respuestas por Preguntas. Este atributo identifica el número de respuestas por cada pregunta de la prueba. Al ser un parámetro global, las preguntas de un examen tendrán el mismo número de respuestas. Número Respuestas Correctas por Pregunta. Este elemento dispone del número de respuestas correctas por pregunta. Al igual que el parámetro anterior es común para toda la prueba.

5 Número de Preguntas por Examen. Este parámetro establece el número total de preguntas del examen. Nota Máxima. La calificación máxima que se asociará a la prueba. Nota Mínima. La calificación mínima que se asociará a la prueba. Porcentaje para Aprobar. El porcentaje de respuestas correctas que son necesarias, bajo el punto de vista del profesor-tutor, para superar la prueba. Duración. Este parámetro establece el tiempo de vida de la prueba en la plataforma. Calificable. Indica si la calificación obtenida en la prueba se va a tener o no en cuenta para obtener la nota final del curso. Obligatorio. Este parámetro establece la obligatoriedad o no de la prueba. Número de Intentos. El tutor puede determinar el número de veces que la prueba puede ser realizada por los alumnos. Retomar Examen. Esta opción permite al profesor decidir si el alumno puede continuar la realización del examen en sesiones distintas. Ofrece la posibilidad de realizar el examen en momentos distantes en el tiempo. Respuestas Visibles por los Alumnos. Permite ofrecer la visión de las respuestas correctas a los alumnos, una vez concluido el examen. Peso de la Evaluación. Suponiendo que la evaluación total esté compuesta por pruebas de nivel inicial, final y por módulos, este parámetro establece que peso, sobre la evaluación total, tiene la prueba. En el momento que el profesor-tutor incorpora los valores concretos de estos atributos, el sistema de gestor, desencadena las tareas necesarias para implementar el diseño de evaluación establecido por el lenguaje. Por ejemplo, si ha establecido por parte del profesor una evaluación inicial en un curso, el alumno cuando acceda a dicho curso no podrá visualizar los contenidos de éstos hasta que no sea completada la prueba de evaluación. Este proceso es totalmente transparente para el profesor, ya que el no es consciente de dichas tareas al estar ocultas en la propia plataforma de gestión del aprendizaje. A continuación se presentan una serie de imágenes relacionadas con la interfaz básica del sistema gestor diseñado. En la figura 3 se muestra el formulario para el establecimiento de los atributos definidos anteriormente. En la siguiente imagen, figura 4, se presenta el panel de control de las evaluaciones (inicial, final y por módulos). La figura 5 muestra un formulario para configuración de un examen de evaluación inicial y por último la figura 6 presenta como el sistema gestor soporta la carga de ficheros en formato IMS-QTI.

6 Figure 3. Interfaz de incorporación de los atributos. Figura 4. Panel de Control Evaluaciones

7 Figura 5. Configurar Examen de Evalución Figura 6. Carga de un fichero de preguntas en formato IMS-QTI

8 4. CONCLUSIONES Este artículo presenta un sistema gestor para ayudar al profesor-tutor en las actividades relacionadas con la evaluación de los alumnos en sistemas de enseñanza y aprendizaje electrónico. El sistema permite establecer unas características de evaluación de alto nivel reutilizables e interoperables. El sistema ha sido diseñado e implementado teniendo en cuenta un estudio realizado por la organización, dedicada a la formación, Sunion Formación y Tecnología S.A. El primer beneficio de este sistema es que permite al profesor ahorrar tiempo en el proceso de evaluación para destinarlo a otras actividades docentes. El segundo, es que los alumnos tienen, a priori, definido los criterios de evaluación al cominenzo del curso. Esta cuestión es valorada positivamente por los alumnos, ya que conocen que actividades docentes van a tener más peso en la evaluación final y esto permite conseguir reducir el número de abandonos y aumentar la motivación de los alumnos. REFERENCIAS 1. Roberto Barchino, José Ramón Hilera, Elena García, José María Gutiérrez. EDVI: Un Sistema de Apoyo a la Enseñanza Presencial Basado en Internet. VII Jornadas de Enseñanza Universitaria de la Informática JENUI Palma de Mallorca. España Roberto Barchino, María Lourdes Jiménez, José Antonio Gutiérrez. EDVI Pro 2004: Un Sistema de Apoyo a la Enseñanza Presencial Basado en Internet. 3ra. Conferencia Ibero-Americana en Sistemas, Cibernética e Informática CISCI Orlando. EEUU Roberto Barchino, Salvador Oton, José María Gutiérrez. An Example of Learning Management System. IADIS Virtual Multi Conference on Computer Science and Information Systems MCCSIS LTSA. Learning Technology System Architecture. Current LTSA specification, CEN. European Committee for Standarization. Information Society Standarization System. Learning Technologies Standards Observatory IMS. Global Learning Consortium: Question and Test Interoperability Specification,