Modelos e Instrumentos de Evaluación en e- learning

Transcripción

1 Unidad Didáctica No.4 Modelos e Instrumentos de Evaluación en e- learning Asignatura 7: Evaluación de Aprendizajes en Entornos Virtuales Prof. Edgar Salgado García

2 Unidad didáctica 4 Cuáles son las principales herramientas tecnológicas de hoy día para evaluar en educación virtual? Objetivo En esta unidad, intentaremos hacer una caracterización de las principales aproximaciones que se utilizan en entornos virtuales para evaluar el aprendizaje de los estudiantes, con énfasis en las herramientas tecnológicas disponibles. Es importante, en este sentido, considerar que dichas herramientas deben elegirse a partir de la filosofía, los objetivos y la naturaleza del curso o programa. Las tecnologías por sí mismas no evalúan. Son los maestros quienes deben decidir cómo van a evaluar, para qué van a evaluar, y en función de cuáles criterios. Solo entonces podrán determinar cuáles son las herramientas tecnológicas más apropiadas. Existen dos modelos principales de evaluación de aprendizajes en e- learning: evaluaciones de desempeño y evaluaciones mediante pruebas (o tests). El primero consiste en evaluar el desempeño de una manera más realista (en situaciones reales o simuladas) y el segundo utiliza cuestionarios con preguntas de selección múltiple, asociar, completar espacios o preguntas cortas o largas tipo ensayo. Las evaluaciones con pruebas son, por su misma naturaleza, una forma menos auténtica de evaluar el aprendizaje, pero son muy prácticas y por lo tanto bastante utilizadas. El modelo de evaluación óptimo depende principalmente de si el objetivo es declarativo (hechos: identificar, enlistar, establecer, asociar, describir, explicar ) o procedimental (tareas: calcular, formular, construir, manejar, ensamblar, determinar ). Las investigaciones demuestran que hay una gran diferencia entre saber acerca de y saber cómo (aplicaciones prácticas a tareas del mundo real). Patti Shank (2009), p.5. 2

3 Como puede apreciarse en la cita anterior, los dos grandes modelos de evaluación que se siguen guardan relación con la tipología de evaluaciones estructuradas o no estructuradas. También podríamos hablar de las evaluaciones tradicionales versus las evaluaciones alternativas y de desempeño, que podríamos agrupar en una categoría. De nuevo insistimos en la importancia de considerar la naturaleza y los objetivos, metas o competencias estipuladas en un curso o programa educativo, antes de tomar decisiones sobre el modelo de evaluación que vayamos a adoptar. Es preciso anotar, también, que un modelo de evaluación puede inclinarse más hacia las pruebas tradicionales o hacia las pruebas de desempeño, pero también pueden existir distintos grados de combinaciones. Por ejemplo, en cursos con componentes teórico-prácticos, pueden mezclarse evaluaciones tipo quiz o test para evaluar reconocimiento de conceptos, con evaluaciones con elaboración de proyectos o portafolios. Esto, sin embargo, debe hacerse de una manera muy cuidadosa, sobre todo en el sentido de mantener coherencia entre objetivos, estrategias metodológicas y estrategias de evaluación. Para ilustrar este principio de coherencia, imaginemos un curso en el que toda la estructura se basa en lecturas y presentaciones de conceptos, pero que evalúa con un proyecto. O pensemos en un curso en el que se plantean competencias, pero que se evalúa con pruebas de preguntas cerradas. Esto no sería coherente, y puede incluso arriesgarse a causar desmotivación, frustración o fracaso en los estudiantes. Un principio que se sigue en evaluación es que los conocimientos, habilidades o actitudes que se evalúan deben fomentarse a lo largo de todo el curso. La evaluación, como hemos visto hasta ahora, es un proceso constante, no limitado a un solo punto en el tiempo, ni solamente al final. Por ello, las actividades evaluadas deben distribuirse a lo largo de todo el curso, 3

4 y ser variadas y suficientes para propiciar la adquisición de los conocimientos y el ejercicio de las habilidades que forman parte de sus objetivos. Sistemas de gestión de aprendizaje En la actualidad la mayoría de los cursos a distancia virtuales que se imparten en instituciones educativas, centros de formación, colegios o universidades, utilizan algún tipo de sistema de gestión de aprendizaje. Estos sistemas, en inglés denominados Learning Management Systems (LMS), son plataformas integradas con espacios para subir contenidos, administrar aplicaciones y herramientas interactivas para impartir los cursos. Dokeos es una de las plataformas LMS que están ganando terreno actualmente. Puede verse en: 4

5 Las plataformas LMS, como Moodle, Blackboard, Dokeos, Docebo y muchas otras que existen en el mercado, utilizan herramientas de evaluación tanto sumativa como formativa. Entre las herramientas que usualmente se incorporan en estas plataformas están las siguientes: Seguimiento a usuarios. Debido a que las plataformas LMS asignan claves personales y organizan a los estudiantes por grupos, estas pueden llevar un control de accesos (frecuencia, duración, áreas o contenidos visitados) que permiten al docente y a los administradores conocer el detalle de la actividad de cada estudiante en los cursos. Análisis de participación en foros. Las herramientas de foros de discusión generan reportes de los mensajes enviados por cada estudiante a cada uno de los foros; longitud de los mensajes; réplicas a los demás usuarios; etc. Estos informes son muy útiles para evaluar el proceso (evaluación formativa), como también para asignar calificaciones al final de las unidades (evaluación sumativa). Buzones para recibir tareas. Estos buzones vienen integrados a las plataformas LMS y permiten que el estudiante envíe archivos al profesor o incluso que los comparta con sus compañeros, en el caso de trabajos colaborativos. Tienen la ventaja de que su recepción y almacenamiento son más ordenados, ya que no ingresan a una bandeja de correo electrónico regular, y además permite al docente establecer fechas de cierre para los envíos y otros parámetros, además de poder revisarlos de forma rápida, al quedar los archivos registrados en los libros de calificaciones. Calificación y retroalimentación de foros y tareas. Estas son utilidades para facilitar la evaluación formativa y sumativa de los foros y tareas, aunque también se puede realizar con blogs, wikis u otras áreas interactivas. La plataforma por lo general incluye una escala para calificar la calidad de la participación, que puede ser numérica (continua) u ordinal; no 5

6 solo el docente, sino también los demás estudiantes pueden incluso calificar las participaciones o publicaciones, si así se establece. Blogs, wikis y otras herramientas tipo Web 2.0. Estas herramientas se utilizan sobre todo para evaluación formativa, seguimiento a proyectos, creación de e-portafolios o diarios de aprendizaje reflexivos, presentación de proyectos y trabajos colaborativos. Inclusive algunas plataformas contienen integraciones con redes sociales como Facebook. Todo lo anterior es útil para fomentar la interacción entre los estudiantes y entre estos y los docentes, en términos de retroalimentación constante. Evaluación de pares. La evaluación de pares está presente de muchas formas, entre ellas a través de las herramientas de evaluación de foros, pero también mediante las publicaciones en los blogs o la administración de encuestas, que también lo incluye la mayoría de los LMS, en las que los alumnos pueden emitir sus criterios sobre el aporte de sus pares. Administración de pruebas y encuestas. Si bien estas herramientas no son tan sofisticadas en muchas plataformas LMS, casi todas ellas cuentan con utilidades para crear pruebas de preguntas cerradas y/o abiertas, así como cuestionarios para que los estudiantes puedan opinar sobre el curso, el desempeño del docente, reflexionar sobre su propio trabajo y hacer recomendaciones, o evaluar al profesor y a sus compañeros. Estos instrumentos pueden manejarse de forma anónima, o programarse para que solamente el docente pueda visualizar los resultados. En cuanto a las pruebas o quizzes, la calificación es automática y los resultados se incorporan de inmediato al libro de calificaciones o registro de estudiantes. Libros de calificaciones. Denominado en inglés gradebook, el libro de calificaciones consiste en una hoja de cálculo en el que a cada estudiante 6

7 se le pueden asignar las evaluaciones sumativas o notas de cada actividad. Los resultados de las pruebas automatizadas o encuestas se suman automáticamente. Asimismo, cada profesor puede clasificar los diferentes rubros (tareas, pruebas, laboratorios, comprobaciones de lectura, informes, etc.) y asignar porcentajes para cada uno, de modo que se pueda calcular la nota final de acuerdo a lo estipulado en las guías didácticas o programas de cursos. Los estudiantes pueden consultar sus notas en un área especial y de esta manera mantenerse informados acerca de su progreso en términos de las calificaciones asignadas por los profesores. Software para crear evaluaciones Hoy en día existe un gran número de programas, aplicaciones o plataformas de software, que se instalan en las computadoras o que se utilizan como servicio en la web ( en la nube ), para elaborar todo tipo de evaluaciones estructuradas. Hay aplicaciones de licencia, que requieren de un pago inicial o licenciamiento anual, así como otras que son gratuitas. Un ejemplo de este último tipo de herramienta es Hot Potatoes, que ha estado disponible por un buen tiempo, con actualizaciones periódicas que han mejorado sustancialmente su desempeño. 7

8 Hot Potatoes consiste en un conjunto de herramientas para crear ejercicios como crucigramas, asociación de conceptos y pruebas de opción múltiple, entre otros. Fue desarrollado en la Universidad de Victoria, Canadá, y es gratuito. Puede verse en: Al utilizar estándares de compatibilidad, como SCORM, muchas de estas herramientas pueden integrarse a las plataformas LMS, de manera que comuniquen a la plataforma los resultados (puntajes) de los ejercicios obtenidos por cada estudiante y que se incluyan en los libros de calificaciones para consulta de los estudiantes y para el cómputo de la evaluación sumativa de los cursos. En el ámbito de las aplicaciones de licencia, existen programas profesionales como Quiz Maker, parte de la suite de Articulate Studio, así como Respondus. Estas herramientas tienen la ventaja de que pueden acoplarse con otras, que forman parte de un mismo paquete. Así, se pueden crear 8

9 presentaciones multimedia, videos u otros contenidos con formatos muy atractivos, para luego evaluar la comprensión de los estudiantes mediante una prueba automatizada. Quiz Maker y Respondus son herramientas que facilitan la creación y aplicación de pruebas cortas de respuestas cerradas y abiertas. Por lo general, estos programas forman parte de una suite, o colección de programas relacionados que vienen en un solo paquete y que correlacionan presentaciones multimedia (video, diapositivas, contenidos) con quizzes que comprueban la comprensión del material. La ventaja de estas aplicaciones reside en que generan una retroalimentación inmediata a los estudiantes, ya que consisten en preguntas cerradas, que se responden haciendo clic en las diferentes opciones. Así también se generan puntajes individuales y estadísticas grupales que pueden servir de fuente de retroalimentación para el docente o los administradores de los cursos o programas. 9

10 Menú de opciones del paquete Respondus, en el que se aprecian los distintos atributos que puede tener una prueba o quiz, como presentar las opciones de respuesta en un orden aleatorio ( shuffle answers ); asignar un tiempo límite para completar la prueba; permitir múltiples intentos ( allowed attempts ); permitir a los estudiantes ver las respuestas al quiz ; e incluso bloquear el navegador de Internet ( Lock Down Browser ), de modo que la persona no pueda visitar páginas web en el momento en que está respondiendo la prueba. La mayoría de estas herramientas permiten programar opciones, como restringir el número de veces que el estudiante puede responder la prueba; el tiempo asignado para contestar; el orden en que se presentan las preguntas; la retroalimentación que se le da al estudiante (un puntaje, las respuestas incorrectas, las respuestas correctas, o retroalimentación especial dependiendo de si la respuesta fue correcta o incorrecta), etc. 10

11 Aprendizaje móvil o m-learning En la actualidad, la tendencia en tecnologías de información y comunicación (TICS) se orienta hacia los dispositivos móviles conectados a Internet. De esta manera, el e-learning se está moviendo a un uso de teléfonos inteligentes o tabletas, que permiten un aprendizaje móvil. La mayoría de las plataformas LMS cuentan con aplicaciones ( apps ) para teléfonos Apple (sistema operativo ios) o de sistema operativo Android, que permiten a los estudiantes y profesores visualizar los contenidos de los cursos, participar en los foros de discusión, modificar contenidos en blogs y responder evaluaciones desde el dispositivo móvil. El mobile learning, o m-learning, consiste en un aprendizaje móvil, a través de dispositivos portátiles como teléfonos celulares inteligentes y tabletas con acceso a Internet. La mayoría de las plataformas LMS y paquetes de software para crear contenidos y evaluaciones, cuentan con versiones adaptables a este tipo de aparatos. De esta manera, los estudiantes pueden participar en las actividades, como foros, blogs, wikis y chats, o responder los quizzes o cuestionarios, todo desde sus dispositivos móviles. 11

12 Modelos mixtos ( blended learning ) Algunos autores advierten sobre la dificultad que entraña la realización de ciertos tipos de evaluaciones en un entorno virtual 1. Por ejemplo, prácticas de laboratorio, demostración de habilidades motoras, exposiciones orales u otras. En estos casos, y sobre todo cuando los programas certifican competencias, se recurre a modelos semi-presenciales, en los cuales se combinan las sesiones virtuales con la presencia de los estudiantes en tutorías, prácticas o aplicaciones de exámenes. En los modelos semi-presenciales, se programa la administración de las pruebas parciales o finales de los cursos de forma presencial. Este esquema se utiliza sobre todo en universidades o centros en los que se acredita un título o diploma. La UNED española es una de las universidades que lo implementa. El porcentaje de virtualidad o presencialidad puede ser muy variable y depende del tipo de curso o programa. Para las sesiones presenciales, se debe contar con personal especializado en tutoría y aplicación de pruebas, en distintos puntos geográficos, con el fin de poder atender a los estudiantes en el momento que así se requiera. 1 Al respecto, véase: 12

13 Administración de pruebas online en tiempo real La preocupación por verificar la identidad de los estudiantes en entornos virtuales, sin tener que recurrir a la administración de exámenes o pruebas de manera presencial, ha llevado al desarrollo de servicios en línea para aplicar exámenes de forma síncrona (en tiempo real). Por medio de herramientas de videoconferencia, y a través de una pequeña cámara portátil o de la misma cámara web que posee la mayoría de las computadoras portátiles, es posible responder un examen con la supervisión de otra persona, que solicita los credenciales requeridos para identificar al estudiante y vigila el trabajo de este durante la prueba. Este tipo de pruebas son sumativas por excelencia, ya que se aplican al final de una unidad o curso, otorgan una calificación, y tienen un objetivo de certificación o acreditación 2. Servicios en línea como Proctor U se encargan de monitorizar exámenes para universidades u otros centros de formación. Mediante la utilización de cámaras, audífonos y micrófonos, un monitor (persona que administra el examen) a distancia verifica la identidad del estudiante y supervisa la ejecución de la prueba. Puede verse: 2 Por ello, son utilizadas generalmente por universidades o centros que imparten carreras que conducen a una titulación, o por instituciones que certifican el dominio de idiomas, el manejo de programas informáticos u otros. 13

14 Herramientas de análisis de aprendizaje ( learning analytics ) Durante los últimos años ha surgido una nueva metodología denominada learning analytics, o analítica de aprendizaje, que consiste en la aplicación de técnicas de procesamiento y análisis de datos, con métodos cuantitativos (estadísticos) para encontrar patrones y tendencias. Usualmente se intenta sintetizar los datos mediante técnicas de visualización, como pueden ser los gráficos, nubes de palabras, u otros tipos de representaciones. Las herramientas de learning analytics permiten registrar datos acerca de la actividad de los estudiantes en las plataformas de aprendizaje (LMS), aunque no se limitan únicamente a ellas. Mediante un sistema de estadísticas, se pueden obtener datos detallados acerca de los accesos, el avance en las unidades, las áreas a las que accede cada estudiante, el número de participaciones en los foros, las calificaciones obtenidas, los errores cometidos, el tiempo que invierte en cada actividad, etc. Las plataformas LMS son muy utilizadas debido a su capacidad de centralizar todas las herramientas de administración de contenidos, de interacciones y evaluaciones, en un solo sitio. Estas plataformas, además, 14

15 se integran con bases de datos de cursos, grupos, docentes y matrículas de estudiantes, por lo cual se accede a ella mediante claves personales que permiten llevar un control muy detallado de los procesos administrativos. Es por ello que los LMS son herramientas presentes en las universidades, institutos de formación y otros centros que requieren de un seguimiento a grandes grupos de estudiantes y profesores. Las analíticas de aprendizaje se integran muy bien con los LMS, pero también pueden llevarse a cabo por otros medios. Podría decirse que la analítica de aprendizaje es un método de evaluación del nivel de programa o institucional, ya que genera indicadores importantes para la toma de decisiones en estos niveles. Sin embargo, también puede retroalimentar la labor del docente en el nivel individual. Blogging educativo: e-portafolios y otros En el ámbito de las evaluaciones alternativas, sobre todo aquellas que se orientan hacia la evaluación a lo largo del tiempo, actividades de reflexión, pensamiento crítico, creatividad o demostración de competencias y de progreso en el aprendizaje en el tiempo, existen las herramientas de blogging educativo (en inglés, educational blogging ). Los blogs son sitios web personales en los que los estudiantes (y los docentes) pueden publicar sus productos académicos, análisis, reflexiones propias, comentarios, síntesis y avances, etc. Los blogs pueden utilizarse como e-portafolios, en los que los estudiantes publican sus trabajos y reflexiones a lo largo de un curso, o inclusive a lo largo de todo un periodo lectivo o programa educativo. Actualmente hay una gran variedad de servicios de blogging, muchos de ellos gratuitos, pero con opciones de pago, que ofrecen una mayor cantidad 15

16 de espacio de almacenamiento y funciones adicionales. Los centros educativos pueden también crear su propio dominio de blogs, con el fin de administrarlos y dar seguimiento a las publicaciones de los estudiantes de una manera más específica. Algunos de las herramientas disponibles son: Edublogs. Wikispaces. Blogger. De los anteriores, Edublogs y Wikispaces son servicios de blogs específicamente diseñados para el campo educativo, mientras que Blogger es un servicio general de Google, que puede ser utilizado para múltiples fines. Estas herramientas incluyen facilidades para que otras personas puedan publicar comentarios a las entradas de los diarios, lo cual permite generar intercambios y discusiones dentro de la misma bitácora. Si bien algunas plataformas LMS incluyen blogs o diarios educativos entre sus herramientas, estas no ofrecen la flexibilidad ni la variedad de opciones que los servicios que aquí hemos destacado. Otras herramientas Si partimos de que toda actividad que se realiza en un entorno educativo virtual puede ser objeto de evaluación, sobre todo en su función formativa, existe un sinnúmero de opciones disponibles para que docentes y estudiantes puedan interactuar y dar así seguimiento a proyectos académicos y todo tipo de tareas individuales y colaborativas. 16

17 Por ejemplo, servicios como Dropbox o Google Drive, en los cuales se pueden almacenar archivos y compartirlos con otras personas, de modo que todos puedan editarlos, son muy utilizados actualmente con fines educativos 3. En actividades evaluativas que requieren evidenciar avances y que además necesitan de una retroalimentación constante, a lo largo de un periodo de tiempo, estos pueden resultar sumamente útiles. Asimismo, son de gran valor para la realización de actividades colaborativas, en las que un grupo de alumnos debe trabajar coordinadamente en la elaboración de una tarea, proyecto, investigación o producto. Otras herramientas, como servicios de chat, mensajería instantánea o creación de videos (como YouTube: también se utilizan cotidianamente como medios de comunicación en cursos a distancia y pueden cumplir un propósito evaluativo. Los estudiantes pueden así interactuar con sus profesores por medio del chat o de la videoconferencia, a través de Skype ( o de otros paquetes de software especializado para conferencias en tiempo real. Asimismo, con YouTube se pueden grabar videos en los que los estudiantes presentan los avances o resultados de sus trabajos; retroalimentaciones de los docentes a los alumnos; e inclusive retroalimentaciones entre los mismos estudiantes. Algunos docentes utilizan programas para crear organizadores gráficos, como mapas conceptuales, como un instrumento para la evaluación, sobre todo diagnóstica y formativa. Uno de los programas mejor desarrollados para crear mapas conceptuales es CMap Tools, que es de carácter gratuito y puede descargarse en el sitio: 3 Dropbox puede accederse por medio de: Es un servicio gratuito, con una capacidad de almacenamiento limitada al principio, pero que puede ampliarse al invitar a otras personas que acepten instalarlo en su computadora. Google Drive es un servicio de Google, al cual tienen acceso todos los usuarios de GMAIL. Puede verse en: Su dinámica de funcionamiento es bastante similar a Dropbox. 17

18 Síntesis y conclusiones La evaluación de aprendizajes en entornos virtuales enfrenta el reto de la separación física y temporal entre actores. Sin embargo, las tecnologías informáticas disponibles actualmente brindan un gran número de posibilidades para salvar esas brechas. Debe tomarse en cuenta que la existencia de las tecnologías no garantiza la bondad de las estrategias o modelos de evaluación. Estos deben diseñarse a partir de consideraciones en torno a las metas y finalidades de los cursos o programas, de modo que sus estrategias de enseñanza y de evaluación sean coherentes para lograr los objetivos. Retomando los conceptos de evaluación diagnóstica, formativa y sumativa, cada una de ellas puede realizarse por medio de las diversas herramientas: pruebas automatizadas, encuestas, diarios de aprendizaje, blogs, foros de discusión, mensajería, correo electrónico, redes sociales, etc. Quizás el elemento distintivo, sea la capacidad de las herramientas de acercar a los participantes entre sí, es decir, el posibilitar el diálogo y la interacción, y a raíz de ello, la retroalimentación constante que debe caracterizar a toda estrategia de evaluación, tanto formativa (y sobre todo en este caso) como sumativa. Es preciso recordar, además, que la evaluación de aprendizajes tiene entre sus finalidades la promoción de la metacognición, la auto-regulación y la autonomía de los aprendices, de modo que puedan continuar aprendiendo a lo largo de sus vidas. En este sentido, es importante que las estrategias de evaluación favorezcan las interacciones, retroalimentaciones, reflexiones, construcción colaborativa de conocimientos, aplicación, análisis y demostración de habilidades en contexto. En la educación de adultos encontramos un mayor énfasis en la interacción entre estudiantes y entre estos y los tutores; así como en actividades que respondan a los intereses, experiencias y habilidades que los participantes 18

19 traen al contexto educativo. Por ello, toda herramienta que permita estos desarrollos, con la adecuada flexibilidad y posibilidad de configuración personalizada, tiene un valor muy importante. La creación de contenidos y la visualización a través de videos, teleconferencias y bitácoras personales en la web, son parte de las tendencias tecnológicas de Internet y que sin duda tienen un impacto en el aprendizaje en línea o e-learning. 19

20 Referencias Kearns, L.R. (2012). Student assessment in online learning: Challenges and effective practices. MERLOT Journal of Online Learning and Teaching, Vol.8, No.3. Recuperado de Sewell, J.P., Frith, K.H., y Colvin, M.M. (2010). Online assessment: A primer. MERLOT Journal of Online Learning and Teaching, Vol.6, No.1, pp Recuperado de Shank, P. (2009). Four typical online learning assessment mistakes. En: Faculty Focus (Ed.), Assessing online learning: Strategies, challenges, and opportunities. Disponible en: Sitios recomendados El Informe Horizon, publicado anualmente por el New Media Consortium (NMC), realiza un análisis de las tecnologías educativas más importantes, así como las tendencias para los próximos años. En 2013, salió a la luz el primer informe en español, preparado por expertos iberoamericanos, entre los cuales se cuenta el Dr. Lorenzo García Aretio. En este documento se pueden revisar las líneas de desarrollo del e-learning en la región latinoamericana, lo cual nos ayuda a identificar herramientas de evaluación que pueden utilizarse. El informe se puede descargar en: Blog Iniciativa Educación, por Eugenio Severín: Tecnologías para la evaluación del aprendizaje. Una mirada crítica sobre el uso de tecnologías en la evaluación educativa, en especial cuando se utilizan para medir. 20