Seguimiento de la Actividad de los Alumnos Dr. Miguel Alvarez Gómez Esta ponencia analiza un aspecto poco discutido de la educación en línea el seguimiento de la actividad de los alumnos en los ambientes virtuales para educación en línea. Basada en la experiencia del uso de Blackboard en el Centro de Excelencia de la Universidad Autónoma de Tamaulipas. Describe en general el proceso de seguimiento y cuestiona los usos e interpretaciones que se pueden dar. Detalla los resultados obtenidos en el seguimiento de actividades de los estudiantes en dos cursos de la Maestría en Tecnología Educativa organizados bajo dos métodos diferentes que conducen a resultados llenos de sorpresas y de información útil para quienes están incursionando en la educación en línea o a distancia basada en páginas web. Constituye una experiencia que aporta información relevante al conocimiento del campo y que abre una extensa línea de investigación poco documentada en el mundo. Qué es el Seguimiento de la Actividad de los Alumnos? En general, dentro de los ambientes virtuales para educación en línea, es una herramienta que permite evaluar la efectividad del curso ayudando a entender cuál es el uso que hacen los estudiantes de las páginas web y medios de comunicación e interacción que componen al mismo. Permite saber cuántos accesos ha tenido cada alumno, cuánto tiempo permaneció en ellos, qué páginas acceso cada estudiante y cuando, el número de veces que en total los estudiantes han entrado al curso y en qué días y horas y qué secciones han visitado. Se puede saber también cuando correos o comunicación ha enviado cada alumno y cuantas participaciones ha tenido en los foros de discusión y salones virtuales. A detalle permite conocer la actividad de los alumnos en el curso, de ahí el nombre que le asignamos.
Cómo se hace? El seguimiento de la actividad se basa en el análisis, más o menos sofisticado, de la información que se obtiene cada vez que un usuario descarga una de las páginas Web de su sitio. La información en los encabezados del http proporciona las bases del seguimiento de la actividad. Estos muestran que hicieron y visitaron sus usuarios en su sitio Web. A medida que Usted navega por Internet haciendo clic en las ligas de las páginas o escribiendo direcciones, su navegador convierte los URL a peticiones de http y las envía a servidor correspondiente quién responde enviando las páginas de HTML respectivas entre otras cosas. Cada petición y respuesta contienen campos de información llamados headers o encabezados que son utilizados por los servidores de Internet para generar archivos de actividades que se pueden acceder por medio de algún lenguaje de programación y analizar y detallar estadísticamente. Alguna de la información que se transmite en los encabezados de los códigos HTML son Quién?: Cada petición incluye la dirección IP del usuario que la hizo. Esta información junto con la información comúnmente llamada cookies que también se transmite en cada petición, permite crear un perfil más exacto del usuario. Cuándo?: La información de los encabezados almacena la fecha y hora en que el servidor recibe cada petición. Con simples operaciones matemáticas de resta se puede saber el tiempo que un usuario estuvo en una página. Cómo?: El encabezado también identifica el producto que hizo la solicitud, distinguiendo entre navegadores y dispositivos. De dónde?: Las peticiones pueden incluir de qué página se hicieron Hacia dónde?: Los encabezados contienen la información de la página que está solicitando el usuario y por lo tanto, junto con la información anterior permite reconstruir la dirección y orden en que el usuario realizó la visita al sitio web. Qué sucedió? Los códigos http de estatus indican la forma en la que el servidor respondió a la solicitud, diferenciando el tipo de respuesta.
Combinando a través de lenguajes de programación que analicen la información descrita anteriormente que se almacena en los archivos de actividad de los sitios Web es posible realizar el seguimiento de la actividad de los estudiantes. Para qué hacerlo? La esencia del seguimiento de la Actividad de los Estudiantes es conocer como se está utilizando su sitio web educativo. Mediante el análisis de los datos de acceso usted puede saber quiénes están visitando su sitio web y qué están haciendo. De esta manera se puede ajustar el contenido y diseño para dar a sus usuarios más de lo que están buscando y puede de esta manera cambiar el contenido o disposición de las páginas y de la forma en que se distribuye el contenido de manera que pueda atenderlos mejor. Por ejemplo al rastrear las visitas al contenido, usted puede saber de qué manera está siendo visitada cada una de las páginas del mismo y determinar si los estudiantes están entrando muy poco o se están tardando demasiado en ellas, además se puede determinar qué herramientas o elementos del sistema no están siendo utilizados. Este análisis permite saber que páginas o secciones encuentran posiblemente aburridas o muy complejas a los estudiantes y cuáles les resultan más atractivas y por lo mismo tienen más accesos. Pasemos ahora a presentar y describir la experiencia de analizar la actividad de los alumnos proporcionada por Blackboard en dos cursos de la Maestría en Tecnología Educativa que se realiza a distancia en el Centro de Excelencia de la Universidad Autónoma de Tamaulipas. El Caso del Centro de Excelencia La Maestría en Tecnología Educativa se imparte a distancia desde el año 2000 con alumnos en los estados de Tamaulipas, Veracruz, Tabasco, Campeche, Colima, Guadalajara, Zacatecas y San Luis Potosí. En la presente experiencia participan un grupo de la primera generación, cuya aportación se describe en el Método de Casos y un grupo de la segunda generación cuya participación corresponde a la organización clásica.
La Organización Clásica La materia de Enseñanza y Educación en Línea, que describiremos como la organización clásica está dividida en 10 unidades, con su correspondiente portafolio de aprendizaje y tiene organizado su contenido en temas y subtemas, especifica objetivos de aprendizaje, conceptos principales, mapa conceptual, referencias bibliográficas, archivo de la unidad y actividades de aprendizaje y exámenes por cada unidad. Figura 1. Organización Clásica de la Materia Dentro de cada tema el contenido está organizado y presentado por sub-temas en carpetas y páginas diferentes cada uno, de manera que se presenta en complejidad creciente y puede ser analizado el número de accesos que tiene cada sección.
Figura 2. Organización de los temas en la forma Clásica El Método de Casos La materia de Diseño e Implementación de Proyecto con Tecnología Educativa, que describiremos como el Método de Casos está compuesta por cuatro de ellos que los estudiantes debían analizar y elaborar propuestas de solución completas que resolvieran de manera efectiva la situación descrita en el caso. Figura 3. Organización por Casos de la Materia
El Seguimiento de la Actividad Las experiencia de seguimiento de actividades que se detalla a continuación se realizó del 15 de enero al 19 de marzo de 2002 y los resultados se describen a continuación. Presentaremos las graficas en dos columnas con imágenes proporcionadas directamente por blackboard. En la parte superior aparece la información correspondiente a la organización clásica y en la inferior información del método de casos. alumno. Accesos Totales Ambas materias presentaron una elevada cantidad de accesos por parte de los Figura 4. Total de Accesos de Materia Clásica Figura 5. Total de Accesos de Materia Casos
La materia organizada de manera clásica recibió 46,456 accesos por parte de sus 42 participantes, lo que corresponde a un promedio de 1,106 accesos por alumno que en las 10 semanas de duración implican 110 por semana. La materia organizada por casos recibió 31,547 accesos por parte de sus 32 alumnos lo que corresponde a un promedio de 986 accesos por alumno que implican 98 por semana. En la gráfica se aprecia la primera gran diferencia de accesos que generó la diferencia de organización de las materias pues mientras en la primera el 73% de accesos fue al área de contenidos y el 13% al área de las herramientas de comunicación, en la segunda se invirtió el orden de importancia. El 69% acceso las áreas de comunicación y grupos y solamente el 30% fue al área de contenidos. gráficas Accesos por Horas La distribución de los accesos por horas fue como se muestra en las siguientes Figura 6. Accesos por Horas de Materia Clásica
Figura 7. Acceso por Horas de Materia Casos Puede apreciarse de las gráficas anteriores que la gran mayoría de los accesos se realizan dentro de las horas de oficina, con una notable disminución de las horas de comida y con cantidades mínimas después de la 1 de la mañana y hasta las 7 en que regresan los accesos. La concentración en la materia de Casos se acentúa alrededor de las 9 de la mañana por que en esa hora teníamos juntas virtuales que obligaban al acceso sincrónico de todos los alumnos. gráficas Acceso por Días La distribución de los accesos por días fue como se muestra en las siguientes Figura 8. Accesos por día de la Materia Clásica
Figura 9. Accesos por día de la Materia Casos En la materia Clásica el acceso se distribuyó casi uniformemente, elevado ligeramente los lunes por que la clase era los martes. Los sábados el acceso era considerable y el domingo menos. En la materia Casos el acceso se elevaba el miércoles en que teníamos sesión sincrónica en el salón virtual y continuaba elevado el siguiente día en que aparentemente los alumnos trabajaban más intensamente. La sección de estadísticas del curso permite realizar seguimiento de las actividades de los alumnos en general en las cinco principales áreas en que se divide la organización del curso. En la sección anterior se presentaron y compararon las gráficas correspondientes al Resumen General del Uso del Curso. Se dispone también de reportes de información en : Áreas del Contenido principal Áreas de Comunicación Áreas de los Grupos Áreas de los Estudiantes Se pueden obtener mucha mayor información que la presentada en esta ponencia que se redujo por cuestiones de espacio. Se puede saber qué alumno es el que tiene mayor numero de accesos y a qué páginas visitan etc. Las combinaciones son inagotables.
Análisis de Accesos a Páginas Para continuar con nuestro seguimiento de la actividad de los estudiantes en los cursos estudiamos de manera transversal en el tiempo el comportamiento de acceso de los estudiantes a las diversas secciones del curso Clásico y lo presentamos para su análisis. Ya sabíamos que la sección de contenidos era la más visitada en ese cursos y ahora queríamos conocer qué páginas estaban visitando de todo el contenido del curso. Teníamos la duda si entraban a conocer los objetivos de aprendizaje de cada unidad, sus conceptos principales, el mapa conceptual o que secciones visitaban.para esto realizamos seguimiento de cada una de las páginas de las secciones, ya que el sistema lo permite y la información que obtuvimos se presente resumida por semanas en la siguiente tabla Aprendizaje y Enseñanza en Línea Objetivo 1 2 3 4 5 6 7 8 9 Total 118 49 30 17 27 11 7 7 5 271 Contenido 247 99 66 30 48 34 36 28 18 604 Conceptos principales Referencias bibliográficas 60 50 42 26 38 24 21 16 17 9 5 3 6 4 4 4 2 4 195 140 Archivo de la unidad Portafolio de la unidad 11 81 86 73 68 64 76 63 82 604 Actividad 1 Actividad 2 Examen 288 288 291 291 302 285 312 207 366 265 298 231 346 267 276 286 316 298 2,795 2,418 288 291 268 273 308 316 304 319 265 2,632 Total 1,350 1,170 1,119 949 1,108 962 1,046 987 990 9,661 Tabla 1. Acceso a Páginas del Curso Clásico Analizaremos a detalle la información contenida en la Tabla 1 para destacar aspectos importantes sobre el aparente comportamiento de los estudiantes. 1. La primera semana recibe el mayor número de accesos de todas las semanas con 1,350.
2. En la primera semana se visitan todas las secciones que componen la unidad y la sección de archivo de la unidad, en que se encontraba un archivo en Word con el contenido de toda la unidad que los alumnos podía descargar e imprimir, recibe pocas visitas. Se visita el contenido, objetivos, conceptos principales y referencias bibliográficas. 3. La actividad en el portafolio de aprendizaje es más elevada que en las demás secciones, ya que contenía actividades y exámenes que contaban para la calificación. 4. En la segunda semana disminuyen los accesos al objetivo de aprendizaje, contenido, concepto principales, referencias bibliográficas y aumenta los accesos al archivo de la unidad. 5. En la segunda semana se mantienen elevados los accesos al portafolio de aprendizaje de la unidad 6. En la tercera semana continúa disminuyendo el acceso a todas las secciones de la unidad, excepción del archivo de la unidad. 7. En la tercera semana y subsecuentes se mantiene elevado el acceso a las actividades y examen del portafolio de actividades que contaban para la calificación. 8. En las siguientes semanas solamente se conserva el acceso al archivo de la unidad y disminuye el acceso a cualquier otra sección La tabla anterior muestra un comportamiento muy especial de los alumnos que deberá ser corroborado por otras investigaciones y que nosotros resumiremos en las conclusiones los rasgos más destacados La Interpretación de los datos La información analítica que proporciona la herramienta de seguimiento de la actividad de los alumnos debe ser complementada para su análisis de otras fuentes adicionales de información como cuestionarios o preguntas y entrevistas a los alumos ya que se corre el riego de malinterpretar la información.
Cuál es el uso que debe darse? Para no caer en discusiones sobre la privacidad o vigilancia permitida o no en Internet o debatir sobre los derechos de los estudiantes de acceder las secciones que deseen a la hora o desde el lugar que deseen, proponemos que sea cuál sea el uso que se haga del seguimiento de la actividad de los alumnos este cumpla con los siguiente criterios: Se especifique a los alumnos desde el principio cuáles actividades serán rastreadas y con qué propósito. Que se haga explícito si va a tener impacto sobre las calificaciones o solamente para reforzar y motivar a los estudiantes. Permitir a los estudiantes y a otros maestros el derecho de ver sus registros de seguimiento de actividad. Determinar el tiempo que se mantendrán estos registros para efectos de estudios e investigaciones y permitir a terceras partes interesadas en realizar investigaciones el acceso a los datos. Conclusiones Una de las primeras conclusiones que destacan al iniciar el tema es que existen muy pocos antecedentes publicados sobre investigaciones realizadas al respecto o sobre consideraciones teóricas sobre el mismo. Creemos que se abre un vasto campo de investigación que puede aportar información muy valiosa que ayude a mejorar el diseño, contenido y funcionalidad de los sitios en Internet educativos, si investigamos e interpretamos adecuadamente sobre el uso que los estudiantes hacen de ellos. De la experiencia del Centro de Excelencia podemos afirmar que la forma de organización de las materias condiciona de manera directa las áreas que tendrán mayor acceso dentro de las páginas o secciones de cada materia. En base a la información presentada en las figuras 6 y 7 podemos afirmar, que en el caso que nos ocupa, no es cierto que los estudiantes accesaron a cualquier hora. La gran mayoría de los accesos se realizaron durante las horas de oficina. En las horas de comida disminuyó considerablemente el acceso. En horas de madrugada no hubo accesos.
El día previo, el de la clase y el siguiente fueron los que más accesos tuvieron. El domingo disminuyó considerablemente el acceso. La tabla 1 presenta información que requiere corroboración con otros medios pero que nos permite afirmar que solamente por la novedad los alumnos entraron a todas las secciones de la clase y después prefirieron descargar el archivo de la unidad y leerlo en su computadora o imprimirlo y leerlo en el papel. En las últimas semanas casi desapareció el acceso a las páginas que presentaban todo el contenido y se concentró en descargar el archivo de la unidad. Las actividades que eran tomadas en cuenta para la calificación de la materia mantuvieron un alto grado de participación y como fueron colocadas en una sección aparte del contenido de las unidades, solamente a estas secciones entraban los estudiantes. Son muchas las interpretaciones e implicaciones que los datos aportados por esta investigación pudieran tener para el diseño e implementación de sitios Web educativos por lo que será relevante en el futuro próximo continuar investigando el respecto del Seguimiento de la Actividad de los Estudiantes en Internet. Referencias Land, Ray, (2000). Screen or Monitor? Surveillance and disciplinary power in online learning environments. En línea en Bowers, C. A. (1988). The Cultural Dimensions of Educational Computing: Understanding the Non-Neutrality of Technology. New York, Teachers College Press. Clarke, R. (1991) 'Information Technology and Dataveillance'. Controversies in Computing, C. Dunlop and R. Kling (Eds.), New York, Academic Press.
Goldberg, M. (2000). 'Message from Murray: Student Activity Tracking'. OTL Newsletter. En línea en: http://webct.com/service/viewcontentframe?contentid=2339320 Oracle (1999) Tracking Web Activity. En línea en: http://technet.oracle.com/products/oracle8i/htdocs/ats/atsover.html WebCt. (2000). Activity Tracking in WebCT. En línea en: http://www.umdnj.edu/webctweb/basics/atrack.html Lyon, David. (1996). Computers, Surveillance, and Privacy En línea en: http://hallinternet.com/wired_culture/736.shtml Lyon, David. (1994). From Big Brother to Electronic Panopticon. University of Minnesota Press. En linea en http://www.rochester.edu/college/fs/publications/lyon.html