Tecnologías de búsqueda aplicadas a plataformas de enseñanza: Mejorando la experiencia educativa

Transcripción

1 Tecnologías de búsqueda aplicadas a plataformas de enseñanza: Mejorando la experiencia educativa Sergio Martín, Rosario Gil UNED (Spanish University for Distance Education) Juan del Rosal , Madrid. Spain {smartin, rgil}@ieec.uned.es Antonio Colmenar, Manuel Castro UNED (Spanish University for Distance Education) Juan del Rosal , Madrid. Spain {acolmenar,mcastro}@ieec.uned.es Juan Peire UNED (Spanish University for Distance Education) Juan del Rosal , Madrid. Spain jpeire@ieec.uned.es RESUMEN La llegada de las nuevas tecnologías a las universidades da lugar a nuevas situaciones y problemas que deben ser resueltos con el objeto de mejorar la atención, el apoyo y la tutorización dada a los estudiantes. La comunicación entre docentes y estudiantes provoca en muchos casos una excesiva carga de trabajo para los profesores. Esta carga de trabajo es aun mayor en el caso de la UNED (Universidad Nacional de Educación a Distancia), donde normalmente dicha comunicación es mediante medios telemáticos, como correo electrónico o teléfono. El principal objetivo de este artículo es describir un sistema diseñado para mejorar la información ofrecida a los alumnos y optimizar la relación entre alumnos y docentes mediante un uso más eficiente del conocimiento disponible en cada organización. Como resultado, para alcanzar esta meta, se ha desarrollado un gestor inteligente capaz de contestar las preguntas de los alumnos automáticamente. El sistema utilizará la información y el conocimiento ya disponible en las plataformas educativas que utilice la organización, como dotlrn o Moodle. Además también accederá a la información indexada en buscadores o repositorios de datos como Wikipedia. Categories and Subject Descriptors K.3.1 [Computer Uses in Education]: Distance learning. General Terms Algorithms, Documentation, Design. Keywords Answering machine, e-learning platform, interoperability, search engine. 1. INTRODUCCIÓN Las dificultades que conlleva mantener el flujo de comunicación interpersonal entre alumnos y profesores hacen imposible, en algunos casos, conseguir un apropiado nivel de monitorización de las actividades de los estudiantes [1]. En algunas universidades, los estudiantes disponen de demasiados métodos para comunicarse con los docentes: teléfono, , plataformas de tele-enseñanza, etc. Por otro lado, las universidades no suelen tener toda su información centralizada en un único sitio sino que suele estar distribuida en distintas plataformas y soportes. Por esa razón, cuando un estudiante tiene una duda tiene que buscar en demasiados sitios para encontrar respuestas: Sitios web de la Universidad, de Escuela o Facultad, del Departamento, del Profesor, en las plataformas educativas, etc. Como consecuencia, UNED ha desarrollado muchos proyectos orientados a resolver este problema. Como PedCare [2], donde una nueva metodología basada en CRM (Customer Relationship Management), y llamada LRM [3] (Learning Relationship Management) fue creada para optimizar el tratamiento del flujo de la información y los procesos de comunicación entre estudiantes y profesores [4]. 2. OBJETIVOS PRINCIPALES El objetivo principal del sistema que se describe en el presente artículo es mejorar las relaciones entre estudiantes y docentes, o en otros entornos, entre clientes y empresas, mediante el uso más eficiente del conocimiento almacenado en las nuevas plataformas educativas [5]. En este sentido, UNED tiene un grave problema de dispersión de la información. Actualmente, se están utilizando dos y en algunos casos hasta tres (dotlrn, WebCT y Moodle) plataformas educativas. Cada una de las cuales contiene información acerca de cursos, documentación técnica, información administrativa, etc. Nuestra organización también tiene información disponible en el sitio Web oficial de la Universidad y en los sitios Web de cada facultad y departamento. Cuando un estudiante necesita saber algo acerca de un curso, o cuando un empleado busca algún dato concreto, normalmente es necesario mucho tiempo perdido en la búsqueda de la información, ya que es como buscar una aguja en un pajar. Por otro lado, los estudiantes tienen muchas maneras para comunicarse con los profesores. Generalmente utilizan teléfono o correo electrónico, aunque actualmente también han incorporado plataformas de tele-educación como dotlrn o WebCT, con el consiguiente problema de dispersión de la información. Finalmente, los profesores pueden recibir preguntas de los estudiantes en varias bandejas de entrada, como la de su correo electrónico, en foros, o en las cuentas de correo internas de las plataformas educativas.

2 Por esa razón, la UNED está trabajando en una solución, tanto desde el punto de visto pedagógico y tecnológico: el desarrollo de un sistema capaz de responder automáticamente las preguntas realizadas por los alumnos [6]. Para esta compleja tarea será utilizada la información ya disponible en todas esas fuentes de conocimiento: sitios Web, plataformas educativas, bases de datos, etc. 3. TECNOLOGÍAS INVOLUCRADAS EN LA SOLUCIÓN Este reto ha sido afrontado ya por varios sistemas. Por esa razón, UNED utilizará estas experiencias para saber qué camino elegir para diseñar nuestra propia solución. Por ejemplo, una importante fuente de conocimiento en Internet es Wikipedia, donde todo tipo de usuarios pueden buscar todo tipo de información. Si buscamos algo más cercano a un contestador automático, encontraremos el Knowledge Base de la Universidad de Indiana en Estados Unidos o lenguajes basados en inteligencia artificial como AIML. Todas estas metodologías serán parte de la solución final, ayudando en el diseño del nuevo sistema. 3.1 Buscando respuestas en Wikipedia Wikipedia contiene una enorme cantidad de información. Aquí la gente puede encontrar respuestas a muchas preguntas utilizando su buscador interno [7] o un motor de búsqueda como Google. El problema es que no es apropiado para albergar la información de las organizaciones, como por ejemplo horarios de profesores en universidades o información de productos en empresas privadas. De tal manera que parece necesario buscar soluciones que permitan añadir nuevo contenido de una manera sencilla. Además, Wikipedia no es capaz de dar respuestas a preguntas en lenguaje natural. Es decir, si alguien busca Mahatma Gandhi, Wikipedia devolverá una respuesta correcta, pero si la pregunta fuera quien es Mahatma Gandhi, los resultados no son tan positivos. La razón es que Wikipedia busca cada término en su repositorio de información, creando una lista de resultados con mucho ruido. Nuestra solución debe ser capaz de aceptar lenguaje natural, ya que deberá atender las preguntas que los estudiantes realizan a los profesores. 3.2 Un lenguaje para inteligencia artificial: AIML El Lenguaje de Marcas para Inteligencia Artificial (AIML) [8] es un derivado del XML (extensible Markup Language). Su objetivo es crear herramientas que permitan mantener conversaciones con humanos sobre determinados temas, generalmente a través de la Web [9]. Este lenguaje describe en un fichero XML el conocimiento que la herramienta utilizará para mantener conversaciones con humanos. Para lograr seguir el hilo de una conversación, este sistema utiliza un método basado en reconocimiento de patrones, de tal manera que se analiza lo dicho por el usuario, comparándolo con la base de datos de patrones disponible en el repositorio de conocimiento. Antes de poder operar con el sistema es necesario crear un fichero AIML con todas las reglas involucradas en las conversaciones o usadas para contestar preguntas. Para construir este fichero AIML, en primer lugar, deben ser definidas todas y cada de las posibles preguntas que se pueden esperar. Describiendo de esta manera como hacer el reconocimiento de patrones basándose en predicados Como puede ser observado en el siguiente ejemplo (Figura 1), la plantilla es aplicada si la pregunta encaja con el patrón definido. La primera categoría simplemente contesta la entrada "what is your name" con una frase con el nombre del sistema. La segunda categoría, sin embargo, quiere decir que la entrada "what are you called" debe ser redireccionada a la categoría que encaja con la entrada "what is your name", es decir, que las dos preguntas son equivalentes y obtienen una misma respuesta [10]. Figura 1. Un fichero AIML mostrando los patrones y las plantillas. Este tipo de tecnología es utilizada. para crear sistemas de conversación acerca de distintos temas, pero es necesario definir, una a una, cada regla, especificando el patrón a reconocer y la plantilla a aplicar. Por esta razón es difícil de mantener, ya que un fichero AIML de texto plano con varios miles de entradas es imposible de gestionar. 3.3 Indiana University Knowledge Base: Un gestor de contenido hecho a medida Knowledge Base (KB) es una colección on-line de respuestas cortas a preguntas sobre distintos campos relacionados con tecnología, especialmente aquellas relevantes para los estudiantes, la facultad o el personal. Este repositorio de información es creado y gestionado por un equipo dedicado a esta tarea [11]. Dicha base de conocimiento (Knowledge Base) está formada por más de 12,500 ficheros (conocidos como documentos KB), la mayoría compuestos por una pregunta y una respuesta, formateado con el Lenguaje de Marcas Knowledge Base (KBML), que es un lenguaje de marcas propietario que es un subconjunto de SGML. Miles de documentos KB han sido escritos por teléfono o correo electrónico. Y muchas de las preguntas han sido originadas por preguntas reales hechas a algún miembro de la comunidad. Precisamente es este equipo de administradores quien revisa el contenido a medida que las tecnologías cambian y nuevas conceptos aparecen.

3 Pero, cómo encuentra respuestas a preguntas Knowledge Base? Básicamente con un motor de búsqueda que busca en el repositorio de documentos KBML. Esta solución es muy práctica, ya que indexar los nuevos contenidos es muy fácil, el buscador lo hace por ti [12] (Figura 2). Figura 2. Indiana University Knowledge Base. En este caso, no es necesario crear. reglas de inferencia asociando cada pregunta con su repuesta. El motor de búsqueda hará reconocimiento de patrones automáticamente y devolverá una lista de resultados con los documentos que mejor responden a la pregunta. Sin embargo, este sistema también tiene diversas limitaciones, especialmente relacionadas con la escalabilidad y la necesidad de un equipo dedicado al mantenimiento del contenido. El uso de estructuras con la pregunta y respuesta juntas en un mismo documento con formato XML habilita los procesos de búsqueda, pero en realidad esta no es la manera natural en la que los contenidos están organizados. La información de las organizaciones no aparece en documentos cortos con la pregunta y la respuesta, sino en largos documentos con mucha información. Por otro lado, el manejo y mantenimiento de miles de documentos es una ardua tarea que puede volverse imposible según el número de documentos aumenta. 4. UNIENDO SOLUCIONES: BUSCADORES ACCEDIENDO A LA INFORMACIÓN DISPONIBLE EN OTROS SISTEMAS Gracias a las conclusiones obtenidas de estos sistemas (Wikipedia, AIML, Knowledge Base) sabemos que si estamos buscando un sistema capaz de contestar preguntas, necesitaremos un enorme repositorio que contenga cientos o miles de respuestas y que sea fácil de mantener. En otras palabras, un sistema distribuido hecho de repositorios de conocimiento con la particularidad de contener información en distintos formatos. Por ejemplo, una organización suele tener mucha información disponible en páginas Web, plataformas internas o documentos Word o PDF. En este sentido, nuestro sistema deberá ser capaz de contestar preguntas utilizando la información ya disponible en cada organización, asegurando facilidad de gestión, ya que serán los propios empleados quienes serán los responsables de mantener cada documento. La mejor manera de alcanzar esta meta es utilizar un motor de búsqueda hecho a medida que accederá a la información almacenada en otras plataformas [13], por ejemplo en Wikipedia, en la knowledge base de la Universidad de Indiana o los contenidos de plataformas educativas [14]. Gracias a esta metodología, será posible utilizar docenas o incluso más fuentes de conocimiento heterogéneas, lo cual dota a la herramienta de una gran versatilidad y potencia [15]. Una de las razones es porque se podrían utilizar distintos idiomas (Español, Inglés, Portugués, Alemán, etc.) sin necesidad de reprogramar nada. En este sentido, el motor de búsqueda ofrecerá instantáneas y actualizadas respuestas en cualquier idioma utilizando el contenido de las plataformas de cada organización [16]. Pero la pregunta es: cómo obtener información de fuentes de conocimiento heterogéneas? La respuesta está muy cercana al concepto de meta buscador. En primer lugar, es necesario construir un motor de búsqueda en cada fuente de conocimiento, o si ya tiene una de calidad hacer uso de ella [17]. Una vez que la fuente de conocimiento es indexada por un motor de búsqueda debemos obtener la información generada y filtrarla para obtener sólo la respuesta a nuestra pregunta. Si es posible, debemos finalmente compararla con la información proveniente de otras fuentes para asegurar el mejor resultado. 5. ARQUITECTURA Para alcanzar estos objetivos parece necesario crear un sistema intermedio entre los motores de búsqueda. Este software sabrá donde buscar una respuesta, cómo filtrarla y cómo compararla con las respuestas de otras fuentes. Los motores de búsqueda pueden ser creados utilizando cualquier tecnología, ya que este sistema intermedio será capaz de obtener resultados de cada una de las fuentes. Sin embargo, después de un período de investigación, la solución elegida es una tecnología de motores de búsqueda Lucene [18]. Lucene es una librería para búsqueda de información libre y originalmente implementada en Java. Aunque adecuada para cualquier aplicación que requiera indexación de texto y capacidad búsqueda, Lucene ha sido reconocida por su utilidad en la implementación de motores de búsqueda tanto para pequeños sitios Web como para Internet. El diseño de la arquitectura es muy abierto y modular, permitiendo un alto nivel de reusabilidad. Como se puede observar en la figura 3, existen varias capas que intervienen el sistema, en primer lugar están los métodos de comunicación con el profesor (Nivel 1), en segundo lugar están los repositorios de información donde se encuentra el conocimiento que será utilizado para responder las preguntas (Nivel 3), y finalmente hay una capa intermedia (Nivel 2: IAM) que posee toda la lógica de negocio del sistema. Esta capa ha sido diseñado utilizando dos capas intermedias o middlewares, proporcionando compatibilidad por un lado entre los métodos para enviar y recibir mensajes: estándares de comunicación por correo electrónico como POP3 y SMTP, bases de datos de plataformas educativas como dotlrn o Moodle, etc.

4 Y por otro lado, entre los métodos para acceder al contenido almacenado en los repositorios de información: HTTP1.1 para acceder a la información a través de sitios Web como Google o Wikipedia, bases de datos de plataformas educativas como dotlrn o Moodle, etc. determinado, la respuesta es enviada al usuario utilizando el mismo método que empleó para preguntar (Figura 5). Respuesta a la pregunta: quisiera saber cual es el horario de tutorías de la asignatura Electrónica II Juan Peire Arroba es el profesor de la asignatura Electrónica II, su horario de tutorías es los lunes de 11:00 a 13:00. El teléfono de contacto es Figura 5. Ejemplo de respuesta a la pregunta del alumno.. Gracias a esta arquitectura, el sistema admitirá distintos métodos de comunicación. Es decir, el usuario tendrá libertad para decidir que método utilizar para preguntar una pregunta al profesor: correo electrónico, un mensaje en un foro, etcétera. Figura 3. Arquitectura lógica del sistema. Consecuentemente, para añadir nuevos métodos de entrada/salida o fuentes de conocimiento al. sistema, únicamente deberá ser desarrollado el middleware que interactúa con ellos, a modo de pequeño driver que sabe como interactuar con ambos lados. El funcionamiento de dicha capa consiste en comprobar periódicamente si hay nuevos mensajes enviados a un profesor, si es así, se obtiene el mensaje, independientemente de la plataforma a la que se haya enviado (correo electrónico, plataforma de teleeducación, etc.). En la figura 4 se muestra un ejemplo de un correo electrónico enviado por un alumno. 6. PROCESO DE MEJORA CONTINUO GRACIAS A LA REALIMENTACIÓN Como resultado del desarrollo del prototipo, un estudiante podría, por ejemplo, preguntar algo a un profesor o tutor por correo electrónico o mediante alguna plataforma educativa. La herramienta desarrollada recogería la pregunta del buzón de entrada y encontraría la fuente de conocimiento más apropiada para responderla. En ocasiones, esta fuente podría ser una base de datos, un motor de búsqueda, una plataforma educativa o cualquier otro tipo de repositorio de información, como por ejemplo una página Web como Wikipedia. Finalmente, la herramienta obtendrá la respuesta y se la reenviará al estudiante según el método que el usuario ha utilizado para preguntar. Además, el sistema proporciona un método para mejorar el proceso de monitorización de las actividades de los estudiantes, gracias a un sistema de feedback que permite recoger información acerca de la calidad de las respuestas dadas a los estudiantes por medio de una encuesta. Cada pregunta enviada a un profesor es almacenada en una base de datos con la valoración dada por los estudiantes y por el profesor (Figura 6). Ambas valoraciones proporcionan información de gran utilidad para mejorar o modificar las fuentes de información. Por ejemplo, si un profesor se da cuenta de que la valoración de un curso es mala podrá cambiar la fuente de conocimiento o mejorar la forma en que la información es recogida. Figura 4. Ejemplo de correo electrónico de un alumno. Una vez obtenido el mensaje se procesa para obtener la información más relevante y se decide en que repositorio de información buscar la respuesta.. Una vez obtenida la respuesta, si el porcentaje estimado de acierto sobrepasa un umbral

5 Figura 6. Resumen de valoraciones. Desde un punto de visto de negocio, este tipo de sistemas ofrecen servicios de valor añadido a las existentes. plataformas educativas. Y debido a la independencia y desacoplamiento de las herramientas con respecto a las tecnologías empleadas, se asegura un gran potencial de cara al mercado. Esta metodología puede ser ofrecida a clientes interesados en mejorar o revitalizar sus procesos actuales de aprendizaje. Aunque el prototipo está aun en período de desarrollo, ya está siendo utilizado en varios entornos, especialmente ofreciendo información de tipo administrativo. En primer lugar, se puso disponible con información relativa al departamento de Ingeniería Eléctrica, Electrónica y de Control, contestando preguntas acerca de las asignaturas, como por ejemplo asuntos referentes a prácticas, exámenes, horarios de atención y modos de contacto con cada profesor. Así mismo también se daba respuesta a preguntas sencillas relativas al departamento, como información acerca del director del departamento, secretaría, etc. Las valoraciones obtenidas de dicho servicio fueron en general positivas siempre que las preguntas eran de tipo administrativo, cuando algún usuario realizaba preguntas más técnicas el sistema no era capaz de responderlas. Así mismo, el prototipo también ha sido implantado en la Web oficial de la Facultad de Psicología donde ha estado disponible durante un período de un año, obteniendo igualmente valoraciones bastantes positivas en preguntas de tipo administrativo relacionadas con profesores o asignaturas. 7. ESTADO DEL PROYECTO En cuanto al estado del proyecto, como se ha comentado anteriormente el sistema está aun en fase de desarrollo, siguiendo un ciclo de vida basado en la construcción de prototipos. El primer prototipo únicamente respondía preguntas en una página Web, obteniendo la información de un buscador interno. El segundo prototipo también permitía el uso del correo electrónico tanto para obtener las preguntas como las respuestas. El tercer prototipo ya incorpora el middleware adecuado para obtener tanto preguntas como respuestas de una plataforma educativa como dotlrn. Posteriormente, en el cuarto prototipo se ha desarrollado además la capacidad para buscar información en cualquier sitio Web, y en herramientas tipo Wiki, como Wikipedia. Actualmente se está trabajando en el desarrollo del quinto prototipo que dará también la posibilidad de trabajar con la plataforma educativa Moodle. 8. CONCLUSIONES Este artículo describe la investigación llevada a cabo para diseñar y desarrollar un sistema capaz de contestar preguntas automáticamente. Para esta tarea, la solución es una capa intermedia o middleware que hará uso de la información ya disponible en distintas plataformas por medio de motores de búsqueda creados a medida. Estos motores de búsqueda serán capaces de inferir cuál es el mejor lugar para buscar respuestas a cada pregunta, filtrar los resultados y compararlos con los obtenidos de otras fuentes. En este sentido, el sistema asegura en primer lugar la integración con distintas fuentes de conocimiento, independientemente de la tecnología empleada: plataformas educativas, buscadores de contenido, bases de datos, etc. En segundo lugar, la independencia de los métodos de comunicación empleados por el usuario: correo electrónico, plataformas educativas, etc. Finalmente, también asegura una mejora en el proceso de monitorización de las actividades de los estudiantes, gracias a un sistema de valoración de respuestas que ofrece información acerca de la calidad que en opinión de estudiantes y profesores tienen cada una de las fuentes de conocimiento empleadas para contestar las preguntas. Así mismo, es importante remarcar, que no importa cuan bueno, complejo o última generación es la tecnología empleada en el sistema, el elemento más importante en un sistema de preguntarespuesta es la calidad de la información empleada y la forma de recuperarla. 9. AGRADECIMIENTOS Los autores quieren agradecer al Ministerio de Ciencia y Educación de España y al Plan Nacional Español de I+D+I el apoyo en el proyecto TSI C07-03 "MOSAICLearning: Aprendizaje móvil y electrónico, de código abierto, basado en estándares, seguro, contextual, personalizado y colaborativo". 10. REFERENCIAS [1] S. Martin et al Experiencias e introducción de dispositivos móviles en la Enseñanza a Distancia, Simposio sobre computación ubicua e inteligencia artificial ambiental, [2] I. Rivilla et al Development and Implementation of a Collaborative Environment for Education, eadoption and the Knowledge Economy, Issues, Applications, Case Studies/ IOS Press, [3] M. Arjona et al, Knowledge for Management Methodologies for a Global Distributed Organization, 6th International ITF Workshop & Business Conference, [4] M. Rosic et al, Intelligent tutoring interoperability for the new Web, Electrotechnical Conference, MELECON Proceedings of the 12th IEEE Mediterranean, Vol 2, 2004, pp [5] L. Kecheng et al, Interoperability for digital learning resource management, ICALT Fifth IEEE International Conference on Advanced Learning Technologies, pp , [6] P. Arapi et al, ASIDE: An Architecture for Supporting Interoperability between Digital Libraries and ELearning

6 Applications, Advanced Learning Technologies, Sixth International Conference on Advanced Learning Technologies, 2006, pp [7] Wikipedia. On-line. Query on April [8] Artificial Intelligence Markup Language (AIML) Version On-line. Query on April [9] AIML in Wikipedia. On-line. Query on April [10] AIML Documentation. On-line. Query on April [11] Indiana University Knowledge Source Web Site. On-line: Query on April [12] Indiana University Knowledge Source, How does the Knowledge Base work? On-line. Query on April [13] Cafarella, M., Etzioni, O., A search engine for natural language applications, Proceedings of the 14th international conference on World Wide Web. ACM Press. [14] Lossau, N., Search Engine Technology and Digital Libraries, D-Lib Magazine, Volume 10 Number 6, June [15] Rocha, C., Schwabe, D., Poggi, M., A hybrid approach for searching in the semantic web, Proceedings of the 13th international conference on World Wide Web ACM Press. [16] Aleman-Meza, B., Halaschek, C., Arpinar, I., and Sheth, A. Context-Aware Semantic Association Ranking, Proceedings of SWDB'03, 2003, pp [17] Deniman D., Sumner T., Merging Metadata and Content- Based Retrieval, Journal of Digital Information, Volume 4 Issue 3, 2003, Article No [18] Hatcher, E., Gospodnetic, O., "Lucene in Action", Manning.