Índice genérico de reusabilidad para objetos de aprendizaje basado en la información de metadatos

Transcripción

1 Índice genérico de reusabilidad para objetos de aprendizaje basado en la información de metadatos María Gertrudis López 1, Francisco José Monesma 1, Berta Elena García 2, Salvador Sánchez-Alonso 1 1 Information Engineering Research Unit Universidad de Alcalá lopezgertrudis@gmail.com, monesma@gmail.com, salvador.sanchez@uah.es 2 Departamento de Informática - Universidad Nacional de San Luis Ejercito de los Andes (5700) San Luis bgarcia@unsl.edu.ar Resumen. En este trabajo se propone un índice de reusabilidad genérico de Objetos de Aprendizaje basado en elementos del estándar de metadatos IEEE LOM. Este índice busca medir la reusabilidad potencial de los objetos de aprendizaje tomando como base tanto la cantidad de metadatos del objeto como los valores de los elementos de metadatos que sirven para determinar su potencialidad genérica de reutilización. Los valores del índice, que van de 0 a 100 puntos, se distribuyen en cuatro franjas que indican la reutilización potencial de un objeto de aprendizaje, a saber: no recomendable, completamente manual, automático supervisado, automático autónomo. El índice fue probado y ajustado usando 50 objetos de aprendizaje tomados del repositorio público MERLOT. Palabras clave: Objetos de aprendizaje, metadatos, IEEE LOM, reusabilidad, repositorios, MERLOT. 1 Introducción Las definiciones más aceptadas en la comunidad científica del término objeto de aprendizaje (OA) [1], [2], [3], [4], [5], apuntan como una de las características intrínsecas fundamentales de los OA su reusabilidad. Según [6], esta característica puede ser una medida de calidad de los OAs a priori. Sin embargo, el que un OA sea reutilizable en distintos contextos de aprendizaje requiere de un diseño cuidadoso tanto de sus contenidos como de sus metadatos asociados, de forma tal que sean lo suficientemente consistentes y completos como para permitir procesos de búsqueda y selección tanto manuales como automatizados [7]. Ahora bien, el concepto de reusabilidad es difícil de medir. En una de nuestras investigaciones previas [8] se propuso una escala de medición de la reusabilidad de OAs basada en los siguientes factores: metadatos, independencia de la presentación y contenido, granularidad, interacción persona OA, generalidad del lenguaje y elementos de la interfaz, organización de los contenidos, y uniformidad de la

2 presentación. La aplicación de esta escala a un conjunto de OAs almacenados en repositorios de libre acceso indicó que la medición de algunos de los factores considerados era muy subjetiva, además de la necesidad de expertos en tres áreas principales: el área de conocimiento del OA, el área pedagógica y de diseño instruccional y el área técnica de elaboración de contenidos digitales. Considerando que los metadatos son un elemento imprescindible para que un recurso digital de aprendizaje sea un OA, se ha estudiado cómo los metadatos basados en el estándar IEEE LOM [9] pueden determinar muchos de los factores que indican la reusabilidad de un OA. En este artículo se plantea un modo de buscar en los metadatos LOM aquellos elementos que permitan deducir esta información de una manera más sencilla y objetiva, con el objetivo final de facilitar la evaluación semiautomática de la calidad de un OA a partir de sus metadatos. Para ello, se presenta un índice genérico de reusabilidad de OA basado en los metadatos IEEE LOM, ajustado a partir de un estudio realizado sobre 50 OAs almacenados en el repositorio de libre acceso MERLOT. El resto del artículo se organiza del siguiente modo. La sección 2 presenta el concepto de OA base de este artículo y la reutilización y los metadatos como una característica fundamental de los OAs. La sección 3 presenta la definición del índice genérico de reusabilidad a nivel de sus elementos principales y sus ponderaciones correspondientes. La sección 4 describe los elementos del estándar IEEE LOM que fueron tomados en cuenta para definir el índice de reusabilidad y finalmente, se plantean las conclusiones del estudio y se exponen las líneas de trabajo futuras. 2 Objetos de aprendizaje, reutilización y metadatos El concepto de Objeto de Aprendizaje (OA) es controvertido, ya que muchas de las definiciones del término son incluso incompatibles entre sí. Utilizando como apoyo definiciones populares del término OA tales como las de Mills [10], Polsani [5], Wiley [4], Longmire [11] y LOM [9], pero añadiendo características distintivas específicas, la definición de OA que se propone y se maneja en este trabajo es la siguiente: una unidad didáctica en formato digital, independiente, autocontenida, perdurable y predispuesta para su reutilización en varios contextos educativos por la inclusión de información autodescriptiva en forma de metadatos. Considerando este concepto de OA como la base de un paradigma específicamente organizado en torno a él, y cuya razón principal de ser es la reutilización de OAs en diferentes contextos educativos, resulta útil determinar hasta qué punto un OA es reutilizable. Será necesario para ello evitar la percepción subjetiva del experto, a menudo sesgada por factores como su propia experiencia y formación, y costosa en términos de tiempo y aplicación a diferentes contextos. En este trabajo haremos uso, por el contrario, de métodos objetivos, cuantificables y aplicables a todas las conceptualizaciones del término OA. Dado que la reusabilidad de un OA es una de sus características fundamentales y que dicha reusabilidad está basada en buena medida en la disponibilidad y calidad de sus metadatos, la motivación principal del presente esfuerzo parte del deseo de utilizar los metadatos para la construcción de tecnología orientada a mejorar los procesos de

3 búsqueda y reutilización de recursos para el aprendizaje. Como un aporte a esta idea, se propone el cálculo de un índice de reusabilidad de OAs basado en la información que proveen sus metadatos. Dicho índice permitirá medir la potencialidad de reutilización del OA en el ámbito de procesos de enseñanza y aprendizaje basados en e-learning, lo cual puede servir de guía a los diseñadores instruccionales a la hora de evaluar la factibilidad de incorporar y reutilizar OAs en los ambientes de enseñanza y aprendizaje que estén diseñando. 3 Definición del índice genérico de reusabilidad La utilización de un esquema de metadatos basado en un estándar internacional reconocido como IEEE LOM [9] por parte de los autores de OAs tiene como propósito fundamental facilitar la búsqueda, evaluación, adquisición y uso de OAs por parte de alumnos, instructores o sistemas automatizados, así como el intercambio de los mismos y su uso compartido. A continuación se describen los factores y elementos de IEEE LOM considerados en el índice de medición de reusabilidad de OAs y la manera de aplicarla para medir y ponderar la potencialidad de reuso de un OA. IEEE LOM establece un esquema de datos conceptual que define la estructura de un registro de metadatos donde la información se proporciona agrupada en categorías. Cada una de las 9 categorías que define (general, ciclo de vida, metametadatos, educativas, técnicas, derechos, relación, anotación y clasificación) proporciona información valiosa, si bien no todas ellas aportan información que pueda ser considerada interesante desde el punto de vista de la reutilización. El índice genérico de reusabilidad basado en los metadatos del OA que presentamos a continuación pretende a medir tanto la compleción del registro de metadatos de un OA, como aquellos elementos y categorías de metadatos que se consideran claves para indicar el nivel potencial de reutilización del OA. Así, el índice está compuesto de dos grandes factores, la CompleciónLOM que corresponde a la compleción del registro de metadatos según el estándar IEEE LOM (medido como el porcentaje de campos de metadatos llenos), y el PotencialDeReutilización que se corresponde con los valores de los campos de las distintas categorías de metadatos del estándar LOM que indican potencialidad de reutilización del OA: Compleción = Elementos_rellenos / Total_Elementos PotencialReuso = SUMA (Puntuación Elementos LOM) / 60 De la ponderación de factores con el fin de otorgar a cada uno la relevancia que merece en la medida se obtiene el índice genérico de reusabilidad (IGR), que se define de la siguiente forma: IGR = (Compleción * P) + PotencialReusabilidad * (100 P)

4 Para obtener una estimación fiable que permitiera establecer el valor de P, se llevaron a cabo diversas pruebas sobre un estudio general para aplicar el índice genérico de reusabilidad a 50 OAs del repositorio de libre acceso Merlot ( El valor más adecuado para el peso P fue ajustado tras el estudio de los resultados, estableciéndose finalmente un 20% de peso a la cantidad de metadatos rellena, que se corresponde con el factor de compleción (primera parte del índice), y un 80% a los elementos de metadatos que determinan de una manera directa la reusabilidad genérica potencial del OA (segunda parte del índice). De todo ello se obtiene una fórmula para el índice genérico de reusabilidad de OA que es la siguiente: IGR = (Compleción * 20) + PotencialReusabilidad * (80) 4 Categorías y elementos de los metadatos LOM considerados para medir la reusabilidad potencial de un OA Esta sección detalla cuáles de los elementos de metadatos disponibles en las diferentes categorías del estándar IEEE LOM resultan más útiles para medir la reusabilidad potencial de un objeto de aprendizaje, ya que es evidente que no todas las informaciones reseñables aportarán datos igualmente valiosos de cara a medir la reusabilidad de un OA. La categoría 1.General, como su nombre indica, refleja información general del OA. De esta categoría se tomaron en cuenta los siguientes elementos: Language: mediante el valor de este elemento se puede medir el universo potencial de personas que pueden reutilizar el OA. El índice pondera con una alta puntuación aquellos OA que estén en varios idiomas. Para jerarquizar la importancia de los idiomas en los que puede estar un OA se tomó como base la lista de idiomas más populares en Internet en 2007 ( ya que los 10 primeros idiomas copan aproximadamente el 85% de los contenidos. Dichos idiomas son, por orden de importancia: inglés, chino, español, japonés, francés, alemán, portugués, coreano, italiano, árabe Keyword: el criterio utilizado para tomar en cuenta este elemento dentro del índice de reusabilidad se corresponde con el hecho de que mientras más palabras claves tenga un OA más fácil será su reutilización ya que será más sencillo establecer una correspondencia entre su contenido y los criterios de búsqueda que tenga algún usuario potencial que quiera reutilizarlo. Para la valoración de este elemento de metadatos se consideró como un máximo razonable 10 palabras clave Structure y 1.8. Aggregation level: con estos dos elementos se puede medir el nivel de granularidad del OA considerando que a menor nivel de granularidad mayor nivel de reusabilidad. Para ponderar adecuadamente en el índice los valores de estos campos, se consideró que si sólo está relleno el elemento 1.7.Structure entonces deben otorgan puntos cuando el valor de la

5 estructura es atomic. En cuanto al elemento 1.8. Aggregation level, si está relleno entonces se otorgan puntos según los posibles valores de este campo. De la categoría 2. Life Cycle, que se refiere a la historia, evolución y estado actual del OA, se tomó en cuenta el elemento 2.2. Status. Este elemento permite indicar si el OA está disponible para reutilizarse, y el nivel de fiabilidad del mismo. Un valor para este elemento de revised indica que ya existen opiniones de revisores externos sobre el OA, lo cual puede objetivamente ayudar a decidir sobre su reutilización. Si el valor de este campo es final, se incrementa su potencialidad de ser reutilizado ya que es considerado un producto final por parte de su autor. Sin embargo, cuando el valor es draft ciertamente resulta menos adecuado reutilizarlo. Obviamente, si el OA no está disponible (unavailable) no se puede reutilizar. De la categoría 4. Technical, que se refiere a las características tecnológicas del OA, se tomaron en cuenta los siguientes elementos: Format: con este elemento se puede determinar la independencia entre la presentación y el contenido, un factor muy importante para la reusabilidad de un OA según el formato del OA y el nivel independencia que garantiza. La jerarquía de formatos tomada en cuenta para ponderar los valores de este campo son la siguiente: html y css, html sólo, word, pdf, applets de java, flash, avi, jpeg Requirement: este elemento se refiere a requerimientos sobre el sistema operativo y el navegador; si un OA funciona independientemente del sistema operativo y puede funcionar en cualquier navegador entonces será mucho más reutilizable que aquellos OA específicos para un sistema y un único navegador. De la categoría 5. Educational, donde se describen las características pedagógicas del OA, se tomó en cuenta el elemento 5.8 difficulty, que describe lo difícil que resulta para los destinatarios típicos trabajar con y utilizar el OA. Se considera que este elemento puede influir en la reusabilidad potencial de un OA, dado que si el valor de este elemento es muy difícil (very difficult) probablemente no sea tan reutilizado como uno que sea más sencillo, dado que hay más usuarios potenciales para los materiales introductorios, por ejemplo, que para los materiales avanzados. De la categoría 6. Rigths, que se refiere a la propiedad intelectual, derechos de propiedad, condiciones del uso y coste del objeto de aprendizaje, se tomaron en cuenta los siguientes elementos: Cost: si el OA no tiene costo asociado a su uso aumenta su potencialidad de reuso comparado con otros OA similares que tengan un costo asociado Copyright and other restrictions: si el OA no tiene restricciones de uso tiene más posibilidades se ser reutilizado que otro que sí tenga restricciones. De la categoría 7. Relation se tomó en consideración el elemento 7.1. Kind, elemento que permite conocer los diferentes tipos de relaciones de un OA con otros, algunos de los cuales pueden dar información sobre reusabilidad potencial del OA. De este modo, las relaciones has version y is basis for indican que el OA ha sido usado como base para generar otro OA, lo que en definitiva implica reutilización. Otros tipos de relación que también pueden indicar cierta clase de reutilización son is part of, is required by y is referenced by.

6 5 Ponderación detallada de los elementos del índice De acuerdo con lo indicado en la sección 3, el índice IGR está formado por dos componentes principales, uno que mide la cantidad de metadatos llenos (factor de compleción) y otro que mide los valores de los elementos de los metadatos que determinan de manera directa la reutilización potencial del OA (potencial de reusabilidad). Al trabajar con la primera parte del índice, y después de aplicar el índice a 50 OAs del repositorio MERLOT como ensayo, se concluyó que la forma más precisa de manejar la cantidad de metadatos es realizar una contabilización basada no en el número de elementos individuales rellenos, sino en el cómputo de grupos de elementos con significado propio. De este modo, se toma en cuenta para ciertos elementos de metadatos la sección completa donde participan y no cada elemento individual de los que la conforman por sí solo. Una vez aplicada esta modificación, el número de elementos IEEE LOM diferentes se sitúa en 49 elementos (ver Tabla 1). Tabla 1. Cambios propuestos en contabilización de elementos LOM en el primer componente del índice genérico de reusabilidad de OA SECCION ANTES DESPUES DESCRIPCION CAMBIO 1. General 9 8 La sección Identifier se computa como un único elemento. 2. Life Cycle 5 3 La sección Contribute cuenta como un único elemento. 3. MetaMetadata 7 4 Tanto la sección Identifier como la Contribute se computan cada una como únicas. 7. Relation 4 3 La sección Identifier cuenta como un único elemento. 8. Annotation 3 3 No sufre ninguna alteración. 9. Classification 6 4 Las secciones Taxon y Taxon Path computan cada una como únicas. Con respecto al segundo componente del índice, la potencialidad de reutilización, el cual mide los valores de los elementos de metadatos que determinan la reutilización potencial de un OA, después de hacer las pruebas y estudios estadísticos de la aplicación del índice sobre los 50 OA de MERLOT, se consideraron las ponderaciones detalladas en la Tabla 2. Tabla 2. Ponderaciones de los elementos de metadatos que determinan la reusabilidad potencial de un OA en el segundo componente del IGR. Categoría Elemento Ponderación 1. General 1.3. Language (Valor máximo para la categoría: 30) (máximo: 5) Inglés, chino o español más otro(s) idioma(s): 5 Inglés: 4 Chino: 3

7 1.5. Keyword (máximo: 5) Español: 2 Japonés, francés, alemán, portugués, coreano, italiano o árabe: 1 Otros idiomas: 0 más de 5 palabras clave: 5 n palabras (n<5): n 1. General 1.7. Structure 1.8. Aggregation level (máximo: 20) 2. Life cycle (máximo: 2,5) - atomic: 20 (Si se puntúa aquí no se toma en cuenta el campo 1.8) - Aggregation level: - Nivel 1: 20 - Nivel 2: 12,5 - Nivel 3: 5 - Nivel 4: Status - revised : 2,5 - final : 1,5 - draft : 0,5. - unavailable : 0 4. Technical (máximo: 15) 5.Educational (máximo: 2,5) 6.- Rights (máximo: 5) 4.1. Format (máximo: 10) 4.4. Requirement (SO, Browser) (máximo: 5) - html y hojas CSS: 10 - html: 9 - word 8 - PDF: 7 - Applets de java: 5 - flash: 4 - avi: 3 - jpeg: 2 - power point: 1 -Otros formatos: 0 -(multi SO, cualquiera): 5 -(Windows, cualquiera): 4 -(Windows, explorer): 3 -(Windows, mozilla): 3 -(Linux, cualquiera): 2 -(Linux, mozilla): 1 -(Otro, cualquiera): Difficulty - very easy : 2,5 - easy : 2 - médium : 1,5 - difficult : 1 - very difficult : Cost (máximo: 2,5) 6.2. Copyright and other Restrictions - no : 2,5 - yes : 0 - no : 2,5 - yes : 0

8 7.- Relation (máximo: 5) (máximo: 2,5) 7.1. Kind - has version o is basis for : 5 - is part of o is required by : 3 - is referenced by : Aplicación e interpretación del índice genérico de reusabilidad Según ha sido definido el índice genérico de reusabilidad para OA, sus valores oscilan entre un mínimo de cero y un máximo de 100 puntos. Tomando como documentación de entrada los resultados de las pruebas realizadas con 50 OA del repositorio MERLOT, se identificaron 4 franjas de valores según el valor final para el índice propuesto. Estas franjas parecen categorizar con propiedad el potencial de reuso del OA, y son las siguientes: - Franja 1: de 0 a 25 puntos, se va a denominar De reusabilidad no recomendable. Esta franja indica que aquellos OA cuyo índice de reusabilidad se situé dentro de esta franja son los menos adecuados a la hora de reutilizarlos en la realización de nuevos objetos de aprendizaje. - Franja 2: de 26 a 50 puntos, que denominaremos Completamente manual. En esta franja se clasifican aquellos OA que pueden ser reutilizados pero con un esfuerzo importante para ello. Así, se estima que una persona que desee reutilizar uno de estos objetos deberá extraer lo que le interese de este OA para crear un nuevo OA, no siendo fácil usar el OA en su totalidad. - Franja 3: de 51 a 75 puntos, se va a denominar Automático supervisado. Esta franja indica que todo OA cuyo índice de reusabilidad se situé dentro de esta franja, puede ser utilizado íntegramente por herramientas de creación de contenido de modo prácticamente automático y con intervención menor, si bien el resultado de dicha creación debe de ser valorado y evaluado por un experto en la materia. - Franja 4: de 76 a 100 puntos, que denominaremos Automático autónomo. Todo OA cuyo índice de reusabilidad se situé dentro de esta franja, puede ser utilizado íntegramente por una herramienta de creación de contenido automáticamente sin apenas intervención de ninguna persona. 5 Conclusiones y trabajos futuros El índice genérico de reusabilidad de OAs basado en los metadatos IEEE LOM aquí propuesto representa un aporte significativo en cuanto a la provisión de mecanismos automáticos para facilitar el uso y reuso de OAs en el diseño de ambientes de enseñanza y aprendizaje basados en e-learning. Teniendo en cuenta que la posibilidad de reuso es una de las características fundamentales de los OAs, el objetivo es que de manera lo más automática posible, y en función de las informaciones de metadatos en formato IEEE LOM de un OA, se pueda calcular el índice genérico de reusabilidad de

9 cualquier OA y que éste pueda servir, tanto a sus diseñadores para poder evaluar la potencialidad de reuso del OA y si es necesario mejorar este aspecto, como también para proveer una guía a nivel de la potencialidad de reuso de un OA a los posibles interesados en reusarlo en la creación de un nuevo ambiente de enseñanzaaprendizaje. Actualmente el índice propuesto está siendo sometido a estudios y evaluaciones más profundas para comprobar su precisión y afinar los elementos y aspectos que han sido considerados en su estructura y se está construyendo una herramienta de software con la cual dado un archivo de metadatos LOM se calcule el índice genérico de reusabilidad del OA correspondiente y lo incorpore como parte de los metadatos del OA para su futura consulta. Agradecimientos Este trabajo se enmarca dentro de los temas de interés y actividades de la red temática REDAOPA (TSI E), de la cual recibe financiación parcial. Referencias 1. Downes, S.: Learning objects: Resources for Distance Education Worldwide. International Review of Research in Open and Distance Learning, Vol. 2, No.1. (2001) 2. Murphy, E.: Moving from theory to practice in the design of web-based learning using a learning object approach.e-journal of Instructional Science and Technology, Volumen 7, Número 1 (2004). Disponible en: 3. IEEE Learning Technology Standards Committee: Disponible en: 4. Wiley, D.: Connecting Learning Objects to Instructional Design Theory: A Definition, a Metaphor, and a Taxonomy. The Instructional Use of Learning Objects. Association for Educational Communications and Technology, Bloomington. (2002) 5. Polsani, P.: Use and Abuse of Reusable Learning Objects. Journal of Digital Information, 3(4). (2003). Disponible en: 6. Sicilia, M. A.: Reusabilidad y Reutilización de Objectos Didácticos: Mitos, Realidades y Posibilidades. RED: Revista de Educación a distancia, número monográfico II. (2005). Disponible en: 7. Cuadrado-Gallego, J.J.: Adaptación de las Métricas de Reusabilidad de la Ingeniería de Software a los Learning Objects. RED: Revista de Educación a distancia, número monográfico IV. (2005). Disponible en: 8. López, M. G., Maestre A., Sánchez-Alonso S.: Reusabilidad de los Objetos de Aprendizaje almacenados en Repositorios de Libre Acceso. Post-Proceedings del IV Simposio Pluridisciplinar sobre Diseño, Evaluación y Desarrollo de Contenidos Educativos Reutilizables SPDECE07. Bilbao, España (2007). Disponible en: 9. IEEE Learning Technology Standards Commitee: Learning Object Metadata. IEEE Disponible en: Mills, S.: Learning about learning objects with learning objects. Proceedings of Society for Information Technology and Teacher Education International Conference, Vol. 1, AACE, páginas (2002).

10 11. Longmire, W.: A primer on learning objects. ASTD Learning Circuits. (2000). Disponible en: