Instrumento de Evaluación para Determinar la Calidad de los Objetos de Aprendizaje Combinados Abiertos de tipo Práctica

Instrumento de Evaluación para Determinar la Calidad de los Objetos de Aprendizaje Combinados Abiertos de tipo Práctica Yosly Hernández Bieliukas a,b,, Antonio Silva Sprock b Amador c and César Velásquez a Universidad Central de Venezuela, Facultad de Ciencias, Unidad de Educación a Distancia Av. Los Ilustres, Los Chaguaramos, Caracas, 1043, Venezuela yosly.hernandez@ciens.ucv.ve b Universidad Central de Venezuela, Facultad de Ciencias, Escuela de Computación Av. Los Ilustres, Los Chaguaramos, Caracas, 1043, Venezuela antonio.silva@ciens.ucv.ve, c Universidad Autónoma de Aguascalientes, Centro de Ciencias Básicas, Av. Universidad N 940, Cdad.Universitaria, C.P.20131, Aguascalientes, Ags., México. vace555@hotmail.com Resumen: Actualmente los Objetos de Aprendizaje (OA) se han difundido como un concepto de creación de recursos educativos reutilizables que apoyen el Proceso de Enseñanza y Aprendizaje, Sin embargo, la solo incorporación de los mismos no es garantía de calidad en la formación educativa, ni en el resultado del mismo, generándose en consecuencia, la imperiosa necesidad de evaluar y poder establecer niveles óptimos de calidad. Con base a ello, en este trabajo se presenta la construcción de un Instrumento de Evaluación para un tipo en particular de OA, los Combinados Abiertos de tipo Práctica, a partir de un modelo de calidad integral, con base en las características de pedagógicas, tecnológicas y de interacción humano computador bases en la concepción del recurso, además de los aspectos que se consideran en el estándar para evaluar la calidad del software ISO 9126. Con el objetivo de definir y establecer los aspectos mínimos que son necesarios desde las tres disciplinas bases en su concepción, para que el recurso sea considerado de calidad. Palabras Claves: Objetos de Aprendizaje, Combinados Abiertos de Práctica, Calidad, Estándar ISO/IEC 9126, Instrumento de Evaluación, Modelo de Calidad. Abstract. Currently Learning Objects (LO) have been spread a concept of creation of reusable educational resources to support the Process of Teaching and Learning, however, the only addition of the same is no guarantee of quality in educational training, or the result of it, generating therefore an urgent need to assess and to establish optimal levels of quality. Based on this, this paper presents the construction of an Assessment Instrument for a particular type of LO, the Open Combined Type Practice, from a comprehensive quality model, based on the characteristics of pedagogical, technological human interaction and computer databases in the design of the resource, in addition to the aspects that are considered the standard for assessing software quality ISO 9126. In order to define and establish the minimum features that are needed from all three disciplines in design basis for the appeal to be considered quality. Keywords:Learning Objets, Open Learning Object combined Type Practice, Quality, Standard ISO / IEC 9126, assessment instrument, Quality Model, INTRODUCCIÓN La incorporación de las Tecnologías de la Información y Comunicación (TIC) en la Educación ha permitido extender los ambientes de enseñanza y aprendizaje, para así poder desarrollar ambientes virtuales colaborativos e interactivos, con el uso de diferentes recursos didácticos multimedia, que permitan el logro de la intencionalidad de

los mismos. Es por ello, que en el ámbito educativo se ha desarrollado un concepto que busca la reutilización, permanencia, interoperabilidad, accesibilidad y compatibilidad de los recursos digitales para el desarrollo de cursos y programas de formación en línea a través de la Web, los llamados Objetos de Aprendizaje (OA). Los OA son recursos didácticos e interactivos en formato digital con un objetivo específico, creados con el propósito de ser reutilizados, adaptados, editados y/o combinados para los diversos entornos virtuales de enseñanza y aprendizaje, caracterizándose por la introducción de información auto descriptiva expresada como los metadatos. Como apoyo al proceso educativo muchas personas se han enfocado en desarrollar y emplear los OA, lo que permite que en un determinado momento se puedan reutilizar en distintos contextos según la pertinencia y disposición, además de responder a la misma necesidad educativa. Motivado a ello, es importante tener mecanismos, criterios e instrumentos que permitan evaluarlos y así determinar la calidad de los mismos, considerando todos los elementos fundamentales en su concepción, así como también, el contexto y modo de uso. Actualmente, existen diferentes tipos de instrumentos, pero sólo consideran algunos aspectos pedagógicos, tecnológicos o de interacción humano computador del recurso, no de forma integral, aunado a ello no identifican qué tipo de OA se evalúa; en vista de ello, aplicar diversas formas de evaluación por separado no resulta tan provechoso en vista de que engloba diferentes enfoques y perspectivas de los autores, porque lo que no hay un consenso en cuáles son los aspectos que se deben considerar para que un OA sea de Calidad. Por lo antes expuesto se requiere de un proceso de evaluación completo e integral, donde se abarquen los aspectos fundamentales que deben estar presentes en un recurso y determinan su calidad. Con base a ello, a continuación, en este trabajo se presenta el diseño y la construcción de un instrumento de evaluación integral de la calidad para los OA combinado abierto de tipo práctica, partiendo de un modelo de calidad, desde las tres dimensiones importantes en la concepción del mismo: pedagógica, tecnológica y de interacción humano computador. Todo esto de forma más completa que los modelos e instrumentos de evaluación de calidad existentes, basado en el estándar internacional para evaluar la calidad de software ISO/IEC 9126 [1], las características fundamentales que deben estar presentes y el tipo de OA. LOS OBJETOS DE APRENDIZAJE COMBINADOS ABIERTOS DE TIPO PRÁCTICA Los OA de tipo Combinado Abierto según [2] consisten en un largo número de recursos digitales combinados entre sí, de cualquier tipo, mezclados en una computadora en tiempo real, donde sus componentes pueden ser directamente empleados para su reutilización. Además, combinan la instrucción con la práctica, creando así una unidad instruccional completa. Por ejemplo, un recurso que sea una página Web y esté compuesta por diversos componentes (imágenes, videos, texto, entre otros) que se encuentran en un formato reutilizable, además de estar combinados y disponibles. Es importante destacar, que son los que tienen un mayor potencial de reutilización en los diversos contextos educativos y los más utilizados, además de estar inmersos en el manejo de la información tipo Web. Ahora bien, estos recursos son productos informáticos y educativos al mismo tiempo, porque se encuentran en formato digital y apoyan el proceso educativo, por lo que es importante en su conceptualización considerar las características pedagógicas, tecnológicas y de interacción humano computador presentes, es por ello que se ha definido y se proponen tres dimensiones para agrupar estos aspectos desde la respectiva perspectiva, teniendo así la dimensión pedagógica, tecnológica e interacción humano computador. LA DETERMINACIÓN DE LA CALIDAD DE LOS OBJETOS DE APRENDIZAJE COMBINADOS ABIERTOS DE TIPO PRÁCTICA La calidad para cualquier entidad digital (software), la define [3] como el cumplimiento de los requisitos de funcionalidad y desempeño, explícitamente establecidos, de los estándares de desarrollo documentados y de las características implícitas que se esperan de todo software desarrollado profesionalmente. Por otro lado, otros autores [4] definen la calidad de los OA como el grado de utilidad que tienen para el logro de las metas pedagógicas planteadas, conllevando el trabajo del estudiante y por ende propiciar del aprendizaje. Con base a lo anterior, se puede definir como calidad de los OA el grado de cumplimiento de un conjunto de requisitos y/o elementos asociados a: (a) desempeño y (b) funcionalidad del OA desde el punto de vista tecnológico, (c) usabilidad del OA desde el punto de interacción humano computador, y (c) el grado utilidad que presentan para el logro de los objetivos pedagógicos planteados, desde el punto de vista pedagógico La calidad de un OA es un aspecto muy particular dentro del proceso de selección de un OA para su uso en determinados contextos, porque como recurso educativo digital pueden ser desarrollado por diferentes fuentes

(docentes, estudiantes, diseñadores instruccionales) y los requerimientos, intencionalidad, estrategias, actividades y demás aspectos claves planteados pueden variar, según las necesidades, lo que conlleva a que sean revisados y evaluados en función del ámbito en el cual van a emplearse para promover así su pertinencia y disposición. El OA debe estar acorde al contexto en el cual se empleará, así como también la audiencia a la cual está destinado, para su adecuada integración a los procesos de Enseñanza y Aprendizaje, buscando obtener los mejores resultados y que los objetivos planteados se cumplan de la mejor forma. Para determinar la Calidad de los OA se puede centrar en la evaluación del proceso de desarrollo del mismo o en el producto como tal, es decir el OA resultante; por otro lado, [5] plantean de una manera formal cómo abordar el problema de la calidad desde distintas perspectivas, las cuales corresponden a evaluar el proceso de desarrollo del OA, propiamente del OA, el conocimiento obtenido con el uso del OA y la operación del OA. Aunado a ello en [6] plantean que también puede hablarse de calidad en los metadatos del OA, es decir, medir la completitud, la claridad y coherencia de los metadatos, la información que describe al OA. En vista de ello, para este trabajo de investigación se realizó el estudio del proceso para la evaluación de la calidad de los OA desde la perspectiva del producto resultante, es decir el OA. MODELO DE CALIDAD PARA LOS OBJETOS DE APRENDIZAJE COMBINADOS ABIERTOS DE TIPO PRÁCTICA Para construir un Instrumento de evaluación integral primero se deben definir los elementos que caracterizan a los OA Combinados Abiertos de tipo Práctica que se deben valorar, así como también, indicadores de evaluación sobre cada uno de ellos, lo que permitirá determinar la Calidad de los mismos, por ello se procedió a definir un Modelo de Calidad, siguiendo el proceso definido en [7]. Un modelo de calidad estándar e integral para los OA define cuáles son las características deseables que debe cumplir, desde las dimensiones bases en su concepción: pedagógica, tecnológica y de interacción humano computador, en función a los aspectos y estándares asociados, teniendo como resultado un conjunto de indicadores de evaluación. A partir de este modelo se procederá a la construcción del Instrumento de Evaluación. Para la construcción del modelo de calidad de los OA Combinados Abiertos tipo Práctica se siguió el proceso sistemático propuesto por [7], el cual está compuesto por 6 pasos ( ver FIGURA 1) y parte de la caracterización del dominio de los OA, identificando el tipo correspondiente, en función de ello se definieron y establecieron las características pedagógicas, tecnológicas y de interacción humano computador asociadas. Una vez determinados estos aspectos se procedió a realizar una instanciación del estándar internacional ISO/IEC 9126 [1], con base a los rasgos de evaluación de calidad que plantea, aplicables a los OA y que están en relación con las características definidas del recurso, estableciendo así los indicadores de evaluación, para finalmente validar el modelo por juicio de expertos. A continuación se describe la aplicación de cada uno de los pasos del Proceso, destacando que el modelo de calidad para los OA Combinados Abiertos de Tipo Práctica, es muy similar al presentado en [7] para los OA Combinados Abiertos de Tipo Instrucción, debido a que ambos tienen muchos aspectos en común; lo fundamental de este trabajo es presentar el instrumento de evaluación que se creó partiendo del modelo obtenido. FIGURA 1. Proceso Sistemático para la Producción de un Modelo de Calidad Integral [7].

1.- Caracterizar el Dominio de Objetos de Aprendizaje Con base a la clasificación planteada por [8], para esta investigación se trabajó con los OA Combinado Abierto de tipo Práctica, porque están destinados principalmente al autoaprendizaje y permiten una alta interacción con el aprendiz, en el cual se incentiva a la realización de un conjunto de actividades, que facilitan el proceso de asimilación de los contenidos desarrollados dentro del OA, para poder lograr los objetivos de aprendizajes planteados que conduzcan a la construcción del conocimiento. 2.- Definir las Características Pedagógicas de los Objetos de Aprendizaje Es importante definir y caracterizar a los OA desde una dimensión pedagógica, porque tienen una intención educativa, que permite establecer secuencias lógicas para la efectividad del proceso de enseñanza y aprendizaje, además de promover la construcción y difusión del conocimiento. Dentro de las características más resaltantes se pueden mencionar: diversidad de estilos de aprendizaje, objetivos de aprendizaje, contenidos de aprendizaje, actividades de aprendizaje, recursos, interactividad y evaluación. 3.- Definir las Características Tecnológicas de los Objetos de Aprendizaje Los OA abarcan aspectos tecnológicos y pueden tratarse desde el área de la Ingeniería de Software, debido a que se pueden ver como un producto de software, además de estar basados en estándares para facilitar el intercambio entre diversos sistemas y plataformas, así como también, la reutilización y escalabilidad en entornos educativos. Dentro de las características más resaltantes se pueden mencionar: Accesibilidad (basado en metadatos), flexibilidad, adaptabilidad, portabilidad e interoperabilidad, además de la disponibilidad y licenciamiento. 4.- Definir las Características de Interacción Humano Computador de los Objetos de Aprendizaje Los OA deben poder motivar e interesar a los aprendices, para propiciar el trabajo con el mismo y así impulsar el aprendizaje. Se debe tener presente que como un recurso digital debe cumplir con ciertos atributos que lo hagan atractivo al aprendiz y éste no los rechace, como lo es el uso apropiado de los colores, las fuentes, presentación y disposición de la información, navegabilidad, entre otros, esto refiere a que sea usable. Dentro de las características más resaltantes se pueden mencionar: diseño visual (texto, imágenes, audio, video), ayudar a la memorización y la recuperación ante fallas. 5.- Instanciación del Estándar ISO/IEC 9126 al dominio de Objetos de Aprendizaje definido Para realizar el proceso de instanciación del Estándar ISO/IEC 9126 [1] en el dominio de los OA Combinados Abiertos de Tipo Práctica se utilizó el proceso definido por [7], el cual se compone del análisis para cada una de las características y subcaracterísticas del estándar y las características del OA desde las tres dimensiones, previamente definidas, para así determinar si se podía establecer una relación, todo esto con base a los aspectos definidos y la pertinencia de esas características en el contexto (ver FIGURA 2). FIGURA 2.- Proceso de Instanciación del Estándar ISO/9126 [7]

A continuación, se presenta las relaciones entre las características del estándar y de los OA Combinado Abierto de tipo Práctica, las cuales se definen por grupos que son las respectivas dimensiones del modelo de calidad: En la Dimensión 1 se tiene la Característica Funcionalidad, permite verificar si el OA cuenta con las funciones adecuadas que permitan satisfacer las necesidades planteadas, por ello las subcaracterísticas que están relacionadas son: Idoneidad: evaluar si el OA puede cumplir las tareas apropiadas, refiere si tiene definido claramente los Objetivos de aprendizaje, Contenidos, Actividades de Aprendizaje y los Estilos de Aprendizaje. Exactitud: determinar si el OA es acorde para lo que fue creado, por lo que está relacionado con que tenga Objetivos de aprendizaje, Contenidos y un conjunto de Actividades de Aprendizaje. Interoperabilidad: si el OA puede interactuar con otros sistemas, lo que refiere a la accesibilidad del mismo. En la Dimensión 2 se tiene la Característica Eficiencia, la capacidad que tiene el OA para proporcionar una ejecución apropiada, relativa a la cantidad de recursos empleados, por ello la subcaracterística que está relacionada es: Uso y comportamiento de los recursos: los tiempos de respuesta del OA, la cantidad de recursos empleados y la duración de uso, las cuales están relacionadas a la Adaptabilidad y Flexibilidad del mismo. En la Dimensión 3 se tiene la Característica Usabilidad, la capacidad que posee el OA para ser entendido, aprendido, utilizado y atractivo, por ello las subcaracterísticas que están relacionadas son: Comprensibilidad: el esfuerzo que debe hacer el aprendiz para reconocer la estructura lógica, por lo que está relacionado con los contenidos abordados, las actividades de aprendizaje, la accesibilidad, disponibilidad, la ayuda a la memorización y el diseño visual que presente el recurso. Facilidad de Aprendizaje: el esfuerzo que debe hacer el aprendiz en aprender a usar el recurso, por lo que está relacionado a la presentación de los contenidos en el OA, las actividades de aprendizaje, la interactividad y el diseño visual del mismo. Atracción: la capacidad del OA para atraer y captar al usuario, lo que está directamente relacionado con el diseño visual y la interactividad dentro del OA. En la Dimensión 4 se tiene la Característica Confiabilidad, la capacidad que tiene el OA para mantener un nivel de funcionamiento especifico al ser utilizado en determinadas condiciones, por ello la subcaracterística que está relacionada es: Tolerancia a Fallas: es la habilidad de mantener un nivel de funcionamiento en caso de fallas del OA o errores de interfaz, está relacionada a la forma en que se presenta recuperación ante diversas fallas que puedan ocurrir por parte del aprendiz en su manejo. En la Dimensión 5 se tiene la Característica Mantenibilidad, la capacidad que tiene el OA para ser modificado, por ello la subcaracterística que está relacionada es: Facilidad de Cambio: mide el esfuerzo necesario para modificar aspectos del OA, está relacionada a la Flexibilidad, Disponibilidad y Adaptabilidad del mismo. Y finalmente en la Dimensión 6 se tiene la Característica Portabilidad, la posibilidad del OA para ser transferido de un ambiente a otro, por ello la subcaracterística que está relacionada con los OA se describe de la siguiente forma: Facilidad de Ajuste: lo que permite evaluar si el OA se adhiere a estándares que permitan la portabilidad e interoperabilidad del mismo. 6.- Definir los Indicadores de Evaluación Con base a las seis dimensiones definidas que conforman el modelo de calidad, se procedió a establecer los indicadores de evaluación para los OA combinados abiertos de tipo práctica en función de los aspectos y características deseables en ellos, se presentan a continuación: Funcionalidad: Presencia del Objetivo (s) de Aprendizaje (s), Pertinencia y vigencia de los contenidos, Presencia de la fuente bibliográfica, Lenguaje acorde al contexto del OA, Presencia de Ejemplos, Soporte a diversos estilos de aprendizaje, Pertinencia de las actividades de aprendizaje, Correspondencia de los contenidos abordados con el objetivo de aprendizaje planteado, Estandarización del OA, Correspondencia de las actividades de aprendizaje con los objetivos y contenidos planteados. Eficiencia: Optimización del uso de los recursos de hardware y software para descargar y desplegar el recurso, Tamaño del OA y Tiempo Típico de Aprendizaje.

Confiabilidad: Restablecer el estado en el que se encontraba el aprendiz antes de ocurrir un error, Uso de mensajes de aviso ante acciones que no se pueden cancelar y ocasionen errores. Usabilidad: Relación con otros OA o recursos Web, Granularidad del contenido, Claridad del contenido, Respeto de las reglas de ortografía y gramática, Secuencia lógica de los contenidos,divulgación progresiva de los contenidos, Claridad en la definición de las actividades de aprendizaje, Uso de metáforas, Consistencia en la presentación del contenido, Uso de las fuentes, Uso de los Colores, Visibilidad del texto, Manejo de Formatos Uniformes, Navegabilidad dentro del objeto, Uso de los recursos audiovisuales con respecto al contenido textual, Utilización de un sistema de ayuda pertinente, fácil y descriptivo, Tipo de Interactividad, Motivación al uso del recurso, Distribución de los elementos dentro del OA, Incorporación de mecanismos o funcionalidades que promuevan interacción con el aprendiz. Mantenibilidad: Adaptación a diversos contextos educativos, Facilidad de cambio y actualización del OA, Presencia de los metadatos, Presencia del OA en Repositorios públicos y /o lugares especializados donde se puedan encontrar. Portabilidad: Dependencia de Software, Dependencia de Hardware, Compatibilidad con distintos navegadores Web, Especificación de requerimientos técnicos. CONSTRUCCIÓN DEL INSTRUMENTO DE EVALUACIÓN Un Instrumento es utilizado para recolectar datos, el cual consiste de un conjunto de preguntas respecto de una o más variables a medir. En función del desarrollo del objetivo de este trabajo, se diseñó y construyó un instrumento a partir del modelo de calidad propuesto, el cual permite realizar una recolección de información útil para evaluar y determinar la calidad de los OA Combinados Abiertos tipo Práctica, que permita establecer así su pertinencia a los contextos educativos donde se pueda emplear. Una vez definido el modelo de calidad, presentado anteriormente, donde están descritos los indicadores de evaluación, se procedió a construir un Instrumento de Evaluación siguiendo un proceso sistemático que se describe a continuación (ver FIGURA 3). FIGURA 3. Proceso Sistemático para la Construcción del Instrumento de Evaluación 1.- Identificar el Tipo de Instrumento Existen diversos tipos de cuestionarios o instrumentos de medición, cada uno con características diferentes, varios autores, tal como lo sostiene [9] definen tres (3) tipos básicos: a) Restringidos o Cerrados: solicitan respuestas breves, específicas y delimitadas; b) No Restringidos o Abiertos: solicitan una respuesta libre y c) Mixtos: consideran en su construcción tanto preguntas cerradas como abiertas. Ahora bien, para el diseño y construcción del instrumento de evaluación, se identificó con qué tipo se trabajaría, determinando así que sería con los de tipo restringido o cerrado, en vista de que permiten limitar las respuestas, son fáciles de llenar, mantienen al sujeto en el tema, además de fáciles de clasificar y analizar, siendo estas sus principales ventajas, tal como lo señalan [9].

2.- Identificar el Tipo de Preguntas Una vez identificado el tipo de instrumento, se determinó el tipo de preguntas que conformarían el mismo, siendo éstas de tipo cerrado, con el objetivo de presentar a los sujetos opciones de respuestas previamente delimitadas. 3.- Definir las Dimensiones y Preguntas Se definieron sesenta y tres (63) ítems, a partir de los indicadores de evaluación correspondientes a las seis (6) dimensiones y sus respectivas subdimensiones definidos en el modelo de calidad descrito anteriormente: Funcionabilidad (idoneidad, exactitud e interoperabilidad); Eficiencia (uso y comportamiento de los recursos); Usabilidad (comprensibilidad, facilidad de aprendizaje, atracción); Confiabilidad (tolerancia a fallas); Mantenibilidad (facilidad de cambio) y Portabilidad (facilidad de ajuste). 4.- Definir la Escala de Evaluación El instrumento contempló el diseño de una escala de evaluación, en donde el evaluador al emplearlo tiene diferentes alternativas de respuestas que muestran la actitud favorable o no hacia las afirmaciones de cada ítem. Se utilizó una escala de likert del 1 a 5, con los valores: Totalmente en Descuerdo, En Desacuerdo, Indiferente, De Acuerdo y Totalmente de Acuerdo, respectivamente. Aunado a ello, con base a la suma de los valores de cada dimensión del Instrumento se definió una valoración final de la Calidad en: Excelente, Muy Buena, Buena, Regular y Mala. 5.- Definir el Porcentaje de Evaluación Finalmente, como el instrumento está compuesto de seis (6) dimensiones, los cuales refieren a los aspectos que plantea el estándar ISO/IEC 9126 detallado en el respectivo modelo de calidad descrito anteriormente, y no pueden ser evaluadas de la misma forma, porque los aspectos que las conforman tienen mayor valor de relevancia e impacto, además son los mínimos necesarios para determinar la Calidad del OA, se les estableció un porcentaje a cada una, teniendo así: Funcionabilidad y Usabilidad veinte y cinco por ciento (25%), Eficiencia y Confiabilidad, diez por ciento (10%), Mantenibilidad y Portabilidad quince por ciento (15%) respectivamente. Las dimensiones que tienen mayor valoración son: Funcionalidad y Usabilidad (25%), debido a que representan el funcionamiento adecuado del OA para cumplir con los objetivos propuestos, y la capacidad para que éste pueda ser entendido, aprendido, utilizado y atractivo a los aprendices, respectivamente, seguido de la Mantenibilidad y Portabilidad (15%), que están basadas en la posibilidad de ser modificado y/o adaptado a los diversos contextos educativos, además de ser transferido de un ambiente a otro, respectivamente, para finalmente tener la Confiabilidad y Eficiencia (10%), que permiten mantener un nivel de funcionamiento específico en determinadas condiciones y proporcionar una ejecución apropiada en relación a la cantidad de recursos empleados, respectivamente. Validación del Instrumento de Evaluación para Determinar la Calidad Una vez construido el instrumento de evaluación de la calidad para los OA Combinados Abiertos de tipo Práctica, para obtener la versión final se realizó la validación a través de juicio de expertos de las diferentes áreas involucradas: Ingeniería de Software, Objetos de Aprendizaje, Tecnología e Informática Educativa y Tecnología Instruccional, destacando la evaluación de tres expertos nacionales y dos internacionales, teniendo un total de cinco evaluadores, lo que permitió corregir aspectos en cuanto a la claridad de los ítems y la presentación del instrumento. Para realizar la validación se construyó un instrumento, a través del cual se valoró la claridad y congruencia de cada uno de los ítems de las respectivas dimensiones, además de las observaciones planteadas por los expertos. En base a los resultados de la valoración se obtuvo: Inicialmente se contaba con sesenta y tres (63) ítems, se eliminó uno, y el instrumento final quedo con sesenta y dos (62) ítems, debido a que este ítem eliminado repetía información a evaluar.

Totalmente en desacuerdo En desacuerdo Indiferente De acuerdo Totalmente de acuerdo Se modificó el veinticuatro por ciento (24%) de los ítems, lo que corresponde a trece (13) de los cincuenta y uno (51) planteados, en vista de que no estaban definidos claramente y/o congruentemente según el caso. Se reubicó el veinte por ciento (20%) de los ítems, lo que corresponde a diez (10) de los cincuenta y uno (51) planteados, con base a su establecimiento en las dimensiones más acordes para el aspecto que se evaluaba. Finalmente, es importante señalar que el sesenta por ciento (60%) de los expertos, lo que refiere a tres de los cinco evaluadores, resaltó que fue un trabajo excelente, un instrumento muy completo, organizado y bien llevado a la generalidad, el cual considera diversas situaciones en las que se puede evaluar un OA, con las respectivas observaciones que fueron tomadas en cuenta y reflejadas en el instrumento final. RESULTADOS A continuación se presenta el instrumento de evaluación final, que permite determinar la Calidad de los OA Combinados Abiertos de tipo Práctica. ESCALA DE EVALUACIÓN PUNTUACIÓN A S P E C T O S F U N C I O N A L I D A D (25 %) 1 2 3 4 5 Idoneidad Los Objetivos de Aprendizaje aparecen definidos de forma clara y precisa Se muestra información sobre la vigencia y/o actualidad de los Contenidos Los Contenidos están definidos acordes a los aprendices Se presenta las referencias bibliográficas de los contenidos abordados El lenguaje escrito e imágenes transmite las ideas de forma organizada, estando acorde a los aprendices Se Incorporan ejemplos relevantes para ilustrar los contenidos Se emplean imágenes, acordes a los aprendices, con el propósito de reforzar y/o complementar el contenido Se emplean animaciones y videos, acordes a los aprendices, con el propósito de reforzar y/o complementar el contenido Se emplea audio, acorde a los aprendices, con el propósito de reforzar y/o complementar el contenido El uso de diversos recursos audiovisuales, acorde a los aprendices, aporta un valor agregado al contenido presentado Las actividades están definidas acordes a los aprendices Exactitud El contenido abordado es coherente con los objetivos que se plantean en el Objeto de Aprendizaje El contenido abordado facilita el logro de los objetivos planteados Las actividades planteadas son coherentes con los objetivos que se establecen en el Objeto de Aprendizaje Las actividades planteadas facilitan la comprensión de los contenidos abordados

Totalmente en desacuerdo En desacuerdo Indiferente De acuerdo Totalmente de acuerdo ESCALA DE EVALUACIÓN PUNTUACIÓN A S P E C T O S 1 2 3 4 5 Interoperabilidad El Objeto de Aprendizaje cumple con los estándares y/o lineamientos internacionales Totales Puntuación mínima para catalogarlo de Calidad Buena: 12 Puntuación Total (puntaje * 0,25): E F I C I E N C I A (10%) Uso y Comportamiento de los Recursos El tiempo de respuesta a las acciones de los aprendices es idóneo de acuerdo a los requerimientos de software y hardware La velocidad de ejecución de los procesos del Objeto de Aprendizaje (animaciones, videos presentación de textos, imágenes, entre otros aspectos relevantes) es rápida y se comporta de igual forma en distintos computadores El tiempo de uso del Objeto de Aprendizaje es aceptable y/o se puede ajustar. No excede la capacidad de atención de los aprendices Totales Puntuación mínima para catalogarlo de Calidad Buena: 0,9 Puntuación Total (puntaje * 0,1): U S A B I L I D A D (25%) Comprensibilidad El Objeto de Aprendizaje tiene relación con otros objetos o recursos Web que permiten profundizar y/o completar la información presentada Existe una congruencia semántica entre el Objeto de Aprendizaje y los otros objetos o recursos Web con los que guarda relación El contenido se presenta en un nivel de detalle acorde a los aprendices Se presentan los contenidos de una forma estructurada y organizada Los contenidos se presentan de una forma gradual y sucesiva acorde a los aprendices El contenido no tiene fallas ortográficas y la construcción de las ideas y frases es correcta Se emplean metáforas intuitivas y adecuadas a los aprendices Las actividades se presentan de forma estructurada y organizada Las actividades están definidas en un nivel de detalle acorde a los aprendices Las actividades presentan situaciones que le permiten al aprendiz experimentar y descubrir nuevos conocimientos Facilidad de Aprendizaje Se exhibe una lista de los contenidos que serán abordados La estructura de presentación de los contenidos es consistente y coherente en todo el Objeto de Aprendizaje La estructura de las actividades es consistente y coherente en todo el Objeto de Aprendizaje El mapa de navegación del Objeto de Aprendizaje está estructurado lógicamente y se accede fácilmente (iconos, menús entre otros) a la información presentada

Totalmente en desacuerdo En desacuerdo Indiferente De acuerdo Totalmente de acuerdo ESCALA DE EVALUACIÓN PUNTUACIÓN A S P E C T O S El Objeto de Aprendizaje le permite al aprendiz explorar el Objeto de Aprendizaje de manera flexible y libre El Objeto de Aprendizaje le permite al aprendiz saber donde se encuentra en un determinado momento El funcionamiento de los enlaces y/o botones no presenta inconvenientes No presenta recursos audiovisuales que distraigan la atención del aprendiz 1 2 3 4 5 No es necesario conocimiento o entrenamiento previo para utilizar el Objeto de Aprendizaje El Objeto de Aprendizaje dispone de un sistema de ayuda descriptivo y pertinente Las fuentes utilizadas dentro del Objeto de Aprendizaje facilitan la legibilidad y visibilidad de los textos El uso de los colores dentro del Objeto de Aprendizaje es adecuado para la presentación de los contenidos Se manejan formatos uniformes dentro del Objeto de Aprendizaje El diseño de la interfaz es claro y atractivo El diseño de la Interfaz es intuitivo En el Objeto de Aprendizaje se observa una interactividad de tipo mixta en la que el aprendiz interactúa enviando datos al recurso, y a su vez el recurso envía información al aprendiz En el Objeto de aprendizaje se puede observar sólo una interactividad de tipo activa donde el aprendiz interactúa enviando datos al recurso En el Objeto de aprendizaje se puede observar sólo una interactividad de tipo expositiva donde el recurso envía información al aprendiz Atracción El Objeto de Aprendizaje motiva y atrae al aprendiz para que se incorpore a una situación de aprendizaje activo Existe una simetría en la distribución de los contenidos y/o los recursos empleados Se incorporan mecanismos o funcionalidades que promueven la interacción con el aprendiz Totales Puntuación mínima para catalogarlo de Calidad Buena: 23,25 Puntuación Total (puntaje * 0,25): C O N F I A B I L I D A D (10 %) Tolerancia a fallas En caso de presentarse un error o una falla el Objeto de Aprendizaje conduce al aprendiz para que pueda continuar desde el punto en el que se encontraba antes de ocurrir el mismo El aprendiz se siente apoyado, orientado y sin temor de cometer errores porque el Objeto de Aprendizaje le ofrece la asesoría necesaria

Totalmente en desacuerdo En desacuerdo Indiferente De acuerdo Totalmente de acuerdo ESCALA DE EVALUACIÓN PUNTUACIÓN A S P E C T O S Totales 1 2 3 4 5 Puntuación mínima para catalogarlo de Calidad Buena: 0,6 Puntuación Total (puntaje * 0,1): M A N T E N I B I L I D A D (15%) Facilidad de Cambio El Objeto de Aprendizaje está orientado a ser empleado en diversos contextos educativos El Objeto de Aprendizaje provee una documentación completa que explica los objetivos y las características del mismo para que pueda usarse y/o modificarse sin dificultad El Objeto de Aprendizaje fue desarrollado utilizando herramientas de amplia distribución, el cual puede ser adaptado y/o modificado El Objeto de Aprendizaje presenta su registro de metadatos descritos siguiendo un formato estándar El Objeto de aprendizaje se encuentra en un repositorio público y/o lugar especializado donde se puede ubicar fácilmente para ser utilizado Totales Puntuación Total Puntuación mínima para catalogarlo de Calidad Buena: 2,25 (puntaje * 0,1): P O R T A B I L I D A D (15%) Facilidad de Ajuste El Objeto de Aprendizaje no requiere de algún sistema operativo en particular para poder ser visualizado El Objeto de Aprendizaje no requiere de algún software en particular para poder ser visualizado No Existe una dependencia de hardware para poder visualizar el Objeto de Aprendizaje El Objeto de Aprendizaje puede ser visualizado en distintos navegadores Web Se especifican requerimientos técnicos particulares para poder visualizar el Objeto de Aprendizaje Totales Puntuación mínima para catalogarlo de Calidad Buena: : 2,25 Puntuación Total (puntaje * 0,1): Valoración General de la Calidad de los Objetos de Aprendizaje Puntuación General: Combinados Abiertos de tipo Instrucción sumando las seis dimensiones 56-69 Excelente 42-55 Muy Buena 29-41 Buena Rangos para evaluar la Calidad del Objeto de Aprendizaje 15-28 Regular Menor que 14 Mala

CONCLUSIONES En este trabajo se presentó un instrumento de evaluación de la calidad, validado por juicio de expertos, para un determinado tipo de OA, el cual partió del modelo de calidad planteado, donde los ítems o preguntas se definieron a partir de cada uno de los indicadores de evaluación presentados en el mismo. Es importante señalar que el modelo y el instrumento están basados en ISO/IEC 9126, por lo que las seis dimensiones que lo conforman corresponden a los aspectos de evaluación que propone el estándar (Funcionalidad, Eficiencia, Usabibilidad, Confiabilidad, Mantenibilidad y Portabilidad), teniendo así inmersas las tres dimensiones bases en la concepción de un OA (pedagógica, tecnológica y de interacción humano computador), todo esto con la finalidad de minimizar el sesgo que puede estar asociado a un evaluador dependiendo su grado experticia, logrando así una evaluación integral con una visión interdisciplinaria, a diferencia de las propuestas de evaluación de calidad existentes estudiadas y presentadas, donde se aprecian las diferentes visiones por separado que consideran pertinentes. Se utilizó el estándar ISO/IEC 9126 debido a los OA son un producto de software, lo que permite aprovechar las ventajas que proporciona el uso de estándares reconocidos a nivel internacional. Todo esto con la finalidad de adaptar al dominio de los OA aquellos aspectos que fueron pensados para el software y aplican al contexto, debido a que de esta manera se puede valorar la calidad de los aspectos tecnológicos y de interacción humano computador en correspondencia a lo educativo.lo importante de esta propuesta de un proceso de evaluación de calidad integral es que logró definir indicadores de evaluación y lineamientos comunes con base a estándares reconocidos internacionalmente y utilizados, buscando así generalizar los rasgos o aspectos mínimos necesarios que deben estar presentes en un OA para que sea considerado de Calidad. Siendo éste un elemento fundamental y determinante en el uso y la reutilización adecuada de estos recursos, para poder valorar la disposición pertinente en los diversos contextos educativos que respondan a la misma necesidad de aprendizaje. REFERENCIAS 1. International Organization for Standardisation (ISO) (1991). ISO/IEC: 9126 Information technology-software Product Evaluation-Quality characteristics and guidelines for their use 1991. 2. Wiley, D. A. (2000). Connecting learning objects to instructional design theory: A definition, a metaphor, and a taxonomy. In D. A. Wiley (Ed.), The Instructional Use of Learning Objects: Online Version. Descargado 11/Marzo/2008, de: http://reusability.org/read/chapters/wiley.doc 3. Pressman, R. (1998). Ingeniería del software. Un enfoque práctico. 4ª. Edición. McGrawHill. 4. González R., Arteaga J. y Rodríguez F. (2006). Formato para la Determinación de la Calidad en los Objetos de Aprendizaje. Universidad Autónoma de Aguascalientes. Aguascalientes, México. 5. Velázquez Amador, C., Muñoz Arteaga, J. y Garza González, L.. (2007). Tecnología de Objetos de Aprendizaje, Capítulo VI La Calidad de los Objetos de Aprendizaje. Primera Edición 2007. D.R. Universidad Autónoma de Aguascalientes y Universidad de Guadalajara. Editorial de la UAA. ISBN: 978 970 728 101 4. Aguascalientes, Ags., México. pp 129-170. 6. Vidal, C. L., Segura, A. A., y Prieto, M. E. (2008). Calidad en objetos de aprendizaje. Actas de SPDECE08, Salamanca. Descargado el 30 de marzo de 2011, de: http://www.web.upsa.es/spdece08/contribuciones/139_calidadenobjetosdeaprendizajetypeinstspringerfinalvidalse guraprietov99.pdf. 7. Hernández,Y., Montaño, N., Miguel, V., y Velázquez, C. (2010). Una Propuesta para el Desarrollo Sistemático de un Modelo de Calidad Integral para los Objetos de Aprendizaje Combinados Abierto de Tipo Instrucción. Actas del V Congreso Latinoamericano de Objetos de Aprendizaje LACLO 2010. Universidad Prebisteriana Mackenzie, Sao Paulo, Brasil. Septiembre 2010. ISSN: 1982-1610. 8. Hernández,Y., Montaño, N., Miguel,V. y Velazquez, C. (2009). Una Experiencia en la Construcción de un Modelo de Calidad Pedagógica para Objetos de Aprendizaje. Actas de la 1ra La Conferencia Conjunta Iberoamericana sobre Tecnologías de Aprendizaje, CcITA 2009. Mérida, México. ISBN: 978-607-7573-17-3 9. Jiménez, J; García, J & Aguilar, F. (2006). Guía técnica para la construcción de cuestionarios. Centro Interdisciplinario de Investigación y Docencia en Educación Técnica (CIIDET). Año 3, núm. 6. Enero-Junio México. ISSN 1870-1477.