Producción de Multimedia Educativo
1 Sesión No. 12 Nombre: Etapa de Evaluación Objetivo: Reconocer la importancia de la evaluación como medio para el establecimiento y medición de la calidad de recursos multimedia, identificando los aspectos que deben evaluarse y los instrumentos de evaluación que deben aplicarse. Contextualización Los materiales educativos multimedia, tienen el objetivo de establecer un diálogo con el usuario final para llevar a cabo una serie de tareas de índole diversa. Un objetivo fundamental es lograr que sean fructíferos, es decir, deben ayudar al usuario a completar la tarea en cuestión en el menor tiempo posible con el menor número de errores y distractores. En el caso particular de los materiales multimedia educativos, además lo anterior, deben ser objetos útiles para el aprendizaje significativo. Para lograr lo anterior, es necesario construir lo recursos con base en estándares de calidad que fomenten su correcto funcionamiento y asegurarse de evaluarlos con el fin de determinar su correcta funcionalidad. Por lo tanto, a lo largo de esta sesión revisaremos el propósito de la evaluación, los aspectos que deben avaluarse y los instrumentos que facilitarán su medición.
2 Introducción al Tema Qué es la evaluación? Para comenzar con el estudio de esta sesión, es importante tener claro qué es la evaluación, y si bien hay muchas definiciones al respecto, colocaremos algunas que muestren su importancia. Por lo tanto la evaluación: Es un proceso que tiene por objeto determinar en qué medida se han logrado objetivos previamente determinados. Ello supone realizar un juicio de valor sobre la información recogida, contrastándola con los criteriosobjetivos previamente establecidos en términos de conductas que el alumno debe exhibir para probar su adquisición. Tyler, 1950 Es un proceso sistemático de recogida y análisis de información fiable y válida para tomar decisiones sobre un programa educativo. Glass & Ellet, 1980 En cuanto a los recursos multimedia, la evaluación: Permite valorar y merar la interfaz para adaptarla a las características y necesidades de los usuarios. Benyon 1990
3 Explicación Propósito de la evaluación Ahora que ya sabes qué es la evaluación y su relevancia de acuerdo a los recursos multimedia, es importante responderse: Para qué evaluar los recursos? Un recurso multimedia educativo contiene muchos elementos susceptibles de ser evaluados, tales como la apariencia de los contenidos, la utilidad de su información, la funcionalidad de sus menús o formularios, e incluso la manera en la que los usuarios hacen uso de dichos recursos. Evaluar tiene el objetivo de obtener datos objetivos y fiables sobre la usabilidad, utilidad y funcionalidad del sistema y así, obtener un recurso que se adapte a las necesidades del usuario. Detectar y solventar problemas de usabilidad antes de que el recurso sea utilizado por el usuario final. Concentrar los esfuerzos en solucionar problemas reales y no imaginarios. Llevar a cabo procesos de ingeniería de usabilidad en vez de debates. Reducir el tiempo de producción y presentación ante el usuario. Facilita el trabajo de todas las áreas involucradas en la creación, uso y promoción del recurso. Cuándo evaluar?
4 Evaluar es un procedimiento formal que debe realizarse con el fin de mejorar la usabilidad de un recurso final, y puede realizarse durante distintas fases dentro del ciclo de vida del recurso: (Aedo, 2009) Como puede verse, la evaluación puede realizarse durante todo el proceso de creación e implementación del recurso, no es un proceso necesariamente final y su objetivo en cualquier etapa es mejorar el recurso determinan qué es lo que necesita mejorar.
Aspectos que deben evaluarse Qué se debe evaluar? Se pueden considerar los siguientes aspectos a evaluar: PRODUCCIÓN DE MULTIMEDIA EDUCATIVO 5 Estructura Busca medir la relación existente entre los contenidos. Los recursos multimedia están formados por una serie de nodos o unidades indivisibles de presentación en las que se incluye el contenido, por lo que debe cuidarse tanto su funcionabilidad como su congruencia académica. Por ejemplo, al pasar un libro a un formato multimedia éste se organizará en capítulos que a su vez se estructurarán en sesiones que finalmente se integrarán por páginas con contenido pedagógicamente tratado. Para evaluar este aspecto debe responderse: El recurso está bien estructurado? Es comprensible la estructura del recurso? La información está bien estructurada? Navegación En este apartado se analiza la forma en la que el usuario puede moverse a través de la información, es decir, si la navegación no presenta conflictos es congruente, es intuitiva, si existen recursos que redireccionen la navegación como hipervínculos. Para evaluar este aspecto debe responderse: Se pueden utilizar las opciones de navegación disponibles para
6 conseguir los objetivos del usuario? Se puede localizar de ser necesario rápidamente un concepto o información? Se facilitan los mecanismos de orientación? Puede el usuario regresar a cualquier punto por el que ha pasado? Está de acuerdo al usuario con los enlaces existentes? Contenidos Aquí se hace referencia a cada uno de los elementos de la información que se utilizan en el recurso multimedia. Por ejemplo una definición, un tema, un término, una imagen, etc. Es decir, se debe tener cuidado con que el contenido este en congruencia total a lo largo de todo el curso y que cumpla con el objetivo educativo por el cual el recurso multimedia fue creado. Para evaluar este aspecto debe responderse: Son los contenidos adecuados y atrayentes? Se pueden utilizar los contenidos para conseguir objetivos? Hay contenidos que proporcionen pistas sobre la utilidad del recurso? Se presentan los contenidos de forma armónica y se usan para potenciar la comprensión del tema tratado? Se utilizan características de presentación para resaltar la información? Se satura al usuario con la información presentada? Son evidentes las opciones disponibles? Se hace explicita las estructura del sistema mediante pistas?
7 Presentación Esta perspectiva estudia la apariencia del contenido, la forma en la que se presenta el contenido al usuario, determinando si es la manera más adecuada y utilizable de hacerlo. Para evaluar este aspecto debe responderse: El contenido se presenta de forma adecuada? El contenido tiene congruencia en presentación lógica y gráfica? Se cumplen con los objetivos académicos? Interacción Hace referencia al diálogo que existe entre el recurso y el usuario, es decir, se revisa la funcionalidad del recurso así como los comandos ofrecidos, la utilización de menús, formularios y cualquier otro tipo de mecanismos de interacción. Para evaluar este aspecto debe responderse: Se pueden utilizar las opciones de interacción disponibles para conseguir los objetivos de los usuarios? Se restringe a los usuarios la utilización de la información? Puede el usuario controlar el comportamiento de los elementos que participan en el sistema?
8 Sabiendo los elementos que deben evaluarse así como las preguntas guías que deben realizarse, podrás realizar una primera evaluación de los recursos multimedia. Instrumentos de evaluación Para evaluar, es necesario que se cuente con instrumentos que ayuden a medir la eficacia y eficiencia del recurso, para lo cual, antes de iniciar con la evaluación, es necesario tener claro el proceso que se debe llevar a cabo. El proceso de evaluación se compone de las siguientes fases: Definición del objetivo de la evaluación Elaboración de resultados Selección de la técnica de evaluación Realización de la evaluación Preparación de la evaluación Una vez claro el proceso de evaluación que debe llevarse a cabo para obtener datos reales y fieles, es momento de conocer las técnicas para recabar dichos datos y las cuales serán parte aguas para realizar todo el proceso de evaluación.
9 Para ello, es importante conocer los métodos de evaluación e instrumentos de que los acompañan para obtener información confiable sobre la calidad de los recursos multimedia. Éstos se dividen en (Aedo, 2009): Revisemos a detalle cada una. Este tipo de evaluación hace uso de una descripción formal o semiformal del recurso, con el fin de predecir el comportamiento del usuario, tanto en términos físicos como de operaciones cognitivas que se deberían realizar. Los datos obtenidos en una evaluación analítica serán muy genéricos y no directamente exportables a conclusiones reales. Este tipo de evaluación suele utilizarse en fases de análisis o diseño. Un instrumento de evaluación concerniente a este tipo de evaluación es la Heurística, revisémosla a continuación:
10 Heurística Ejemplo de cuestiones Visibilidad del estado del recurso Se informa a los usuarios de lo que está sucediendo en todo momento? Equivalencia entre el mundo real y el recurso Se responde en un plazo razonable? Es el lenguaje utilizado en la interfaz simple? Es ese lenguaje familiar para el usuario? Está relacionado con la tarea a realizar? Control del usuario y libertad Qué grado de libertad tiene el usuario? Puede elegir la forma de moverse por el recurso? Puede tomar la iniciativa en otro tipo de acciones? Consistencia y estándares La presentación de la información se hace siguiendo normas de estilo? Producen funciones similares resultando similares? Se ajusta el producto a algún estándar
11 o norma? Ayuda al usuario a conocer, diagnosticar y solventar errores Son los mensajes de error útiles? Utilizan un lenguaje sencillo para describir el problema? Proporcionan guías sobre la forma de solucionar el problema? Prevención de errores Es fácil cometer errores? Dónde y cómo? Reconocimiento frente a recuerdo Están siempre visibles los objetos, acciones y opciones disponibles? Flexibilidad y eficiencia Se adapta a las características del usuario o de la plataforma? Existen atajos para usuarios expertos? Diseño estético y minimalista Hay información innecesaria? Hay funciones innecesarias? Ayuda y documentación La ayuda es contextual? Es fácil de utilizar? Se puede buscar de forma eficiente?
12 Este tipo de evaluación consiste en elegir una serie de personas altamente cualificadas en el diseño de interfaces de usuario o en el tipo de aplicación bajo examen e invitarlas a juzgar el recurso e identificar los problemas de contenido e interacción que encontrarán los usuarios. Es un recurso eficaz y que no requiere grandes inversiones. Es un método idóneo para utilizarse en las fases de análisis, diseño y prototipado. Este tipo de evaluación también puede realizarse con un instrumento como el heurístico pero con personal experto. Este tipo de evaluación abarca usabilidad y estudios de campo. Tiene el objetivo de enfrentar a usuarios reales con la aplicación y lo ideal es realizarla al final de la interacción con el recurso. Este tipo de valuación se divide en (Aedo, 2009): Evaluación por observación Este tipo de evaluación busca obtener datos del usuario mientras está usando el recurso. Para ello, se pueden aplicar las siguientes técnicas:
13 Observación directa: Un evaluador toma nota de la actividad del usuario. Grabación en video: Se graba la actividad del usuario con o sin su participación. Uso de software de registro: Mediante un software se graba la interacción del usuario con el recurso sin que éste se percate. Protocolos verbales: Se invita al usuario a expresar en voz alta sus observaciones y pensamientos mientras usa el sistema. Evaluación por examen Esta evaluación hace uso de entrevistas o cuestionarios con el objetivo de recoger información subjetiva (Aedo, 2009). Entrevista Las entrevistas pueden ser: Flexibles: Se definen un conjunto de temas por hablar pero sin ningún orden o secuencia precisa. Estructuradas: Existen un conjunto de cuestiones predefinidas. Semi-esctructuradas: Adopta un enfoque mixto por ejemplo:
14 Cuestionario Los cuestionarios deben diseñarse cuidadosamente y suelen incluirse dos tipos de preguntas: Abiertas: Se componen de opiniones y suelen ser más difíciles de analizar pero proporcionan una fuente de información mayor. Cerradas: Pueden diseñarse de diversas formas, por ejemplo:
15 Este tipo de evaluación busca obtener datos sobre la interfaz y estudiar sus efectos en varios aspectos del rendimiento del usuario. Normalmente esta evaluación se aplica cuando ya se tiene el recurso terminado. Lo ideal es realizar esta evaluación al final de la prueba del recurso y complementarla con una fase de seguimiento. Este tipo de evaluación puede utilizar instrumentos como: Observación Examen Entrevista Los cuales pueden ser diseñados de acuerdo a lo que ya se ha revisado en párrafos anteriores.
16 Conclusión Evaluar es sin duda un proceso necesario para establecer estándares de calidad y asegurarse de su cumplimiento. De esta manera se puede identificar en qué se debe mejorar y qué se puede fortalecer para hacer de un recurso multimedia un elemento de calidad alta. Si se omitiera la medición de calidad de los recursos, se obtendrían elementos poco homogéneos, con nulos lineamientos y por supuesto con recursos que presentarán errores de forma y fondo, es decir, con un contenido de bajo nivel y fallas en su funcionamiento. Sea cual sea la manera en la que se evalué el recurso, quien realice la evaluación debe tener claro que es un proceso que va dentro del mismo de desarrollo y producción y es cíclico por lo cual nunca deberá de dejarse de hacer ya que siempre habrá algo que se pueda mejorar.
17 Para aprender más Evaluación de las aplicaciones multimedia: criterios de calidad Belloch, C. (13/04/2016). Evaluación de las aplicaciones multimedia: criterios de calidad. Universidad de Valencia. Recuperado el 13/04/2016 de: http://www.uv.es/bellochc/pdf/pwtic4.pdf Herramienta de evaluación de multimedia didáctico Martínez, F. (13/04/2016). Herramienta de evaluación de multimedia didáctico. Universidad de Murcia. Recuperado el 13/04/2016 de: http://ocw.um.es/gat/contenidos/mpaz/tema4/evaluacionmmdidactico.pdf
18 Actividad de Aprendizaje Instrucciones: Con la finalidad de profundizar en los conocimientos adquiridos a lo largo de esta sesión, realiza la siguiente actividad: Retoma el proyecto multimedia que diseñaste a lo largo de las sesiones 8 a 10. Con base en lo anterior, revisa la lectura Herramienta de evaluación de multimedia didáctico (ubicada en la sección de: Para aprender más) y retoma el instrumento de evaluación que aparece a partir de la página 11. Utilizando el instrumento mencionado evalúa tu proyecto multimedia llenando todo el instrumento. Paga el instrumento completo en un Word y al final coloca una reflexión donde coloques las áreas de oportunidad que tiene tu proyecto, así como los puntos fuertes que tiene y responde a la pregunta: Por qué es importante la evaluación? Esta actividad representa el 5% de tu calificación y se tomará en cuenta lo siguiente: Tus datos generales Referencias bibliográficas Ortografía y redacción Título Instrumento de evaluación Reflexión final
19 Bibliografía Aedo, I. e. (2009). Sistema multimedia: Análisis, diseño y evaluación. Madrid: UNED. Aranda, J. (2014). UF1842. Desarrollo y reutilización de componentes software y multimedia mediante lenguajes de guión. IC: Málaga. Belloch, C. (13/04/2016). Evaluación de las aplicaciones multimedia: criterios de calidad. Universidad de Valencia. Recuperado el 13/04/2016 de: http://www.uv.es/bellochc/pdf/pwtic4.pdf Martínez, F. (13/04/2016). Herramienta de evaluación de multimedia didáctico. Universidad de Murcia. Recuperado el 13/04/2016 de: http://ocw.um.es/gat/contenidos/mpaz/tema4/evaluacionmmdidactico.pdf Muñoz, P. &. (2009). El diseño de materiales de aprendizaje multimedia y las nuevas competencias del docente en contextos teleformativos. Madrid: Bubok.