MRT: Multiple Response Test

Mercedes Lo Monaco UAB MRT: Multiple Response Test Manual de uso ESID 10/06/2015 Fecha de Modificación: 17/07/2015 Versión: 1

Contenido Introducción... 1 1.- Creación de la prueba... 1 Formato de archivo... 1 Contenido... 1 2.- Configuración de la prueba en MRT... 3 Creación proyecto... 3 Nuevo formulario... 4 Creación permutaciones... 4 Impresión permutaciones... 6 Encriptación... 7 3.- Realización de la prueba... 9 4.- Análisis de resultados... 11 Recuperación de archivos de respuesta... 11 Análisis... 12 Evaluation... 12 Individual results... 13

Mercedes Lo Monaco Introducción Multiple Response Test (MRT) y Tester son dos programas creados por el Dr. Antoni Castelló, del Departament de Psicologia Bàsica, Evolutiva i de l'educació de la Universitat Autònoma de Barcelona, que nos permiten crear, gestionar y analizar respuestas de exámenes de opción múltiple que pueden realizarse on-line. MRT: es el programa que permitirá crear el test de opción múltiple y, una vez realizado el test, realizar una amplia explotación de los resultados. TESTER: : es el programa que servirá de soporte para que los estudiantes puedan realizar el examen. Una vez realizado el mismo, generará un documento con los resultados que podrán ser analizados con MRT. El programa no necesita instalación, y lo podemos tener (MRT y TESTER) tanto en una carpeta de nuestro ordenador como en un lápiz de memoria. El proceso completo de trabajo implica cuatro grandes etapas: 1. Crear un archivo de texto to con los datos de la prueba. 2. Crear la prueba con MRT. 3. Realización de la prueba por parte de los estudiantes. 4. Realizar la explotación de datos con TESTER. 1.- Creación de la prueba En primer lugar tenemos que crear un archivo de texto en el que introduciremos los datos de la prueba: número de preguntas, texto de las preguntas y las opciones de respuesta Formato de archivo El archivo de texto tiene que crearse con la opción sin Ilustración 1.. WordPad: Ajuste de línea ajuste de línea. Por ejemplo, si utilizamos el programa WordPad, En el menú Formato de la barra de herramientas hay que deseleccionar la opción de Ajuste (Ilustración 1) para que todo lo que escribamos esté en una sola línea. Contenido El archivo deberá contener la siguiente información (ver Ilustración 2): 1. Primera línea: Nº de preguntas que tendrá el examen (ej. 10) 2. Segunda línea: Secuencia de respuestas correctas en formato ABCD, teniendo en cuenta la cantidad de preguntas que tiene el examen (ej. CABCA) 3. Tercera línea: : Nº de opciones de la primera pregunta 1 (ej. 4) 4. Cuarta línea: Enunciado de la pregunta en UNA SOLA LINEA (recordar siempre deseleccionar la opción de Ajuste mencionada más arriba) 5. Quinta línea: : Enunciado de la primera opción de respuesta 1

6. Sexta línea: : Enunciado de la segunda opción de respuesta 7. Séptima línea: : Enunciado de la tercera opción de respuesta 8. Octava línea: : Enunciado de la cuarta opción de respuesta (en el caso de que la pregunta tenga cuatro opciones de respuesta) Ilustración 2. Elementos del archivo de texto Repetir los pasos 1 a 8 tantas veces como número de preguntas se hayan definido La última línea del documento debe estar en BLANCO, por lo que tras el último enunciado de respuesta debemos oprimir la tecla ENTER/INTRO. Una vez finalizada la edición del documento, lo tenemos que guardar con la opción de codificación UTF8. Si utilizamos WordPad eligiéremos la opción de menú Archivo > Guardar como, y en codificación, seleccionaremos la opción UTF8 (Ilustración 3). Por último guardamos el archivo en la carpeta en donde tengamos guardado los programas MRT y TESTER (o en cualquier otro espacio de nuestro ordenador). Ilustración 3. WordPad: Guardar con codificación UTF8

2.- Configuración de la prueba en MRT Creación proyecto Una vez que tenemos el archivo con las preguntas, procederemos a la configuración de la prueba en el programa MRT. Al ejecutar el programa, aparecerá una pantalla en cuya parte izquierda encontraremos cinco opciones Configuration, Data gathering, Evaluation, Analysis e Individual results. Con el botón de configuración seleccionado (aparece a la izquierda en verde), seleccionaremos EXISTING PROJETS (ver Ilustración 4), clicamos con el botón derecho del ratón y elegiremos la opción New Project. Ilustración 4. Creación nuevo proyecto Aparecerá una nueva ventana (ver Ilustración 5) en la que habrá que rellenar los campos: Name: nombre de nuestro examen Description: breve descripción de la prueba (opcional) Nº ítems: número de preguntas que tiene nuestro examen Ilustración 5. Definición proyecto Una vez rellenada la información (no es necesario introducir nada en el campo Structure), clicar en Save Changes.

Nuevo formulario A medida que vamos creando proyectos (exámenes), estos aparecerán al clicar en el icono que aparece a la izquierda de EXISTING PROJET. Al clicar con el botón derecho del ratón sobre un proyecto existente se abrirá un desplegable con diferentes opciones (ver Ilustración 6), y seleccionaremos New Form. Ilustración 6. MRT: New Form Se abrirá entonces una nueva ventana (ver Ilustración 7), en la que en primer lugar clicaremos en el recuadro blanco de File lo que hará que aparezca una ventana de navegación para que seleccionemos el archivo TXT que hemos creado anteriormente con las preguntas del examen. Lo seleccionamos y clicamos Abrir. A continuación seleccionamos, en la lista desplegable Language, el idioma en el que están redactadas las preguntas, y clicamos en Save Changes. Podemos repetir esta operación tantas veces como idiomas en los que tengamos redactado nuestro examen. Ilustración 7. Configuración Form Creación permutaciones El siguiente paso, consistirá en la creación de las permutaciones de la prueba. Para ello, volveremos a la pantalla principal y clicaremos en EXISTING PROJECT > nombre del proyecto > ESP (es el idioma en que se ha configurado el proyecto, en este caso en español). En ESP, hacemos clic con el botón

derecho del ratón y se nos abrirá un desplegable en donde tendremos que seleccionar la opción New Permutation (Ilustración 8). Esta opción tenemos que realizarla aunque nuestro examen no incluya permutaciones. Ilustración 8. MRT: Nueva permutación Se abrirá una ventana (Ilustración 9), en la que a la izquierda aparecen 3 opciones para la permutación de nuestro examen. Keep original form order: mantiene las preguntas en el mismo orden que están escritas en el documento original (seleccionaremos esta opción si no deseamos permutaciones). Randomize ítems: mezcla aleatoriamente los ítems. Randomize options: mezcla aleatoriamente las opciones de respuesta. Tras seleccionar la opción u opciones que deseamos (las ultimas 2 pueden estar seleccionadas simultáneamente) presionamos el botón de Proceed. Ilustración 9. Permutación A - Orden original En el cuadro que antes nos aparecía en blanco, ahora nos aparecen nuestras preguntas y respuestas según la opción que hayamos decidido. Hay que tener en cuenta que si no nos agrada la aleatorización realizada por el programa, podemos presionar el botón de Proceed hasta que haya una combinación que nos agrade. Una vez hecho esto clicar sobre Save Changes.

Este paso habrá que repetirlo tantas veces como permutaciones deseemos. Cada vez que lo hagamos cambiará el valor que aparece en Version (A, B ). Si hemos definido diferentes idiomas, este valor será distinto para cada uno, es decir, que si tenemos dos permutaciones para la versión ESP y dos para la versión CAT, dispondremos de la versión A y B para ESP y la C y D para la versión CAT. En la Ilustración 10 podemos ver la misma pantalla realizando una permutación con la opción de aleatorización de ítems. Ilustración 10. Permutación B - Aleatorización ítems Impresión permutaciones Una vez tenemos las permutaciones, si lo deseamos podemos imprimirlas de forma individualizada (clicando con el botón derecho sobre la etiqueta de la permutación y escogiendo la opción Output) o todas ellas (la misma operación pero sobre el nombre de la prueba). Ilustración 11. Impresión de permutaciones En ambos casos se nos solicitará un nombre raíz para el/los archivo/s, al que se añadirá información sobre el idioma y la etiqueta de la permutación. Si, como en la Ilustración 12 la raíz es Historia, se generarán los archivos Historia-ESP-A.txt Historia-ESP-B.txt Ilustración 12. Definición raíz de nombre de archivo

Encriptación El último paso consistirá en generar el archivo encriptado que utilizarán los estudiantes para realizar la prueba. Al clicar sobre el nombre de nuestro proyecto con el botón derecho del ratón, se abrirá un desplegable en el que hay que seleccionar la opción New Encrypted File Parameters. Ilustración 13. Encriptación archivo En la nueva ventana que aparecerá hay que completar la siguiente información: Name: : Nombre del archivo encriptado. Versions: Selección de las versiones que se quieren generar. Ilustración 14. Parámetros de encriptación En la parte izquierda de la ventana aparecen diferentes opciones, de las cuales hay que seleccionar las que nos interesan recoger

Self Correction: El archivo generado incluirá (al ejecutarse en TESTER) las respuestas correctas (sólo adecuado para feedback). Send results: Se puede configurar una dirección de correo electrónico a la que se enviarían automáticamente los resultados de cada test (se usa conjuntamente con las 4 opciones de la derecha de la pantalla: Mail adress, Mail server, Username y Password). Local results file: El usuario generará un archivo de resultados (que tendrá que enviar). Include keys: Se registrarán las teclas pulsadas durante la ejecución de la prueba (letra de opción o bien adelante/atrás) durante la ejecución. Sirve para monitorizar el proceso de respuesta. Include time: Registra el tiempo que se tarda en realizar cada ítem de la prueba. Date and time: Incluye fecha y hora en la que cada alumno hace el test. Machine s name: Incluirá el nombre del ordenador desde el que se ha realizado la prueba. Essays: Número de intentos realizados. File GUID: No tienen trascendencia en la versión actual; estaban pensadas para una explotación distinta del programa. File s root: Aquí escribiremos la raíz del nombre de cómo queremos que se guarde el archivo del test que realiza cada uno de los alumnos (el que nos enviarán y utilizaremos para poder generar la base de datos). Encryption key: Este apartado tenemos que rellenarlo con 32 caracteres (los que queramos) hasta que el fondo se vuelva VERDE. Para finalizar con este apartado de definición, clicaremos sobre Save Changes. A continuación, en la pantalla principal, al clicar con sobre el icono que aparece a la izquierda del nombre de nuestra prueba (en Existing Project) aparecerá (en cursiva) el nombre que hemos definido en el paso anterior. Al clicar sobre él con el botón derecho del ratón se abrirá un desplegable en el que hay que seleccionar la opción Output > Generate the Encrypted File. El resultado será un archivo con extensión mrt que será el que se utilizará en el programa TESTER. Ilustración 15. Generación archivo encriptado

3.- Realización de la prueba Para realizar la prueba creada con MRT, los estudiantes utilizarán el programa TESTER. Al ejecutarlo, se abrirá una pantalla en la que aparecen 3 opciones: Idioma: se puede elegir entre catalán, castellano e inglés. Sirve para ver estos comandos en dicho idioma y leer las instrucciones. Ilustración 16. TESTER: Selección idioma Instrucciones: : descripción de los comandos dentro del TESTER. Ilustración 17. TESTER: Instrucciones Cargar: Al clicar sobre este botón, aparecerá una lista con las diferentes pruebas generadas con MRT (archivos con extensión.mrt que se encuentren en el mismo directorio que el programa TESTER). Al seleccionar el nombre de nuestro test, en el lado izquierdo de la pantalla aparecerán 2 nuevas opciones: Versión de la prueba y Hacer la prueba. Ilustración 18. TESTER: Cargar prueba

Versión de la prueba: Aparecerá un desplegable con las diferentes permutaciones (sí se ha generado alguna). Hacer la prueba: nos lleva directamente al test. Una vez cargamos nuestro test, aparecerá la primera pregunta. Para responder, simplemente hay que teclear la letra de la opción de respuesta que deseemos (A, B, C, D en este caso). Para desplazarse por las preguntas, sólo hace falta presionar las teclas de dirección o (para volver hacia atrás, hay que presionar la tecla o ) Ilustración 19. TESTER: Visualización pregunta Estarán disponibles también dos nuevas opciones de menú: Resultados: Si se ha definido esta opción, podrá visualizarse información sobre el número de respuestas correctas e incorrectas (Opción Progreso, ver Ilustración 20) y, con la opción Revisar los ítems (Ilustración 21), para cada una de las preguntas, la respuesta dada por el estudiante (resaltada en verde) y la respuesta correcta a dicha pregunta (subrayada). Ilustración 20. TESTER: Resultados - Progreso Ilustración 21. TESTER: Resultados Revisar los ítems

Cancelar la prueba: Para cancelar temporalmente la realización de la prueba y seguir contestando en otro momento. Archivo de resultados: Genera el archivo de resultados a enviar. Nos aparecerá una ventana de confirmación (Ilustración 22) y, si clicamos en sí, una nueva ventana en la que hay que introducir el NIU de la persona que ha realizado la prueba (Ilustración 23), que será utilizado como parte del nombre de archivo que se generará. Ilustración 22. TESTER: Confirmación guardar Ilustración 23. TESTER: Datos personales Finalmente, aparecerá una nueva ventana de confirmación e instrucciones para el envío del archivo de resultados (Ilustración 24). Ilustración 24. TESTER: Instrucciones de envío Cuando se ha contestado alguna pregunta, aparecerán nuevas opciones de menú, que pueden variar en función de la configuración que hayamos realizado de la prueba: Guardar: Se abrirá una ventana con la leyenda Datos guardados correctamente y clicaremos en aceptar. Recuperar: Recupera la última versión con las respuestas hechas hasta ese momento. 4.- Análisis de resultados Una vez que el docente ha recibido los archivos con las respuestas, puede realizar el análisis de los resultados utilizando de nuevo MRT. Recuperación de archivos de respuesta Para ello, utilizaremos el menú Data gathering, que abrirá una ventana ()en la que introduciremos la siguiente información: Project: desplegable en el que seleccionamos el test que deseamos corregir. Encryption parameters: por defecto tenemos que elegir en el desplegable la opción que nos aparezca, generalmente con el mismo nombre que nuestro test Para cargar los resultados generados, tenemos diferentes opciones:

Download from server: si clicamos aquí, descargaremos desde el servidor que hemos configurado cuando generamos nuestro archivo encriptado Import encrypted files from folder: carga todos los archivos encriptados ubicados en una carpeta determinada. Import encrypted text file: importamos archivos de resultados de manera individual. Ilustración 25. Recuperación de archivos de respuesta Una vez elegimos y seleccionamos la opción deseada, clicamos en el botón Done. Análisis Por último para poder visualizar los resultados podemos utilizar las opciones de menú Evaluation e Individual Results. Evaluation En el desplegable Project (Ilustración 26), seleccionamos el proyecto deseado y clicamos en el botón Evaluate. Aparecerá una tabla con las columnas de Identificación del participante, Modelo (permutación), R+ (respuestas correctas), R- (respuestas incorrectas), Blank (repuestas en blanco) y Mark (nota). Estos datos pueden copiarse en una hoja Excel para poder realizar sobre ellos las modificaciones que deseemos o para generar un archivo que podamos colgar en nuestro Campus Virtual, enviar por mail a los alumnos, etc. Estos datos pueden copiarse en una hoja Excel para poder realizar sobre ellos las modificaciones que deseemos o para generar un archivo que podamos colgar en nuestro Campus Virtual, enviar por mail a los alumnos, etc.

Ilustración 26. Visualización de resultados totales Individual results De nuevo, tenemos que seleccionar, en el desplegable Project (Ilustración 27), la prueba que queremos analizar. A continuación, nos aparecerán los identificadores de las personas que han contestado la prueba, y seleccionando cada uno de ellos podremos versus resultados individuales (las respuestas que dieron a cada una de las preguntas, un gráfico con su nota según el resto de la distribución del grupo, etc.). Ilustración 27. Resultados individuales

Esta opción es muy interesante ya que nos facilitará la corrección individualizada de cada uno de los estudiantes. Si clicamos en alguna de las respuestas, en el cuadro que en la imagen aparece la respuesta marcada por el alumno y el peso de esa pregunta en concreto (qué dificultad tiene la pregunta con respecto a las respuestas del resto de los alumnos en la misma).