Encuesta inicial sobre intereses, motivaciones y conocimientos previos en MOOC: Reporte de validación y confiabilidad

Transcripción

1 Encuesta inicial sobre intereses, motivaciones y conocimientos previos en MOOC: Reporte de validación y confiabilidad Title Encuesta inicial sobre intereses, motivaciones y conocimientos previos en MOOC: Reporte de validación y confiabilidad Authors Valdivia Vázquez, Juan Antonio Issue Date Publisher Tecnológico de Monterrey Abstract Documento de encuesta inicial sobre intereses, motivaciones y conocimientos previos en MOOC: Reporte de validación y confiabilidad Discipline Ciencias Sociales / Social Sciences Item Type Reporte Técnico / Technical Report Downloaded 20/10/ :25:46 Link to Item

2 Valdivia Vázquez, J.A. (2017). Encuesta inicial sobre intereses, motivaciones y conocimientos previos en MOOC: Reporte de validación y confiabilidad. Documento no publicado, Escuela de Humanidades y Educación, Tecnológico de Monterrey, Monterrey, México. Monterrey, N.L., a 27 de abril de Encuesta inicial sobre intereses, motivaciones y conocimientos previos en MOOC Reporte de validación y confiabilidad Juan Antonio Valdivia Vazquez, Ph.D. 1. Descripción del instrumento 1.1. Referencia Valenzuela, J. R., Mena, J. J. y Ramírez-Montoya, M. S. (2017). Encuesta inicial sobre intereses, motivaciones y conocimientos previos en MOOC. Instrumento inédito. Recuperado de Objetivo La Encuesta inicial sobre intereses, motivaciones y conocimientos previos en MOOC es un instrumento diseñado para recolectar información, al inicio de los cursos, acerca de datos de identificación y de la experiencia previa que tiene el participante en este tipo de cursos; así como de sus intereses, motivaciones y conocimientos previos Contexto Este reporte se ubica dentro del proyecto del Laboratorio binacional para la gestión inteligente de la sustentabilidad energética y la formación tecnológica, financiado por un fondo sectorial del CONACYT y la SENER. Particularmente, corresponde al sub-proyecto de Innovación abierta, interdisciplinaria y colaborativa para formar en sustentabilidad energética a través de MOOC, el cual tiene como objetivo apoyar la formación especializada en materia de sustentabilidad energética y desarrollar talento humano con las capacidades necesarias para responder a las condiciones tecnológicas existentes en la cadena de valor energética del país (sector eléctrico), a través de posgrados, de la oferta de cursos masivos en línea que estarán disponibles a nivel nacional, y validar competencias a través de procesos de certificación Estructura del instrumento

3 La Encuesta inicial sobre intereses, motivaciones y conocimientos previos en MOOC está estructurada en formato mixto, combinando un total de 28 reactivos que se presentan como preguntas abiertas, de opción múltiple y de escala Likert con cuatro niveles de graduación: muy de acuerdo, de acuerdo, en desacuerdo y muy en desacuerdo. El instrumento es aplicado, vía Internet, a través de la herramienta Survey Monkey, software desde el cual se generó el siguiente link: que muestra el detalle de los reactivos. Este link fue colocado en la plataforma MéxicoX ( para su aplicación dentro de cada MOOC del proyecto antes mencionado. La encuesta consta de tres secciones: (1) datos de identificación, (2) intereses y motivaciones para estudiar el MOOC y (3) conocimientos previos. Previo a la sección (1), se presenta un mensaje inicial para indicar el objetivo de la encuesta y solicitar al participante responder el instrumento completo informándole sobre la confidencialidad en el manejo de los datos que se colectan y que su participación voluntaria es considerada como autorización manifiesta para utilizar sus respuestas con objetivos de investigación y de mejora de los cursos. Posterior a la sección (3), se presenta al participante un mensaje de cierre con el cual se le agradece la información proporcionada. A continuación se describen con mayor detalle las tres secciones principales del instrumento: (1) Datos de identificación: Esta sección comprende 13 preguntas de las 28 de todo el instrumento. Su formato es mixto, combinando reactivos de preguntas abiertas y de opción múltiple. La información que colecta del participante son su nombre, género, fecha de nacimiento, país de procedencia (y estado de residencia en caso de que el participante se localice en la República Mexicana), el nivel máximo de estudios, la disciplina que el participante considera que representa mejor sus estudios, su ocupación principal, las experiencias previas con cursos MOOC, el conocimiento previo que tiene del Tecnológico de Monterrey y, finalmente, el nombre del MOOC al que está inscrito. (2) Intereses y motivaciones para estudiar el MOOC: Esta sección comprende nueve preguntas de las 28 de todo el instrumento. Su formato es mixto, combinando reactivos de preguntas de opción múltiple y de escala Likert. En esta sección se recopila información relacionada con los intereses y las motivaciones que tiene el participante para estudiar este MOOC en particular. Más concretamente, los reactivos fueron redactados para conocer las necesidades y expectativas específicas que tiene el participante en relación a su desarrollo académico y profesional, así como de su nivel de compromiso para terminar el curso exitosamente. (3) Conocimientos previos: Esta sección comprende seis preguntas de las 28 de todo el instrumento. Su formato corresponde a escala Likert únicamente. Con estos reactivos se busca identificar las habilidades y competencias de cómputo y sobre temas de energía con las que el participante inicia el MOOC. Esta es la sección final del instrumento y se presenta anterior al mensaje de agradecimiento de participación ya mencionado. 2. Validez y confiabilidad 2.1. Validación de contenido

4 El proceso de elaboración de la Encuesta inicial sobre intereses, motivaciones y conocimientos previos en MOOC fue constantemente revisado y documentado por un grupo de expertos en temas de educación, psicología del aprendizaje, tecnología educativa, metodología de investigación y psicometría, conformando así un grupo multidisciplinar. Fueron cuatro las etapas en que se concretó el proceso de validación de contenido: concepción del propósito y estructura del instrumento, diseño de reactivos, pilotaje y revisión. La versión final de la encuesta fue sido liberada para su aplicación en enero de 2017, fecha en que se impartió por primera vez el MOOC "Energía: pasado, presente y futuro". La recolección de información usando este instrumento ha continuado en cursos posteriores Validación de estructura Adicional a la validez de contenido, se analizó la validez de la estructura de la encuesta a partir de los datos colectados de su aplicación en dos MOOC: "Energía: pasado, presente y futuro" y "La reforma energética de México y sus oportunidades", ambos cursos liberados en la plataforma MéxicoX en enero de Estos dos MOOC fueron diseñados para la primera fase del proyecto Laboratorio binacional para la gestión inteligente de la sustentabilidad energética y la formación tecnológica. Aunque en el proyecto se desarrollarán 10 MOOC, y se sugiere una secuencia para estudiarlos, los cursos por su naturaleza no están seriados y pueden considerarse independientes uno de otro. Esta condición aplica para los participantes de los dos primeros cursos y, por consecuencia, no se espera que las personas inscritas en un MOOC estén necesariamente inscritas en el otro. El análisis de la estructura de la encuesta fue elaborado utilizando el software SPSS mediante la estrategia de análisis factorial exploratorio (AFE). Se ejecutaron dos procedimientos AFE independientes utilizando las muestras de cada MOOC. El método de solución factorial elegido fue el de eje principal con estrategia de rotación oblicua. Para el criterio de selección de factores se utilizó el eigenvalor mayor a uno con carga de reactivos mayor a.40 de aportación al factor. El estimado de confiabilidad de la solución factorial se evaluó mediante la estrategia de cálculo del coeficiente alfa de Cronbach. La solución factorial encontrada para el primer MOOC presenta una agrupación de tres factores correlacionados moderadamente [.40,.50] entre ellos pero plenamente identificados. Estos factores pueden ser denominados como (a) intereses y motivaciones (reactivos del 16 al 21); (b) conocimientos previos (reactivos del 23 al 26); y (c) conocimientos sobre temas de energía (reactivos 27 y 28). Resultados similares se obtuvieron al ejecutarse el análisis factorial exploratorio sobre los datos obtenidos en el segundo MOOC Confiabilidad El índice de confiabilidad se determinó calculando el coeficiente alfa de Cronbach, el cual tuvo un valor de.89, lo cual indica que los resultados de la encuesta son muy estables. 3. Reflexión sobre el análisis psicométrico

5 Los resultados obtenidos mediante el análisis psicométrico permiten sustentar, con un grado de confianza robusto, el trabajo realizado durante el proceso de validación de contenido. Los reactivos en ambas muestras (MOOC) se han comportado de forma similar, lo que permite considerar que el diseño de este instrumento, desde su concepción, ha cuidado aspectos internos en cuanto a los constructos que se deseaban medir. Aunque el instrumento originalmente tiene dos constructos (intereses y motivaciones, conocimientos previos), la estructura revela la división del segundo de ellos en dos factores más finos. Esta división permite reconocer una estructura de tres factores. El diseño de los reactivos relacionados con conocimiento previo indica que hay que diferenciar el tipo de conocimiento al momento de reportar resultados. Se recomienda robustecer esta interpretación mediante análisis posteriores que confirmen esta estructura. Este documento es un producto del proyecto Laboratorio Binacional para la Gestión Inteligente de la Sustentabilidad Energética y la Formación Tecnológica financiado a través de Fondo CONACYT SENER de Sustentabilidad Energética (S ). [CC BY-NC-ND 2.5 MX]