SNOLA - webinar "Aplicación de Técnicas Cuantitativas para el Análisis de Datos Educacionales"

Transcripción

1 SNOLA - webinar "Aplicación de Técnicas Cuantitativas para el Análisis de Datos Educacionales" Pedro J. Muñoz-Merino pedmume@it.uc3m.es, Universidad Carlos III de Madrid, Spain

2 2 Lo que SÍ veremos Algunas técnicas estadísticas cuantitativas Propósito y utilidad Condiciones de los datos para poder aplicarse Ejemplos de aplicación de estas técnicas en el ámbito educativo Referencias para profundizar en dichas técnicas y para utilización de software para aplicarlas

3 Lo que NO se cubrirá Técnicas cuantitativas no estadísticas Todas las posibles técnicas estadísticas Profundización teórica en las técnicas Aplicación de las técnicas con herramientas software 3

4 Planificación 1) Introducción diseño experimental 2) Comparación de dos grupos 3) Comparación de N grupos 4) Medida de relación entre variables 5) Predicción con regresión lineal 6) Predicción con regresión logística 7) Clustering 8) Herramientas software para aplicación de técnicas estadísticas 9) Referencias para profundización 4

5 1) Introducción al Diseño Experimental 5

6 Fases del Diseño Experimental 6 Imagen tomada de Field, Andy: Discovering Statistics using SPSS (3rd edition), SAGE

7 Variables Variables aleatorias: Variables que pueden tomar valores numéricos de forma aleatoria. Función densidad de probabilidad. Ej. Notas de alumnos Tipos (dependiendo de los valores) Cuantitativas Categóricas Nominales Ordinales Tipos (dependiendo del efecto causal) Independientes Dependientes 7

8 Población y muestra Población 8 El conjunto de todos los posibles datos que se pueden obtener (habitualmente de todo el grupo de personas) Muestra Un conjunto específico de datos (pero no todos) de una población. Tenemos esto de los experimentos Generalización Hasta que nivel podemos generalizar de una muestra a la población?

9 Utilización de la estadística Necesitamos la estadística porque no sabemos cómo funcionan ciertas cosas complejas. Los humanos no somos capaces de determinar modelos precisos para hacer ciertos fenómenos deterministas. Por ello lo aproximamos como aleatorio. Ejemplo: Lanzar un dado, notas de los alumnos 9

10 Azar vs Efectos sistemáticos Con las técnicas estadísticas de inferencia diremos algo con un % de probabilidad. Hay algo de duda Azar: Alguna influencia que es aleatoria Efecto sistemático: Alguna influencia que es una variable específica que puede ser determinada y que afecta al resultado final 10

11 Recolección de datos Recolectar todas las variables según las hipótesis y técnicas a aplicar Idealmente una muestra aleatoria simple Determinar los factores que pudieran influir y aislarlos del experimento Incluir placebos si es necesario Experimentos doblemente ciegos Tener suficiente número de casos en la muestra para testear las hipótesis 11

12 12 2) Comparación de dos grupos

13 Propósito Variable categórica define los dos grupos Variable continua de la que se quiere comparar la media en los dos grupos Tipos 13 Independiente: Diferentes sujetos. Ej. Comparar ganancias de aprendizaje en diferentes grupos Dependiente: Mismos sujetos definen los grupos. Ej. Comparar motivación antes y después de la interacción con un tutor

14 14 t-test independiente: Condiciones de los datos Condiciones La distribución de muestreo de las medias está normalmente distribuida > Se cumple si Las distribuciones de las muestras son normales Número de casos suficientemente grandes en ambas muestras Homogeneidad de varianzas Si no fueran homogéneas -> t-test modificado Si no se cumplen condiciones -> test no paramétrico como Mann-Whitney

15 t-test dependiente: Condiciones de los datos Condiciones La distribución muestreo de la diferencia de las medias está normalmente distribuida > Se cumple si La distribución de la diferencia está normalmente distribuida Hay un suficiente número de casos en la muestra Si no se cumplen condiciones -> test no paramétrico como Wilcoxon 15

16 Average knowledge increase between post-test and pretest (Scale: from 0 to 10) Ejemplo (I) 4 3,5 3 2,5 2,65 2,5 Students that interacted with the tutor providing hints P.J. Muñoz-Merino, M. Muñoz-Organero, C. Delgado Kloos, "Enhancement of Student Learning Through the Use of a Hinting Computer e- Learning System and Comparison With Human Teachers", IEEE Transactions on Education, vol. 54, no. 1, pp , ,5 1 0, Sudents that interacted with the teacher providing hints (13,67 students per teacher) Hinting system [2.06, 3.25] Human tutor [1.69, 3.31] t-test [-0.38, 0.70]

17 Ejemplo (II) Variables: premotivation, post-motivation -Diferencia entre postmotivation y pre-motivation (t=-2.58, p=.014, n=41). Pedro J. Muñoz-Merino, Manuel Fernández Molina, Mario Muñoz-Organero, Carlos Delgado Kloos, Motivation and Emotions in Competition Systems for Education: An empirical study IEEE Transactions on Education, (2014), 57 (3),

18 18 3) Comparación de N grupos

19 Propósito Variables categóricas definen factores. Cada factor puede tener varios niveles Variable continua de la que se quiere comparar la media entre N grupos definido por la combinación de factores Tipos: Independiente, dependiente, mixto Ejemplos: 19 Compar. de efectividad en 4 cursos (1 factor) Compar. de notas según f1 (individiual o colaborativo) y f2 (con pistas o sin pistas)

20 20 ANOVA: Condiciones de los datos Los requisitos de los datos son diferentes dependiendo del caso (e.g. por ejemplo si los grupos son dependientes o independientes) En algunos casos, se puede aplicar ANOVA, incluso aunque los datos no cumplan los requisitos iniciales (hay que conocer cuales son los otros requisitos) Si ANOVA da significativo en global, para comparaciones dos a dos -> tests post-hoc

21 ANOVA de un factor indep.: Condiciones de los datos Las poblaciones de los N grupos deben ser normales Si el número de casos en cada grupo es suficientemente grande, se cumple Homogeneidad de varianza Incluso si no se cumplen condiciones, en algunos casos se puede aplicar ANOVA (p. ej. mismo número de casos en grupos) Si no se cumplen condiciones -> Kruskall- 21 Wallis

22 Ejemplo (I) E. Harskamp and N. Ding, Structured collaboration versus individual learning in solving physics problems, International Journal of Science Education, vol. 28, no. 14, pp ,

23 Ejemplo (II) Pedro J. Muñoz-Merino, José A. Ruipérez-Valiente, Carlos Alario-Hoyos, Mar Pérez-Sanagustín, Carlos Delgado Kloos, "Precise effectiveness strategy for analyzing the effectiveness of students with educational resources 23 and activities in MOOCs", Computers in Human Behavior (2014). Accepted for publication

24 4) Medida de relación entre variables continuas 24

25 Propósito Ver el nivel de relación entre dos variables contínuas No implica causalidad Ejemplos: Ganancias de aprendizaje y realización de ejercicios Uso de elementos opcionales y seguir recomendaciones 25

26 Condiciones de los datos Correlación de Pearson Ninguna condición es necesaria, salvo variables continuas, o una continua y otra con dos niveles Para la significación estadística se requiere que la distribución de muestreo esté normalmente distribuida. Esto es así si los datos de la muestra están normalmente distribuidos (o si tenemos una muestra suficientemente grande) 26

27 Ejemplo Usuario irreflexivo evitador de pistas (0.607, p<0.01) Tiempo toal videos completados (0.81, p<0.01) Elementos opcionales explorador (0.1, p=0.42) P.J. Muñoz-Merino, J.A. Ruipérez-Valiente, C. Delgado Kloos, Inferring higher level learning information from low level data for the Khan Academy platform in Proceedings of the Learning Analytics Conference, pp ,

28 5) Predicción con regresión lineal 28

29 Propósito Conocer el valor de una variable continua en función de los valores de otras variables predictoras continuas o categóricas con dos valores 29 Lineal: Ecuación lineal Ejemplos Conocer comportamiento con encuesta Conocer contribuidores sociales con notas Conocer LG con indicadores bajo nivel Conocer LG con indicadores alto nivel

30 30 Condiciones de los datos generalización Regresión lineal Condiciones Varianzas de predictores distinta a 0 Correlación no alta entre predictores Homosteciedad. Residuos misma varianza Independencia de los errores Errores distribuidos normalmente Independencia de los valores var. a predecir Linearidad Validación cruzada

31 Ejemplo M. Feng, N. T. Heffernan, and K. R. Koedinger, Predicting state test scores better with intelligent tutoring systems: developing metrics to measure assistance required, in Proceedings of the 8th International Conference on Intelligent Tutoring Systems, pp ,

32 6) Predicción con regresión logística 32

33 Propósito Conocer el valor de una variable categórica en función de los valores de otras variables predictoras continuas o categóricas Ejemplo Si un alumno continuará sus estudios en la universidad a partir de un conjunto de interacciones con un sistema 33

34 Condiciones de los datos generalización Regresión lineal Condiciones Correlación no alta entre predictores Independencia de los errores Linearidad Validación cruzada 34

35 Ejemplo CollegeEnrollment = StudentKnowledge Correctness NumFirstActions Carelessness Confusion Boredom San Pedro, M.O.Z., Baker, R.S.J.d., Bowers, A.J., Heffernan, N.T. (2013) Predicting College Enrollment from Student Interaction with an Intelligent Tutoring System in Middle School. Proceedings of the 6th International Conference on Educational Data Mining,

36 36 7) Clustering

37 Propósito Varias variables continuas que caracterizan algo, queremos saber los grupos como combinaciones de dichas variables Condiciones: Depende de la técnica de clustering Ejemplo 37 Identificar grupos de alumnos con patrones de interacción diferentes en un sistema de aprendizaje

38 Ejemplo Amershi, S., Conati, C.: Automatic Recognition of Learner Groups in Exploratory Learning Environments. In: Ikeda, M., Ashley, K.D., Chan, T.W. (eds.) Intelligent Tutoring Systems 2006, pp

39 8) Herramientas software para aplicación de técnicas estadísticas 39

40 Herramientas software para aplicación técnicas estadísticas R, SPSS, 01.ibm.com/software/es/analytics/spss/ Matlab, Weka, RapidMiner, 40

41 9) Referencias para profundización 41

42 Referencias (I) A. Field, Discovering Statistics using R, SAGE, 2012 D. Rumsey, "Intermediate Statistics for Dummies", Wiley Publishing Statistical Methods in Brain and cognitive sciences, OCW MIT course P. Dalgaard, Introductory statistics with R, New York: Springer, 2002, ISBN: G.P. Quinn, M.J. Keough, "Experimental Design and data analysis for biologists": 42

43 Referencias (II) R. Baker, Big Data and Education, ml Data Science Courses, Coursera, 1?utm_medium=listingPage Data mining, Coursera utm_medium=listingpage Data, analytics and Learning, edx, 43 utarlingtonx-link5-10x#.vl_k4keg9hu