EVALUATION OF A SUCCESSFUL MODEL OF LEARNING MANAGEMENT SYSTEMS: AN EMPIRICAL STUDY IN CHILE

Transcripción

1 EVALUATION OF A SUCCESSFUL MODEL OF LEARNING MANAGEMENT SYSTEMS: AN EMPIRICAL STUDY IN CHILE Patricio Ramírez-Correa (Universidad Católica del Norte, Coquimbo, Chile) - patricio.ramirez@ucn.cl Jorge Alfaro-Pérez (Universidad Católica del Norte, Coquimbo, Chile) - patricio.ramirez@ucn.cl F. Javier Rondan-Cataluña (Universidad de Sevilla, Sevilla, España) - rondan@us.es Jorge Arenas-Gaitán (Universidad de Sevilla, Sevilla, España) - jarenas@us.es This study uses the DeLone and McLean information systems success model to determine the success of a learning management system. A survey in person to 258 Chilean students was used to evaluate the proposed research model. The analysis is based on structural equation approach based on the variance. The results indicate that the research model explains the use (R 2 = 0.25), the user satisfaction (R 2 = 0.51), and the perceived benefits of learning management system (R 2 = 0.41). Keywords: DeLone and McLean model, learning management systems, PLS, tertiary education, Chile. EVALUACIÓN DE UN MODELO DE ÉXITO DE SISTEMAS DE GESTIÓN DE APRENDIZAJE: UN ESTUDIO EMPIRICO EN CHILE Este estudio utiliza el modelo de éxito de sistemas de información de DeLone y McLean para determinar el éxito de un sistema de gestión del Una encuesta cara a cara a 258 estudiantes chilenos se utilizó para evaluar el modelo de investigación propuesto. El análisis se basa en el enfoque de ecuaciones estructurales basado en la varianza. Los resultados indican que el modelo de investigación explica el uso (R 2 =0,25), la satisfacción usuaria (R 2 =0,51), y los beneficios percibidos de sistema de gestión del aprendizaje(r 2 =0,41). Palabras Claves: modelo de DeLone y McLean, sistemas de gestión de aprendizaje, PLS, educación superior, Chile. Agradecimientos: Los autores agradecen a la Universidad Católica del Norte que apoyo financieramente la realización del estudio empírico. 1157

2 1. INTRODUCCION La enorme expansión la educación basada en sistemas de gestión del aprendizaje es una realidad, de hecho, el número de estudiantes que han tomado al menos un curso en línea aumenta diez veces más rápido que las inscripciones reales en la educación universitaria (Omar, Kalulu, & Alijani, 2011). Para el año 2016 se espera que el mercado global para este tipo de tecnología alcance a 51,5 billones de dólares norteamericanos (Docebo, 2014). Un sistema de gestión del aprendizaje se define como un proceso de aprendizaje habilitado por Internet (Gunasekaran, McNeil, & Shaul, 2002), cuyo principal objetivo es complementar la enseñanza tradicional, haciendo posible el desarrollo de métodos de aprendizaje más portátiles y flexibles (Zhang & Nunamaker, 2003). Si bien existe un importante progreso en la comprensión de los parámetros que influyen en la eficacia de la educación basada en sistemas de gestión del aprendizaje, existen lagunas en la comprensión de las causas de las variaciones en los resultados del aprendizaje (Sahasrabudhe & Kanungo, 2014). Este trabajo se orienta a contribuir en la comprensión de estas causas, en particular, a través del uso del modelo de éxito de sistemas de información de DeLone y McLean (D&M) (William H DeLone & McLean, 1992) se propone explicar el éxito de los sistemas de gestión del El modelo de éxito de sistemas de información de D&M posee un amplio nivel de validación empírica, y desde su propuesta hace dos décadas, ha sido aplicado en múltiples ámbitos de utilización de sistemas de información. Acorde a lo anterior, el modelo de D&M tiene una gran aceptación de la comunidad científica (W. H. DeLone & McLean, 2003; Petter, delone, & McLean, 2013). A principios de los noventa, el modelo D&M surgió de la revisión, clasificación y síntesis de las variables que habían sido utilizadas en 180 estudios de la década de los ochenta para medir el éxito de un sistema de información. A partir de esa síntesis, y en base a nociones de trabajos anteriores (Mason, 1978; Shannon & Weaver, 1949), DeLone y McLean proponen un modelo multidimensional del éxito consistente en seis dimensiones interrelacionadas: 1) Calidad del sistema; 2) Calidad de la información; 3) Uso; 4) Satisfacción del usuario; 5) Impactos individuales; e 6) Impactos organizacionales (William H DeLone & McLean, 1992). Diez años después, sus autores proponen una modificación que resume en la dimensión Beneficios netos a los impactos individuales y organizacionales, y adiciona la dimensión Calidad de servicio (W. H. DeLone & McLean, 2003). Desde su propuesta, los autores apuntan que la naturaleza multidimensional e interdependiente del modelo demanda una cuidadosa atención en la definición y medida de cada aspecto de esta variable dependiente, y por tanto, es importante medir las interacciones posibles entre cada una de estas dimensiones para aislar el efecto de varias variables independientes con una o más de estas dimensiones dependientes. De igual modo, se destaca que la selección de las dimensiones y de las medidas del éxito debe ser contingente en objetivos y el contexto de la investigación empírica; pero, en lo posible, deben ser utilizadas medidas probadas (William H DeLone & McLean, 1992). En particular, en el contexto de los sistemas de gestión del aprendizaje, el modelo de éxito ha mostrado comportamientos que consolidan las diferentes relaciones de causalidad propuesta en éste (Freeze, Alshare, Lane, & Wen, 2010). Considerando lo anteriormente expuesto, y la carencia de estudios en Chile sobre el fenómeno, esta investigación tiene por propósito evaluar el modelo de éxito de sistemas de información de D&M en un contexto de sistemas de gestión de aprendizaje en Chile. 1158

3 Este trabajo se ha estructurado como sigue. Primero se presenta la metodología utulizada, para dar paso a los resultados, y finalmente a las conclusiones. 2. METODOLOGÍA 2.1 Modelo de investigación e hipótesis. La figura 1 muestra el modelo de investigación basado en el modelo de éxito de los sistemas de información de D&M (W. H. DeLone & McLean, 2003), así como las hipótesis de este estudio. El propósito del modelo es explicar la variable éxito de sistemas de gestión del aprendizaje, y consiste en cinco dimensiones interrelacionadas: Calidad de sistema (CS), Calidad de Información (CI), Uso (U), Satisfacción Usuaria (SU), y Beneficios Netos (BN). En el modelo, por una parte, las dimensiones de calidad, calidad de sistema y calidad de información, son antecedentes del uso y la satisfacción usuaria; y también, el uso por sí mismo es un antecedente de la satisfacción usuaria. Y por otra parte, los beneficios netos del sistema de gestión del aprendizaje son explicados por el uso y la satisfacción usuaria. Calidad de Información (CI) H2 H1 Uso (U) H6 H3 H5 Beneficios Netos (BN) H7 Calidad de Sistema (CS) H4 Satisfacción Usuaria (SU) Fig. 1. Modelo de investigación. Según el modelo de éxito de D&M las dimensiones de calidad de información y calidad de sistemas impactan tanto en el uso como en la satisfacción usuaria de un sistema de información. En el contexto de sistemas de gestión del aprendizaje, se ha confirmado la existencia de estas relaciones (Freeze, et al., 2010). Considerando los anteriores estudios, se proponen las siguientes hipótesis: H1. CI se relaciona positivamente con el U en los sistemas de gestión del H2. CI se relaciona positivamente con la SU en los sistemas de gestión del 1159

4 H3. CS se relaciona positivamente con el U en los sistemas de gestión del H4. CS se relaciona positivamente con la SU en los sistemas de gestión del En el modelo de éxito de D&M las dimensiones de uso y satisfacción usuario se impactan mutualmente, sin embargo, en un contexto de uso obligatorio de un sistema de información, como es el caso de los sistemas de gestión del aprendizaje para los estudiantes, solo el uso debería impactar en la satisfacción usuaria. Considerando lo anterior, se proponen la siguiente hipótesis: H5. U se relaciona positivamente con la SU en los sistemas de gestión del DeLone y Mclean proponen que las dimensiones de uso y satisfacción usuario impactan los beneficios netos de un sistema de información. En el contexto de sistemas de gestión del aprendizaje, se ha confirmado la existencia de estas relaciones (Freeze, et al., 2010). Considerando los anteriores estudios, se proponen las siguientes hipótesis: H6. U se relaciona positivamente con los BN en los sistemas de gestión del H7. SU se relaciona positivamente con los BN en los sistemas de gestión del 2.2. Método de investigación La investigación empírica se basa en un método de muestreo no aleatorio. Los datos fueron obtenidos en Chile a través de una encuesta cara a cara a estudiantes universitarios chilenos en diciembre de El tamaño de muestra final fue de 258 usuarios de un sistema de gestión del El 44.57% (115) de la muestra son mujeres y el 55.43% (143) hombres. La edad promedio es de años (desviación estándar de 2.02). Un 33% de los usuarios tienen una antigüedad en el uso de menos de un año, un 43% entre dos y tres años, y un 24% de cuatro o más años. Las escalas de medida utilizadas se basan en (Freeze, et al., 2010; Tella, 2011; Wang, Wang, & Shee, 2007). Todos los ítems se midieron utilizando una escala Likert de siete puntos. El enfoque de ecuaciones estructurales basado en la varianza (Partial Least Squares - PLS) se aplicó para probar el modelo de investigación (Hair, Hult, Ringle, & Sarstedt, 2014). En concreto, el software WarpPLS 4.0 (Kock, 2013) se utilizó para el análisis de los modelos. 3. RESULTADOS Antes de analizar el modelo estructural, se midieron la fiabilidad y la validez del modelo de medida (véase anexo con análisis del modelo de medida) A continuación, una vez que fueron apoyados validez y fiabilidad del modelo de medición, se pusieron a prueba las relaciones entre las variables. El resultado de los efectos directos se puede ver en la Figura 2 y en la Tabla I. 1160

5 R 2 =.25 Calidad de Información (CI) H1 (β=.44)*** H2 (β=.22)*** Uso (U) H6 (β=.17)*** R 2 =.41 H3 (β=.09)* H5 (β=.27)*** H7 (β=.54)*** Beneficios Netos (BN) Calidad de Sistema (CS) H4 (β=.39)*** Satisfacción Usuaria (SU) R 2 =.51 Fig. 2. Resultados del modelo estructural. Tabla I. Resultados del modelo estructural. Variable Dependiente: Uso Camino (sig.) ES R 2 0,25 Q 2 0,25 Calidad de Información(CI) 0,44 *** 0,22 Calidad de Sistema(CS) 0,09 * 0,03 Variable Dependiente: Satisfacción Usuaria Camino(sig.) ES R 2 0,51 Q 2 0,52 Calidad de Información(CI) 0,22 *** 0,13 Calidad de Sistema(CS) 0,39 *** 0,24 Uso(U) 0,27 *** 0,14 Variable Dependiente: Beneficios Netos Camino(sig.) ES R 2 0,41 Q 2 0,40 Uso(U) 0,17 *** 0,07 Satisfación Usuaria(SU) 0,54 *** 0,33 Estos resultados permiten soportar las hipótesis H1, H2, H3, H4, H5, H6 y H7. Adicionalmente, como se muestra en la Tabla II, se calcularon los índices de ajuste del modelo para su evaluación de forma global. 1161

6 Tabla II. Indices de ajuste del modelo Indice Valor Sig. Average of path coefficient (APC) *** Average of square root (ARS) *** Average of variance inflation factor (AVIF) Tenenhaus goodness of fit (GoF) *** p< Además de observar las magnitudes de los R 2 como criterio de precisión de predicción, este estudio confirma adicionalmente mejoras en la precisión de la relevancia predictiva del modelo de DeLone y McLean a través del indicador Q 2. Este último indicador señala si el modelo predice con exactitud los datos de variables latentes con medidas reflejas. En relación al modelo (véase la Figura 2), es posible destacar tres elementos. Primero, la Calidad de Sistema tiene un importante impacto en la Satisfacción Usuaria. Segundo, el Uso del sistema está fuertemente antecedido por la Calidad de Información. Y tercero, los Beneficios Netos percibidos por los usuarios del sistema se explican significativamente por el grado de Satisfacción Usuaria. Finalmente, y si bien en general los tamaños de efectos del modelo son moderados, se debe destacar el gran tamaño de efecto de la variable Satisfacción Usuaria sobre Beneficios Netos 4. CONCLUSIONES Los resultados indican que el modelo de investigación propuesto en base a D&M explica el uso (R 2 =0,25), la satisfacción usuaria (R 2 =0,51), y los beneficios percibidos de sistema de gestión del aprendizaje (R 2 =0,41), en una muestra de estudiantes chilenos. Por otra parte, esta investigación confirma que las variables calidad de información, calidad de sistema y uso son antecedentes relevantes para las variables de satisfacción y beneficios netos. Un aspecto de valor de esta investigación es la prueba y demostración que avalan los resultados del modelo de éxito de DeLone y McLean en ámbitos de sistemas de gestión del aprendizaje en el contexto Latinoamericano. Entre las principales limitaciones de este estudio esta la condición no probabilística en la definición de la muestra, lo que restringe extrapolar los resultados, y la consideración de una única organización para el desarrollo de los resultados descritos. 5. REFERENCIAS Ahmad, N., Tasir, Z., Kasim, J., & Sahat, H. (2013). Automatic Detection of Learning Styles in Learning Management Systems by Using Literature-based Method. Procedia-Social and Behavioral Sciences, 103, Boneu, J. M. (2007). Plataformas abiertas de e-learning para el soporte de contenidos educativos abiertos. Revista de universidad y sociedad del conocimiento, 4(1), Cheng, G. (2014). Exploring students' learning styles in relation to their acceptance and attitudes towards using Second Life in education: A case study in Hong Kong. Computers & Education, 70,

7 DeLone, W. H., & McLean, E. R. (1992). Information systems success: the quest for the dependent variable. Information systems research, 3(1), DeLone, W. H., & McLean, E. R. (2003). The DeLone and McLean model of information systems success: a ten-year update. [Article]. Journal of Management Information Systems, 19(4), Docebo. (2014). E-Learning Market Trends & Forecast from docebo-report.pdf Dung, P. Q., & Florea, A. M. (2012). A literature-based method to automatically detect learning styles in learning management systems. Paper presented at the Proceedings of the 2nd International Conference on Web Intelligence, Mining and Semantics. Eom, S. B., Wen, H. J., & Ashill, N. (2006). The Determinants of Students' Perceived Learning Outcomes and Satisfaction in University Online Education: An Empirical Investigation*. Decision Sciences Journal of Innovative Education, 4(2), Felder, R., & Silverman, L. (1988). Learning and Teaching Styles (Vol. 78, pp ): Engr. Education. Felder, R. M., & Spurlin, J. (2005). Applications, reliability and validity of the Index of Learning Styles. International Journal of Engineering Education, 21(1), Freeze, R., Alshare, K., Lane, P., & Wen, H. J. (2010). IS Success Model in E-Learning Context Based on Students' Perceptions (Vol. 21, pp ): Journal of Information Systems Educations. Gunasekaran, A., McNeil, R. D., & Shaul, D. (2002). E-learning: research and applications. Industrial and Commercial Training, 34(2), Hair, J., Hult, G. T., Ringle, C., & Sarstedt, M. (2014). A Primer on Partial Least Squares Structural Equation Modeling (PLS-SEM): SAGE Publications, Inc. Kock, N. (2013). WarpPLS 4.0 user manual. Laredo, TX: ScriptWarp Systems. Landrum, H., Prybutok, V. R., & Zhang, X. (2010). The moderating effect of occupation on the perception of information services quality and success. Computers & Industrial Engineering, 58(1), Lu, H.-P., & Chiou, M.-J. (2010). The impact of individual differences on e-learning system satisfaction: A contingency approach. British Journal of Educational Technology, 41(2), Mason, R. O. (1978). Measuring information output: A communication systems approach. Information & Management, 1(4), Omar, A., Kalulu, D., & Alijani, G. S. (2011). Management of innovative e-learning environments. Academy of Educational Leadership Journal, 15(3), Petter, S., delone, W., & McLean, E. R. (2013). Information Systems Success: The Quest for the Independent Variables. [Article]. Journal of Management Information Systems, 29(4), Sahasrabudhe, V., & Kanungo, S. (2014). Appropriate media choice for e-learning effectiveness: Role of learning domain and learning style. Computers & Education, 76,

8 Shannon, C. E., & Weaver, W. (1949). The mathematical theory of communication (Urbana, IL. University of Illinois Press, 19(7), 1. Tella, A. (2011). Reliability and Factor Analysis of a Blackboard Course Management System Success: A Scale Development and Validation in an Educational Context (Vol. 10, pp ): Journal of information Technology Education. Wang, Y.-S., Wang, H.-Y., & Shee, D. Y. (2007). Measuring e-learning systems success in an organizational context: Scale development and validation. Computers in Human Behavior, 23(4), Zhang, D., & Nunamaker, J. F. (2003). Powering e-learning in the new millennium: an overview of e-learning and enabling technology. Information Systems Frontiers, 5(2),

9 Anexo: Análisis del modelo de medida Cargas cruzadas para las variables latentes Item CI CS U SU BN p VIF CI1 0,76 0,16-0,14-0,04 0,16 *** 1,71 CI2 0,76 0,05-0,02 0,05-0,03 *** 1,74 CI3 0,85-0,17-0,06 0,05-0,01 *** 2,28 CI4 0,85-0,16 0,06-0,08-0,04 *** 2,50 CI5 0,76 0,17 0,16 0,03-0,08 *** 1,81 CS1-0,05 0,62-0,09 0,23-0,18 *** 1,34 CS2 0,28 0,55 0,26 0,02-0,59 *** 1,33 CS3-0,14 0,84 0,04-0,11 0,10 *** 2,46 CS4-0,22 0,80-0,05-0,10 0,32 *** 2,51 CS5 0,22 0,75-0,11 0,04 0,14 *** 1,57 U1 0,26-0,07 0,88 0,08-0,21 *** 1,42 U2-0,26 0,07 0,88-0,08 0,21 *** 1,42 SU1-0,11 0,14 0,12 0,85 0,01 *** 1,82 SU2-0,06-0,04 0,12 0,88-0,15 *** 2,02 SU3 0,17-0,10-0,24 0,86 0,14 *** 1,87 BN1-0,05-0,17-0,06 0,40 0,76 *** 1,71 BN2-0,22 0,19 0,16-0,17 0,85 *** 2,35 BN3 0,06 0,04-0,03-0,14 0,88 *** 3,02 BN4 0,23-0,09 0,01-0,09 0,85 *** 2,59 BN5-0,04 0,01-0,10 0,05 0,76 *** 1,71 Las cargas se muestran en negrita; ***p<0,001,p se obtuvieron a través de bootstrapping; VIF,factor de inflación de la varianza para el ítem. Coeficientes de variables latentes Variable latente VIF CR CA AVE Calidad de Información(CI) 2,14 0,90 0,86 0,64 Calidad de Sistema(CS) 2,22 0,84 0,77 0,52 Uso(U) 1,48 0,87 0,70 0,77 Satisfacción Usuaria(SU) 2,07 0,90 0,83 0,75 Beneficios Netos(BN) 1,98 0,91 0,88 0,67 CR, coeficiente de fiabilidad compuesta; CA, alfa de cronbach; VIF, factor de inflación de la varianza; AVE, varianza promedio extraída. Correlaciones de variables latentes CI CS U SU BN CI 0,80 CS 0,64 0,72 U 0,48 0,35 0,88 SU 0,59 0,61 0,51 0,86 BN 0,60 0,63 0,43 0,57 0,82 Raiz del AVE en la diagonal. 1165