Una Aplicación Educativa Basada en la Jerarquía de Bloom para el Aprendizaje de la Herencia de POO

Transcripción

1 107 Una Aplicación Educativa Basada en la Jerarquía de Bloom para el Aprendizaje de la Herencia de POO Isidoro Hernán-Losada Carlos A. Lázaro-Carrascosa J.Ángel Velázquez-Iturbide Departamento de Informática, Estadística y Telemática Universidad Rey Juan Carlos, Móstoles, Madrid {isidoro.hernan, carlos.lazaro, angel.velazquez}@urjc.es Resumen La taxonomía de Bloom nos ofrece un marco pedagógico para el desarrollo sistemático de herramientas de ayuda a la enseñanza. En este artículo se presenta una aplicación educativa para enseñar el concepto de herencia en Java basada en esta taxonomía y los resultados de su evaluación, demostrando la bondad de esta herramienta para el segundo nivel de la jerarquía. Palabras Clave Herencia, Java, Programación orientada a objetos, Taxonomía de Bloom, Evaluación. INTRODUCCIÓN En la mayoría de las asignaturas de carreras científico-técnicas los conceptos teóricos se fijan mediante la resolución de problemas. Investigamos el desarrollo sistemático de aplicaciones educativas de apoyo a la resolución de problemas. Como marco pedagógico, usamos la taxonomía de Bloom, y como dominio de aplicación, nos hemos centrado en la programación orientada a objetos (POO). En esta comunicación describimos una aplicación educativa desarrollada para el aprendizaje de un concepto clave en la POO, la herencia. En primer lugar, describimos la jerarquía de Bloom y comentamos su aplicación a la enseñanza de la programación. A continuación describimos nuestra aplicación, organizada en tres componentes: teoría, demostración y tests. Posteriormente se presentan los resultados de evaluar dicha aplicación en una asignatura de POO. Acabamos con nuestras conclusiones y trabajos futuros. TAXONOMÍA DE BLOOM La taxonomía de Bloom [1] es una clasificación ampliamente aceptada para evaluar el nivel cognitivo alcanzado por un alumno en una materia. Distingue 6 niveles, suponiendo que un alumno que alcanza un nivel también domina los inferiores: Nivel 1 o de conocimiento. El alumno reconoce o recuerda información sin ser necesaria su comprensión. Nivel 2 o de comprensión. El alumno entiende el significado de la información recibida. Nivel 3 o de aplicación. El alumno es capaz de seleccionar y usar métodos para resolver un problema. Nivel 4 o de análisis. El alumno es capaz de distinguir y relacionar hipótesis y evidencias de la información dada, así como descomponer un problema en sus partes. Nivel 5 o de síntesis. El alumno es capaz de generalizar ideas para resolver algún problema nuevo para él. Nivel 6 o de evaluación. El alumno puede evaluar diferentes métodos para resolver un problema. La taxonomía de Bloom se ha usado en programación [4] de varias formas. Algunos autores la han usado como marco para el diseño de sus asignaturas [6]. Otros utilizan la taxonomía como marco para evaluar a los alumnos [10]. Finalmente, algunos autores han usado la taxonomía como referencia para el diseño de aplicaciones educativas [9]. SOPORTE A EJERCICIOS BASADO EN BLOOM Son numerosas las aplicaciones usadas en docencia de la programación: editores, compiladores, depuradores y entornos de programación, y otras nuevas como correctores automáticos, visualizadores, colecciones de ejercicios, etc. Sin embargo, se suelen diseñar a partir de unas especificaciones técnicas sin una base pedagógica clara. Por tanto, bien no encajan de forma satisfactoria en ningún nivel cognitivo de Bloom bien pueden encajar en varios. Un ejemplo es el entorno de programación BlueJ [8], diseñado para enseñar POO en primer curso. Otro ejemplo lo encontramos en la visualización (y animación) de programas. La visualización tiene un gran potencial educativo, sobre todo para alumnos con un estilo de aprendizaje visual [12], pero no siempre se aprovecha [7]. La eficacia educativa de las visualizaciones aumenta con la implicación del alumno [11]. Nuestro objetivo consiste en diseñar aplicaciones para realizar ejercicios en cada nivel de conocimiento de la taxonomía de Bloom. En las ciencias experimentales existe mayor experiencia que en informática en clasificar las prácticas en diversas clases de dificultad. Por ejemplo, la propuesta de Herron [5] distingue niveles de indagación (Tabla I). No existe una correspondencia entre estos niveles y la taxonomía de Bloom, pero sí cierta similitud. En efecto, una demostración ilustra algún concepto para su comprensión, un ejercicio exige aplicar algún método conocido, una indagación

2 planificada permite analizar un problema, y una indagación guiada obliga a un esfuerzo de descubrir el método a utilizar. TABLA I NIVELES DE INDAGACIÓN SEGÚN HERRON Objetivo Materiales Método Respuesta Demostración Fijo Fijo Fijo Fijo Ejercicio Fijo Fijo Fijo Flexible Indagación Fijo Fijo en todo o Fijo en todo o Flexible estructurada en parte en parte Indagación Fijo Flexible Flexible Flexible guiada Indagación abierta Flexible Flexible Flexible Flexible Tomando como referencia la taxonomía de Bloom, podemos concebir aplicaciones para cada nivel. Así, los niveles de conocimiento y de comprensión pueden alcanzarse con simulaciones o demostraciones de programas. Su uso es frecuente en otras disciplinas, pero no en programación. Podemos imaginarnos una demostración de una ejecución con ayuda de visualizaciones y controles adecuados. Las facilidades de interacción que proporcione determinan el nivel de implicación del alumno [11] y por tanto su nivel cognitivo. El nivel de aplicación se alcanza si la aplicación ayuda en la resolución de problemas. Kumar ha desarrollado [9] varios applets (que llama problets ) para conceptos de programación estructurada. Cada problet permite generar instancias de un problema, da alguna forma de interacción y visualización para resolverlo y plantea una pregunta. El nivel de análisis requiere una herramienta que permita distinguir y modificar partes de un programa, como los editores dirigidos por sintaxis y los depuradores. El nivel de síntesis exige diseñar programas nuevos, como permiten los entornos de programación. Aunque nos interesa la programación en general, nos hemos centrado en POO. En el apartado siguiente describimos una aplicación desarrollada para soportar los dos primeros niveles de la taxonomía para el concepto de herencia. DESCRIPCIÓN DE LA APLICACIÓN La aplicación está desarrollada en Java y consta de varios componentes, implementados como applets. La interfaz gráfica es sencilla e intuitiva para que el alumno no tenga que dedicar tiempo extra a aprender su manejo. La aplicación sigue las directrices dadas en los fundamentos pedagógicos. En esta primera versión, se da soporte a los dos niveles inferiores de la taxonomía de Bloom (conocimiento y comprensión). También da soporte a la evaluación de la pericia alcanzada en los tres niveles inferiores (los dos citados más aplicación) mediante tests. El usuario percibe tres módulos en la aplicación: Teoría. Demostración. Test. La estructura de almacenamiento de la aplicación es muy sencilla, ya que es un árbol de directorios donde se almacenan los componentes. Se eligió esta estructura por su sencillez de 108 instalación y de modificación, ya que la aplicación reconoce automáticamente la creación de nuevas carpetas con archivos. Componente de Teoría Este componente contiene la explicación del concepto en estudio, en este caso la herencia. La explicación se presenta como una página web, por su sencillez de implementación y las ventajas educativas del hipermedia [3]. El componente trata de cubrir los niveles de conocimiento y de comprensión. La teoría presentada ayuda a los alumnos reflexivos, que estudian solos. También ayuda a los alumnos visuales pues la teoría no sólo se explica de forma verbal (mediante código) sino también de manera gráfica (Figura 1). Componente de Demostración FIGURA 1 COMPONENTE DE TEORÍA Este componente permite ejercitar los conceptos explicados en el componente de teoría. Consta de varias demostraciones de ejemplos y contraejemplos de la implementación de la herencia en Java. Las demostraciones son animaciones realizadas en Flash, que pueden visualizarse en cualquier navegador con el plug-in instalado. El alumno puede interactuar con cada animación, avanzando o retrocediendo al ritmo que considere oportuno. Con las demostraciones se ayuda a los alumnos activos, que necesitan experimentar para comprender el concepto a enseñar. También se consigue una mayor implicación del alumno con las visualizaciones, al exigirle interactuar. En la actualidad tenemos dos demostraciones. Una de ellas muestra el concepto de la herencia mediante la definición de dos clases que heredan de una tercera. Gráficamente se ve como las clases incorporan los atributos y métodos a medida que se van definiendo. La segunda ilustra el uso correcto e incorrecto de los métodos heredados o supuestamente heredados. La Figura 2 muestra esta última demostración. Las visualizaciones se basan en la notación UML. Puede observarse en la parte inferior derecha los botones de avance y retroceso para controlar la animación. Las clases se representan con rectángulos que encierran el nombre en la

3 parte superior, debajo los atributos y por último los métodos. Las elipses representan objetos instanciados. En la parte inferior van apareciendo las instrucciones, resaltándose la que está en ejecución. En la parte superior derecha, el objeto que recibe el método se marca con un trazo perimetral grueso y simultáneamente aparece una explicación del mensaje que recibe el objeto en cuestión. Si se intenta ejecutar una instrucción errónea, el sistema explica el motivo del error y la tacha para resaltar el hecho. 109 Dado el siguiente código Qué sentencias son válidas? class Automovil { int puertas; } class Coche extends Automovil { private boolean gasolina;... } a. Coche coche = new Coche(); coche.puertas = 4; b. Automovil auto = new Automovil(); auto.gasolina = false; c. Para que la opción b) sea correcta la propiedad gasolina debería ser pública. d. a) y c) son correctas. Componente de Test FIGURA 2 COMPONENTE DE DEMOSTRACIÓN Es el componente encargado de gestionar y corregir preguntas, así como almacenar las estadísticas de aciertos y fallos del alumno. Existen tres baterías de preguntas, agrupadas según los tres niveles inferiores de conocimiento de la taxonomía de Bloom. Cada pregunta consta de enunciado, cuatro posibles respuestas y una explicación para cada pregunta, para así poder realimentar al alumno, cuando éste lo solicite. La primera vez la aplicación pregunta al alumno el nivel donde desea comenzar. Una vez elegido, las preguntas se presentan de manera aleatoria y asegurando que no se repiten en la misma sesión. Para reforzar la motivación del alumno la aplicación aumenta automáticamente de nivel cuando éste logra acertar el 80% de las preguntas efectuadas a partir de la quinta pregunta respondida. La Figura 3 muestra una pregunta del primer nivel. Cuando el usuario marca una opción y pulsa validar, la aplicación comprueba su corrección e informa al usuario del resultado. Si el alumno quiere solicitar una aclaración de la respuesta, independientemente de que sea correcta, pulsa el botón de explicación y se abre una ventana con el texto. Un ejemplo de las preguntas formuladas por la aplicación para el nivel 2 es: FIGURA 3 COMPONENTE DE TEST PRUEBA Y EVALUACIÓN DE LA APLICACIÓN I- Formulación de hipótesis Se plantearon dos cuestiones relacionadas: por una parte, determinar si el uso de la aplicación influye significativamente en el aprendizaje global de los alumnos y, por otra, ver si refuerza el aprendizaje en algún nivel concreto de la taxonomía de Bloom. El intervalo de confianza adoptado para rechazar o aceptar la hipótesis es del 95%. II-Identificación de variables Para realizar el estudio se tomaron dos variables: la aplicación es la variable independiente y la diferencia entre las notas obtenidas por cada grupo en la realización del pretest y del postest, la variable dependiente. Para comprobar la primera hipótesis, la diferencia de notas se obtiene de la puntuación final del test entero, mientras que para la segunda hipótesis las diferencias de notas se obtienen de los puntos obtenidos en cada nivel. El objetivo de la investigación es determinar la influencia de la primera sobre la segunda.

4 III- Población y muestra La población objeto del estudio fueron los alumnos de la asignatura Programación Orientada a Objetos perteneciente al segundo curso de Ingeniería Informática de la Universidad Rey Juan Carlos en el curso 2004/2005. Los 36 alumnos que asisten regularmente a las clases prácticas fueron divididos en dos grupos: uno experimental y otro de control. La división se realizó al azar por apellidos y teniendo en cuenta el sexo (está demostrado que hombres y mujeres se enfrentan de forma distinta a los ordenadores [2]), de manera que quedaron dos grupos de 18 miembros (13 alumnos y 5 alumnas). Todos los alumnos están matriculados en la asignatura por primera vez y han recibido las mismas clases teóricas de la misma profesora. Con esta división se intentó que los grupos fueran lo más homogéneos posible. Los autores de este artículo no habían tenido contacto previo con los alumnos, para evitar el sesgo al generar los test. IV- Obtención de los datos Los tests fueron diseñados con 3 preguntas por nivel de Bloom, por lo que contenía 9 preguntas con 4 posibles respuestas. Para la evaluación, las respuestas acertadas contaban 1 punto y las falladas 0 (máximo 9 puntos), es decir, no se penalizó el uso del azar. El diseño de los test se hizo cuidadosamente. Para garantizar los niveles, la profesora colaboró en las preguntas del nivel de conocimiento, para que tuvieran una redacción lo más parecida posible a lo explicado. El resto de las preguntas fueron enunciadas por los autores. En la clase práctica, correspondiente al tema de herencia, se pasó a ambos grupos un test previo (pretest) al uso de la aplicación. Finalizado el pretest, los alumnos del grupo de control realizaron con el ordenador la práctica del tema. En contraposición, el grupo experimental instaló la aplicación y la usó durante aproximadamente media hora. Antes de finalizar la sesión práctica, se les entregó un cuestionario para evaluar la herramienta. Al día siguiente, a ambos grupos se les pasó un test (postest) con el mismo diseño y distintas preguntas. V- Resultados Los test fueron respondidos por los dos grupos. Se pueden observar los resultados en la Tabla II. Es de notar que se produjeron 3 bajas en el grupo experimental y en el grupo de control, por lo que los datos de esos alumnos no se han tenido en cuenta en los resultados. Para el análisis de datos se usó la aplicación estadística R [13]. TABLA II RESULTADOS GENERALES DE LOS TESTS Pretest Postest GRUPO Control Experimental Control Experimental Media Mediana Varianza D. típica Rango 5,00 5 3,14 1, ,28 7 2,35 1, ,60 4 2,69 1, ,27 6 2,64 1, Para estudiar la normalidad de las muestras (Tabla III) hemos utilizado las pruebas de Shaphiro-Wilk y la de Kolmogorov- 110 Smirnov que dan un valor del estadístico P. Si el valor de P obtenido en cada una de las pruebas no supera 0.05 (debido al criterio del 95% anteriormente escogido), se concluye que la muestra no sigue una distribución normal. Que las muestras sean normales indica que se pueden usar los métodos paramétricos para su estudio. TABLA III PRUEBA DE NORMALIDAD DE LAS MUESTRAS (P) Pretest Postest GRUPO Cont. Exper. Cont. Exper. Shaphiro-Wilk Kolmogorov-Smirnov 0,27 0,67 0,49 0,56 0,56 0,95 0,61 0,54 En primer lugar comprobamos si la división realizada en grupos aleatorios es correcta o, en cambio, presenta algún sesgo (por ejemplo, que los alumnos más brillantes se encuentren en el mismo grupo). Como las muestras tienen distribución normal, se hizo el test F de igualdad de varianzas para los pretest dando P=0,59. Como las muestras cumplen los dos requisitos (normalidad e igualdad de varianza) usamos la prueba T de Student para comprobar si ambos grupos provienen de la misma población (del mismo aula y con conocimientos parecidos). Este test se basa en probar que las medias de los pretest no difieren significativamente. Aplicada la prueba se obtuvieron los siguientes resultados: TABLA IV PRUEBA DE T-STUDENT PARA EL PRETEST T Grados de libertad P -1, ,056 Al ser tan justo el valor de P en la Tabla IV (recordamos que si es menor que 0,05 se rechaza la hipótesis y por tanto, se concluye que ambos grupos no son de la misma población), se realizó el cálculo del intervalo de confianza del 95% de la media (IC 95% de la media). Los resultados obtenidos se muestran en la Tabla V: TABLA V INTERVALO DE CONFIANZA DEL PRETEST Pretest GRUPO Control Experimental IC 95% 4,38-6,07 5,54-7,02 Como ambos intervalos se solapan parcialmente, junto con la prueba de T-Student, no rechazamos la hipótesis y afirmamos que las diferencias entre ambos grupos son achacables al azar y por lo tanto pertenecen a la misma población. A continuación analizamos el efecto de la aplicación en su aprendizaje. En la Tabla VI se muestran los resultados generales de la variable dependiente, que es la diferencia entre ambos test (nota del pretest menos nota del postest). TABLA VI DIFERENCIAS ENTRE EL PRETEST Y EL POSTEST GRUPO Control Experimental Media Mediana Varianza D. típica Rango 0,4 1,0 2,69 1, ,0 1,0 3,14 1, Antes de hacer la prueba de T-Student, hay que probar la normalidad de las diferencias y la igualdad de varianzas. Se

5 aplican los mismos test explicados anteriormente. Los resultados sobre normalidad son expuestos en la Tabla VII. TABLA VII PRUEBA DE NORMALIDAD (P) GRUPO Control Experimental Shaphiro-Wilk Kolmogorov-Smirnov 0,12 0,56 0,57 0,80 La igualdad de varianza, aplicando el test F da un valor de P = 0,77, por lo que las varianzas son semejantes. La prueba de T-Student da los valores de la Tabla VIII. TABLA VIII PRUEBA DE T-STUDENT PARA LAS DIFERENCIAS T Grados de libertad P -0, ,34 La Figura 4 muestra la distribución de ambos grupos: Distribución de las diferencias Diferencia entre notas -- Experimental ++ Control ++ FIGURA 4 DISTRIBUCIÓN DE LAS DIFERENCIAS DE NOTAS ENTRE AMBOS GRUPOS Para estudiar la influencia de la aplicación sobre los niveles de Bloom, se han realizado las mismas pruebas. Los resultados generales se encuentran agrupados en la Tabla IX y las pruebas sobre normalidad (Tabla X) e igualdad de varianza y la T-Student en la Tabla XI. Media Mediana Varianza D. típica Rango Shap-Wilk Kolm-Smir TABLA IX DIFERENCIAS AGRUPADAS POR NIVELES DE BLOOM Control Experimental N1 N2 N3 N1 N2 N3 0,93 1 1,35 1, ,80-1 0,59 0, ,27 0 0,77 0, ,47 0 1,56 1, ,13 0 0,85 0, , , TABLA X PRUEBA DE NORMALIDAD (P) Control Experimental N1 N2 N3 N1 N2 N3 0,07 0,27 0, ,13 0,72 0,01 0,34 0,00 0,17 TABLA XI PRUEBAS DE IGUALDAD DE VARIANZAS Y T-STUDENT N1 N2 N3 Test F (P) 0, ,46 T-STUDENT T Grados de libertad P 1, ,29-2, , , Pueden verse las frecuencias de diferencias de notas agrupadas por niveles de la taxonomía en la Figura 5: G. Experimental N G. Experimental N G. Experimental N G. Control N G. Control N G. Control N FIGURA 5 DIAGRAMA DE BARRAS DE LAS DIFERENCIAS DE NOTAS ENTRE AMBOS GRUPOS POR NIVELES DE LA JERARQUÍA DE BLOOM Se pasó un cuestionario al grupo experimental sobre su grado de satisfacción con la aplicación. Se usó la escala de Likert, desde totalmente de acuerdo (5) hasta totalmente en desacuerdo (1). Los resultados se ven en la Tabla XII. DISCUSIÓN DE LOS RESULTADOS Primero se intentó demostrar que la división realizada por grupos era correcta. Para ello, con las notas del pretest, se obtuvo que ambas muestras seguían distribuciones normales (Tabla III) y presentaban varianzas homogéneas. Aplicada la prueba de T-Student (Tabla IV) y la prueba del IC 95% para contrastar las notas medias en el pretest, el resultado fue que no existían diferencias significativas entre ambos grupos. Así

6 nos aseguramos de que las diferencias entre notas del pretest y del postest sólo pueden deberse al uso de la aplicación. TABLA XII EVALUACIÓN DE LA HERRAMIENTA (GRUPO EXPERIMENTAL) PREGUNTA OPINION Media Es fácil de instalar El uso es intuitivo La explicación teórica es completa Las demostraciones me ayudan a comprender la materia La realización de tests me parece acertada para motivarme He notado que la dificultad aumenta con los niveles La explicación de las respuestas de los tests la encuentro útil La usaría en casa para practicar A grandes rasgos, la herramienta me parece útil 5 4,7 3,8 4,2 4,4 4,5 3,9 4,4 4,5 El uso de la diferencia de notas entre los dos test como variable dependiente es una práctica habitual en este tipo de estudios, pues se eliminan factores externos al experimento, como distinta dificultad de las preguntas entre ambos test (que de hecho existe según muestran las medias en la Tabla II). Al restar las notas, cada alumno se mide a sí mismo. Para comprobar la primera hipótesis (la aplicación influye significativamente en el aprendizaje del concepto de herencia), se analizaron las diferencias entre las notas totales del pretest y del postest. Como se muestra en la Tabla VI, la media del grupo experimental es mayor que la del grupo de control, lo que podría conducir erróneamente a pensar que el uso de la aplicación mejora considerablemente el aprendizaje. Sin embargo, el estudio estadístico muestra que no existen diferencias significativas entre ambos grupos (Tabla VIII y Figura 4). Esto no quiere decir que el uso de la herramienta no sea eficaz: habría que experimentar con un grupo de alumnos mayor para demostrar o refutar definitivamente la hipótesis. La segunda hipótesis es que la herramienta refuerza el aprendizaje en algún nivel de Bloom. Los datos obtenidos en la Tabla IX y los estudios estadísticos de la Tabla X y la Tabla XI muestran que salvo para el nivel 2 (de comprensión), las diferencias no son significativas. La prueba de T-Student para el nivel 2 arroja un P-valor de 0.04, que es menor que el valor fijado a priori de Esto implica que existe una diferencia significativa (mejoría en el grupo experimental), no achacable al azar. Justamente nuestra aplicación apoya más el nivel 2. En cuanto a la opinión de los alumnos que usaron la aplicación, la impresión fue muy buena. No fue necesario explicar su funcionamiento. Como se muestra en los resultados, es intuitiva y obtuvo una buena valoración global. CONCLUSIONES Y TRABAJOS FUTUROS Hemos presentado una aplicación de ayuda al alumno para aprender el concepto de herencia. Se ha descrito brevemente el marco general de nuestra propuesta y la propia aplicación. Ésta incluye módulos para los niveles de conocimiento y comprensión y otro módulo adaptativo para evaluar los 3 niveles inferiores. También hemos mostrado los resultados de una evaluación de la aplicación, donde se ha concluido que 112 refuerza el aprendizaje en el nivel de comprensión, siempre teniendo en cuenta que el experimento se realizó sobre un número pequeño de alumnos (18 inicialmente en cada grupo). Nuestro objetivo inmediato es continuar nuestro trabajo para alcanzar niveles superiores de la taxonomía de Bloom. En el nivel de aplicación, pensamos en una aplicación que genere problemas, ayude a su resolución y automáticamente los corrija. También queremos aumentar las facilidades de interacción del componente de demostración. Estos objetivos exigen una infraestructura distinta, que estamos desarrollando. AGRADECIMIENTOS Este trabajo se ha financiado con el proyecto TIN del Ministerio de Educación y Ciencia. Queremos agradecer la colaboración de Leandro Martín Molina y de Soto Montalvo para realizar la evaluación. REFERENCIAS [1] Bloom, B.S. (ed.), Taxonomy of Educational Objectives: The Classification of Educational Goals: Handbook I, Cognitive Domain, Longmans Green and Co, New York, Toronto (1956). [2] Carter, J. & Jenkins, T., Gender and programming: What s going on?, Proc. 4 th Annual Conf. Innovation and Technology in Computer Science Education (ITiCSE 99), ACM Press, 1999, pp [3] Dillon, A. & Gabbard, R., Hypermedia as an educational technology: A review of the quantitative research literature on learner comprehension, control, and style, Review of Educational Research, Vol. 68, No. 3, 1998, pp [4] Hernán Losada, I.; Lázaro Carrascosa C.A., Velázquez Iturbide, J.A On the use of Bloom s taxonomy as a basis to design educational software on programming, Proc. World Conf. Engineering and Technology Education (WCETE 2004), 2004, pp [5] Herron, M., The nature of scientific enquiry, School Review, Vol. 79, 1971, pp [6] Howard, A. R., Carver, C. A. & Lane, W. D., Felder s learning styles, Bloom s taxonomy, and the Kolb learning cycle: Tying it all together in the CS2 course, Proc. 27 th SIGCSE Technical Symp. Computer Science Education (SIGCSE 96), ACM Press, 1996, pp [7] Hundhausen, C.D., Douglas, S.A., & Stasko, J.T., A meta-study of algorithm visualization effectiveness, Journal of Visual Languages and Computing, Vol. 13, No. 3, 2002, pp [8] Kölling, M. & Rosenberg, J., Guidelines for teaching object orientation with Java, Proc. 6 th Annual Conf. Innovation and Technology in Computer Science Education (ITiCSE 2001), ACM Press, pp [9] Kumar, A., Model-based animation of program visualization, Proc. Second Program Visualization Workshop, technical report DAIMI PB- 567, University of Aarhus, 2002, pp [10] Lister, R. & Leany, J., Introductory programming, criterionreferencing, and Bloom, Proc. 34 th SIGCSE Technical Symp. Computer Science Education (SIGCSE 2003), ACM Press, 2003, pp [11] Naps, T., Roessling, G. et al., Exploring the role of visualization and engagement in computer science education, SIGCSE Bulletin, Vol. 35, No. 2, June 2003, pp [12] Thomas, L., Ratcliffe, M., Woodbury, J. & Darman, E., Learning styles and performance in the introductory programming sequence, Proc. 33 rd SIGCSE Technical Symp. Computer Science Education (SIGCSE 2002), 2002, pp [13] Venables, W.N., Smith, D. M.& the R Development Core Team, An Introduction to R, disponible