La evaluación formativa en la Universidad: experimentando con software específico a través de internet

Transcripción

1 La evaluación formativa en la Universidad: experimentando con software específico a través de internet Comunicación 401 Barcelona, 5-7 julio 2006 María José Rodríguez Conde (Educación) Susana Olmos Migueláñez (Educación) Ana Belén González Rogado (Informática)

2 Objetivos Demostrar la eficacia de la evaluación formativa con la ayuda de las TIC (computer assisted assessment), para la mejora del aprendizaje en la Universidad Contribuir a la Calidad de la formación universitaria

3 Desarrollo de la investigación Primera parte: Fundamentación del estudio Segunda parte: Estudio empírico

4 Parte I: Bases teóricas 1. Evaluación educativa en la Universidad 2. Técnicas e instrumentos de evaluación 3. Uso de las TIC en evaluación educativa 4. Software específico de evaluación: Perception

5 1. Evaluación educativa en la Universidad Concepto EVALUACIÓN Proceso Modalidades Formativa y Sumativa Objeto: aprendizaje Estudiantes universitarios del s. XXI

6 2. Técnicas e instrumentos de evaluación Exámenes orales Estrategias tradicionales Escritos abiertas P. Objetivas Trabajos y Proyectos Portafolios Estrategias innovadoras Autoevaluació n Observación

7 Herramientas informáticas evaluación a través de Internet HERRAMIENTAS EJEMPLOS Blakboard Programas constructores de Learning Space cursos Moodle (web based training). URL Edustance Clic Wida Hot Potatoes Quia! Software específicos para evaluación a través de la red (uso de servidor) Perception QuizFactory Software que se utiliza como apoyo en la evaluación Mindtrail Markin Herramientas de autor

8 Parte I: Bases teóricas 1. Evaluación educativa en la Universidad 2. Técnicas e instrumentos de evaluación 3. Uso de las TIC en evaluación educativa 4. Software específico de evaluación: Perception

9 Perception

10 Módulos del programa

11 Etapas De autor Publicación Entrega Informe

12

13 Selección del tipo de pregunta

14 Escribir el enunciado de una pregunta

15

16

17

18

19

20

21

22

23

24

25

26

27 Tipos de Informe De conjunto de la evaluación De comparación Lista de puntuaciones De expediente De formación De cuaderno de notas Estadístico de las preguntas De resumen

28

29

30

31 Parte II: Estudio Empírico 5. Metodología de investigación 6. Resultados de la investigación

32 Metodología de Investigación Parte II

33 TEÓRICO CONCEPTUAL TÉCNICO METODOLÓGICO PROBLEMA INVESTIGACIÓN Objetivo e Hipótesis DISEÑO Variables e Instrumentos Población y muestra ESTADÍSTICO ANALÍTICO ANÁLISIS Y RESULTADOS CONCLUSIONES FASES:

34 Problema de investigación Estudiante Activo y autónomo Aprendizaje Conceptuales, procedimentales actitudinales Competencias Básicas y específicas, según perfil académico profesional Escenario Aprendizaje en condiciones similares al contexto del ejercicio profesional

35 Objetivo Demostrar la eficacia de las TIC en los procesos de evaluación formativa de los estudiantes universitarios, con el fin de mejorar el nivel de aprendizaje adquirido en la Universidad y, por tanto, contribuir con un elemento más a la calidad de la institución.

36 Hipótesis 1. Autoevaluaciones parciales 2. Autoevaluaciones con ayuda de un sistema a través de Intern 3. Usar programa informático mejor que sistema tradicional 4. Tiempo de acceso al feedback 5. Satisfacción mayor formato Informático

37 Diseño experimental Grupos Asignación sujetos a grupos Exp1 Aleatoria O1 X1 O2 Exp2 Aleatoria O1 X2 O2 Control Aleatoria O1 O2 Medida de la VD Tratam. Pretest Medida de la VD Postest

38 Diseño 3º. PEDAGOGÍA CURSO:2004/05 N= 82 Grupo 1 Exp. Grupo 2 Exp. Grupo 3 control Grupo 4 residual N =25 N =? 1ª FASE. EVALUACIÓN FORMATIVA Autoeval. final tema -Perception Autoeval. final tema -Papel- Sin Autoevaluación 2ª FASE. EVALUACIÓN SUMATIVA

39 Variables implicadas Independientes Metodología de evaluación Dependientes Rendimiento/aprendizaje Satisfacción Intervinientes Rendimiento previo Estilo de aprendizaje Motivación nivel uso de informática

40 Instrumentos Software específico Perception versión 3. Pruebas objetivas Sistema tradicional (lápiz-papel) Cuestionario inicial Cuestionario de estilos de aprendizaje Cuestionario de satisfacción

41 Proceso de elaboración de las pruebas de autoevaluación y responsables FASES 1º 2º CONTENIDO RESPONSABLE Elaboración de items (Tabla de especificaciones) Equipo Elaboración del feedback Equipo Valoración de los ítems Expertos 4º Construcción definitiva Equipo 5º Aplicación de pruebas Alumnos 3º

42 Ejemplo autoevaluación ronco: La evaluación que se realiza de los sujetos a través del test de inteligenci sería de tipo: Opciones de respuesta: a ) Criterial b) Normativa c) Interna d) Externa La opción correcta es la b); es decir se trata de una evaluación normativa Feedback que el sistema ofrece a los alumnos: Cuando se le puntúa a un sujeto en un test, se le compara con un grupo de sujetos (población de referencia) de sus mismas características o grupo normativo, por lo tanto la referencia es normativa.

43 Muestra (1) 3º. PEDAGOGÍA CURSO: 04/05 TOTAL ALUMNOS: 82 3º p Grupo Exp.1 N= 25 GrupoE xp.2 N= 25 Grupo3 control N= 25 Grupo4 residua l N=?

44 Muestra (2) Composición de los grupos Exp1 Exp2 Control Residual Composición final Composición inicial

45 Cronograma Fase 1 Fase 2 Fase 3 Feb,05 Ene, 04 Fase 1: Mar, 05 Abr, 05 Búsqueda documental. Definición del problema. Diseño de la investigación Estudio del Software y construcción de pruebas Fase 2: Aplicación de las pruebas Fase 3: Análisis de los datos y Elaboración del Informe

46 Resultados de la investigación Comprobar homogeneidad de los grupos experimentales en cuanto a: Fase Pretest Características personales y motivacionales Estilos de aprendizaje Nivel de conocimientos previos Fase Postest Contrastar la eficacia de la evaluación formativa: Nivel de aprendizaje adquirido Nivel de satisfacción

47 Pretest: Características personales y motivacionales Resultados del análisis diferencial VI : Exp1 Exp2 Control Variables Titulación anterior χ 2 = 8,19; p = 0,085 Calif. en Bases met. χ 2 = 10,23; p = 0,249 Interés materia χ 2 = 7,313; p = 0,293 Uso informática χ 2 = 5,529; p = 0,237 Interés TIC χ 2 = 6,991; p = 0,136

48 Pretest: Estilos de aprendizaje EXP1 EXP2 CONT ACT IVO REFLEXIVO T EÓRICO PRAGMÁT ICO

49 Pretest: Nivel de conocimientos previos Exp1 Exp2 Control VD Med. Med. Med. F p. Totalcp 5,06 4,50 4,30 0,42 0,68 ANOVA

50 Postest: Contraste de hipótesis

51 Postest: Nivel de aprendizaje adquirido Exp1 Exp2 Control Total ANOVA VD Med Med Med Med F Pr. Obj.Sumat 5,53 4,54 5,02 5,01 p. 1,64 0,20

52 Postest: Nivel de aprendizaje adquirido Exp1 Exp2 Control Exp1 Exp2 Control

53 Postest: Nivel de satisfacción de los alumnos (V) Satisfacción Exp1 Exp2 Control Total ANOVA DIF. Med Med Med Med F 1/3 p. 1 4,25 3,76 3,25 3,76 4,71 0,01 * 2 4,50 3,82 3,9 4,08 2,93 0,06 3 4,31 4,18 3,5 4,0 3,69 0,03 *

54 Postest: Nivel de satisfacción de los alumnos (VI) Exp1 Exp2 Control 2 1 Satisfacción general He aprendido más Recomendaría

55 Contraste de Hipótesis Hipótesis Contraste Los estudiantes universitarios que realicen autoevaluaciones parciales, obtendrán un nivel mayor de aprendizaje medido a través de puntuaciones en una prueba objetiva de conocimientos adquiridos, que aquellos estudiantes que no realicen estas autoevaluaciones parciales No es significativa (F =1,047; p=0,201) El uso de un programa de evaluación a través de Internet provocará resultados más positivos en las pruebas parciales de autoevaluación, frente al uso del formato tradicional de papel en la presentación de las pruebas. Hay diferencias significativas entre la autoevaluación 2 (t = 2,421; p = 0,021) y 3 (t=2,501; p=0,018), a favor del grupo experimental 2. El nivel de satisfacción del estudiante hacia el sistema alternativo de evaluación será significativamente mayor que en aquellos discentes con sistemas no basados en Internet o sin apoyo formalizado Sí existen diferencias estadísticamente significativas (F=4,71; p=0,01)

56 Conclusiones La innovación pedagógica debe ir emparejada con una innovación en los procesos de evaluación Evaluación formativa, basada en autoevaluación: fomenta el estudio diario y apoya el proceso de aprendizaje (dudas,...)... Según ella alumno Se han encontrado indicios sobre bondad de este sistema de autoevaluación para la mejora del resultado académico y se ha demostrado que el IV CIDUI. Barcelona,de 5 7 juliosatisfacción 2006 nivel del estudiante es

57 La evaluación formativa en la Universidad: experimentando con software específico a través de internet Comunicación 401 Barcelona, 5-7 julio 2006 María José Rodríguez Conde (mjrconde@usal.es) Susana Olmos Migueláñez (solmos@usal.es) Ana Belén González Rogado (abgr@usal.es)