Aplicación de las rúbricas de evaluación en la docencia on-line

Transcripción

1 Aplicación de las rúbricas de evaluación en la docencia on-line María Jesús Muñoz Torres, Juana María Rivera Lirio, Elena Escrig Olmedo, Raúl León Soriano, Idoya Ferrero Ferrero, María Ángeles Fernández Izquierdo Grupo de Investigación SoGReS, Dpto. Finanzas y Contabilidad, Universitat Jaume I, Campus Riu Sec, 12071, Castellón, Telf , Fax , munoz@cofin.uji.es Resumen El presente artículo refleja la experiencia de innovación educativa llevada a cabo con la finalidad de estandarizar la metodología de evaluación del Master Universitario en Sostenibilidad y Responsabilidad Social Corporativa (UJI-UNED) mediante el uso de las rúbricas de evaluación. La docencia de dicho máster se imparte íntegramente on-line. Pese a que en su diseño ya se contempla la estructura de los créditos ECTS (European Credit Transfer System) propuestos por el EEES (Espacio Europeo de Educación Superior), tras dos ediciones, se identificaron una serie de aspectos susceptibles de mejora. Entre ellos, los procedimientos de evaluación de las diferentes actividades desarrolladas de forma virtual. 1. Introducción La creación del Espacio Europeo de Educación Superior (EEES) diseñado a partir de la firma de la Declaración de Bolonia en 1999, lleva asociado cambios diversos y profundos. Entre ellos destacan: (1) la adopción por parte de todas las universidades del EEES de un sistema basado en los créditos ECTS (European Credit Transfer System) con el objetivo de garantizar la convergencia de los diferentes sistemas europeos de educación. Según el RD 1125/2003: Los créditos ECTS representan el volumen de trabajo del estudiante para conseguir los objetivos del programa de estudios, objetivos que deben ser especificados preferiblemente en términos de resultados del aprendizaje y de competencias que han de ser adquiridas ; (2) el paso de un paradigma docente centrado en la enseñanza (y con ello en el profesor) a un nuevo paradigma centrado en el aprendizaje, dedicando especial atención a la adquisición y transmisión del conocimiento y; (3) la apuesta decidida por focalizar la atención de los procesos formativos en los aprendizajes de los estudiantes y, más concretamente, en los resultados de aprendizaje expresados en términos de competencias. Por tanto, este nuevo entorno docente modifica el proceso de enseñanza-aprendizaje tradicionalmente aplicado y requiere la generación de mecanismos que doten al profesorado de las técnicas y recursos necesarios para gestionar la complejidad que los citados cambios llevan asociados, así como la revisión de los sistemas de evaluación por competencias para que el cambio propuesto sea real y efectivo. Cuestiones como qué evaluar o cómo evaluar han ganado protagonismo en el marco de nuevas metodologías docentes que se fijan como objetivos de aprendizaje no sólo la adquisición de conocimientos, sino también el desarrollo de capacidades y habilidades por parte del alumno. La importancia de la evaluación en el contexto educativo radica en diversas cuestiones. En primer lugar, se considera que condiciona la forma de aprender de los estudiantes. La percepción que el propio estudiante tenga acerca de cómo se le va a evaluar, afectará a su proceso de aprendizaje. Por otro lado, permite conocer la calidad y cantidad de los aprendizajes alcanzados por los alumnos. Por ello, es fundamental que exista una coherencia entre los objetivos de aprendizaje fijados y los procedimientos de evaluación definidos. La aparente obviedad de esta afirmación crece en complejidad cuando se trata de evaluar ciertas

2 cuestiones: es más sencillo evaluar la memorización / comprensión de conceptos que la adquisición de determinadas habilidades o destrezas. La experiencia de innovación docente llevada a cabo se asocia a la docencia del Master Universitario en Sostenibilidad y Responsabilidad Social Corporativa (interuniversitario UJI- UNED), impartido íntegramente on-line a través de una plataforma virtual. La docencia on-line es una enseñanza a distancia, sin embargo, el desarrollo de nuevas tecnologías está permitiendo una mayor interacción entre profesores y alumnos. El conjunto de aplicaciones informáticas disponibles actualmente en Internet, adecuadamente integradas, nos permite crear un entorno muy rico en formas de interacción y, por tanto, muy flexible en estrategias didácticas, tanto al impartir docencia como al evaluar. En el contexto del EEES el trabajo autónomo del alumno se considera en el cómputo total del trabajo de aprendizaje. Pese a que en el diseño inicial del Master ya se contempla la estructura de los créditos ECTS propuestos por el EEES, los responsables del Master consideraron necesario estandarizar el sistema de evaluación mediante la utilización de rúbricas de evaluación que permitieran evaluar la adquisición de competencias en la ejecución de tareas específicas, haciendo la calificación más simple, transparente y homogénea, y asegurando una mejora continua de la calidad de la docencia, así como de una adecuada coordinación entre los procesos de evaluación de las diversas asignaturas del Master. En este contexto, el principal objetivo del trabajo fue constituir un sistema de evaluación estandarizado, mediante la aplicación de rúbricas, para todas las actividades de las diferentes asignaturas del Master Universitario en Sostenibilidad y Responsabilidad Social Corporativa. Así, de modo general, el objetivo principal de la experiencia abarcaría un gran número de objetivos específicos a acometer, entre los que se incluirían: - Introducir nuevas metodologías de evaluación que incrementen el potencial de aprendizaje de los contenidos y competencias asociados a las diversas asignaturas del Master. - Estandarizar la evaluación para mejorar la calidad del proceso de enseñanza-aprendizaje. - Incrementar la calidad del proceso instructivo al proporcionar un foco de atención y énfasis en los detalles importantes del proceso de enseñanza como modelo para el estudiante. - Facilitar al profesor la evaluación de las diferentes actividades. - Proporcionar al estudiante una guía explicita de lo que el profesor espera de él. - Ofrecer al estudiante la rúbrica como una herramienta para desarrollar sus propias habilidades o como método estándar de autoevaluación y/o de evaluación por pares. 2. Rúbricas de Evaluación Como ya se ha comentado, la evaluación ocupa un lugar central y estratégico en el nuevo escenario educativo para la formación universitaria. La nueva formación orientada al desarrollo de competencias exige el uso de métodos y herramientas avanzadas para la evaluación. En este sentido, las rúbricas de evaluación son guías de puntuación usadas en la evaluación del desempeño de los estudiantes que describen las características específicas de un producto, proyecto o tarea en varios niveles de rendimiento, con el fin de clarificar lo que espera del trabajo del alumno, de valorar su ejecución y de facilitar la proporción de feedback [1,2]. Las rúbricas de evaluación pueden ser holísticas o analíticas dependiendo del propósito educativo. Las rúbricas holísticas permiten hacer una valoración de conjunto del desempeño del estudiante sin determinar o definir los aspectos fundamentales que corresponden al proceso o tema evaluado [2]. Mientras las rúbricas de evaluación analíticas desglosan los aprendizajes en tareas especificas y utilizan criterios cuantitativos, de tal manera que el

3 profesor evalúa por separado las diferentes partes del producto o desempeño, para posteriormente sumar el puntaje y obtener una calificación [3]. Las rúbricas analíticas son más adecuadas que las rúbricas holísticas en la evaluación de actividades que incentivan el aprendizaje y el desarrollo de habilidades avanzadas. Por ello, las rúbricas diseñadas en las distintas actividades del Master Universitario en Sostenibilidad y Responsabilidad Social Corporativa son de este tipo. Algunas de las principales ventajas de utilizar rúbricas en el proceso de evaluación son [4]: - Los criterios de la medición están explícitos y son conocidos de antemano por todos. - Describen cualitativamente los distintos niveles de logro que el estudiante debe alcanzar. - Facilitan la evaluación y revisión final del trabajo por parte del alumnado, antes de entregarlo al profesor. - Indican con claridad al estudiante las áreas en las que tiene deficiencias. - Proporcionan a los estudiantes retroalimentación sobre sus fortalezas y debilidades en las áreas que deben mejorar. - Reducen al mínimo la subjetividad en la evaluación. - Promueven el pensamiento crítico del alumnado. 3. Metodología La experiencia docente desarrollada constó de cuatro fases. A continuación se detallan las características de cada una de ellas FASE 1: Formación del equipo docente para la elaboración de rúbricas y la generación de materiales La primera fase consistió en la formación del equipo docente para la elaboración de rúbricas. Para ello, en primer lugar, se procedió a analizar la estructura docente implícita en el concepto de crédito ECTS, las peculiaridades del sistema universitario español y las nuevas tecnologías a disposición de los estudiantes, así como las características de esta herramienta de evaluación en entornos virtuales y la situación actual de esta técnica empleada en asignaturas o proyectos similares de otras universidades. Posteriormente, se elaboró una Guía detallada en la cual se establecieron las directrices básicas relativas a la definición, realización, estructura, etc. que las rúbricas de evaluación de las distintas actividades que se realizan en el Máster debían cumplir FASE 2: Presentación del proyecto entre los docentes del Máster En la segunda fase, tras haber consensuado una Guía para la elaboración de rúbricas que permitiese homogeneizar el sistema de evaluación del Máster, se procedió a difundir dicha guía de manera amplia y uniforme entre todos los profesores, con el fin de que todos los participantes que interviniesen en la realización de actividades conociese la herramienta de evaluación. A su vez, la Guía se puso a disposición de los docentes en la propia plataforma virtual y se acompañó con una serie de documentación relacionada con esta herramienta de evaluación para que los docentes pudiesen profundizar en el uso de la misma.

4 3.3. FASE 3: Elaboración de rúbricas para las distintas actividades del Máster y supervisión del proceso En la tercera fase, y de acuerdo con los criterios establecidos previamente, los docentes elaboraron la rúbrica de evaluación, que posteriormente entregaron a los alumnos, donde se detalló qué cuestiones iban a ser evaluadas y cómo se les iba a evaluar, para aquellas actividades del Master que se encargaban de supervisar FASE 4: Evaluación de los resultados del proyecto Una vez concluido el periodo docente de las distintas asignaturas y actividades se procedió a evaluar los resultados obtenidos mediante una encuesta entre el alumnado. El objetivo era obtener información sobre la idoneidad de la utilización de las rúbricas como herramienta de evaluación. 4. Resultados Tal y como se ha indicado anteriormente, se suministró un cuestionario a los alumnos para conocer su valoración de la existencia de rúbricas de evaluación para las actividades del Master. Se describen a continuación los principales resultados obtenidos a partir de dicho cuestionario. En primer lugar, destacar que la rúbrica de evaluación no es un elemento de gestión del proceso de evaluación que se haya utilizado de forma amplia en las enseñanzas cursadas con anterioridad por nuestros alumnos, por lo que para ellos ha supuesto una novedad en su proceso de aprendizaje. De hecho, sólo el 26% de nuestros estudiantes había sido evaluado con anterioridad a cursar el Master utilizando un mecanismo de rúbrica (Figura 1). 4% 26% NS/NC SI NO 70% Figura 1. Pregunta 1: Con anterioridad a la realización del presente Máster su trabajo, en otras asignaturas, había sido evaluado utilizando una rúbrica de evaluación? Por otro lado, un 96% de los estudiantes consideraron que la rúbrica de evaluación facilita la compresión sobre los procesos y criterios de evaluación establecidos por el profesor (Figura 2), siendo este uno de los objetivos básicos de este tipo de herramientas, con especial relevancia en un sistema docente on-line que no permite la interacción directa con el profesor como puede ocurrir en un sistema presencial. Este resultado se relaciona directamente con la percepción de los estudiantes de la rúbrica como facilitador de esfuerzos, ya que el 87% de los estudiantes consideraron que les ha ayudado a centrar su trabajo y optimizar su esfuerzo (Figura 3).

5 0% 0% 4% Completamente en desacuerdo 57% 39% Algo en desacuerdo Indiferente Algo de acuerdo Completamente de acuerdo Figura 2. Pregunta 2: La rúbrica de evaluación facilita la compresión sobre los procesos y criterios de evaluación establecidos por el profesor. 4% 0%9% Completamente en desacuerdo 35% Algo en desacuerdo Indiferente Algo de acuerdo 52% Completamente de acuerdo Figura 3. Pregunta 3: El uso de la rúbrica de evaluación ayuda a centrar los esfuerzos para la realización del trabajo. Una cuestión importante relacionada con el uso de las rúbricas de evaluación, es si estas contribuyen a garantizar una evaluación objetiva y homogénea de las actividades por parte del profesorado. En este sentido, una amplia mayoría de los estudiantes estuvo de acuerdo o algo de acuerdo, y sólo un 8% estuvo en desacuerdo o totalmente en desacuerdo (Figura 4). 22% 4% 4% 13% Completamente en desacuerdo Algo en desacuerdo Indiferente Algo de acuerdo Completamente de acuerdo 57% Figura 4. Pregunta 4: El uso de las rúbricas de evaluación contribuye a garantizar una evaluación objetiva y homogénea de las actividades por parte del profesorado. Para finalizar, un elevado porcentaje de estudiantes, el 82 %, recomendó el extender el uso de esta herramienta al resto de asignaturas del Master. Este hecho queda también reflejado en

6 algunas de las observaciones que los alumnos realizaron, animando a todo el profesorado del máster a incorporar las rúbricas a su proceso de evaluación (Figura 5). 9% 9% NS/NC SI NO 82% Figura 5. Pregunta 5: Considera adecuado que el uso de esta herramienta de evaluación se haga extensible a todas las actividades del Máster? 5. Conclusiones Mediante la incorporación de rúbricas de evaluación en diferentes asignaturas del Master Universitario en Sostenibilidad y Responsabilidad Social Corporativa, impartido íntegramente on-line, se ha conseguido dotar al proceso de evaluación de las mencionadas asignaturas de una mayor coherencia respecto a los conocimientos, competencias y habilidades que se pretenden desarrollar mediante su docencia. Los resultados del cuestionario cumplimentado por los alumnos, muestran una aceptación positiva de las rúbricas de evaluación, llevando incluso a recomendar su implantación en la totalidad de actividades del Master. 6. Agradecimientos La presente experiencia de innovación educativa se ha llevado a cabo con el apoyo del Ministerio de Educación a través de la Beca FPU-AP ), de la Unitat de Suport Educatiu de la Univcersitat Jaume I y del Máster Oficial Interuniversitario en Sostenibilidad y Responsabilidad Social Corporativa impartido por la UJI y la UNED. 7. Bibliografía 1. H. G. Andrade Teaching with rubrics: The good, the bad, and the ugly. College Teaching, Vol. 53 (1) (2005), pp C. A. Mertler. Designing scoring rubrics for your classroom. Practical Assessment, Research & Evaluation, Vol. 7 (25) (2001). 3. S. Capote, y A. Sosa, (2006). Evaluación. Rubrica y listas de control. Disponible en [2011, 7 de Junio]. 4. J. Martínez-Rojas. Las rúbricas en la evaluación escolar: su construcción y su uso. Avances en Medición, Vol. 6, (2008) pp.129.