Medios para la Evaluación y Medición. Marcos Torres-Nazario Ed.D. IR Certificate 26 de octubre de 2011

Transcripción

1 Medios para la Evaluación y Medición Marcos Torres-Nazario Ed.D. IR Certificate 26 de octubre de 2011

2 Considera que la evaluación en los cursos a distancia es diferente a la evaluación en los cursos presenciales?

3 Temas Algunas definiciones Tipos de evaluación Principios éticos fundamentales Factores que influyen en el proceso de evaluación Dominios susceptibles de evaluación Técnicas de evaluación Etapas en la planificación y construcción de instrumentos Tipos de ítems y ejemplos Opciones que provee Blackboard para la medición. Cierre

4 Algunas definiciones Medición es el proceso de obtener expresiones numéricas de los atributos o características de los objetos o las personas siguiendo unas reglas particulares. Assessment proceso de recopilar, organizar y analizar información de variadas y múltiples fuentes de evidencia con el fin de mejorar la enseñanza y el aprendizaje. Evaluación es un proceso complejo sistemático y complejo de emitir juicios acerca del mérito o valía de algo para tomar decisiones relacionadas..

5 Tipos de evaluación Evaluación para la ubicación nos ayuda a determinar el punto donde se encuentra el estudiante en una secuencia instruccional. Evaluación diagnóstica incluye un proceso abarcador, detallado y particular para identificar la naturaleza y causas que explican las dificultades y los errores persistentes en el aprendizaje.

6 Tipos de evaluación Evaluación formativa se utiliza para dar seguimiento, revisar el progreso en el aprendizaje y realizar cambios o ajustes en la enseñanza. Evaluación sumativa designa la forma en la cual se juzga el logro de los fines propuestos en la instrucción y sirve como base para certificar dominio, asignar calificaciones o determinar promociones.

7 Principios éticos fundamentales La evaluación del aprendizaje como un área profesional, requiere del empleo de diversas técnicas y principios éticos relacionados con las diversas disciplinas. Estos son: Beneficencia las prácticas evaluativas deberán tener el efecto de mejorar el aprovechamiento estudiantil. El bienestar de los estudiantes es una responsabilidad primaria. No maleficencia significa, ante todo, no hacer daño. Esto implica que no se someta a la persona a algún riesgo físico o psicológico. Autonomía se define como la libertad para que un individuo disponga de sí mismo. Esto implica que las personas deben conocer de antemano los procesos de evaluación en los cuales participarán y aceptarlos de forma voluntaria.

8 Cont. Justicia se relaciona con la equidad, o sea, dar a cada uno lo que le corresponde. No significa que se debe tratar a todas las personas de igual manera. Significa que debe existir equidad al proveer igualdad de condiciones para llevar a cabo el proceso, y saber cuándo hay que hacer diferencias y/o acomodos. Privacidad se refiere al derecho que tienen los estudiantes y sus familiares de que sus expedientes académicos y cualquier otro material relacionado con su evaluación y progreso académico no sea del dominio público. Integridad se relaciona con el término honestidad, aunque nos son sinónimos. El concepto de honestidad académica contempla el cumplimiento cabal de la responsabilidad académica sin recurrir al engaño, el fraude, la mentira ni usurpación.

9 Ejercicio de práctica Un maestro les informa a los estudiantes que el examen final de la casa va a cubrir los Capítulos 6 al 10 del libro y no provee mayores detalles sobre el examen. Administró un examen que tenía 10 ejercicios de respuesta breve y 10 preguntas para elaborar la respuesta. Una semana después reparte los exámenes leyendo el nombre de cada estudiante y la nota que obtuvo. No había marcas hechas por el maestro en las respuestas de los estudiantes, sólo la nota escrita en el examen (A, B, C, D y F). Una estudiante le preguntó que cómo asignó las notas y el profesor le contestó que de acuerdo a lo que cada uno escribió. Cuál de los siguientes principios éticos se podría estar violentando en este caso? Beneficencia No maleficencia Autonomía Justicia Privacidad Integridad

10 Ejercicio de práctica Una estudiante graduada administró un cuestionario acerca de la satisfacción con los estudios graduados a un grupo de estudiantes que estaban tomando un curso con ella. Según iban llegando a la clase, ella le entregaba el cuestionario y les decía que el cuestionario era parte de un estudio piloto que estaba realizando para validarlo. Algunos compañeros de clase accedieron a contestarlo y otros se negaron. Cuál de los siguientes principios éticos se podría estar violentando en este caso? Beneficencia No maleficencia Autonomía Justicia Privacidad Integridad

11 Factores que influyen en el proceso de evaluación Naturaleza y calidad del instrumento se refiere a aquellas características relativas a la planificación, el diseño y la construcción del mismo. Algunos errores relacionados son: Instrucciones ambiguas o la falta de ellas. Prueba demasiado corta o larga. Preguntas mal redactadas. Claves o rúbricas con errores. Ítems que no corresponden al contenido que se enseña. Dar menos tiempo que el estipulado para contestar una prueba. Otros se relacionan con las características del estudiante, los rasgos psicológicos y las condiciones del medioambiente en que se administran los instrumentos.

12 Dominios susceptibles de evaluación Cognoscitivo Se relaciona con los aprendizajes relativos al conocimiento mismo. Se puede utilizar la taxonomía de Bloom. Psicomotor Afectivo Se relaciona con el dominio de las destrezas motoras. Para que ocurra aprendizaje, debe existir una base de conocimientos Se relaciona con aspectos emocionales que van desde la simple atención hasta cualidades de carácter y la consciencia. Estos se expresan como actitudes, apreciaciones, valores y conjuntos de emociones o predisposiciones.

13 Técnicas de evaluación Conducta que mide Aprovechamiento Personalidad Aptitud Actitudes Intereses Forma de corrección Objetiva Subjetiva Tipo de respuesta Cerrada Restringida Extendida

14 Etapas en la planificación y construcción de un instrumento Determinar el propósito y condiciones de administración Preparar una planilla Seleccionar y elaborar los ítems Preparar la prueba

15 Determinar el propósito y condiciones de administración Para qué y por qué se va a construir la prueba? Qué contenido va a cubrir la prueba? Quiénes la van a contestar? Cuándo y cómo se va a administrar? Cuánto tiempo hay disponible para contestarla? Cómo se va a usar e interpretar los resultados?

16 Preparar una planilla de especificaciones Cuáles son los temas de contenido, los objetivos o destrezas que se van a incluir? Cuál es la importancia relativa de los temas y objetivos? Cuántos ítems va a tener la prueba y cuántos se van a preparar de acuerdo con las celdas de la planilla? qué tipo de ítem se va a utilizar?

17 Ejemplo de una planilla de especificaciones Objetivos Hallar el perímetro de polígonos Hallar el área de polígonos y superficies Seleccionar la unidad de medida apropiada Comparar unidades de medida en el sistema inglés y en el sistema métrico Tiempo dedicado (horas) Ítems PEM Tipo de ítem 1 hora (1/7=14%) 4 3 Respuesta breve 2 horas (2/7=29%) 7 5 Respuesta breve 2 horas (2/7=29%) 7 5 Pareo 2 horas (2/7=29%) 7 5 Cierto o falso Total 7 horas (7/7=100%) 25 18

18 Seleccionar y elaborar los ítems Quién va a elaborar los ítems? Cómo se va a establecer la correspondencia entre los ítems con los temas y objetivos de la planilla Están redactados de acuerdo a las recomendaciones de los expertos?

19 Preparar la prueba Cómo se va a organizar la prueba? Incluye instrucciones claras y precisas? Cómo se va a reproducir la prueba? Cómo se van a corregir las respuestas y asignar las puntuaciones?

20 Tipos de ítems

21 Recomendaciones generales para preparar buenos reactivos Instrucciones claras y específicas sobre lo que debe hacer el estudiante. Los ítems objetivos deben tener una y sólo una respuesta correcta. Los ítems de selección múltiple deben tener al menos 4 opciones, todas de la misma longitud. En los pareos, las premisas largas se colocan a la izquierda y las cortas a la derecha. Asimismo, deben tener al menos dos opciones adicionales que sobren y sean viables. Los reactivos que requiere llenar espacios en blanco deben ser todos de la misma longitud. Debe ser específico en lo que solicita que el estudiante conteste en las preguntas abiertas.

22 Ejemplos de errores de redacción de ítems Ítem Primer error Segundo error C F Usamos gráficas de barras para datos de naturaleza nominal. El ítem de alternativa múltiples. a. Se puede utilizar en todas las áreas de contenido. b. Es difícil de construir. c. Ayuda a diferenciar entre las alternativas. d. Tiene de 3 a 5 opciones. Error técnico de construcción. Las alternativas de falso no están separadas de la premisa. Parece que la F es parte de la premisa. Error técnico: la premisa tiene errores gramaticales, son alternativas múltiples. Además, no lleva línea al final de la premisa. Las alternativas deben poder completar la frase. Se puede mejorar la redacción. Por ejemplo: La grafica de barras se utiliza para datos de naturaleza nominal. Error técnico: no tiene una respuesta correcta. Todas las alternativas son respuestas plausibles. La Teoría clásica de la medición es una. Mencione y explique las razones por las cuales surge la necesidad de establecer estándares que guíen el proceso de elaboración de instrumentos de medición. No tiene una sola respuesta posible. Es ambiguo. Se puede preguntar con otro tipo de ítem. Error técnico: no explica cuantas razones debe redactar para la pregunta. Le faltan instrucciones específicas. Puede replantearse como Explique tres razones por las cuales surge la necesidad Tiene un artículo (una) antes del espacio en blanco, lo que puede sugerir la respuesta. El término mencionar contiene o requiere mencionar la información. Uno de los términos está contemplado en el otro.

23 Opciones para la medición y evaluación que provee Blackboard Provee para la creación de exámenes usando ítems objetivos o subjetivos. En esta sección se pueden trabajar con documentos que el estudiante tenga que generar. En esta sección se pueden trabajar preguntas de discusión y análisis de documentos o temas libres.

24 Conclusiones El proceso de evaluación es similar para los cursos presenciales y los cursos a distancia. Preparar un instrumento para ofrecerse presencialmente o a distancia requiere el mismo tipo de esfuerzo en términos de la planificación, diseño y preparación de reactivos. La construcción de buenos ítems es el aspecto principal de cualquier proceso de medición y evaluación de un curso, ya sea presencial o a distancia.

25 Referencias Verdejo-Carrión A.L. y Medina-Díaz, M. R (2009). Evaluación del aprendizaje estudiantil. 5ta Ed. San Juan, PR: Experts Consultants, Inc.