Sistema de Calificaciones.

Transcripción

1 Sistema de Calificaciones. Prof. Adj. Roberto Daniel Cáceres Bauer Unidad de Evaluación Departamento de Educación Médica Facultad de Medicina, UdelaR Comisión del nuevo plan de estudios, 06/09/2012

2 Organización y contenido de la Presentación 1.Tipos de Puntuaciones. 2. Puntos de Corte. 3. Definición de relaciones entre puntuaciones, notas o calificaciones. 4.Convenciones sobre la toma de decisiones.

3 Tipos de Puntuaciones.

4 Proporciones de respuestas correctas porcentuadas. Ejemplo. En una Prueba con 70 items un estudiante respondió correctamente un TOTAL =35, la proporción p de respuestas correctas es p=35/70 p=0.5, y la puntuación es P=100p P=50 puntos.

5 Proporciones porcentuadas con items ponderados. Aquí no todos los items corresponden al mismo puntaje. Ejemplo. En una Prueba con 70 items un estudiante obtuvo un puntaje total de TOTAL = 60, el puntaje total máximo es TOTAL max 110, EL puntaje es P = (60/110)100= 54 puntos.

6 Escalas Típicas Transformadas: Escala T. Ejemplo. En una Prueba con 70 items un estudiante respondió correctamente 35, la media fue de 50 y el desvió de 25 y su puntuación típica es z=(35-50)/25 z=-0.6 En escala T: t= 10z+50= t= 44 puntos.

7 Escalas Theta transformada a escala T Ejemplo. En una Prueba con 70 items un estudiante respondió correctamente 35. Se uso un modelo 3pl y se obtuvo un c=0.6 en 5 items, c=0.3 en 10 items y en los demás c=0 (guessing) y un coeficiente de discriminación a=0.8 en 15 items, a=1.2 en 20 items, etc, y, el puntaje theta= La media de theta es 0 y el desvío es 2. El puntaje en escala T a partir de este valor de theta es z = (-1.8)/2 = -0.9 En escala T: t= 10z+50= t = 41 puntos.

8 Escalas Theta transformada a escala T Observación 1. El valor de Theta, es la habilidad estimada del sujeto a partir de los datos de una prueba, que se calcula tomando en cuenta y controlando el guessing y la capacidad de discriminación de cada uno de los items.

9 Escalas Theta transformada a escala T Observación 2. En este caso no solo importa cuantos items respondió bien el sujeto, sino que también cuales, esto es el patrón de respuesta. Ejemplo. En una prueba el patrón no es lo mismo que el patrón , si bien en puntaje P=(4/7)100=57 puntos.

10 PUNTOS DE CORTE

11 PUNTOS DE CORTE La definición de puntos de corte sirve para definir categorías en base a la cuales luego se puede tomar decisiones. Ejemplo 1. Aprueba / Reprueba un curso o exámen. Ejemplo 2. Reprueba Curso / Aprueba Curso y Gana Derecho a dar Examen / Aprueba Curso y Exonera /

12 Ejemplos simples de puntos de corte utilizados en Facultad de Medicina. Ejemplo 1. Si el puntaje es igual a un porcentaje de respuestas contestadas correctamente igual o mayor a 60% aprueba. Obs. 1. Aquí el punto de corte se fija a priori sin ningún análisis o consideración adicional. Obs. 2. En este caso la definición del punto de corte es arbitraria, se fija sin tomar en cuenta las características de los ítems de la prueba. Obs. 3. En general se basa en una estadística no suficiente como estimador de la habilidad del sujeto en la prueba (no se usa toda la información disponible)

13 Ejemplos simples de puntos de corte utilizados en Facultad de Medicina. Ejemplo 2. A) Se toma el 50% central de la distribución de puntos totales en cada periodo. B) Se calcula para el 50% central media M y desvió D. C) PC = M-D D) Si es menor a 50 %, se toma 50% como punto de corte. Observaciones: 1. Se toma en cuenta las variaciones en la dificultad de la prueba. 2. Se define un criterio basado en la norma. 3. Depende de la muestra de estudiantes en ese período.

14 Definición de relaciones entre puntuaciones, notas o calificaciones.

15 Ejemplo Para Examen Final. Relación Porcentajes y Calificaciones Finales en Facultad de Medicina. Porcentajes Puntos Calificación Final en el Examen Aprobación de Examen 0 hasta 19 0 D.D.D NO 20 hasta 39 0 D.D.D NO 40 hasta 59 0 D.D.D NO 60,61,62 3 R.R.R SI 63,64,65 4 R.R.B SI 66,67,68,69 5 B.B.R SI 70,71,72,73 6 B.B.B SI 74,75,76,77 7 B.B.MB SI 78,79,80,81 8 MB.MB.B SI 82,83,84,85 9 MB.MB.MB SI 86,87,88,89,90 10 MB.MB.S SI 91,92,93,94,95 11 S.S.MB SI 96,97,98,99, S.S.S SI

16 Ejemplo para ECOE Porcentajes Relación Porcentajes y Calificaciones Finales en el ECOE. Puntos Calificación Final en el Examen Aprobación de Examen 0 a 1PC/3 0 D.D.D NO 1PC/3 a 2PC/3 0 D.D.D NO 2PC/3 a 3PC/3 0 D.D.D NO PC a PC +1(100-PC)/10 3 R.R.R SI PC +1 (100-PC)/10 a PC+ 2(100-PC)/10 4 R.R.B SI PC+ 2(100-PC)/10 a PC+ 3(100-PC)/10 5 B.B.R SI PC+ 3(100-PC)/10 a PC+ 4(100-PC)/10 6 B.B.B SI PC+ 4(100-PC)/10 a PC + 5(100-PC)/10 7 B.B.MB SI PC + 5(100-PC)/10 a PC + 6(100-PC)/10 8 MB.MB.B SI PC + 6(100-PC)/10 a PC+ 7(100-PC)/10 9 MB.MB.MB SI PC+ 7(100-PC)/10 a PC+ 8(100-PC)/10 10 MB.MB.S SI PC+ 8(100-PC)/10 a PC+9(100-PC)/10 11 S.S.MB SI PC+9(100-PC)/10 a PC+ 10(100-PC)/10 12 S.S.S SI

17 Ejemplo con PC fijo a priori Calificaciones Finales de Curso, Exoneración y Calificación de Examen Porcentajes Punto s Calificación Final en el Curso Aprobación de Curso Exoneració n de Examen Nota de Examen por exoneración 0 hasta 19 0 D.D.D NO NO - 20 hasta 39 0 D.D.D NO NO - 40 hasta 59 0 D.D.D NO NO - 60,61,62 3 R.R.R SI NO - 63,64,65 4 R.R.B SI NO - 66,67,68,69 5 B.B.R SI NO - 70,71,72,73 6 B.B.B SI SI B.B.B 74,75,76,77 7 B.B.MB SI SI B.B.MB 78,79,80,81 8 MB.MB.B SI SI MB.MB.B 82,83,84,85 9 MB.MB.MB SI SI MB.MB.MB 86,87,88,89,90 10 MB.MB.S SI SI MB.MB.S 91,92,93,94,95 11 S.S.MB SI SI S.S.MB 96,97,98,99, S.S.S SI SI S.S.S

18 Convenciones sobre la toma de decisiones.

19 Convenciones sobre la toma de decisiones. Aspectos a Considerar. Se debería considerar las diversas situaciones que pueden existir en relación a la toma de decisiones. Se debería conocer y documentar la situación actual. En función del punto 1 y 2, y tomando en cuenta los tipos de puntuaciones y puntos de corte posibles, definir criterios comunes y pautas.

20 Situaciones que pueden existir en relación a la toma de decisiones. Ejemplo. Un curso está compuesto por 3 componentes A, B, C. Para el componente A, no hay un examen final. El curso se aprueba o reprueba dependiendo de los resultados de las evaluaciones en dicho componente. Para el componente B, se puede aprobar o no dicho componente según las evaluaciones realizadas en el componente B, y la aprobación de dicho componente permite ganar el derecho a dar un examen final. El componente C, es igual al B, pero además se puede exonerar el examen final, y la nota final de aprobación surge de las evaluaciones hechas durante el componente C.

21 Gracias.