DRA. NORMA JUÁREZ DÍAZ GONZÁLEZ DR. FAUSTO GARCÍA CARRASCO

Transcripción

1 TALLER: EXAMEN ESCRITO DRA. NORMA JUÁREZ DÍAZ GONZÁLEZ DR. FAUSTO GARCÍA CARRASCO

2 Taller: Examen Escrito 79 TALLER: EXAMEN ESCRITO DRA. NORMA JUÁREZ DÍAZ GONZÁLEZ DR. FAUSTO GARCÍA CARRASCO INTRODUCCIÓN El examen escrito es la modalidad de evaluación más utilizada por los consejos de especialidad en nuestro país, la mayoría incluyen al examen escrito como uno de los medios de certificación, aunque sólo 7 de ellos lo utiliza como el único medio para definir la competencia, ya que los 39 restantes combinan el instrumento con otras modalidades. (Figura No.1) De los diversos tipos de reactivos existentes, los reactivos de opción múltiple son los más utilizados por los consejos de especialidad (44 consejos); aunque 3 consejos incluyen además casos clínicos, 24 añaden la identificación de imágenes, 11 utilizan reactivos de falso-verdadero-no sé y ocho prefieren la correlación de columnas para identificar los conocimientos. (Figura No. 2)

3 Taller: Examen Escrito 80 Más de 0 % de los consejos cumplen con criterios de calidad relacionados con la ponderación del grado de dificultad del examen (37), del índice de discriminación (28) y de la ponderación de los contenidos (36), y han solicitado apoyo metodológico para su elaboración (28)(Figura No. 3) En relación al número de reactivos en el examen,la mayoría lo llevan a cabo entre 0 y 300 reactivos (Figura No.4). En cuanto al número de días que se requieren para aplicar el examen 22 Consejos lo aplican en dos días, en un solo día 16 Consejos. La totalidad de los participantes en la encuesta utilizan los tratados de especialidad como la fuente de información que sustenta la elaboración de los reactivas y 40 de ellos añade además revistas indexadas e información derivada de la evidencia científica probada (medicina basada en evidencias)veinte y nueve Consejos Bajo este panorama se decidió revisar el marco teórico de la evaluación mediante examen escrito y para ello se contó con la presencia de la Dra. Patricia Borrego Mora, de la División de Estudios de Posgrado de la Facultad de Medicina, Ciudad Universitaria (UNAM) y la Dra. Gloria García Medina, de la Facultad de Estudios Superiores Iztacala (UNAM)

4 Taller: Examen Escrito 81 Para los fines de la certificación, la evaluación es un proceso complejo que tiene como finalidad comprobar de modo sistemático en qué medida se han logrado en los especialistas médicos los resultados previstos en la competencia profesional. Es un medio para predecir el desempeño esperado; es decir, sirve para adoptar una decisión en relación a sí se cumplen o no los estándares mínimos de competencia clínica en el ejercicio profesional; es un medio de aprendizaje sobre el comportamiento de los profesionales de la salud en torno al dominio de su especialidad y sirve para retroalimentarlos acerca de sus aciertos y de sus errores e instrumentar estrategias de perfeccionamiento en el desarrollo profesional individual. La elaboración de un buen examen escrito tiene ciertas exigencias y en principio tiene que reconocerse cuáles son sus límites y limitaciones, como son el hecho de que la evaluación es un medio y no un fin en sí misma, que carece de técnicas y procedimientos infalibles, que se tiene que demostrar estadísticamente el proceso de evaluación para asegurar categóricamente su efectividad y que la mayor parte de las prácticas de evaluación se centran más en la capacidad de recordar o reconocer más que en la habilidad para aplicar los conocimientos o resolver problemas de la vida real.

5 Taller: Examen Escrito 82 Existen varios tipos de exámenes escritos y pueden agruparse en dos relacionados con la necesidad de elaborar o seleccionar algún tipo de respuesta. Las primeras están representadas por las pruebas tipo ensayo, ya sea de ensayo extenso o resumido, o por las preguntas de respuesta breve o de complementación. Las segundas por reactivos que requieren la selección de una sola respuesta entre varias opciones (también se les denomina de respuesta única) como falso, verdadero, dudoso; falso, verdadero; siempre, nunca, a veces. Correspondencia o correlación; mejor respuesta; o las objetivas de opción múltiple. De las modalidades de examen escrito, a las pruebas de opción múltiple se las ha considerado por Lindquist como superiores a todos los demás tipos de exámenes escritos dada su capacidad para medir capacidades de inferencia, predicción, discriminación, interpretación, evaluación, extrapolación de los hechos y del conocimiento, entre otros. En la elaboración del examen escrito habrá de considerarse ciertos elementos fundamentales que le confieren un alto grado de calidad como son los relacionados con la confiabilidad, validez, dificultad, discriminación, sensibilidad, adecuación, (adecuación al perfil profesional, al contexto y al tiempo), objetividad, representatividad, especificidad,

6 Taller: Examen Escrito 83 eficiencia tanto del instrumento como del empleo de los resultados. Para los fines de este documento sólo haremos referencia a los cinco criterios básicos de calidad de un instrumento de evaluación. Confiabilidad, validez, dificultad, índice de discriminación y representatividad. CONFIABILIDAD DE UN EXAMEN La confiabilidad se define como la precisión con la cual un examen mide el atributo o característica de los sustentantes para la cual fue diseñada, en nuestro caso se refiere a la competencia clínica. Los procedimientos para establecer la confiabilidad se resumen en cuatro tipos: a) Prueba reiterada, se aplica el mismo examen dos veces al mismo grupo de sustentantes con un intervalo de tiempo determinado y a esto se le conoce como coeficiente de estabilidad. B) Formas equivalentes o paralelas, dos formas diferentes pero equivalentes de la misma prueba se administran al mismo grupo de alumnos en sucesión cerrada, es decir en intervalos muy breves. Este criterio establece el coeficiente de equivalencia. c) División por mitades. Una vez administrada la prueba a un grupo de sustentantes, se procede a obtener dos puntuaciones de cada uno al calificar por separado los reactivos nones y los reactivos pares. Por último, d) Coeficientes de variancia varianza o de consistencia interna que permiten estimar la confiabilidad de una prueba a partir de una sola administración y consiste en el análisis estadístico de los resultados empleando las fórmulas de

7 Taller: Examen Escrito 84 Kuder-Richardson 20 y 21 y la de Alpha de Cronbach. Quzás esta última modalidad sea la más indicada para medir la confiabilidad de los instrumentos de certificación y recertificación. Se ha establecido que la confiabilidad puede incrementarse aumentando el número de preguntas (Figura no. ) CRITERIOS DE VALIDEZ DE UN EXAMEN La validez de un examen está relacionada a que el instrumento mida lo que realmente se intenta medir. En este sentido se identifican diversos criterios para garantizar la validez de un instrumento, siendo los más relevantes para nuestro caso. 1) Validez de contenido que tiene que ver con el campo disciplinar que se explora y expresa el grado en que los reactivos del examen constituyen una muestra representativa de los contenidos a explorar. Para este fin es necesario construir una tabla de especificaciones de los contenidos por medir e idealmente, el nivel de profundidad en que es necesario que el sustentante responda (Cuadro No. 1) 2) Validez predicitiva con la cual se pretende que con los resultados del examen se pueda predecir la ejecución futura del sujeto a partir de un criterio (en nuestro caso, la certificación de la competencia con respecto a su capacidad de desempeño)

8 Taller: Examen Escrito 8 DIFICULTAD DE UN EXAMEN La dificultad de una prueba está dada por la dificultad particular de las preguntas que la integran y se expresa como la proporción de alumnos que contestan correctamente. Se considera que un examen con dificultad media (se considera dificultad media de un examen cuando las preguntas son correctamente contestadas por una proporción de sustentantes entre el 40 y 60 % condiciona una mayor confiabilidad a la prueba. Un reactivo puede ser muy fácil porque las opciones con función distractora son inverosímiles, el contenido explorado se encuentra en un nivel del recuerdo de los hechos. Un reactivo puede ser muy difícil debido a que la opción correcta es errónea, existen dos o más opciones correctas, el contenido explorado es raro, rebuscado o minucioso. El enunciado no está claramente definido, por falta de tiempo no se respondió. El índice de discriminación de un examen es la capacidad que tienen los reactivos para distinguir a los alumnos que poseen el conocimiento correcto de los que no lo poseen. Se considera un índice de discriminación máximo, cuando el valor que se obtiene es de 1.0. Se considera que un examen tiene valores de discriminación altos cuando el índice obtenido oscila entre 0.41 y más; moderado cuando los valores obtenidos se encuentran entre 0.21 a 0.40; bajo 0.01 a 0.20 y negativo cuando el índice

9 Taller: Examen Escrito 86 de discriminación es igual a cero. En un examen la distribución de los diversos grados de discriminación ideal es: alto, más de 2 % de reactivos del examen, moderado entre 24 y 16% del examen; bajo, menos del 1 % de reactivos del examen; con valores negativos, menos del % del examen. Las razones por las cuales un reactivo puede no discriminar están relacionadas con errores en la plantilla de respuestas, existencia de más de una respuesta correcta, ambigüedad en el enunciado, error en la respuesta correcta, falacia en la respuesta correcta, obviedad en la respuesta correcta, elección al azar por alto grado de dificultad de la respuesta, cuando la pregunta explora un contenido diferente al resto de los reactivos. REPRESENTATIVIDAD DE CONTENIDOS La representatividad del examen está relacionada con la importancia relativa de cada contenido temático que define el perfil del especialista para medir la competencia clínica. En ella hay que tomar en consideración la importancia del contenido en la competencia global (respuesta a necesidades), las exigencias contextuales al desempeño (epidemiología vigente), la ponderación a los contenidos relacionada con la importancia relativa asignada y expresar estos elementos en la tabla de especificaciones.

10 Taller: Examen Escrito 87 CONCLUSIONES Es ideal que el instrumento de evaluación cumpla con los criterios de confiabilidad, validez, dificultad, discriminación y representatividad idóneos. Es ideal que en la construcción del examen participen quienes dominan los contenidos y la técnica para su elaboración y una vez concluido sea revisado por expertos quienes no hayan participado en su elaboración. La adecuada planificación del examen garantiza la calidad del instrumento. Es aconsejable que la dificultad del examen permita que la mitad de los alumnos responda correctamente (dificultad media); se agrupen los reactivos de un mismo contenido; se establezca el tiempo de respuesta preciso de acuerdo a la complejidad del reactivo y se responda en el tiempo establecido; su formato no obstaculice su respuesta; elaborar una plantilla de respuestas y documentar el método y procedimiento seguidos para la elaboración del examen de modo claro y sencillo y verificar que expresen los tres momentos de la evaluación: planeación y construcción de los instrumentos,

11 Taller: Examen Escrito 88 aplicación del examen y acopio de los resultados, emisión de juicios y toma de decisiones con respecto a la condición evaluada y la predicción de comportamientos futuros (evaluación propiamente dicha). Es aconsejable contar con asesoría permanente sobre los métodos, técnicas y procedimientos para la elaboración de instrumentos de evaluación por personal profesional en el ámbito educativo. La Facultad de Medicina de la Universidad Nacional Autónoma de México cuenta con medios automatizados, para llevar a cabo el análisis de reactivos relacionados con la colaboración del instrumento de evaluación (definición del grado de dificultad y cálculo del índice de discriminación), puesto a la disposición de las instituciones académicas de nuestro país.

12 Taller: Examen Escrito 89 Figura No. 1. TIPO DE EXAMEN Escrito-Práctico Escrito-Oral Escrito Los tres Escrito-Práctico Figura NO. 2 Escrito Escrito-Oral TIPO DE REACTIVO Los tres Si No Correlación de columnas Identificación de imágenes Casos Clínicos Falso-Verdadero-No se Opción múltiple Si No Opción múltiple 44 2 Falso-Verdadero-No se 11 3 Casos Clínicos 3 11 Identificación de imágenes Correlación de columnas 8 38

13 Taller: Examen Escrito 90 Figura NO. 3 EVALUACIÓN DE LOS REACTIVOS Si No Apoyo pedagógico Contenido Grado de dificultad Índice de discriminación Si No Índice de discriminación Grado de dificultad 37 9 Contenido 36 Apoyo pedagógico 28 18

14 Taller: Examen Escrito 91 Figura NO. 4 NÚMERO DE REACTIVOS Número de reactivos

15 Taller: Examen Escrito 92 Figura NO. La confiabilidad puede incrementarse aumentando el número de preguntas Coeficiente de confiabilidad Número de preguntas de la prueba

16 Taller: Examen Escrito 93 Cuadro 1. Tabla de especificaciones Tema % # reac Subtema # reac Biología de la reproducción 1 Infertilidad Sx Turner Anovulación crónica Corteza suprarrenal 7 20 Sx. Nelson Hiperplasia adrenal congénita Adenoma productor de cortisol Uso de esteroides Climaterio 2 Climaterio terapia Diabetes 17 0 Diabetes clasificación Diabetes tratamiento 1 Diabetes complicaciones Diabetes gestacional Diabetes hiperosmolar Endocrino. pediátrica 30 Talla baja 20 Pubertad precoz Hipotálamo hipófisis 2 Hiperprolactinemia no tumoral Lípidos 3 Dislipidemias Hiperlipidemia