Elaboración y validación de un examen profesional. Pérez Cortés Patricia Evaluación UDEM DICSA Cobos Aguilar Héctor Internado UDEM DICSA

Transcripción

1 Elaboración y validación de un examen profesional Pérez Cortés Patricia Evaluación UDEM DICSA Cobos Aguilar Héctor Internado UDEM DICSA

2 En su concepción más simple, evaluar es comparar una medida con un estándar o patrón y emitir un juicio valorativo basado en esa comparación. La evaluación ha sido y continuara siendo un gran desafío para los educadores en virtud de la diversidad de modificaciones que sufren los educandos como resultados de su exposición a numerosas experiencias de aprendizaje. De tal forma que lo que se ve es solo la punta del iceberg de un complejo proceso subyacente. elección de los indicadores del aprendizaje mas apropiados es una cuestión compleja que depende de la concepción que se tenga de la educación. Desde esta perspectiva el modelo educativo de la universidad como se define es tradicional, fundamentado en la orientación pasivo-receptiva la que pone de relieve lo relacionado a los contenidos del conocimiento e insiste en agotar los temas de un curso determinado, da preferencia a la lectura de aspectos descriptivos del conocimiento en detrimento del aspecto analítico y reflexivo, preocupado por la actualización por sobre los aspectos ( metodológicos) de las fuentes originales de la información.

3 Puede entenderse ahora que evaluar un proceso educativo o sus efectos, será una frase sin sentido si no la acompañada de la perspectiva teórica que la encuadra. Y se especifiquen los indicadores de la evaluación que son significativos para el enfoque teórico en cuestión. De tal forma que los indicadores de una estrategia por objetivos tendrán que ver con los contenidos de la información y su recuerdo y para aquellos que han estado inmersos en una perspectiva participativa tendrán que referirse preferentemente a la aplicación de la información, a su crítica, a la reflexión sobre un cierto campo de actividad El razonamiento clínico se considera un componente central de las competencias del médico. Se define como el proceso por el cual los médicos encauzan su pensamiento hacia un diagnostico probable. Ó cuando el médico comprende cabalmente lo que es un problema clínico, como condición para una adecuada detección, debe enfrentar cada nuevo caso tomando en consideración lo que es el padecimiento, la enfermedad y la situación psicosocial (predicamentos) de cada paciente; de otra forma su comprensión del problema será parcial y con importantes limitaciones para su resolución. El padecimiento es quizá, la expresión más significativa y concreta de un problema con o sin enfermedad.

4 Así que elaborar un instrumento de razonamiento clínico en un modelo pedagógico tradicional, en el que probablemente en forma incipiente se este propiciando el desarrollo de las habilidades necesarias para la resolución de un problema clínico, considero una aproximación a la evaluación de ciertas habilidades que se estén desarrollando en el alumnado. Con base a esta reflexión se planteó el propósito de elaboración y validación de un instrumento compuesto por casos clínicos que exploraran el desarrollo de habilidades para la solución de un problema clínico y otro segmento que sitúa al alumno en el formato habitual de exploración de información (memoria).

5 indicadores de las competencias, como : 1) Comportamiento global : se refiere al desempeño en todos los indicadores usados;. 2) Manejo de indicadores clínicos: se refiere a la identificación de signos y síntomas como parte de una o unas enfermedades y a la capacidad de integrarlos a través de hipótesis diagnosticas sindrómaticas o nosológicas congruentes 2 A explora la identificación de datos clínicos o paraclínicos en tanto que indicadores de ciertas enfermedades,. 2B explora la integración de los indicadores a través de hipótesis diagnósticas congruentes. 3) Insuficiencia no iatrogénica por omisión : se refiere a la omisión de conductas convenientes en un caso determinado que no alcanzan a ser propiamente perjudiciales ( a nivel de diagnostico y tratamiento). 4) insuficiencia iatrogénica por omisión: se refiere a la omisión de conductas necesarias o indispensables que resulta perjudicial en una situación dada ( a nivel de diagnostico y tratamiento); 5) Comisión de conductas innecesarias no iatrogénicas : se refiere a la realización de conductas innecesarias o inconvenientes que no alcanzan a ser perjudiciales ( a nivel de diagnostico y tratamiento). 6) Comisión de conductas iatrogénicas: se refiere a la realización de conductas perjudiciales ( a nivel de diagnóstico y tratamiento):

6 indicadores de las competencias, como : 7) Insuficiencia global por omisión se refiere a lo descrito en 3 y 4. 8) Comisión de conductas innecesarias y iatrogénicas: se refiere a lo descrito en 5 y 6. 9) Uso de recursos de diagnóstico: se refiere a los aspectos diagnósticos descritos en los puntos 3, 4, 5, y 6. 10) uso de recursos terapéuticos se refiere a los aspectos terapéuticos descritos en los puntos 3, 4, 5, y 6. 11) Conductas iatrogénicas globales se refiere a lo descrito en 4 y 6. 12) Uso global de los recursos de diagnostico y tratamiento se refiere a lo descrito en 3, 4, 5, y 6. 13) conocimientos de nosología: se refiere a aspectos colaterales a la situación clínica descrita, propios de una entidad nosológica (patogenia, expresión clínica, pronóstico, etc. )

7 Se incluyeron reactivos que exploran: Cirugía general Gineco-obstetricia Medicina Interna Medicina de primer contacto Pediatría Básicas

8 Se evalúo el contenido con los profesores de rotaciones. (se les pidió el programa que habían dado) Todos los casos fuero revisados por los profesores del internado Validación ( expertos en el enfoque, asignatura a explorar) Las respuestas también se respaldaron con bibliografía fundamentada en las guías de práctica clínica de la SSA.

9 Se aplicó una prueba piloto con internos de pregrado generación jul12-jun13 y a R 1 de MF Se hicieron modificaciones en su tallo ( redacción) en 20 reactivos. Al final quedo integrado el instrumento con 120 reactivos. 20 reactivos para cada asignatura Opciones de respuesta una de cuatro

10 Validación del instrumento: Alfa de Cronbach = a 0.52 / 0.72

11 Numero de indicadores de la competencia pos asignatura: Indicador asignatura 2A 2B CG GO MF MI PED ª = explora la identificación de datos clínicos y paraclínicos 2B=integración de indicadores por hipótesis diagnosticas congruentes 4=insuficiencia iatrogénica por omisión 10 =uso de recursos terapéuticos 13 =conocimientos de nosología

12 No. De reactivos 120 = 1200 pts. No. total de aciertos 6144 No. total de errores 4896 Media de aciertos: 667 Mediana : 675 Moda : 700 Máximo de aciertos 860 Mínimo de aciertos 380

13 Calificación del examen profesional escrito. Media max. 71.6/100 Mediana min. 31.6/61.6 Moda 58.33

14 Resultados Calificación y porcentaje de respuesta correcta por asignatura 20 Reactivos por asignatura, 92 alumnos. BAS (%) CG(%) GO(%) MF(%) MI (%) PED (%) Mediana Promedio ( max./ min) 53 (89-5) 51 (86-16) 53 (87-6) 52 (89-14) 52 ( (77-12) BAS= básicas CG= cirugía general GO= gineco-obstetricia MF= medicina familiar MI= medicina interna PED= pediatría

15 Concentrado de discriminación por asignatura PREGUNTA MF GO BAS MI PED CG 1 66,2 22,4 33,6 88,8 30,6 63,2 2 82, ,4 16,2 41,8 71, , ,8 55,2 79,6 4 36,8 74,6 61,2 77,6 41,8 38,8 5 14, , , ,6 28,6 7 83,8 77,6 67, ,6 16,2 8 41,8 60,2 37,8 56,2 18,6 60,2 9 37,8 56,2 26,4 62, , ,4 35,6 61, , ,6 80,6 30,3 75,6 69,4 85, ,8 61,2 63,2 76,6 12, ,8 30, ,8 19,4 82, , , ,2 29,6 88,8 41,8 21,4 28, ,2 86,8 14,2 41,8 57,2 37, ,6 80,6 75,6 23,4 76,6 22, ,2 63,2 81,6 65,3 56,2 70, ,6 86,8 64,4 71, , ,2 25,4 30,6 67,4 MEDIA 52,7 52,68 52,985 52,195 42,84 50,795 MEDIANA 53 53,2 57,3 49,5 43,9 49,5 Discriminación = a la habilidad del instrumento para relacionar el resultados mas alto y el mas bajo. Mientras mas alto el valor mejor poder de discriminación.

16 Conclusión 1. La elaboración del un instrumento es un proceso dinámico, acorde al enfoque educativo que prevalece en el medio donde se va a aplicar. 2. La validación por expertos, crea duda con relación a la definición de que es un experto.( el que mejor resuelve casos clínicos, el mas práctico, etc ) 3. Considero que la obtención de un índice psicométrico de confiabilidad alto probablemente y lo pongo sobre la mesa, si es la mejor forma de darle fiabilidad. 4. No evaluar a los alumnos con un solo instrumento, sino otras formas que explore mas cualidades del individuo y no solo como en la mayoría de los casos el recuerdo. 5. Reconozco las limitaciones de este presentación, pero considero que es un tema poco explorado y muy controversial.

17