Evaluación Diagnóstica Cognitiva (Cognitive Diagnostic Assessment, CDA)

Transcripción

1 Evaluación Diagnóstica Cognitiva (Cognitive Diagnostic Assessment, CDA) Roberto D. Cáceres Bauer Unidad de Evaluación, Dep. de Educación Médica, Facultad de Medicina, UDELAR.

2 (PARTE I) Teorías Psicométricas y Evaluación Cognitiva

3 TEORÍA CLÁSICA DE LOS TESTS(CTT) Y EVALUACIÓN COGNITIVA.

4 1. Introducción. La construcción de tests de evaluación cognitiva, basada en CTT, en su origen, se sustentan en teorías y técnicas que no incorporan el conocimiento actual en ciencias cognitivas (Psicología Cognitiva, Neurociencia Cognitiva). No se consideran modelos acerca de las estructuras específicas de conocimiento o los procesos mentales o cognitivos involucrados.

5 CTT y Evaluación Cognitiva. Puntaje Observado del Test = Puntaje Verdadero Test + error La aplicación de CTT a la evaluación cognitiva permite desarrollar instrumentos de evaluación con propiedades psicométricas conocidas que caracterizan el test: confiabilidad, validez predictiva, validez de criterio. La estrategia para establecer la validez de constructo, es relativamente débil y limitada. El análisis factorial exploratorio de tests construidos usando la CTT ha permitido desarrollar una taxonomia de habilidades cognitiva en los seres humanos.

6 CTT y Evaluación Cognitiva. No obstante, los escores totales de tests desarrollados dentro del marco de la CTT son una forma limitada de caracterización de los sistemas cognitivos relacionadas con las respuestas a un test. La relación entre el puntaje total en un test y las estructuras de conocimiento y procesos mentales involucrados es muy compleja. La selección de contenidos de los tests es artesanal y subjetiva.

7 TEORÍA DE RESPUESTA A LOS ÍTEMS (IRT)Y EVALUACIÓN COGNITIVA.

8 TRI y Evaluación Cognitiva. En la TRI se obtienen modelos probabilísticos que dan la probabilidad de respuesta correcta a un ítem. Un ítem está compuesto por un estímulo complejo y un conjunto de prescripciones acerca de cómo responder a dicho estímulo. La interacción de un cierto dominio de sujetos y ítems es caracterizada en un espacio latente en el cual cada sujeto y cada ítem tiene sus coordenadas. La estimación de los parámetros de los ítems es estadísticamente independiente de la muestra de sujetos.

9 TRI y Evaluación Cognitiva. Ejemplo Modelo unidimensional 3pl: e PX ( 1/ i, j) cj (1 cj) 1 e i : habilidad latente j : dificultad del ítem j : asíntota inferior c j : asíntota inferior j i j j i j

10 Ejemplo Modelo unidimensional 3pl: Test de Evaluación de Paridad. Item Characteristic Curves Probability par1 par2 par3 par4 j Item c Ability

11 TRI y Evaluación Cognitiva. El hecho de que el ítem es el elemento básico, es en si mismo un avance importante desde el punto de vista de la evaluación cognitiva, si se pretende estudiar cómo se procesan los estímulos que forman parte de un ítem. En general, los modelos de TRI se usan para modelizar la distribución conjunta del patrón de respuesta de los ítems. La distribución conjunta de los patrones de respuesta son una caracterización más rica del proceso de respuesta que la distribución de puntajes totales y dificultades clásicas de los ítems, potencialmente más informativa para el estudio del sistema cognitivo subyacente relacionado con un test.

12 (Parte II) Evaluación Diagnóstica Cognitiva

13 Evaluación Diagnóstica Cognitiva La evaluación diagnóstica cognitiva se basa en la psicología cognitiva y ciencias cognitivas que dan los fundamentos teóricos para la evaluación, en particular para la selección de contenidos de la evaluación. La evaluación diagnóstica cognitiva (CDA) en el contexto de la educación, tiene el propósito de medir las estructuras de conocimiento específicas y habilidades de procesamiento en sujetos de tal forma de proveer información sobre sus fortalezas y debilidades cognitivas.

14 Diferentes Enfoques en Evaluación Diagnóstica Cognitiva

15 Diseño Cognitivo de Test.

16 Diseño Cognitivo de Test. Embretson (1992) El diseño cognitivo de test es un marco para utilizar la teoría cognitiva en el diseño de test de habilidades. El marco conceptual es una reformulación del concepto de la validez de constructo para darle un papel central a la teoría cognitiva en el desarrollo de tests. El marco procedural es una serie de etapas requeridas para alcanzar simultaneamente propiedades optimas psicométricas y cognitivas.

17 Ejemplo: Linear Logistic Trait Model: LLTM Fischer (1973) exp( i mqjm d) m PX ( ij 1) 1 exp( q d) b * q d j m jm m i m jm m q jm =factor m de complejidad cognitiva del item j m =peso del factor m en la dificultad del ítem d=constante de normalización

18 Propiedades del sistema de diseño cognitivo de test. (1) El contenido del test es delimitado por principios explícitos. (2) El significado de los puntajes está vinculado a los procesos cognitivos subyacentes. (3) Los parámetros de los ítems representan las fuentes de complejidad cognitiva en el ítem. (4) Las habilidades son vinculadas a los procesos que subyacen a la dificultad de la tarea.

19 Modelos de Estudiantes

20 Sistemas de Producción Anderson (1993) Un sistema de producción es un conjunto de reglas de condiciones y acciones que son llamadas producciones. Cuando la condición de una producción se verifica, su acción se produce, resultando en un cambio que puede hacer que se verifiquen las condiciones para nuevas producciones. Se producen comportamientos dinámicos flexibles y complejos. Las acciones cognitivas tienen lugar con la restricción de un sistema de capacidad limitada llamado Memoria de Trabajo.

21 Sistemas de Producción Anderson (1993) Pueden estar involucradas cientos de producciones en el modelo. Las operaciones de muchas producciones son internas al sistema cognitivo y no observables. Se asume que el aprendizaje puede ocurrir con la presentación de cada problema adicional. Estimaciones del aprendizaje del estudiante de cada regla de producción son mantenidas y actualizadas mediante técnicas bayesianas. Este modelo puede ser usado de hecho para resolver problemas.

22 Sistemas de Producción Anderson (1993) PL ( / C) PL ( / C) 1 PL ( / C) PT ( ) n n n1 n n1 n P( L / E ) P( L / E ) 1 P( L / E ) P( T) n n n1 n n1 n PL ( / C) n1 n1 n PL ( / E) n PL ( ) PC ( / L) n1 PL ( ) PC ( / L) PU ( ) PC ( / U) n1 n1 PL ( n1) PE ( / L) P( L ) P( E/ L) P( U ) P( E/ U) n1 n1 E -> Error ; C-> acción correcta ; L-> Estado Aprendido ; U-> Estado no Aprendido, n-> etapa n-ésima de aplicación de una regla; T-> transición del estado U al estado L dado la oportunidad de aplicar la regla.

23 Inferencia basada en probabilidad en diagnóstico cognitivo. Mislevy (1995) Espacio de modelos de estudiantes: caracterización simplificada de los conocimientos de los estudiantes, habilidades, y/o estrategias, indexadas por variables que indican sus aspectos clave. A partir de la teoría y datos, se postulan probabilidades para las formas en que los estudiantes con diferentes configuraciones en el espacio resolverán problemas, responderán preguntas, etc. La aplicación de teoría de probabilidades permite asignar a las observaciones de las acciones de un estudiante valores más probables de los parámetros en un modelo de estudiante.

24 Redes de Inferencia. Mislevy (1995) Independencia Condicional : Un conjunto de variables puede estar relacionado en una población, pero son independientes dado un segundo conjunto de variables. Representación Recursiva de la distribución conjunta de las variables: n P( X, X,..., X ) P( X / X,..., X ) 1 2 n j j1 1 j1 La representación recursiva y las relaciones de independencia y dependencia condicional simplifican en gran medida la expresión de la distribución conjunta.

25 Redes de Inferencia. Mislevy (1995) La red se puede representar por un grafo dirigido acíclico Las direcciones indican que variables son escritas cómo condicionales en otras en la representación. Acíclico refiere a que no se pueden dar ciclos de dependencia entre las variables. Cada variable es un nodo en el grafo. La dirección de la flecha va de los eventos condicionantes a los eventos condicionados.

26 Redes de Inferencia. Mislevy (1995) Cliques :subconjunto de variables que están todas ligadas por pares unas a las otras. Intersección de cliques : conjunto de variables comunes a dos cliques. Cliques y Intersecciones de Cliques son la estructura para la actualización local de la red. Representación conjunta del árbol representa la estructura conectada en forma simple (por un solo camino) de cliques y intersecciones de cliques.

27 Redes de Inferencia. Mislevy (1995) Tablas Potenciales contienen distribución conjunta de cliques y intesecciones. Las tablas potenciales se usan para hacer actualizaciones locales de la red. Las actualizaciones se realizan cada vez que se recoge nueva evidencia, esto es cada vez que una variable observable cambia de valor.

28 Aplicación al diagnóstico cognitivo. Mislevy (1995) Universo de modelos de estudiantes : es un supermodelo que está indexado por parámetros que significan distinciones entre estados de comprensión. es un vector de parámetros del modelo de estudiante. Los parámetros en pueden ser cuantitativos o cualitativos, y los cualitativos pueden ser ordenados, parcialmente ordenados o no ordenados. El problema de modelización es delinear los estados o niveles de comprensión en el dominio de aprendizaje.

29 Aplicación al diagnóstico cognitivo. Mislevy (1995) Modelo de rendimiento consiste de una base de conocimiento y reglas de manipulación que pueden ser ejecutadas en un dominio de interés. El problema de construcción de tareas es la elaboración de situaciones para las cuales los estudiantes que difieren en los parámetros del espacio es probable que se comporten en formas observables diferentes. P(X/), es la probabilidad condicional de diferentes comportamientos dado los estados no observables del estudiante, X representa las observaciones.

30 Aplicación al diagnóstico cognitivo. Mislevy (1995) El problema de inferencia es razonar desde las observaciones a los modelos de estudiante, para lo cual se usan las redes de inferencia y los cómputos locales. La construcción del modelo y construcción de ítems definen las variables relevantes (variables del modelo de estudiante y las variables observables X) y proveen de las probabilidades condicionales.

31 Aplicación al diagnóstico Cognitivo. Mislevy (1995) P( ) y P(X/ ) implican lo que se espera inicialmente para lo que se puede observar a partir de un estudiante. Una vez que se tienen nuevas observaciones se revisan las probabilidades sobre la red para hacer inferencias acerca de dado X mediante P( / X ) P(X/ ) P( ). P( / X ) carácteriza la creencia acerca de un modelo particular de estudiante después de haber observado una muestra de el comportamiento del estudiante.

32 Atributos Psicométricos

33 Atributos psicométricos. Los atributos caracterizan los ítems de un test. Los atributos pueden ser interpretados como procesos cognitivos o habilidades que son requeridos para un desempeño correcto en un ítem particular de un test. Un atributo puede ser también una producción individual en un modelo de sistema de producción de habilidad. Un atributo puede ser en otros casos conceptos más vagos como aprendizaje de fracciones o habilidades de razonamiento matemático.

34 Rule Space Model. Kikumi K. Tatsuoka

35 Rule Space Model. Kikumi K. Tatsuoka El análisis de espacio de reglas es una aproximación probabilistica a la evaluación diagnóstica cognitiva cuyo propósito es identificar los estados de conocimiento de los examinados, basándose en el análisis de los requerimientos cognitivos de la tarea, también llamados atributos. Un atributo de una tarea es una expresión de una dimensión latente de la tarea que es requerida en orden de completar la tarea exitosamente. Algunos ejemplos de tipos de atributos son: procedimientos, heurísticas, estrategias, habilidades, y otros conocimientos componentes.

36 Rule Space Model. Kikumi K. Tatsuoka Los atributos de una tarea se definen a partir del conocimiento del dominio evaluado y del conocimiento de la psicología cognitiva relevante para la tarea. El modelo de espacio de reglas permite el mapeo de patrones de atributos (estados de conocimiento) en patrones ideales de escores de ítems, correspondientes a los diversos estados de conocimiento.

37 Modelos Multidimensionales de Teoría de Respuesta a los Ítems. (MIRT)

38 Modelos Multidimensionales de Teoría de Respuesta a los Ítems. Se asume que la respuesta a un ítem depende de la posición del sujeto en un espacio latente multidimensional en el cual se representa la habilidad del sujeto para responder correctamente a un ítem. Modelos Compensatorios vs Parcialmente Compensatorios.

39 Modelos Multidimensionales de Teoría de Respuesta a los Ítems. ' j i j exp Px ( ij 1 i, j, j ) 1 exp ' j i j j j1,..., jk j i i1,..., ik

40 Discriminación Multidimensional del ítem. A j es la capacidad de un ítem de discriminar individuos a través de las F- dimensiones del espacio latente A j F f 1 2 ij Aj es una función de la pendiente de la superficie de respuesta a los ítems (SRI) definida por el modelo en el punto donde ocurre el máximo de las pendientes máximas, en la dirección indicada por la localización multidimensional. Este punto ocurre sobre la línea de inflexión de la SRI.

41 Dificultad Multidimensional del ítem: MDIFF. La localización multidimensional de un ítem está dada por, y sus cosenos directores. j A j j Indica la distancia a partir del origen en el espacio al punto de máxima pendiente (las discriminaciones máximas de los items) en una dirección particular a partir del origen.

42 Dirección de la pendiente máxima a partir del origen. cos( ) jf F jf f 1 2 jf

43 Ítem-vectores El origen del vector esta dado por la dificultad multidimensional, esto es, la distancia del origen del espacio al punto de máxima pendiente. Su longitud está dada por Aj. La dirección se deriva de los cosenos directores.

44 respuesta de un test de Evaluación de la Ejemplo: Modelización del patrón de Paridad. Existen dos grandes tipos de modelos de evaluación de la paridad. Uno se basa en asumir que la extracción de la paridad involucra alguna forma de cálculo mental. De acuerdo a dicha hipótesis se espera que exista un efecto denominado efecto del tamaño, en el cual existe una relación monótona creciente entre la magnitud de los números y los tiempos de respuesta y la frecuencia de errores, y la magnitud del número es entonces una variable relevante para explicar tiempos de respuesta y tasas de error. Otro tipo de modelos considera que en la extracción de la paridad esta involucrada la recuperación de información de la paridad de un número, a partir de una memoria semántica almacenada en la memoria a largo plazo, y que posiblemente involucra otras propiedades del número.

45 Tarea de Evaluación de la Paridad Los ítems se presentan en forma visual, en un test psicométrico convecional. Al principio del test se encuentra una consigna que explica en que consiste la tarea y define las restricciones que existen a la forma de respuesta a los ítems. La consigna fue leída por un evaluador previamente. La respuesta a cada ítems se hizo escribiendo una P para indicar un número par, y una I para indicar un número impar. i v i v

46 RESULTADOS: Test de Evaluación de la Paridad. Figura 1. Parámetros estimados para el modelo MIRT para la solución de 2 y 3 dimensiones. Valores más negativos de MDIFF corresponden a ítems de menor dificultad. Con azul se señalan los ítems más fáciles y con rojo los más difíciles dentro de cada grupo de ítems (1 cifra, 2 cifras, 3 cifras).los valores sombreados corresponden a el ítem más difícil (celeste) y más fácil (rosa).

47 Ejemplo de Curvas Obtenidas. 4

48 Ejemplo de Curvas Obtenidas. 7

49 Ejemplo de Curvas Obtenidas. 9

50 Ejemplo de Curvas Obtenidas. 6

51 Ejemplo de Curvas Obtenidas. 38

52 Ejemplo de Curvas Obtenidas. 27

53 Modelización Cognitiva de los ítems. La aproximación seguida para elaborar un modelo cognitivo de las respuestas a los ítems se basó en la idea usada por Embretson de analisar el efecto de factores de complejidad cognitiva. Tatsuoka (rule space methods) usa también una aproximación similar para evaluar las matrices Q o de incidencia de atritutos cognitvos de los ítems de un test. Usa un modelo de regresión lineal que considera la variable respuesta dificultad unidimensional del ítem, y las columnas de la matriz Q de atributos cognitivos como variables explicativas (considera R2 y R2ajustado para comparar entre modelos). Para Tatsuoka la matriz Q es una definición operativa del modelo cognitivo utilizado. En este caso se utilizó como medida para caracterizar el procesamiento de información cogntiva el MDIFF. Se consideraron todos los factores de complejidad cognitiva de acuerdo a las dos hipótesis alternativas. Se incluyeron en el modelo todos aquellos factores de complejidad cognitiva que tuvieran algún efecto en el MDIFF o bien si actúan como factores de confusión.

54 Modelización Cognitiva de los ítems. El enfoque seguido se basa en la Teoría de procesamiento de información cognitiva. Información cognitiva. La información refiere a las representaciones derivadas por un sujeto a partir de la estimulación ambiental o a partir del procesamiento de dichas influencias que producen selecciones entre opciones alternativas para la creencia o la acción. Procesamiento de información Cognitiva. El procesamiento de información refiere a cómo la información es modificada para que ésta eventualmente produzca su influencia observada. Modelos de Procesamiento de información cognitiva. Los modelos de procesamiento de información son descripciones teóricas de una secuencia de pasos o etapas a través de la cual este procesamiento es llevado a cabo.

55 Modelización Cognitiva de los ítems. Figura 4. Modelo final de MDIFF, tabla anova para el modelo y tabla de estimación de los coeficientes del modelo. E(MDIFF) es el valor esperado de acuerdo al modelo. El modelo explica un 82,7% de la varianza de MDIFF y el efecto conjunto de las variables explicativas es altamente significativo, valor-p<0.001.

56 Análisis de Cluster de Ítems para Confirmar la Estructura Dimensional. Una aproximación a la determinación de la dimensión del espacio latente necesario para modelar bien las relaciones en los datos es hacer un análisis de cluster de una medida de similaridad de los constructos medidos por los ítems. El número de cluster encontrados es un límite superior para la dimensión del espacio latente. El número de dimensiones se puede determinar usando análisis de cluster comparando los resultados de análisis con diferente número de dimensiones. Si los análisis de cluster son esencialmente los mismos para diferentes números de dimensiones, el menor número de dimensiones usado para el análisis es suficiente para modelizar las relaciones en la matriz de datos.

57 Medidas de Similaridad Ángulo entre cada par de vector-item (Miller y Hirsch, 1992) ' ar cos(cos cos ) cos 12 a a ' 1 2 m m 2 2 a 1l a2l l1 l1

58 Medidas de Similaridad Covarianza condicional entre items. n E[cov( U, U Y)] P( Y k)cov( U, U Y k) i j i j k 0 Y = número de respuestas correctas.

59 Métodos de Análisis de Cluster. Kim (2001) encontró que el método que parece funcionar mejor con el ángulo entre ítems es el método de Ward (1963). Roussos (1998) encontró que el método que parece funcionar mejor con covarianzas condicionales es unweighted pair-group method of averages (UPGMA) (Sokal y Michener 1958).

60 Ejemplo: Dimensión del espacio latente en el Test de Paridad. Se aplicó cómo medida de similaridad el ángulo entre ítems y el método de análisis de cluster fue el método de análisis de cluster gerárquico de Ward. Para ello se compara la solución para d=2,3,4,5 y 6.

61 Test de Evaluación de la Paridad: Gráfico Vectorial en 2 dimensiones i v i v

62 Cluster Dendrogram Valor del Ítem hclust (*, "ward") Height Número de Ítem. hclust (*, "ward") Height

63 Cluster Dendrogram:2D Valor del Ítem hclust (*, "ward") Cluster Dendrogram:3D Height Valor del Ítem hclust (*, "ward") Height Cluster Dendrogram:4D Valor del Ítem hclust (*, "ward") Cluster Dendrogram:5D Height Valor del Ítem hclust (*, "ward") Height

64 Cluster Dendrogram:3D Valor del Ítem hclust (*, "ward") Cluster Dendrogram:4D Height Valor del Ítem hclust (*, "ward") Height Cluster Dendrogram:5D Valor del Ítem hclust (*, "ward") Cluster Dendrogram:6D Height Valor del Ítem hclust (*, "ward") Height

65 Resumen de la interpretación de los resultados anteriores. dimensión = 2, no captura apropiadamente las relaciones entre los ítems. dimensión = 3, se observa una mejora importante. dimensión = 4 y 5 una mejora relativamente pequeña respecto a dimensión = 3, pero poco diferencia entre d=4 y d=5.

66 Resumen de la interpretación de los resultados anteriores. Cluster 1: Contiene ítems de una sola cifra, 66, 40. Cluster 2: Contiene ítems pares de múltiples cifras: ej. 38. Cluster 3: Contiene ítems impares de múltiples cifras: ej. 27.

67 Una hipótesis de Trabajo y muchas preguntas. Extracción de la paridad de cada cifra. Codificación del estímulo Procesamiento Sintáctico Respuesta Extracción de la magnitud de cada cifra

68 Gracias