El proceso de análisis cuantitativo con Jamovi: potencia, simplicidad y rapidez

Transcripción

1 El proceso de análisis cuantitativo con Jamovi: potencia, simplicidad y rapidez

2 TERCERA SESIÓN Análisis psicométrico

3 Medición Psicológica

4 Cómo se han venido midiendo los atributos psicológicos... Un poco de historia

5 MODELOS DE MEDICIÓN Clásico Representacional (Campbell, 1938) puso en DUDA la medición en Psicología. - Medición Derivada y Fundamental Dentro de este modelo medir significa usar el sistema numérico para dar a conocer relaciones empíricas aunque no exista isomorfismo. Qué modelo se usa en Psicología? Esto a causa que no existe ISOMORFISMO entre las operaciones de medida y las magnitudes de la propiedad a medir. Niveles de medición: - Nominal - Ordinal - Intervalo - Razón

6 Qué solemos medir en Psicología Actitudes Inteligencia Personalidad Intereses Habilidades Motivación Aptitudes Autoeficacia Estos constructos se agrupan en dos tipos de test: A) Ejecución máxima B) Ejecución típica

7 La medición de los psicológico Test referido a la norma Test referido al criterio - Grupo normativo? - Cómo se encuentra el evaluado con respecto al grupo? - Ejemplos? - No existe un grupo normativo para hacer comparaciones. Entonces en qué se basan estas mediciones? - Ejemplos?

8 Teoría clásica de los Test

9 Qué es la TCT? Antes de entender la Teoría Clásica de los Test, entendamos el Modelo lineal El Modelo Lineal/Clásico fue creado por Spearman donde planteaba distinguir entre la puntuación verdadera y la puntuación observada (lo que vemos en el test). El objetivo del modelo lineal es encontrar las diferencias entre las puntuaciones mencionadas, es decir, el error, y corregir su efecto, obteniendo así una medición que refleje realmente lo medido. Abad, F.; Olea, J.; Ponsoda, V. & García, C. (2011)

10 Error Sistemático Aleatorio Se debe a un error del mismo proceso. Puede evitarse. Ejm. Ruido en el lugar, malas instrucciones del test. Siempre se encuentra presente. Propio de la medición. Este es el error que el modelo clásico intenta controlar su efecto.

11 Qué es la TCT? La Teoría clásica de los Test es el armazón teórico del modelo clásico. Incluye supuestos/especificaciones que deben cumplir todos los test. Abad, F.; Olea, J.; Ponsoda, V. & García, C. (2011)

12 Supuestos de la TCT Modelo lineal: X=V+E El valor esperado del error de medida es igual a 0. Los errores y las puntuaciones verdaderas de la misma prueba son independientes. Los errores de una prueba y de otra son independientes. Los errores de una prueba y las puntuaciones verdaderas de otra son independientes. Abad, F.; Olea, J.; Ponsoda, V. & García, C. (2011)

13 Análisis de ítems

14 Dificultad La dificultad es un índice que indica la proporción de personas que lo contestan correctamente. Pruebas dicotómicas. ID = A/N Mientras más se acerca a 1, más fácil es. Abad, F.; Olea, J.; Ponsoda, V. & García, C. (2011)

15 Clasificación Índice de dificultad Muy fácil 0.75 a 0.99 Fácil 0.55 a 0.74 Intermedio 0.45 a 0.54 Difícil 0.25 a 0.44 Muy difícil 0.05 a 0.24 Escurra :v

16 Nota: El índice de dificultad solo existe en las pruebas de rendimiento máximo. En la ejecución típica, equivaldría a la media, la cual solo expresaría una tendencia de respuesta en los ítems. Ejemplo 1: En una escala de Actitudes hacia la Coca Cola, 70 personas de 100 marcaron que sí les gusta el sabor. Esto no quiere decir que haya una dificultad de 0.7, sino esta es la tendencia de la muestra a responder a ese ítem.

17 También en un test de ejecución típica, la media puede expresar cuánto rasgo sería necesario para tener una determinada puntuación en el ítem. Ejemplo 2: Tenemos una prueba que mide la agresividad. Tenemos el ítem: Suelo pelearme; y el otro, Discuto con la gente. Las respuestas que van desde nunca a siempre son de 1 a 3. La media del primero es 1.75, la media del segundo es de Qué pasaría si una persona obtiene una puntuación alta en el primero? Abad, F.; Olea, J.; Ponsoda, V. & García, C. (2011)

18 Discriminación Entendemos como discriminación, conocido en la TCT como poder discriminativo, como la capacidad de un ítem de distinguir entre las personas que tienen un buen rendimiento en el test, respecto a las que lo tienen malo. Se recomienda mayor o igual a 0.20 y lo deseable es que sea mayor o igual a 0.30 Se obtiene a través del ítem-test correlación corregida.

19 Fiabilidad estadística

20 FIABILIDAD Es el test a quien denominamos confiable? Por qué las puntuaciones de un test deben ser confiables? Qué pasaría si no fuese así? Qué esla fiabilidad? Se puede calcular la fiabilidad? Cómo?

21 FIABILIDAD Antes de definir a la fiabilidad recordemos un poco sobre la Teoría Clásica de los Test (TCT): Donde: X i : Puntuación observada V i : Puntuación verdadera E i : Error de medida X i =V i + E i Cuando medimos variables o atributos psicológicos, estos no están exentos a un error en la medición. Entonces se puede decir que la fiabilidad es qué tanto error (Aleatorio) existe en una medición.

22 FIABILIDAD Un psicólogo decide aplicar el mismo instrumento de medida en varias oportunidades a un grupo de sujetos, en los resultados obtenidos se observa que las puntuaciones varían considerablemente. Este suceso nos llevaría a pensar que las puntuaciones no son estables. Entonces la fiabilidad es, además, la consistencia de las puntuaciones obtenidas mediante una prueba y/o medición.

23 CÁLCULO DE LA FIABILIDAD (TCT) Existen principalmente: 1) Fiabilidad como equivalencia y como estabilidad de las medidas 2) Fiabilidad como Consistencia interna Formas paralelas Test - Retest División del test en dos mitades Covariación entre los ítems

24 FIABILIDAD POR CONSISTENCIA INTERNA Covariación entre ítems Coeficiente α (Cronbach, 1951) Es el valor que estima la consistencia entre los elementos que componen la prueba.

25 Interpretación del coeficiente alfa de Cronbach * Referencia tomada de Vellis (2012)

26 Rango del coeficiente de fiabilidad Para fines de investigación: Se suele aceptar entre 0.70 y 0.80 Para tomar decisiones que impliquen el futuro de una persona se suele aceptar de 0.90 en adelante.

27 3 Haz click en casi todo.

28 Validez psicométrica

29 1950 Historia del concepto de validez La validación de constructo suponía apoyarse en una red nomológica Carácter unitario de la validez y se rechazan las tres categorías. Tipos de evidencia y no tipos de validez La validez era la capacidad para predecir un criterio y el análisis de contenido del test a través de jueces (subjetivismo) Tres tipos de validez: Validez referida a un criterio (v. Concurrente y predictiva), validez de contenido y validez de constructo. Dos nuevos tipos de evidencia: Basadas en el proceso de respuesta, basados en las consecuencias sociales del proceso de aplicación del test. Abad, F.; Olea, J.; Ponsoda, V. & García, C. (2011)

30 Validez La fiabilidad nos dice si medimos con poco o mucho error, pero no nos dice qué estamos midiendo. Para eso está la validez. La validez va a aportar a la interpretación de las puntuaciones del test, (no del test en sí). No existen tipos de validez, solo fuentes de evidencias. Se define por Sireci y Faulkner-Bond (2014) como el grado en que el contenido del test (el dominio) es congruente con el uso de las puntuaciones. Abad, F.; Olea, J.; Ponsoda, V. & García, C. (2011)

31 Evidencias de validez E. Basadas en el contenido del test E. Basadas en la relación con otras variables E. Basadas en los procesos de respuesta a los ítems. E. Basadas en la estructura interna del test E. Basadas en las consecuencias de la aplicación del test Abad, F.; Olea, J.; Ponsoda, V. & García, C. (2011)

32 E. Basada en el contenido - Definición del dominio: Qué tan adecuado ha sido la definición operacional del constructo. Revisión de áreas, sub-áreas, objetivos del test y niveles cognitivos que requieran los ítems (comprensión, aplicación y análisis). - Representación del dominio: Qué tanto el test representa de manera correcta el constructo en cuestión. Sireci y Faulkner-Bond (2014)

33 E. Basada en el contenido - Relevancia del dominio: Qué tan relevante es cada ítem para el constructo. - Procedimientos apropiados para la construcción de ítems: Qué tan bueno fue el control de calidad cuando el test se fue construyendo, si los ítems están redactados correctamente y revisión del análisis de ítems para que el test solo tenga los mejores. Sireci y Faulkner-Bond (2014)

34 E. Basada en la relación con otras variables Busca principalmente el siguiente objetivo: Establecer si las relaciones observadas entre las puntuaciones en el test y otras variables externas relevantes son consistentes con la interpretación propuesta para las puntuaciones. Cómo estar seguro de qué he obtenido evidencia de validez basado en la relación con otras variables?

35 E. Basada en la relación con otras variables Pongamos un ejemplo: La escala X (que mide el grado de evitación a situaciones aversivas) debe proporcionar puntuaciones relacionadas de forma directa con neuroticismo e inversas con estabilidad emocional. Si las relaciones observadas (luego de la aplicación de las pruebas) son consonantes con el modelo teórico que está detrás del test, entonces hemos obtenido evidencia favorable.

36 E. Basada en la relación con otras variables En esta evidencia de validez se habla de variables externas relevantes, estas pueden ser: Otra medida del mismo constructo usando otro test. Medida de un constructo diferente, pero con un modelo teórico compartido para los dos constructos. Algún tipo de variable criterio que se pretenda predecir a partir de las puntuaciones del test.

37 E. Basada en la relación con otras variables Encontramos 2 tipos de evidencia: E. Convergente Relaciones previsibles entre puntuaciones del test y otros constructos similares. E. Discriminante Relaciones previsibles entre puntuaciones del test y otros constructos diferentes.

38 E. Basada en la relación con otras variables Encontramos 2 tipos de evidencia: E. Convergente Relaciones previsibles entre puntuaciones del test y otros constructos similares. E. Discriminante Relaciones previsibles entre puntuaciones del test y otros constructos diferentes. Qué tipo de evidencia abunda en la literatura psicológica?

39 Cómo se ha venido analizando tanto la validez convergente y divergente? Campbell y Fiske (1959) proponen un diseño para analizar la validez convergente y discriminante mediante un estudio llamado Matriz multirrasgomultimétodo (MRMM). Estos autores sostienen que cuando las puntuaciones de dos instrumentos covarían puede deberse a que comparten un constructo común o a que comparten un método de evaluación. El objetivo de estudiar una matriz MRMM es evaluar los efectos de la varianza atribuida al constructo de interés y la varianza del método (varianza atribuible al método de medida específico).

40 E. Basada en la relación con otras variables Evidencia sobre la relación entre el test y algún criterio relevante Imaginemos una prueba construida para la medida del constructo X. Este constructo X puede o no estar relacionado con otra variable de interés Y. A esta variable Y se le suele llamar criterio o variable criterio. Pongamos un ejemplo:

41 E. Basada en la relación con otras variables En la evidencia sobre la relación entre el test y algún criterio relevante, es importante tener en cuenta lo siguiente: Se indican el grado en que las puntuaciones en el test sirven para pronosticar con precisión las puntuaciones en el criterio. Hay que tener en cuenta que el coeficiente de validez no es una propiedad del test, sino que habrá un coeficiente específico en cada una de las muestras obtenidas y para los diferentes criterios que se puedan establecer.

42 E. Basada en la relación con otras variables Entonces para obtener validez referida al criterio se deben seguir los siguientes pasos: A. Identificar el criterio y la forma adecuada de medirlo. B. Elegir una muestra apropiada. C. Obtener las medidas tanto del test como el del criterio. D. Determinar el grado de relación (correlación de las puntuaciones obtenidas). Importante: En función del tipo de escala de medida utilizado tanto para las puntuaciones del test como del criterio, utilizaremos un tipo u otro de coeficiente para la medida de la correlación.

43 E. Basada en los procesos de respuesta Obtener información a partir de las inferencias realizadas de las puntuaciones obtenidas. Analizando los procesos de respuesta Existe un modelo explicativo que habla sobre los procesos de respuesta. Nota: Esta evidencia de validez corresponde al proceso de la construcción del instrumento.

44 E. Basada en los procesos de respuesta Características: Es tipo de evidencia de validez no solo miden las respuestas del sujeto a los ítems, sino que se consideran los pasos intermedios ejecutados para obtener dichas respuestas. El conocimiento sobre los componentes requeridos para la respuesta correcta de los ítems no sólo es importante para la obtención de evidencias de validez. Permite una información diagnóstica mucho más completa, pues es posible conocer los componentes en los que los examinados tienen dominio y aquellos en los que presentan dificultades.

45 E. Basada en los procesos de respuesta Importante: Por proceso de respuesta se entiende al conjunto de conductas y/o operaciones mentales que se necesitan para responder a un ítem.

46 E. Basada en los procesos de respuesta Factores que pueden afectar a los procesos de respuesta Factores relacionados a los ítems Contenido de los ítems Redacción de los ítems Factores relacionados a la respuesta de los ítems Número de alternativas Instrucciones a seguir Factores relacionados con los participantes Capacidad lectora Estado emocional Capacidad intelectual

47 E. Basada en los procesos de respuesta Embretson (2002): Representación de constructo Conjunto de procesos, estrategias y estructuras de conocimientos que están implícitos en la resolución de ítems Los aportes de la Psicología Cognitiva son fundamentales para la construcción de pruebas, además permite elaborar ítems con diferente demanda cognitiva (dificultad) La autora plantea el siguiente procedimiento para realizar un test de razonamiento abstracto usando el enfoque cognitivo: Especificar los objetivos de la medición Modelo de procesamiento Generar ítems Evaluar empíricamente las previsiones del modelo sobre el rendimiento de los participantes en los ítems

48 E. Basada en las consecuencias de la aplicación del test Por qué o para qué aplicamos pruebas psicológicas? Organizacional Educativo Clínica Comunitaria Es importante saber que la aplicación de los test pueden llevar a consecuencias sociales que son diferentes a los objetivos para los cuales fue creado el test. Edición de Standars (AERA, APA Y NCME, 1999) reconoce la necesidad de reportar evidencias sobre la validez consecuencial.

49 E. Basada en las consecuencias de la aplicación del test Estás evaluaciones podrían traer consecuencias? Negativa: Los centros educativos enseñen solo los contenidos que evalúan la prueba PISA. Positiva: Los resultados sirvan para que los docentes busquen la forma de mejorar el proceso instruccional.

50 Mide nuestro test un constructo coherente o se trata simplemente de un conjunto de ítems no relacionados? Dimensionalidad Funcionamiento diferencial de los ítems

51 Análisis Factorial Técnica estadística multivariante que sirve para estudiar las dimensiones que subyacen a las relaciones entre varias variables A. de Componentes Principales A. F. Exploratorio A. F. Confirmatorio

52 Cuándo emplear Análisis Factorial y cuándo Componentes Principales? Si el análisis pretende (Lloret-Segura, Ferreres- Taver, Hernández-Baeza y Tomás-Marco, 2014) Identificar el número y composición de los factores comunes (variables latentes) necesarios para explicar la varianza común del conjunto de ítems analizados Identificar el número y composición de componentes necesario para resumir las puntuaciones observadas en un conjunto grande de variables observadas Análisis Factorial Exploratorio Análisis de Componentes Principales

53 Análisis Factorial Exploratorio Trata de establecer una estructura subyacente entre las variables del análisis, a partir de estructuras de correlación entre ellas. Permite reemplazar un gran número de indicadores de escaso significado teórico, por un número menor de variables conceptualmente significativas. (Méndez y Rondón, 2012)

54 Análisis Factorial Exploratorio Los factores se constituyen a través de la evidencia empírica Y habrá otros ítems con los que no pasa esto Se agrupan los ítems que guardan relación entre sí Se explora la relación que existe entre los ítems Los ítems interactúan a través de correlaciones Formación de factores Hay ítems que guardan relación considerable entre unos mismos Se establece qué tanto se relaciona un ítem con otro: matriz de correlaciones

55 Análisis Factorial Exploratorio Pasos 1. Selección de variables 2. Índices de adecuación muestral 3. Elección del número de factores 4. Rotación de los factores para simplificación de la interpretación 5. Resultados adicionales

56 1. Selección de las variables Selección de las variables a analizar Variables seleccionadas

57 2. Índices de adecuación muestral A. Medida Kaiser-Meyer-Olkin de adecuación de muestreo (KMO test): relaciona los coeficientes de correlación observados entre las variables y los coeficientes de correlación parcial entre las variables (0 < KMO < 1). B. Prueba de esfericidad de Bartlett: evalúa la aplicabilidad del AF de las variables estudiadas. - Si Sig. (p-valor) < 0.05 no rechazamos H0 (hipótesis nula) -> se puede aplicar el análisis factorial. - Si Sig. (p-valor) > 0.05 rechazamos H0 -> no se puede aplicar el análisis factorial. Valor adecuado: KMO > 0.70

58 Marcar las casillas de los índices de adecuación muestral.

59 3. Elección del número de factores A. Método de análisis paralelo B. Criterio de Kaiser- Guttman Basado en el autovalor C. Forzar número de factores Autovalor > 1

60 A. Método de análisis paralelo B. Criterio de Kaiser-Guttman C. Forzar el número de factores

61 4. Rotación de los factores para simplificación de la interpretación A. Ortogonales Cuando los factores son ortogonales, es decir, no correlacionan entre sí. Ej: Varimax, Promax, Quartimax. B. Oblicuas Cuando los factores no son ortogonales, es decir, correlacionan entre sí. Ej: Oblimin, Simplimax. La selección del "mejor" criterio de rotación debe hacerla el investigador, [ y debe seleccionar] como "mejor" criterio de rotación, aquel que ofrece la solución factorial más simple y más informativa (Lloret-Segura, Ferreres-Taver, Hernández-Baeza y Tomás-Marco, 2014)

62 4. Rotación de los factores para simplificación de la interpretación No mostrar cargas factoriales espurias, menores a 0.3.

63 5. Resultados adicionales B. Gráfico de sedimentación También llamado scree plot. Contra: puede llegar a ser subjetivo

64 Existe una estructura definida detrás de los ítems (teoría, antecedentes, etc.) Se busca contrastar los datos o poner a prueba un modelo teórico La variabilidad de los puntajes de cada ítem se debe a factores Análisis Factorial Confirmatorio Se aplica El AFC y se obtiene índices de ajustes globales Cierta parte de esa variabilidad es explicada por el mismo ítem Se le conoce como error, a la parte no explicada por los factores existentes Cargas factoriales de los ítems permiten saber qué tanto se relacionan estos con los factores Revisar las cargas factoriales permite descartar ítems irrelevantes. Formación de factores

65 Ajuste de la matriz de covarianzas real a la matriz de covarianzas teóricos Matriz de los datos reales Matriz de = los datos + teóricos Residuos

66

67

68

69

70

71

72 Referencias bibliográficas

73 Abad, F., Olea, J., Ponsoda, V., y García, C. (2011), Medición en ciencias sociales y de la salud. Madrid, España: Síntesis. Meneses, J., Barrios, M., Bonillo, A., Cosculluela, A., Lozano, L., Turbany, J., y Valero, S. (2013). Psicometría. Barcelona: Uoc. Santisteban, C. (2009). Principios de psicometría. España: Síntesis. Sireci, S., y Faulkner-Bond, M. (2014), Validity evidence based on test content, Psicothema, 26 (1), Tornimbeni, S., Pérez, E., y Olaz, F. (2008). Introducción a la psicometría. Buenos Aires: Paidós.