VALIDEZ DE LAS I FERE CIAS (Tema 6) Medición de variables psicológicas: mediante conductas (indicadores del constructo a medir)

Transcripción

1 VALIDEZ DE LA I FERE CIA (Tema 6) Medición de variables psicológicas: mediante conductas (indicadores del constructo a medir) (Con la medida obtenida en los indicadores obtendremos la medida en el constructo Construcción de instrumentos de medida (tests) Fiable: Preciso: Mediciones libres de errores Estable: No hay diferencia entre dos aplicaciones Un test ha de ser Que el test mida lo que pretende medir. Válido: Que las inferencias sobre V sean válidas (debe de haber un alto grado de relación entre la medida en el test y el valor en el constructo

2 .- Tipos de validación Tipos de validez De criterio De contenido De constructo Definición: Grado de correlación con un criterio externo Predictiva: Corr. test/criterio a posteriori Puede ser: Concurrente: Corr. test/criterio simultánea Retrospectiva: Corr. test/criterio a priori El objetivo no es la predicción de la puntuación en un criterio, sino asegurarse de que los ítems son una muestra relevante y representativa del constructo. Test de conocimientos: Que todos los contenidos a evaluar estén representados en el test. Garantizar que las conductas observables elegidas son indicadores de ese y solo de ese constructo.

3 3.- Validación de contenido Objetivo: Evaluar hasta qué punto los ítems del test son una muestra representativa y relevante del constructo. Validez de contenido Especificación del dominio criterio Representatividad de los ítems Especificar áreas y aspectos de las mismas (Ver tema, página 65) Todas las áreas y aspectos de las mismas han de estar representados. (Ver tema, página 65) Relevancia de los ítems Especificar las conductas indicadores del constructo y valorar la relevancia de cada ítem para cada una Método de Hambleton: Grupo de jueces. Mediana.

4 Ejemplo del método de Hambleton para estudiar la relevancia (libro texto p. 85) Calcular la relevancia del ítem B. Ítem B Escala Nº jueces (fr) Fr. acumulada 1=Mal ajuste ítem/constructo (poca relevancia) Índice de relevancia = Mediana.

5 4.- Validación de constructo Objetivo: Garantizar que las conductas observables elegidas son indicadores de ese y solo de ese constructo. Procedimiento: Medir un mismo constructo por varios procedimientos y varios constructos por el mismo procedimiento y hallar coeficientes de correlación: : Validez convergente: Validez discriminante: Correlación alta entre medidas del mismo constructo por distintos procedimientos (Valores en cursiva y subrayados) Correlación anterior significativamente mayor que la existente entre distintos constructos por el mismo procedimiento (Valores en negrita) Ejemplo del libro (pág.88) Tres constructos: RN: Razonamiento numérico FE: Factor espacial RA: Razonamiento abstracto Tres procedimientos: VF: Test con ítems del tipo verdadero falso EM: test con ítems de elección múltiple FI: test con ítems tipo preguntas incompletas

6

7 5.- Validación referida a criterio: Objetivo: Estudiar la efectividad con la que se puede pronosticar la eficiencia en un criterio a partir de la puntuación en un test (normalmente mediante el modelo de regresión). Necesidad de un indicador en el criterio (en el ejemplo, ventas realizadas), que ha de ser: a) Relevante. Necesidad del juicio de expertos. b) Libre de sesgos. c) Fiable (estables en el tiempo) d) Accesible (en tiempo, coste...) Procedimientos para la validación referida a criterio: a) Un predictor (test) y un indicador del criterio: Regresión simple (resto del tema 6) b) Varios predictores y un indicador del criterio: Regresión múltiple (tema 7) c) Varios indicadores y varios indicadores del criterios (no lo estudiaremos) d) Basados en la teoría de la decisión: elección de sujetos (test y criterio dicotómicos (tema 7)

8 6.- Validación con un predictor y un indicador del criterio El coeficiente de validez = coeficiente de correlación entre el test y el criterio (pàg. 95) TET (X) CRITERIO () Continua Dicotomizada Dicotómica Continua Pearson Biserial Biserial puntual Dicotomizada Biserial Tetracórica Φ biserial Dicotómica Biserial puntual Φ biserial Φ Ejemplo 1: Coeficiente biserial puntual (Form. p.33) X 3 NA 4 A 4 NA 5 NA 5 A 6 A 8 A Media = 5 Media de los aptos = 5,75 Var =,3 r bp X p Xq = x pq = X p x X p q

9 Ejemplo : Coeficiente Φ Test Criterio A N A 0 4 N 3 3 φ = ( n + n )( n + n )( n + n )( n + n ) AA A n A AA n n A AA n A A A

10 . El modelo de regresión lineal (predictor y criterio continuas) Muestra de sujetos (test y criterio) Recta de regresión y coef. de validez Test a sujeto a evaluar Estimación de la puntuación en el criterio. Definiciónes: Coeficiente de validez = r X i está próximo a ±1 hallaremos la recta de regresión para hacer predicciones: Recta de regresión de sobre X: = a + bx, o bien: y ' = + rxy ( X X ) (en puntuaciones directas) y'= ' y Z = r xy r xy y y Z x x y Error de estimación: E = (en puntuaciones diferenciales) (en puntuaciones típicas) Error típico de estimación = Desv. típica de E. e representa por.x

11 Conclusiones del modelo: ( = + E) 1. Media de las estimaciones. ' =. Media de los errores. E = 0 3. = ' + X 4. Coeficiente de determinación: CD = = r xy ' 5. Cálculo del error típico de estimación:.x = r 1 X Intervalo de confianza para puntuación en el criterio () : ( ± Z c.x ) (donde Z c es el valor de la N(0,1) que deja α a su derecha)

12 Ejemplo: e ha construido un test para medir la capacidad hacia las ciencias de los niños de segundo ciclo de primaria. e ha aplicado a una muestra obteniéndose una media de,67 y una varianza de 0,87. Evaluados los niños en un criterio externo se obtuvo una media de 6 puntos y una varianza de 1,44. i la proporción de varianza del criterio que se puede pronosticar por el test es del 81%, hallar: a) El error típico de estimación. b) La puntuación pronosticada en el criterio a un sujeto cuya puntuación directa en el test ha ido de 3 c) Un intervalo de confianza al 95% para la puntuación en el criterio de un sujeto que ha obtenido en el test una puntuación de 3 puntos. d) La puntuación típica pronosticada a un sujeto cuya puntuación diferencial en el test ha sido de 0,4

13 6.3. Otros coeficientes que miden la validez (Form. p. 37) Recordemos: Fórmulas básicas del modelo: = ' + E ; = ' + X Coeficiente de determinación = Proporción de varianza común o asociada entre el test y el criterio: CD = = r xy ' Coeficiente de alienación = Raíz de la proporción de varianza no explicada = Inseguridad (proporción de azar) que afecta a los pronósticos: CA = X = 1 r X Coeficiente de valor predictivo CVP = proporción de seguridad con la que se hacen los pronósticos = 1 CA