UNIDAD DIDÁCTICA 5 LA FIABILIDAD DE LOS TESTS SEGÚN LA TEORÍA CLÁSICA

Transcripción

1 UNIDAD DIDÁCTICA 5 LA FIABILIDAD DE LOS TESTS SEGÚN LA TEORÍA CLÁSICA 5.1. FIABILIDAD ABSOLUTA / FIABILIDAD RELATIVA En términos generales, al hablar de fiabilidad en Psicometría nos estamos refiriendo a la estabilidad, a la precisión, a la constancia, a la consistencia de un test, de tal manera que diremos que un test será fiable cuando al aplicarlo repetidas veces a un mismo sujeto, nos ofrezca esencialmente la misma puntuación. Para la TCT, el estudio de la fiabilidad (desde una concepción absoluta ) se centra en la estimación de los errores de medida cometidos al aplicar un determinado instrumento. Es decir, si la puntuación empírica de un sujeto es igual a su puntuación verdadera más el error de medida cometido (X = V + e), entonces el error de medida será igual a la diferencia existente entre su puntuación empírica y su puntuación verdadera (e = X V). Así, cuando apliquemos un test en el que X = V, el error de medida será nulo y ese test tendrá una fiabilidad máxima mientras que si X e V son muy diferentes, e tenderá a aumentar disminuyendo con ello la fiabilidad del test. A esta forma de estimar los errores de medida se le conoce como estudio de la fiabilidad absoluta. Sin embargo, a priori éste es un planteamiento imposible en la práctica porque exige del conocimiento de las puntuaciones verdaderas de los sujetos (aunque un poco más adelante veremos que se puede estimar la fiabilidad absoluta de un test mediante el estudio de la desviación típica de los errores de medida o error típico de medida); por ello, se ha propuesto como alternativa el estudio de la fiabilidad relativa o correlación lineal de las puntuaciones de un test consigo mismas o, dicho de otro modo, para el cálculo del llamado coeficiente de fiabilidad relativa de un test (r XX ). Vamos a verlo detenidamente: 5.2. MÉTODOS PARA EL CÁLCULO DE LA FIABILIDAD RELATIVA Hemos visto que la estimación del error de medida a partir de las puntuaciones verdaderas de los sujetos es empíricamente imposible por lo que se han desarrollado 3 aproximaciones prácticas al estudio y cálculo del coeficiente de fiabilidad relativa de un test (r XX ): MÉTODO DEL TEST - RETEST Consiste en correlacionar las puntuaciones obtenidas en dos ocasiones diferentes por los mismos sujetos en el mismo test (y, por lo tanto, refleja el grado de estabilidad del test). El principal problema de este método es el de determinar la cantidad óptima de tiempo que debe transcurrir entre la primera y la segunda aplicación ya que si el período intermedio es muy breve, las puntuaciones pueden variar por efecto del aprendizaje (recuerdo de las respuestas a los ítems) y/o de la fatiga de los sujetos, alterando con ello la fiabilidad real del test. Por el contrario, si el período entre aplicaciones es muy largo, las puntuaciones empíricas pueden variar porque el rasgo que estamos midiendo no sea estable en el tiempo, es decir, que evolucione, cambie, se modifique, por lo que este método sólo debe emplearse con rasgos teóricamente estables, es decir, que no varíen con el paso del tiempo como pueden ser el CI o la personalidad. Unidad Didáctica 5-1

2 MÉTODO DE LAS DOS MITADES Es el más utilizado porque sólo se necesita aplicar una vez el test y calcular la correlación obtenida por los sujetos en cada una de las dos mitades en que se puede dividir dicho test. Como un test puede tener múltiples dos mitades, habitualmente escogeremos las puntuaciones de los ítems pares y las correlacionaremos con las de los ítems impares (r PI ). Basta con hacer una pequeña transformación sobre esta correlación (mediante la conocida como fórmula de Spearman-Brown para la longitud doble y que veremos con más detenimiento en próximos apartados) y tendremos el coeficiente de fiabilidad del test (que, en este caso, es un indicador directo de la consistencia interna del test): Ejemplo del cálculo del coeficiente de fiabilidad de un test mediante el método de las dos mitades y del test re-test: Sujetos Item 1 Item 2 Item 3 Item 4 Item 5 Item 6 Pares Impares r PI = 0,8 r xx = (2 x 0,8) / (1 + 0,8) = 0,89 Al volver a aplicar el test en una segunda ocasión, estos mismos 5 sujetos obtuvieron unas puntuaciones de: 22, 18, 15, 4 y 7. Calculad el coeficiente de fiabilidad relativa del test utilizando ahora el método del test-retest. MÉTODO DE LAS FORMAS PARALELAS Si dos formas de un test pretenden medir un mismo rasgo, parece razonable esperar que los resultados empíricos de ambas en una población correlacionen de forma elevada. Si esto es así, ambas formas manifiestan un elevado grado de precisión a la hora de reflejar los diversos niveles de rasgo. Si ambas correlacionasen de forma mínima, no podemos fiarnos de que reflejen fidedignamente los niveles de rasgo. Pues bien, definimos inicialmente el coeficiente de fiabilidad como la correlación entre los resultados que proporcionan dos formas paralelas de un mismo test. Teóricamente, este método consistiría entonces en correlacionar las puntuaciones obtenidas por los sujetos en dos formas paralelas de un mismo test (mide por tanto el grado de equivalencia entre ellas). Aunque ésta es la forma que se deriva directamente del modelo de la TCT (recordad la importancia que se da a su definición en esta teoría) tiene el enorme inconveniente de que exige el diseño de dos formas paralelas de un mismo instrumento; diseño que, al margen de costoso en tiempo y esfuerzo, es muy difícil de conseguir. Sin embargo, el desarrollo teórico de este tercer método de aproximación al estudio de la fiabilidad relativa de un test resulta muy útil para comprender mejor el significado y modo de interpretación del coeficiente de fiabilidad de un test, así que vamos a verlo con detenimiento. Unidad Didáctica 5-2

3 5.3. CÁLCULO E INTERPRETACIÓN DEL COEFICIENTE Y DEL ÍNDICE DE FIABILIDAD RELATIVA EN FORMAS PARALELAS Supongamos que disponemos de dos formas paralelas de un test: la forma j y la forma k. El coeficiente de fiabilidad relativa de dicho test (r jk ) vendrá dado por el cociente entre la varianza de las puntuaciones verdaderas y la varianza de las puntuaciones empíricas y se representará entonces como: r jk = r xx = Dado que las varianzas siempre tienen valor positivo y dado que sabemos que: Podemos concluir que el valor de este cociente sólo puede oscilar entre 0 y 1 (ya que de modo que, cuanto más cerca de 1 esté r xx, más parecidas serán S 2 v y S 2 x y, por tanto, mayor será la precisión, la estabilidad, la fiabilidad relativa del test analizado. Pero además, el coeficiente de fiabilidad puede ser interpretado del mismo modo que un coeficiente de determinación, es decir, puede interpretarse como una correlación al cuadrado; esto es, como la proporción de varianza de las puntuaciones observadas (X) que es explicada por las puntuaciones verdaderas (V) o nivel del rasgo de los sujetos. Es decir, cuanto más alto sea el valor de r xx mayor será el porcentaje de variabilidad de las puntuaciones empíricas debido a las puntuaciones verdaderas y menor el debido al error de medida. Ejemplo: Si obtenemos un coeficiente de fiabilidad de 0.90, querrá decir que el 90 % de la varianza de las puntuaciones observadas se debe a los niveles del rasgo de los sujetos y tan sólo el 10 % de varianza restante al error de medida cometido al aplicar dicho test. Pero, por qué podemos interpretar el coeficiente de fiabilidad de un test como si se tratara de una correlación al cuadrado? Hasta ahora hemos visto que el llamado coeficiente de fiabilidad relativa de un test es la correlación de las puntuaciones obtenidas en dicho test consigo mismas (r xx ); sin embargo, hay otra forma de aproximarse al estudio de la fiabilidad relativa de un test mediante el conocido como índice de fiabilidad relativa o correlación existente entre las puntuaciones verdaderas y las empíricas de un test (r vx ). Su cálculo se consigue aplicando la siguiente fórmula: r xv Como podéis ver entonces, el coeficiente de fiabilidad relativa es igual al índice de fiabilidad al cuadrado, por lo que en sí mismo es ya una correlación al cuadrado y, por tanto, puede ser interpretado directamente como un coeficiente de determinación: r xx = (r xv ) 2 = d Por lo tanto, como el coeficiente de fiabilidad es en realidad una correlación al cuadrado (es decir, al índice de fiabilidad al cuadrado) puede interpretarse como los coeficientes de determinación; es decir, como el % de varianza de las puntuaciones empíricas (X) explicado por las puntuaciones verdaderas o nivel de rasgo del sujeto (V). Ejercicio: La varianza verdadera supone el 85 % de la varianza empírica de un test. Cuánto vale el índice de fiabilidad de dicho test? (Solución: r xv = 0,92) Unidad Didáctica 5-3

4 Pero el coeficiente de fiabilidad de un test no sólo sirve para conocer el porcentaje de varianza de las puntuaciones empíricas explicado por los niveles del rasgo (o puntuaciones verdaderas), sino que también puede ser utilizado para algo tan útil como estimar las puntuaciones verdaderas de los sujetos en dicho test (V ) y/o para estimar la fiabilidad absoluta del mismo OTROS USOS DEL COEFICIENTE DE FIABILIDAD RELATIVA DE UN TEST a. Estimación de la puntuación verdadera de un sujeto en un test: sabemos que V es una puntuación inalcanzable a priori, sin embargo, podemos emplear el coeficiente de fiabilidad relativa del test para obtener su valor estimado. Para ello, bastaría con aplicar la siguiente fórmula: V = X + r XX (X - X) Ejercicio 1: Un sujeto obtiene un cociente intelectual de 110; como es sabido, dicha variable tiene una media de 100 y una desviación típica de 15. El coeficiente de fiabilidad relativa del test utilizado para medir la inteligencia del sujeto es de Cuál será su puntuación verdadera? (Solución: V = 109) Ejercicio 2: Supongamos que conocemos los siguientes datos acerca de un test: la desviación típica de las puntuaciones directas de los sujetos en dicho test es igual a 5 y la de las puntuaciones verdaderas es igual a 4,74. Calcular la puntuación verdadera que un sujeto obtendría en dicho test sabiendo que obtuvo una puntuación directa de 26 y que la media de las puntuaciones directas fue de 20. (Solución: V = 25,4) b. Estimación del error de medida (fiabilidad absoluta) cometido al aplicar un test: hasta ahora hemos aprendido a calcular e interpretar el coeficiente de fiabilidad relativa de un test y hemos visto que éste también puede utilizarse para estimar las puntuaciones verdaderas de los sujetos en el rasgo o variable que mide ese test. Pues bien, debemos saber que es posible utilizarlo también para estudiar los errores de medida cometidos al aplicar estos instrumentos o, dicho de otro modo, para aproximarnos al estudio de su fiabilidad absoluta. Concretamente, comentábamos al principio del tema que esto sólo era posible a partir del cálculo de la desviación típica de los errores o error típico de medida. Vamos a ver cómo podemos calcularlo. Como recordaréis, según los supuestos básicos de la TCT sabemos que X=V+e y que S 2 X = S 2 V + S 2 e, por lo que S 2 e = S 2 X - S 2 V. También sabemos que el coeficiente de fiabilidad de un test se expresa como r XX = S 2 V / S 2 X y, por lo tanto, S 2 V = r XX S 2 X. Sustituyendo S 2 V por este nuevo valor en la fórmula de la varianza de los errores de medida, tendremos que S 2 e = S 2 X - r XX S 2 X, o, lo que es lo mismo S 2 e = S 2 X (1- r XX ). Así, el error típico de medida será entonces S e = S 2 X (1- r XX ) y, definitivamente: S e = S X Ejercicio 1: La varianza empírica de un test es de 25 y el error típico de medida 2. Cuál es el coeficiente de fiabilidad relativa del test? (Solución: r XX = 0,84). Ejercicio 2: El error típico de medida de un test es de 2 puntos y la varianza de las puntuaciones verdaderas de 25. Cuál es el coeficiente de fiabilidad relativa del test? (Solución: r XX = 0,86). Unidad Didáctica 5-4

5 5.5. FACTORES QUE INFLUYEN EN EL COEFICIENTE DE FIABILIDAD: LONGITUD Y VARIABILIDAD DEL TEST. Aunque pudiera parecer lo contrario, la fiabilidad relativa de un test no es una propiedad exclusiva y fija del instrumento de medida sino que puede verse afectada, modificada manipulando ciertas características tanto del propio test como de los sujetos a los que se aplica. En este sentido, dos de los factores más influyentes sobre la magnitud del coeficiente de fiabilidad de un test son su longitud y la variabilidad de las puntuaciones obtenidas por las muestras de sujetos sobre las que hemos aplicado el test para calcularlo. a) Fiabilidad y variabilidad de la muestra Como ya sabemos, el coeficiente de fiabilidad relativa de un test no es más que una correlación de Pearson y, como tal se ha podido comprobar que aumentará si aumenta la variabilidad (varianza) de la muestra a la que se aplica. De este modo, si al calcular un coeficiente de fiabilidad relativa a partir de las puntuaciones de un grupo de sujetos al serles aplicado un test, vemos que éste alcanza un valor bajo (normalmente no se suelen encontrar test con fiabilidades relativas menores de 0.7) podremos intentar aumentarlo simplemente volviendo a aplicar dicho instrumento a una muestra con mayor varianza que la del grupo al que fue aplicado en primer lugar, con lo cuál veremos que el nuevo coeficiente de fiabilidad relativa que obtengamos será mayor que el inicial. Pero, cómo sabremos a priori que en una muestra las puntuaciones van a alcanzar mayor varianza que en otra? Pues, habitualmente en muestras de mayor tamaño suele haber una mayor dispersión entre las puntuaciones, una mayor variabilidad, ya que al haber más sujetos es más probable que existan más diferencias entre ellos.. De ahí, que normalmente, para obtener mayor varianza bastaría con buscar una muestra más numerosa que la empleada inicialmente. Una vez encontrada la muestra más grande, para calcular este nuevo y aumentado coeficiente de fiabilidad relativa, partiremos de la idea de que el error típico de medida del test para ambos grupos (S e = fiabilidad absoluta) no va a cambiar de una muestra a otra puesto que el test que se aplica es exactamente el mismo en ambos casos y, por lo tanto, el error de medida cometido también lo será. Así, cuando tenemos dos muestras diferentes a las que se aplica el mismo test, podemos partir de la suposición de que el error típico de medida de la primera muestra será igual al error típico de medida de la segunda muestra: S e1 = S e2 Por lo tanto, y sustituyendo S e por su valor en la correspondiente fórmula: S X1 = S X2 Fórmula de la que se puede despejar el nuevo r X2X2 o lo que se desee en función de los datos conocidos y/o requeridos en cada ocasión. Ejercicio 1: Se aplica un test de rapidez perceptual a un grupo de controladores aéreos obteniéndose una desviación típica empírica de 12 puntos. Del grupo inicial sólo es admitido un 10 %, encontrándose que en él la varianza de las puntuaciones en el test fue de 2 y el coeficiente de fiabilidad relativa de 0,50. Cuál habría sido el coeficiente de fiabilidad relativa del test si hubiéramos utilizado el grupo total de aspirantes sobre el que se realizó la selección? Solución: r X2X2 = 0,99 Ejercicio 2: Un test es aplicado inicialmente a una muestra representativa de alumnos de la Universidad de Oviedo. La varianza de las puntuaciones en dicho test para dicha muestra es de Unidad Didáctica 5-5

6 81. Dentro de esta muestra global, los estudiantes de la Fac. de Biológicas obtienen en el test una desviación típica de 3 y un coeficiente de fiabilidad relativa de 0,75. Cuál es el coeficiente de fiabilidad relativa del test en el grupo representativo de toda la Universidad de Oviedo? (Solución: = 0,97). Se modificará la fiabilidad absoluta del test para ambas muestras, por qué? (Solución: No, porque la fiabilidad absoluta de un test viene dada por el error típico de medida que será el mismo siempre y cuando el test aplicado también lo sea). b) Fiabilidad y longitud del test Sabemos que un test es un conjunto de ítems que miden cierto rasgo. Por lo tanto, pienso que es lógico admitir que cuanto mayor número de ítems incluya nuestro test, más aspectos de dicho rasgo se estarán midiendo con lo que nuestro instrumento será, en consecuencia, más preciso, más fiable. En general, podemos decir que al aumentar la longitud del test (el número de ítems que lo constituyen) aumentará su coeficiente de fiabilidad relativa. Pero, cómo podemos cuantificar ese aumento? Pues mediante la fórmula de Spearman-Brown de la que ya hemos oído hablar a propósito del cálculo de la fiabilidad relativa de un test mediante el procedimiento de las dos mitades (fórmula de Spearman-Brown para el caso de la longitud doble): R XX Donde: R XX = coeficiente de fiabilidad relativo del test una vez alargado. n = número de veces que se multiplica la longitud inicial del test. (n = nº de ítems del test alargado /nº de ítems del test original) r XX = coeficiente de fiabilidad relativa del test original. Ejercicio 1: supongamos que a un test inicial de 30 ítems con un coeficiente de fiabilidad de 0,6 le añadimos 15 ítems. Cuáles serían sus nuevos coeficiente e índice de fiabilidad? Solución: = 45 n = 45/30 = 1,5 R XX = (1,5 x 0,6) / 1 + ( 0,5 x 0,6) R XX = 0,69 R XV = 0,69 = 0,83 Ejercicio 2: El coeficiente de correlación de Pearson entre dos mitades aleatorias de un test es de 0,85. Cuál es el coeficiente de fiabilidad del test? (Solución: 0,92) Ejercicio 3: La correlación entre los elementos pares e impares de un test es de 0,90. Cuál es el coeficiente de fiabilidad del test? (Solución: 0,95) Ejercicio 4: Un test de 20 elementos tiene un coeficiente de fiabilidad de 0,4. Se le añaden 200 elementos paralelos a los 20 iniciales. Cuál es el coeficiente de fiabilidad del test resultante?(solución: 0,88) Sin embargo, a veces interesa más conocer el número de veces que convendría alargar un test para obtener un coeficiente de fiabilidad determinado; es decir, que a veces nos preguntamos directamente qué número de ítems debería tener nuestro test para alcanzar una fiabilidad determinada. Para ello, no tenemos más que despejar el parámetro n de la fórmula general de Spearman-Brown, y a partir de él calcular el número de ítems solicitado: n Unidad Didáctica 5-6

7 Ejercicio 1: Se dispone para cierta investigación, de un test de 40 elementos cuyo coeficiente de fiabilidad es de 0,7. Sin embargo, para su buen uso, sería conveniente que su fiabilidad no fuera menor de 0,90. Cuántos elementos paralelos a los que ya posee habrá que añadirle para conseguir dicho coeficiente de fiabilidad? Solución: n = 0,90 (1-0,7) / 0,7 (1-0,90) = 3,86 3,86 = nº de ítems del alargado / 40 nº de ítems del alargado = 3,86 x 40 = 154, = 115 ítems habrá que añadir Ejercicio 2: Se dispone de un test de 50 elementos cuyo coeficiente de fiabilidad es de 0,7. De cuántos elementos habrá de constar dicho test si se desea que su coeficiente de fiabilidad sea 0,90? (Solución: 193) COEFICIENTE DE CRONBACH Y UNIDIMENSIONALIDAD DEL TEST. En muchos tests psicométricos, los indicadores de fiabilidad relativa no aparecen expresados en función de sus coeficientes correspondientes sino en base a un potente estimador de los mismos que se conoce como coeficiente de Cronbach. Simplificando, podemos decir que el coeficiente alfa ( ), propuesto por Cronbach (1951), estudia la fiabilidad de un test entendiéndola como el grado en que todos los ítems que lo componen miden el mismo rasgo (unidimensionalidad del test) y, por supuesto, si lo miden bien. Es, por lo tanto, una medida de la consistencia interna del test, de la coherencia existente entre todos sus ítems. Su fórmula puede verse expresada en términos muy variados: varianzas, correlaciones e, incluso, covarianzas, por lo que existen múltiples alternativas para su cálculo como, por ejemplo, la planteada por Kuder y Richardson. De este modo, lo único que nos va a interesar a nosotros aquí es poder interpretarlo como medida de la fiabilidad de un test cuando encontremos referencia a él al revisar las características psicométricas de alguno de ellos. En estos términos, debemos entender que es un estimador del coeficiente de fiabilidad de un test, de tal manera que si el valor de es elevado, la fiabilidad del test también lo será. Este coeficiente de consistencia interna siempre tendrá un valor menor o igual al de la fiabilidad del test y sólo coincidirán cuando todos los ítems sean paralelos entre sí; es decir, cuando la consistencia interna entre ellos sea máxima y, por lo tanto, podamos afirmar que están midiendo la misma dimensión o rasgo psicológico. BIBLIOGRAFÍA COMPLEMENTARIA GARCÍA CUETO, E. (1993). Introducción a la Psicometría. México: Siglo XXI. MARTÍNEZ ARIAS, R. (1995). Psicometría: Teoría de los tests psicológicos y educativos. Madrid: Editorial Síntesis. MUÑIZ, J. (coor.) (1996). Psicometría. Madrid: Editorial Universitas, S.A. SEOANE, J. y RECHEA, C. (1976). Psicometría. Madrid: UNED. Unidad Didáctica 5-7