TEMA 4. GARANTÍAS CIENTÍFICAS Y ÉTICAS DE LA EVALUACIÓN. Las pruebas son herramientas. En las manos de un tonto

Transcripción

1 1 TEMA 4. GARANTÍAS CIENTÍFICAS Y ÉTICAS DE LA EVALUACIÓN Las pruebas son herramientas. En las manos de un tonto o de una persona sin escrúpulos se volverán una perversión seudocientífica (Sundberg y Tyler, 1962) 1. Introducción 2. Instrumentos de evaluación psicológica 2.1. Clasificación de los instrumentos 2.2. Elección del mejor instrumento 2.3. Los manuales de aplicación de los instrumentos 3. Garantías o criterios de calidad de los instrumentos de evaluación psicológica 3.1. Fiabilidad 3.2. Validez 4. Puntuaciones de las pruebas de evaluación psicológica 4.1. Escalas de medida 4.2. Puntuaciones directas 4.3. Puntuaciones referidas al criterio 4.4. Puntuaciones referidas a la norma

2 2 5. Garantía del proceso de evaluación 5.1. Las Guías del Proceso de Evaluación (GAP) 5.2. Garantía de los datos recogidos 6. Directrices y guías que afectan a la evaluación psicológica 6.1. Criterios sobre la revisión de los tests 6.2. Directrices para la traducción y adaptación de tests 6.3. Directrices internacionales para el uso de los tests 6.4. Directrices internacionales para la evaluación informatizada y tests aplicados por internet 7. Garantías éticas: el código deontológico 8. Conclusiones

3 3 OBJETIVOS 1. Saber qué es un instrumento de evaluación psicológica. 2. Familiarizarse con las clasificaciones de las técnicas de evaluación psicológica. 3. Aprender a seleccionar la mejor prueba de evaluación psicológica. 4. Identificar las partes de un manual de aplicación de un test. 5. Conocer los criterios de calidad exigibles a los instrumentos de evaluación psicológica. 6. Conocer las principales puntuaciones de medida de los tests. 7. Conocer las condiciones de deontología profesional que rigen en evaluación psicológica.

4 4 1. Introducción Como ya se ha dicho, la evaluación psicológica tiene por objeto el análisis científico del comportamiento de una persona. Durante este proceso se formulan hipótesis que ha de ser operacionalizadas mediante un conjunto de procedimientos científicos de recogida de información: tests, técnicas, instrumentos, etc., que han de presentar una serie de garantías científicas, tanto en su construcción como en su uso. Por otro lado, el proceso de evaluación supone un procedimiento científico sujeto a normas. Por último, cualquier actividad humana está sometida a una regulación dictada por los agentes sociales y por la propia profesión. En consecuencia, en este tema vamos a tratar las garantías científicas y éticas de la evaluación psicológica.

5 5 2. Instrumentos de evaluación psicológica Como dice García-Montalvo (1997); un instrumento de evaluación psicológica es todo aquello que el evaluador puede utilizar como legítima fuente de datos acerca de una persona. Los instrumentos de evaluación psicológica se clasifican en función de distinto tipo de técnicas (observación, entrevista, autoinformes, subjetivas, objetivas, proyectivas) entendidas como conjunto de procedimientos y recursos de que se sirve una ciencia. En muchas ocasiones, utilizamos indistintamente instrumento, técnica y test, pero existe una diferencia clara entre estos términos. Test es un procedimiento sistemático para observar la conducta y describirla con la ayuda de escalas numéricas o categorías establecidas. El evaluador recoge información preguntando y observando a todas las personas de la misma manera, en la misma o en comparables situaciones. Esta definición engloba los cuestionarios, a través de los cuales se obtiene informes sobre la personalidad, procedimientos para observar la conducta social, aparatos de medida de la coordinación o, incluso, registros sobre productos (Cronbach, 1990, p.32).

6 6 Tres son las características principales de los tests: 1. presentar escalas numéricas o categorías establecidas, 2. a todas las personas se les debe preguntar u observar de la misma manera, y 3. permiten comparaciones interindividuales. Pero, no todos los procedimientos de evaluación psicológica son tests. Las técnicas o instrumentos pueden ser estándar o pueden ser flexibles. Y, por último, tenemos las técnicas cualitativas que permiten formas subjetivas de valoración (las del evaluador). Finalmente, en evaluación psicológica existen también las medidas simples o moleculares que son registradas mediante instrumentos o técnicas. Por lo tanto, los procedimientos de recogida de información no se reducen a los tests o técnicas estándar de medida. E n d e f i n i t i v a, e l evaluador debe seleccionar aquellos tests estándar que sean idóneos; debe elegir también aquellas técnicas, instrumentos o medidas que den cuenta de las características específicas del caso. Además, de aprender a elegir los mejores instrumentos o pruebas de evaluación psicológica, el buen profesional debe saber aplicarlos correctamente.

7 Clasificación de los instrumentos Una de las clasificaciones más antiguas de los instrumentos de evaluación es la de Pervin (1979): 4. Tests proyectivos 5. Tests subjetivos 6. Tests psicométricos 7. Tests objetivos Por otro lado, Fernández-Ballesteros (1999) presenta una clasificación en seis categorías compartida por Forns, Abad, Amador, Kirchner y Roig (2002): 8. Técnicas de observación 9. Técnicas objetivas 10. Técnicas de autoinforme 11. La entrevista 12. Técnicas subjetivas 13. Técnicas proyectivas

8 8 Las técnicas de evaluación psicológica también pueden clasificarse en función de su aplicación a lo largo del proceso de evaluación psicológica. Es necesario, por otro lado, aclarar las diferencias existentes entre cuestionario, inventario y escala. El cuestionario incluye una lista de cuestiones o preguntas, por lo tanto la formulación de los ítems siempre va con interrogación. Los inventarios, por el contrario, se construyen a partir de un listado de ítems en forma de conjunto de frases que representan situaciones, conductas o respuestas a las que la persona tiene que contestar con qué frecuencia le ocurren. La escala comporta la observación externa.

9 9 Características básicas de la clasificación de las técnicas de evaluación psicológica (Aiken, 1996, Cohen y Swerdlik, 2001, Gregory, 2001, entre otros): 1. Procedimientos estandarizados y no estandarizados: se considera que una prueba está estandarizada cuando tiene instrucciones fijas para su aplicación y clasificación y se aplica a un grupo representativo de la población, para quienes está específicamente dirigido. Por el contrario, un procedimiento no estandarizado es aquel que no posee normas y por tanto no necesita comparar al individuo en particular con un grupo de referencia. 2. Pruebas individuales o grupales: un instrumento individual sólo se aplica a una persona, mientras que las pruebas grupales pueden aplicarse de forma simultánea a varias personas. 3. Pruebas referidas a la norma: en una prueba referida a la norma, la puntuación de cada persona se interpreta con referencia a una muestra de estandarización, mientras que en las pruebas referidas a criterio no se necesita la comparación de una persona con un grupo de referencia.

10 10 4. El grado de estructuración de los estímulos y la respuesta: una prueba estructurada en el estímulo tiene una única interpretación, mientras que una prueba con menor grado de estructuración ofrece más variedad de interpretaciones. 5. El grado de enmascaramiento del objetivo de la prueba: una prueba no enmascarada deja claro desde el primer momento los objetivos que pretende alcanzar, mientras que los instrumentos enmascarados poseen un objetivo diferente del que pretenden aparentar en un principio. 6. El grado de inferencia interpretativa: los niveles de inferencia se refieren a las respuestas que una persona emite frente a cualquier dispositivo de evaluación. Son cuatro los niveles de inferencia propuestos por Sundberg, Tyler y Taplin (1973). 7. El grado de modificabilidad de la respuesta: se refiere al grado en el que la persona puede modificar o alterar su respuesta en la prueba. Por otro lado, los instrumentos de evaluación pueden clasificarse según Aiken (1996) a partir de sus contenidos verbal/no verbal, tests de ejecución, o según se trate de una prueba cognoscitiva, o afectiva.

11 Elección del mejor instrumento En 1950 un Comité sobre Normas Éticas para la Psicología de la American Psychology Association (APA) publicó unas orientaciones en las que se definían tres niveles de pruebas en función del grado de conocimientos que su uso requería. Por otro lado, existe un proyecto de la Asociación Europea de Evaluación Psicológica (EAPA) para restringir el acceso de pruebas no sólo a los no psicólogos, sino también a los psicólogos no formados en evaluación. Las tareas del proceso de evaluación son propias de un profesional de la psicología. Muñiz (1997) describe tanto los aspectos éticos como los deontológicos de la evaluación psicológica. Este autor resalta la clasificación de los instrumentos de evaluación entre tres niveles (a, b, c) que utilizan los editores para la venta de las pruebas (siguiendo las normas de la APA). a) Formación y experiencia en el ámbito concreto de aplicación. b) Conocimiento sobre la teoría de los tests y métodos estadísticos. c) Titulación superior en psicología, psiquiatría o psicopedagogía y experiencia profesional en diagnóstico clínico.

12 12 En cuanto a la elección de la herramienta psicológica más adecuada, depende de qué se quiere evaluar, para qué, y quién o quiénes va/n a ser evaluados. Cómo elegir la mejor prueba? 1. Saber cuáles son las pruebas de inteligencia estandarizadas. 2. Elegir aquellas que posean unos adecuados criterios de calidad. 3. Seleccionar aquellos instrumentos que puedan aplicarse a la edad de la persona o personas que queremos evaluar. 4. Seleccionar un instrumento de administración individual o grupal. Pasos en la aplicación de un instrumento de evaluación psicológica: 5. Se familiarice con la prueba. 6. Prepare adecuadamente el lugar donde se aplicará la prueba. 7. Cree un ambiente y rapport adecuados. 8. Prepare los materiales necesarios. 9. Explique el propósito de la evaluación antes de aplicar la prueba y cómo se va a utilizar la información obtenida. 10. Siga estrictamente las normas de aplicación de la prueba. 11. Corrija las pruebas siguiendo los pasos que se indican en el manual con el fin de no cometer errores. 12. Cumpla con las obligaciones éticas y deontológicas antes de iniciar la evaluación.

13 Los manuales de aplicación de los instrumentos Las partes de un manual (que pueden variar en orden de presentación) por lo general suelen tener los mismos contenidos: 1. Introducción. Origen de la prueba. 2. Objetivos que pretende el instrumento. 3. Descripción general. Incluye una ficha técnica con la descripción general de la prueba. 4. Fundamentación estadística. Fiabilidad y validez. 5. Instrucciones para la aplicación, corrección e interpretación. 6. Ventajas y limitaciones de la prueba. 7. Investigaciones recientes realizadas con este test. Este último apartado no se incluye en todos los manuales. El buen evaluador debe leer a fondo el manual antes de aplicar el test y prestar una atención especial a los siguientes aspectos: 1. La construcción de la prueba. 2. Cómo debe realizarse la administración del test. 3. Pasos a seguir para corregir y obtener los resultados.

14 3. Garantías o criterios de calidad de los instrumentos de evaluación psicológica 14 Como decía Yela (1990), el proceso de evaluación psicológica debe realizarse cubriendo ciertas garantías de calidad. Desde los inicios de la teoría clásica de los tests se desarrollaron y establecieron los requisitos psicométricos de calidad y bondad asumidos como normas en la construcción, interpretación y utilización de instrumentos psicológicos de medición: fiabilidad y validez. Estos dos criterios se integran en las normas de la APA desde Por otro lado, los tests y cualquier otro instrumento de medida, no nos proporciona una medida perfecta por lo que existe un elemento de error e imperfección que resulta imprescindible conocer Fiabilidad La APA describió fiabilidad como la exactitud (consistencia y estabilidad) de la medición de un test; es decir, la precisión con la que mide la prueba. En términos más técnicos, la confiabilidad de una prueba permite estimar qué proporción de la varianza total de las puntuaciones se debe a la varianza de error (Anastasi y Urbina, 1998).

15 15 Se puede decir que existen tres tipos de evidencias de fiabilidad: 1. Relacionadas con la estabilidad de la medida 2. Con la objetividad del registro 3. Con la homogeneidad de la prueba en aquellos tests que se componen de un agregado de elementos Las posibles fuentes de error de medición o fuentes de varianza de error que pueden reducir la fiabilidad de una prueba son descritas por Aiken (1996), Cohen y Swerdlik (2001), Gregory (2001) y otros muchos autores: 1. Construcción de pruebas 2. Administración de las pruebas 3. Calificación e interpretación de las pruebas En cuanto a los tipos de fiabilidad o formas de estimar el coeficiente de fiabilidad de una prueba, hacemos una breve exposición: 1. Coeficiente test-retest o estabilidad del test Se halla al correlacionar las puntuaciones que obtiene un grupo de personas en la aplicación de una prueba con las obtenidas en una segunda aplicación.

16 16 2. Coeficiente de formas paralelas/alternas o de equivalencia Consiste en aplicar la segunda vez una forma paralela o alterna del tests; sin embargo, algunos autores como Gregory (2001) señalan que introduce diferencias en la muestra de reactivos. Para solucionar esto, Aiken (1996) describe el procedimiento correcto: elaborar dos formas de la misma prueba. La correlación resultante es el coeficiente de equivalencia. 3. Coeficiente de consistencia interna Este coeficiente es más sencillo y tiene en cuenta los errores de diferentes muestras de reactivos de una prueba, pero no refleja los errores de medición debidos a las diferentes condiciones o momentos de la aplicación. 4. Coeficiente interjueces o entre evaluadores La fiabilidad entre evaluadores es el grado de acuerdo o consistencia que existe entre dos o más evaluadores, jueces o calificadores (Cohen y Swerdlik, 2001).

17 Validez La definición de los Estándares para los tests educativos y psicológicos (AERA, APA, NCME, 1985, 1999) indica que una prueba es válida al grado en que las inferencias que se realicen a partir de ella sean apropiadas, significativas y útiles. Al igual que la fiabilidad, la validez de una prueba puede verse afectada por los errores de medida no sistemáticos, pero también por los sistemáticos. Las principales clases de validez o evidencia son las que aparecen a continuación: 1. Validez de contenido Representa la comprobación de que el contenido de la técnica en cuestión comprenda una muestra representativa del universo posible de conductas que se pretende evaluar con ella (Fernández-Ballesteros y Maciá, 1992). 2. Validez criterial También llamada predictiva, expresa el grado en que las puntuaciones en una variable -normalmente un predictor-, pueden utilizarse para inferir el rendimiento en una variable diferente y operacionalmente independiente llamada criterio. Dos tipos: a) La validez concurrente y b) La validez predictiva.

18 18 3. Validez de constructo Establece el grado en el cual un instrumento mide o guarda relación con un determinado rasgo o constructo hipotético. Integra las consideraciones criteriales y de contenido. Es el tipo de validez más general. 4. Puntuaciones de las pruebas de evaluación psicológica 4.1. Escalas de medida Existen en psicología cuatro tipos de escalas de medida: nominal, ordinal, de intervalo y de razón Puntuaciones directas Son el resultado directo e inmediato que se obtiene a la hora de corregir un test Puntuaciones referidas al criterio Una puntuación referida al criterio o al universo de conductas, se interpreta en función de unos logros u objetivos a cumplir, arbitrariamente definidos, y que sirven para tomar decisiones.

19 Puntuaciones referidas a la norma Se interpreta a partir de un grupo de referencia; es decir, se basa en la comparación de la ejecución de una persona con su grupo normativo. Existen tres tipos de puntuaciones normativas: a) Puntuación percentil. b) Puntuación cronológica. c) Puntuación típica Puntuaciones independientes de la norma Se fundamentan en la Teoría de Respuesta al ítem, representan unos valores determinados en la dimensión de la aptitud analizada reflejando el nivel de habilidad del individuo, y poseen la ventaja de realizar un perfil individual y preciso de cada persona.

20 20 5. Garantía del proceso de evaluación Para garantizar el proceso de evaluación hemos de utilizar las Guías del proceso de evaluación, ya que suponen normas que la comunidad científica ha elaborado, y garantizar los propios datos (no sólo las técnicas utilizadas) Las Guías del Proceso de Evaluación (GAP) Los objetivos de las GAP son: 1) asistir a los evaluadores en su esfuerzo por optimizar la calidad de su trabajo; 2) asistir al cliente de una evaluación para que pueda enjuiciar el trabajo evaluativo; y 3) facilitar el entrenamiento en evaluación. Existe, por otro lado, una herramienta de las GAP llamada Hoja de autovaloración del proceso de evaluación (HAPE), que comprende cada una de las 95 normas con el fin de permitir la valoración sobre el cumplimiento de las mismas mediante un autoexamen.

21 Garantía de los datos recogidos La conceptualización sobre las garantías científicas que ofrecen nuestros datos procede de la Teoría de la generalizabilidad (TG) formulada por Cronbach y colaboradores (1972). Se pretende la utilización de su racional como un heurístico para indagar la bondad de los datos recogidos. La TG propone que existen distintos universos a través de los cuales los datos obtenidos podrían ser generalizables. Algunos de los problemas en torno a la fiabilidad, validez y exactitud de los datos de una evaluación en relación a estos universos de generalizabilidad: 1. Generalizabilidad de las puntuaciones Este universo de generalizabilidad implica la siguiente pregunta: en qué medida los datos procedentes de un evaluador son generalizables a los obtenidos por otros evaluadores? 2. Generalizabilidad de los elementos Este universo de generalizabilidad implica la siguiente pregunta: hasta qué punto los elementos de un test son representativos del amplio universo de elementos implicados en el mismo ámbito de contenido y/o de unos elementos del test se puede generalizar a otros?

22 22 3. Generalizabilidad temporal Este universo de generalizabilidad implica la siguiente pregunta: hasta qué punto los datos obtenidos en un determinado momento son extensibles a otros momentos de la vida de la persona? 4. Generalizabilidad de las situaciones Este universo de generalizabilidad implica la siguiente pregunta: hasta qué punto los datos de un test recogidos en una situación son generalizables a otras situaciones? 5. Generalizabilidad de los métodos Este universo de generalizabilidad implica la siguiente pregunta: en qué medida los datos procedentes de un método de evaluación son generalizables a otros que evalúen el mismo contenido? 6. Generalizabilidad de las dimensiones Este universo de generalizabilidad implica la siguiente pregunta: en qué medida las propiedades o estimaciones de una variable son generalizables a otras?

23 23 6. Directrices y guías que afectan a la evaluación psicológica A partir del año 1991 distintas organizaciones nacionales, europeas e internacionales han producido un conjunto de guías, directrices, normas o estándares, siendo las más relevantes las siguientes: Los criterios sobre la revisión de los tests (2000). Las directrices para la traducción y adaptación de tests (1996). Las directrices internacionales para el uso de los tests (2000) Las directrices internacionales para la evaluación informatizada y tests aplicados por internet (2003) (en proceso de revisión) Criterios sobre la revisión de los tests Un test debe ser revisado cuando existen datos de investigación que representen cambios significativos en el dominio, en las condiciones de uso, o en la interpretación que pueden hacer inapropiado el uso del test; cuando la investigación ha mostrado nuevos conceptos subyacentes que han de ser incorporados.

24 Directrices para la traducción y adaptación de tests La International Test Comission (ITC) ha desarrollado normas para la adaptación de los tests formados por 22 principios agrupados en cuatro áreas: Contexto Desarrollo y adaptación de instrumentos Administración Interpretación 6.3. Directrices internacionales para el uso de los tests También han sido elaboradas por la ITC y se dirigen no sólo a los constructores, investigadores o usuarios, sino a todas las personas que participen en un proceso en el que esté implicada la evaluación psicológica. Poseen dos apartados, el primero consta de 33 artículos y revisa la responsabilidad en el uso ético de los test, y el segundo con 102 artículos se dirige a la utilización adecuada de los tests. A estos principios añaden tres apéndices en los que se revisan las pautas para establecer políticas sociales sobre el uso de los tests, pautas para confeccionar contratos entre las partes implicadas en la evaluación y aplicación de tests a personas con discapacidades.

25 Directrices internacionales para la evaluación informatizada y tests aplicados por internet En marzo de 2003, la ITC enviaba un borrador sobre estándares de aplicación internacional. Aparecen cuatro objetivos fundamentales: 1. Cuidar las cuestiones tecnológicas 2. Garantías de calidad 3. Asegurar los niveles de control apropiados 4. Asegurar la privacidad y seguridad de los datos recogidos. 7. Garantías éticas: el código deontológico Ver el Código Deontológico del Psicólogo en la página oficial del Colegio Oficial de Psicólogos. 8. Conclusiones A lo largo de este tema se ha tratado de estudiar cuáles son las garantías científicas y éticas en la evaluación psicológica. Hemos tenido en cuenta las diferencias entre los tests y otros instrumentos de medida, así como las diferentes puntuaciones que se obtienen. Por otro lado, se han presentado los conceptos de fiabilidad y validez, así como los diferentes tipos de evidencia.

26 26 Por último, se habla de garantías científicas y éticas en el proceso de evaluación psicológica. Por una parte, se trata de garantizar el proceso de evaluación psicológica mediante unos estándares suministrados por asociaciones científicas o profesionales de psicólogos; y, por otro parte, abarca comportamiento éticos que se han de seguir teniendo en cuenta el código deontológico del psicólogo. PREGUNTAS: V1) El test difiere del instrumento de evaluación psicológica en que el test siempre está tipificado y el instrumento puede no estarlo F2) Un procedimiento estandarizado sólo puede aplicarse individualmente F3) El nivel A de clasificación de las pruebas se refiere a que el evaluador debe tener titulación superior en psicología, psiquiatría o psicopedagogía. 4) Una puntuación referida a criterio nos informa del dominio que tiene la persona en una habilidad particular.