14 Validez, confiabilidad y utilidad

Transcripción

1 14 Validez, confiabilidad y utilidad Antes de utilizar un cuestionario es necesario asegurarse de que éste posee ciertas características que satisfacen y que eventualmente servirán para cumplir con el propósito con que fue creado. Hasta recientemente se hablaba de dos de estas características, la validez y la confiabilidad. La tercera, la utilidad, no se discutía, pues se daba por sentado que el evaluador construía el cuestionario partiendo de la utilidad que veía en él. Pero hoy día, existen innumerables cuestionarios y en muchos casos se hace necesario escoger entre varios, la utilidad debe considerarse como una de las características que se toman en cuenta. Por otra parte, las dos primeras características se visualizaban como propiedades intrínsecas de los cuestionarios. Sin embargo, en los últimos años esta visión se ha modificado completamente, sobre todo en lo que respecta a la validez. Hay otros aspectos prácticos de los cuestionarios que no deben pasarse por alto, pues son esenciales en los momentos en que una institución decide hacer uno. Entre éstos se destacan la dificultad o el costo de la construcción; la facilidad de su administración y asignación de puntuaciones; la claridad de interpretación de sus resultados; la facilidad de su administración, etc. Todos estos aspectos se pueden recoger bajo la designación de "utilidad" Definición de la validez Tradicionalmente la validez de un cuestionario, se había presentado como la cualidad del instrumento para medir los rasgos o características que se pretenden medir. Por medio de la validación se trata de determinar si realmente el cuestionario mide aquello para lo que fue creado. Últimamente, el concepto de validez se ha modificado considerablemente. Muy rara vez se oye hablar de la validez de un instrumento. Los psicómetras se refieren principalmente a la validez de las inferencias hechas a partir de los resultados del cuestionario. El foco de atención se ha desplazado del instrumento a la interpretación de los resultados y a las implicaciones en términos decisionales que estas interpretaciones conllevan. Cronbach en 1971 señalaba que la validación es el proceso por medio del cual el investigador que desarrolla cuestionarios obtiene evidencia para sustentar sus inferencias. Este proceso de validación requiere un estudio empírico dirigido a recolectar la evidencia requerida. La validez se ve como una evaluación -más que una característica- de cuán apropiadas y adecuadas son las interpretaciones y los usos que se hacen de los resultados del cuestionario. 69

2 En la evaluación de la validez de un cuestionario se busca que las interpretaciones de los resultados se basen en evidencia de que el cuestionario mide lo que realmente se quiere que mida, que los resultados no se vean afectados por variables o factores irrelevantes a lo que se quiere medir. En otras palabras, la evaluación de la validez de un cuestionario concierne los resultados y las consecuencias de las decisiones que se toman con esos resultados. Por otra parte, Trochim señala que el concepto de validez no debe limitarse solamente a la validez del cuestionario, sino que debe poder hablarse de la validez de cualquier tipo de operacionalización de un constructo. La evidencia de validez es lo que permite al investigador estar relativamente seguro que no ha errado en el proceso de traducir un constructo a una realidad operante. Según Trochim, esta visión permite hablar de validez tanto cuando se trata de cuestionarios, pruebas, programas, tratamientos y hasta de muestreo (si se considera que la muestra no es otra cosa que la operacionalización de un constructo llamado población) Características de la validez La validez se refiere a la adecuacidad de la interpretación de los resultados para un grupo determinado de individuos. La validez no es una propiedad del cuestionario; aunque, por costumbre, se sigue hablando de la validez del cuestionario. La validez es una cuestión de grado. No existe en términos absolutos. No se puede decir que el cuestionario es válido o inválido. Aumenta o disminuye dependiendo de la calidad de la evidencia que la sustenta. Nuevas evidencias pueden incrementarla o reducirla. Hoy día la validación de una inferencia se presenta como el proceso de determinar si la teoría y las evidencias empíricas respaldan esta inferencia. La validez se refiere siempre a un tipo de uso o interpretación específico. No se puede hablar de la validez de un cuestionario sea cual fuere su uso. A veces los usos son muy próximos, pero aún así hay diferencias. La validez es un concepto unitario. No se puede hablar de diferentes tipos de validez (contenido, constructo, criterio). Se habla más bien de un concepto validez- y de diversos tipos de evidencia. Para hablar de validez se requiere un juicio evaluativo comprensivo que dictamine si las interpretaciones y usos de los resultados se justifican con la evidencia producida Clasificación de la validez A partir de mediados del siglo pasado se ha enfatizado la clasificación de la validez en tres tipos: validez de contenido, validez de constructo y validez de 70

3 criterio. Este último tipo de validez se ha clasificado en dos subtipos: validez concurrente y validez predictiva. Se hablaba de un cuarto tipo de validez validez aparente- que debido a su pobreza en términos de evidencia, muchas veces se ignoraba. Los psicómetras presentaban tres tipos principales de estudios de validación en los que se buscaban evidencias de: validez de contenido, validez de criterio y validez de constructo. De nuevo, Trochim retoma la noción de validez para proponer una nueva y más amplia clasificación. Propone que el concepto de validez, visto dentro del contexto de operacionalizar un constructo, se puede muy bien llamar validez de constructo. Por lo tanto cualquier proceso de validación, llámesele como se le llame no es más que un aspecto de la validez de constructo. Partiendo de esta ecuación validez = validez de constructo, la validez se puede clasificar en dos grandes categorías: la validez de traducción que evalúa el proceso de operacionalización del constructo y la validez de criterio que compara el instrumento con otros criterios. En la validez de traducción, el investigador se concentra en determinar si la operacionalización (el instrumento o cuestionario) es un reflejo adecuado del constructo. Se asume que el investigador posee una buena y detallada definición del constructo y puede comparar el instrumento con esa definición. Esta categoría de la validez se subdivide en dos tipos o subcategorías: validez aparente (face validity) y validez de contenido. En la validez de criterio, el investigador se concentra en determinar si el instrumento o cuestionario funciona de acuerdo con la teoría que se tiene del constructo. Por lo tanto este tipo de validez está encaminada a comparar el instrumento con otros criterios que de alguna forma se relacionan con el constructo. Esta categoría, a su vez, se subdivide en: validez predictiva, concurrente, convergente y discriminante. Ya sea por medio de la clasificación de Trochim o las de otros autores, siempre se llega a las siguientes tipos de validez. Validez de constructo Validez de traducción: aparente, contenido Validez de criterio: predictiva, concurrente, convergente y discriminante 14.4 Validez aparente Este tipo de evidencia de validez es, posiblemente, la más pobre de todas. Responde generalmente de forma subjetiva- a la pregunta si el instrumento parece medir lo que debe medir. En el vocabulario de Trochim se podría ver 71

4 como si la traducción que se ha hecho del constructo parece ser suficientemente convincente. Por lo general, la evidencia que sustenta este tipo de evidencia es muy subjetiva. Pero, aun en términos de subjetividad, tiene niveles y se puede mejorar. En su nivel más bajo puede basarse exclusivamente en el juicio personal del investigador que propone que el instrumento refleja el constructo. Pero se puede mejorar si es un panel de expertos quienes declaran que realmente la operacionalización responde al constructo. Este tipo de validación ocurre muy a menudo durante la construcción de un cuestionario en que se recurre a un panel de expertos y se habla de la validación por expertos. Obviamente esta evidencia tiene más peso que la opinión del investigador Validez de contenido La validez de contenido en un cuestionario, tradicionalmente se ha visto como dependiente de cuan representativos del universo de contenido que se pretende medir son los ítemes del cuestionario. Un estudio de validez de contenido busca determinar si los ítemes de un cuestionario representan adecuadamente el dominio o constructo que se quiere medir. Esta búsqueda de evidencias es prioritaria sobre todo al inicio del proceso de construcción del cuestionario. Se puede observar en tres momentos del proceso: En la determinación de los diversos aspectos que se van a incluir en el cuestionario de forma que éstos representen el universo de contenido. En la asignación de importancia a estos diferentes aspectos del universo de contenido. En la selección de los ítemes que concuerden con estos aspectos. Trochim señala que realmente lo que se hace es determinar si la operacionalización que se ha hecho corresponde a los aspectos más relevantes del constructo. En este proceso se da por sentado que se ha logrado una descripción adecuada y detallada del contenido del constructo. Resulta entonces relativamente fácil determinar si los ítemes del cuestionario corresponden a esta descripción. El problema es que la descripción detallada del dominio de contenido del constructo raramente se obtiene. Hay constructos psicológicos como actitud, ansiedad, satisfacción, etc. para los cuales es sumamente difícil determinar los criterios que fundamentan el dominio de contenido. El grado de validez de contenido de un instrumento se obtiene al determinar hasta que punto los conceptos explicativos de ese constructo son los que sostienen el desempeño en el cuestionario. 72

5 Aspectos importantes de un estudio de validación de contenido Crocker & Algina definen la validación de contenido como una serie de actividades que se desarrollan después que se ha creado una forma inicial del cuestionario o instrumento y que busca determinar si los ítemes incluidos en el cuestionario son adecuados. Estos autores proponen cuatro pasos esenciales en todo proceso de validación de contenido: Definir el dominio o constructo Seleccionar un panel de expertos en el dominio de contenido Crear una estructura que permita identificar cada ítem con un aspecto del constructo Recoger y resumir los resultados de este proceso de identificación 1. Definición del constructo Como parte de la definición del constructo es necesario determinar si todos los aspectos del constructo tienen la misma importancia. Por lo general, esto se da por sentado en cuestionarios. 3. Identificación de cada ítem con un aspecto del constructo Hay varias maneras de asignar ítemes a aspectos del constructo (objetivos). Crocker señala que el proceso, para la mayoría de los expertos, es básicamente dicotómico, pues el ítem se aparea o no. Hambleton (1970) señala que la decisión no es siempre tan clara y que se puede establecer una escala de apareamiento entre los ítemes y los objetivos. Con esta escala se pueden obtener medidas de las opiniones de los jueces y basar el apareamiento en este promedio. 4. Resumen de resultados Este proceso de apareamiento de ítemes con aspectos del constructo parece ser un proceso cualitativo. Sin embargo es posible e importante resumir los resultados por medio de tablas porcentajes o correlaciones que subrayen si se ha cumplido con el propósito del estudio. Estos índices de apareamiento pueden ser: 1. Tablas indicando el porcentaje de ítemes que se pudieron aparear adecuadamente 2. Porcentaje de ítemes que se pudieron aparear con los aspectos del constructo que se habían indicado como más importantes. 3. Porcentaje de aspectos del constructo para los cuales no se encontraron ítemes 73

6 Problemas de los estudios de validez de contenido Los ítemes corresponden a los objetivos, pero los objetivos no corresponden al constructo Aspectos de género, raza y etnicidad que afectan el proceso de validación El problema aquí no recae en el contenido del cuestionario, sino en las inferencias que se pueden hacer sobre sujetos que no tienen el mismo acceso a la información que se requiere para poder contestar el cuestionario La correlación entre ítemes no es necesariamente un aspecto de la validación de contenido. A menudo se da por sentado que la correlación alta de un ítem con el resto del cuestionario es una evidencia de validez de contenido, puesto que la correlación implica que el ítem mide lo mismo que mide el resto del cuestionario. Pero este razonamiento tiene sus fallas. Una correlación alta puede ocurrir porque se han incluido muchos ítemes similares, pero ninguno corresponde al contenido que se quiere incluir. Sin embargo, es conveniente que la correlación de un ítem con el resto del cuestionario sea relativamente alto. Si no correlaciona bien, esto puede ser indicativo de que no tiene nada que ver con el resto de los ítemes y valdría la pena investigarlo Aspectos de contenido que fortalecen la validez en el desarrollo del cuestionario La preparación detallada e informada de una tabla de especificaciones o aspectos del constructo. El proceso adecuado de validación de la tabla. El investigador que construye el cuestionario debe asegurarse que lo que se mide está de acuerdo con lo que se quiere medir. La selección apropiada de los ítemes. Estos deben corresponder a las especificaciones del constructo Estudios que evidencian la validez de constructo Análisis factorial (confirmatorio) En este tipo de estudio se toman las puntuaciones de un grupo de sujetos en un instrumento y se aplican ciertos procesos estadísticos (análisis factorial) que permiten agrupar los ítemes de acuerdo a cuánto se asemejan en la forma en que contestaron los sujetos. En el análisis factorial se crean conjuntos de ítemes que se asemejan entre ellos, pero que al mismo tiempo se diferencian de los ítemes incluidos en los otros conjuntos. Después de finalizado el proceso estadístico por medio del cual se han construido estos 74

7 conjuntos de ítemes se hace necesario revisar la información obtenida confrontándola con las especificaciones del constructo. Realmente se espera que los ítemes agrupados por el análisis factorial correspondan a los mismos subconjuntos que previamente se describieron teóricamente en el conjunto. Mientras más correspondencia haya entre ambas agrupaciones, la teórica y la estadística, más evidencia tenemos de que el constructo se diseñó correctamente. Cuando los constructos son complejos y abstractos, ni esta separación en subconjuntos ni la construcción de los ítemes correspondiente a cada subconjunto de especificaciones no es tan obvia. Por lo tanto los estudios factoriales no siempre ofrecen los resultados esperados. La evidencia se fortalece o se debilita dependiendo de cuán cercana a la teoría es la agrupación producida por el análisis factorial. Matriz multirasgo-multimétodo Este es posiblemente uno de los métodos más complejos para evidenciar la validez de un constructo. El proceso se inicia cuando el investigador determina dos o más instrumentos para medir el constructo de interés. Luego debe seleccionar otros constructos diferentes al que se quiere validar, pero que se pueden medir con el mismo instrumento. Finalmente, el investigador debe medir el mismo constructo con los diversos métodos o instrumentos y los diferentes constructos con el mismo instrumento. La evidencia radica en que: 1. la confiabilidad del instrumento sea alta (el mismo constructo medido con el mismo instrumento) 2. las correlaciones sean altas entre las medidas del mismo constructo medido con diferentes instrumentos. 3. las correlaciones sean bajas entre las medidas de diferentes constructos medidos con el mismo instrumento. 4. las correlaciones sean bajas entre las medidas de diferentes constructos medidos con diferentes instrumentos. Una tabla de resultados de uno de estos estudios se encuentra en Crocker & Algina (p.234). Estudio G (G Study) Este es un estudio en el que con un mismo grupo de sujetos se mide el mismo constructo pero con diferentes tipos de ítemes. Se espera que las correlaciones entre las medidas de los diversos instrumentos sean altas. 75

8 14.7 Factores que afectan la validez No es bueno concluir el recorrido sobre los diversos aspectos de la validez de un cuestionario sin hacer un resumen apretado de aquellos factores concretos que la afectan. Los que se presentan a continuación no solamente son concretos, sino que en la mayoría de los casos tienen una solución o pueden experimentar una mejoría con un poco más de atención por parte de quienes construyen y administran el cuestionario. Algunos de estos factores conciernen la construcción del cuestionario en sí y otros la administración y asignación de puntuaciones (si las hubiese). Factores en el cuestionario Instrucciones confusas Vocabulario y sintaxis difícil Ambigüedad en las preguntas Límites de tiempo inadecuados Ítemes inadecuados a las especificaciones Ítemes mal construidos Ítemes mal ordenados Cuestionario demasiado corto (no incluye una muestra adecuada del contenido) Muy pocos ítemes (Henerson, p.145) Factores en la administración Condiciones físicas o psicológicas adversas. Factores en las respuestas de los estudiantes Interpretación inadecuada de las preguntas debido a factores personales. Disturbios emocionales Tensión ante el cuestionario. Factores en los cuestionarios de actitud Pobre relación entre actitudes y comportamiento (Henerson, p.145) Deseo de agradar (Henerson, p.145) Poco entendimiento de sí mismo (Henerson, p.145) Interés en sacar provecho de las respuestas (Henerson, p.145) 76