Simposio: El Enfoque Cuasi-Experimental en el Contexto Psicológico y Social. Problemas Relativos al Diseño y Técnicas de Análisis

Transcripción

1 Simposio: El Enfoque Cuasi-Experimental en el Contexto Psicológico y Social. Problemas Relativos al Diseño y Técnicas de Análisis Universidad de Barcelona jarnau@ub.edu Coordinador: Jaume Arnau Gras Dentro del contexto psicológico y social, suelen llevarse a cabo, con frecuencia, estudios de carácter aplicado que, por razones prácticas y éticas, son imposibles de realizarlos mediante métodos experimentales. En estos casos, es aconsejable recurrir a la metodología cuasi-experimental como única alternativa a la experimentación clásica. Un estudio es cuasi-experimental cuando las variables no pueden ser controladas por el investigador y cuando se trabaja con muestras naturales o intactas. Este nuevo enfoque de investigación, propuesto por Campbell y Stanley (1996) y desarrollado por Cook y Campbell (1979), permite resolver problemas de índole práctica propios de ámbitos aplicados, como cuando se pretende introducir cambios en el sistema educativo de las escuelas o en el régimen laboral de las empresas. Si, por otra parte, se desea establecer la eficacia de las instituciones, agencias gubernamentales u organizaciones de servicios, entonces esta metodología es conocida explícitamente como evaluación de programas. Desde el punto de vista de la lógica del método, el cuasi-experimento no se ajusta a los requerimientos del experimento verdadero dada la imposibilidad de asignar los participantes, de forma aleatoria, a las condiciones de tratamiento y de tener controladas todas las posibles explicaciones alternativas, como ocurre con el experimento verdadero. Siempre planea la amenaza de que un tercera variable sea la pretendida causa de los cambios operados en la variable de respuesta. La posibilidad de una tercera variable es la principal amenaza a la validez interna del procedimiento cuasi-experimental y el investigador debe tener en cuenta esta amenaza tanto al seleccionar el diseño de investigación como el modelo de análisis. Al usar la cuasi-experimentación como una metodología de evaluación de programas, nos estamos refiriendo a un enfoque que, recientemente, está recibiendo un fuerte impulso y amplio eco dada la necesidad que tienen la instancias gubernamentales e instituciones públicas de evaluar la efectividad de sus programas y el beneficio que ocasiona a sus destinatarios. El propósito de la evaluación de programas es sopesar la eficacia de las organizaciones de servicios, como hospitales, escuelas, agencias gubernamentales, etc., y aportar información para mejorar su funcionamiento. Nótese que la evaluación de programas es el caso más extremo de la investigación aplicada y aunque, en muchas situaciones es el único procedimiento para evaluar las políticas de intervención social, no siempre es viable su aplicación tanto por razones políticas como de coste. Por último, cabe la posibilidad de examinar las principales estrategias de diseños de investigación y de modelos de análisis. Aunque, en el presente Simposio se analiza el diseño de grupo control no equivalente y el diseño de series temporales interrumpidas, no con ello se agotan las posibilidades que se derivan de la cuasi-experimentación. Así, por ejemplo, es posible combinar las dos estrategias de diseño propuestas, en aras a conseguir una mayor eficacia, como, por ejemplo, los diseños de series temporales con grupo control no equivalente. Por lo que respecta a los modelos de análisis, es suficiente destacar que suelen seguirse técnicas procedentes del análisis de variancia y de la regresión como, por ejemplo, el análisis de la covariancia y el análisis de la regresión jerárquica, sin olvidar las técnicas probit y de la regresión logística para datos no métricos (Finney, 1971; Shadish et al., 2001).

2 Problemática de la Cuasi-Experimentación y su Uso como Instrumento de Investigación Aplicada. Arnau, J. Universidad de Barcelona jarnau@ub.edu Cuando se toma el método experimental como modelo básico de la investigación científica, comúnmente es asociado a un estándar de excelencia o modelo normativo. Esto es aplicable tanto al ámbito de investigación sustantiva o básica, como al ámbito aplicado o método de evaluación. No obstante, al considerar la naturaleza de la investigación experimental se concluye, fácilmente, que todo experimento se resuelve mediante la asignación aleatoria de los sujetos a las distintas condiciones de tratamiento o grupos. Esta no es la única razón por la que, muchas veces, se requiere un procedimiento alternativo de estudio. A nivel de objetivos, la investigación básica, ligada tradicionalmente al método experimental, plantea cuestiones sobre procesos generales, leyes empíricas, regularidades, etc. No obstante, hay una gran cantidad de problemas de carácter práctico, dentro del ámbito social o individual, que requieren un tratamiento metodológico! que no pasa por el método experimental. Es dentro de este contexto, contexto aplicado, donde cobra relevancia la metodología que trabaja con grupos naturales o intactos y que propone con objetivo, resolver problemas de carácter práctico o social como por ejemplo, el porqué de la drogoadicción, accidentalidad en carretera, fracaso escolar, etc. Al plantearnos, pues, la alternativa a la metodología experimental, dentro del contexto aplicado, aparece el modelo propuesto inicialmente por Campbell y Stanley (1963, 1966) con el nombre de cuasiexperimento. El cuasi-experimento es una estrategia que pretende encontrar semejanzas con el modelo experimental, tanto en la estructura de los grupos como en los modelos de análisis. No obstante, cabe destacar que el cuasi-experimental no puede asumir, por definición que los grupos son inicialmente equivalente; es decir, la ausencia de aleatorización no garantiza la igualdad inicial de los grupos. Para contrarrestar esta desventaja, la metodología de investigación busca técnicas de modelamiento estadístico que corrijan la no equivalencia inicial, mediante procedimientos basados en los modelos ancova (o modelos de la regresión con covariables) o modelos para datos corregidos por la no igualdad inicial (o por la diferencia). Téngase en cuenta, que una de las principales amenazas que atentan contra la validez de estos diseños es la posible tercera variable capaz de explicar los cambios observados en la variable de respuesta. Además de esta amenaza, son importantes el efecto de la instrumentación o criterio de registro que puede variar según los intereses del evaluador, e incluso del político, y el efecto de selección dado que la naturaleza de las muestras o grupos de sujetos, pueden quedar sesgados debido a esta clase de variables. Desde esta óptima, de carácter estrictamente metodológica, que plantearemos las posibilidades que ofrece la cuasi-experimentación dentro de los contextos aplicados en psicología y ciencias sociales y de la salud.

3 Diseños de Grupo Control No-Equivalente con Medidas Antes y Después. Supuestos Básicos y Modelos de Análisis. Universidad de Valencia M.Dolores.Frias@uv.es Pascual, J. y Frias, M.D. Los diseños con grupos de control son una variante o caso particular de la categoría de los llamados diseños cuasi-experimentales que, a su vez, siguiendo la definición propuesta por Pedhazur y Pedhazur (1991) son aquellos que controlan por manipulación la(s) variable(s) independiente(s) -al igual que los experimentos propiamente dichos- pero por razones varias -pragmáticas, éticas o de cualquier otra índole- no garantizan la asignación aleatoria de los sujetos a los tratamientos, con lo que resulta imposible asumir a priori la igualdad o equivalencia de los grupos de tratamiento con todo lo que eso implica de sesgo en la estimación (espuria) de los efectos experimentales. Estos diseños son a veces los únicos posibles en contextos naturales y aplicados, especialmente aptos para establecer relaciones de causalidad en la evaluación de programas de intervención social, educativa, clínica o de cualquier otra naturaleza. El esfuerzo de los metodólogos interesados por el tema se ha centrado en la obtención y mejora de modelos estadísticos para el control de las diferencias iniciales existentes entre los grupos de tratamiento, en un intento por modelar y controlar estadísticamente el sesgo de selección. No es este el único problema que plantean los diseños de grupo de control no equivalente, pues dado que en la mayoría de los casos, son diseños que se aplican en contextos aplicados, al sesgo de selección se le añaden otras variables que fácilmente pueden distorsionar la estimación correcta: la errónea implementación del tratamiento o programa, la atrición o la recepción incompleta del tratamiento son una pequeña muestra de ellos. En esta comunicación describiremos algunas de las soluciones propuestas para dar mayor validez interna y de conclusión estadística a este tipo de diseños, sean éstas de procedimiento o diseño (el bloqueo, las puntuaciones de cambio,...etc.), o de carácter analítico (ancova, modelamiento de la selección, etc.), que aportan un amplio espectro de posibilidades para que el uso de estos diseños de grupo de control no equivalente aporten información científicamente creíble.

4 Diseños de Series Temporales Interrumpidas en Evaluación de Programas Universidad de Barcelona Bono, R. En este estudio se presenta un enfoque basado en el uso de diseños de series temporales interrumpidas (DSTI) en la evaluación de programas. Los DSTI se caracterizan por una serie de observaciones y una intervención aplicada en un determinado punto del tiempo. Dicha intervención interrumpe la serie y el objetivo es hallar el patrón de cambio entre el período pre-tratamiento y posttratamiento. En los últimos años, dentro del contexto aplicado, estos diseños son apropiados para evaluar programas sociales o comunitarios (Galster et al., 2004), intervenciones educativas (Bloom, 2003), efectos de leyes o regulaciones legales (Sverdrup, 2003; White, 2003) o beneficios terapéuticos (Campbell, 1996). El propósito del análisis de series temporales interrumpidas es inferir la existencia de discontinuidad debida a la intervención o algún suceso externo. En el ámbito de evaluación de programas, se trata de hallar un estimador del impacto no sesgado por la influencia de otros sucesos que pueden influir en el comportamiento o en las condiciones a las que se dirige el programa. Esta comunicación constituye una contribución metodológica de las ventajas del uso de los DSTI en el contexto aplicado. Por un lado, el análisis de estos diseños evalúa la magnitud del impacto del tratamiento y, por otro, permite saber hasta cuándo está presente la acción del tratamiento. Además, también existen distintas variaciones de los DSTI con objeto de controlar las distintas amenazas a la validez inferencial. La principal dificultad es el factor historia que consiste en hechos o acontecimientos externos distintos al tratamiento que actúan en el punto de intervención y que pueden influir en los resultados. A pesar de sus limitaciones, se demuestra que los DSTI se aplican en un amplio rango de situaciones de intervención social, educativa y clínica.

5 Diseños Longitudinales de Medidas Repetidas Multivariados. Problemática Relativa a Los Modelos de Análisis Universidad de Oviedo gvallejo@uniovi.es Vallejo, G. Cuando los datos son recogidos desde n participantes distribuidos en p grupos independientes en dos o más características de los participantes a lo largo de q intervalos temporales o condiciones experimentales, tenemos un conjunto multivariado de datos repetidos. El análisis de tales datos es bastante complicado por la existencia de correlación tanto entre las medidas tomadas en puntos diferentes a tiempo como entre las variables dependientes. Mientras hay actualmente varios enfoques diferentes para realizar el análisis de estos datos, en la práctica un modelo mixto multivariado (MMM) o un modelo doblemente multivariado (DMM) son comúnmente usados (Naik y Rao, 2001). Ambos tipos de análisis requieren la normalidad de multivariada, la homogeneidad de las matrices de covariancia grupales, independencia de los participantes, esfericidad multivariada, ausencia de desgaste de muestra y covariantes independientes del tiempo. Bajo desviaciones de uno o más de los supuestos referidos dichos enfoques no controlan de manera adecuada las tasas de error de Tipo I, afectando con ello la validez y precisión de las inferencias. Por este motivo en la presente comunicación se discutirán algunos enfoques que superan parcial o totalmente los problemas referidos.

6 Alternativas de Análisis a la Prueba de Significación de la Hipótesis Nula en el Ámbito del Diseño Experimental y Cuasi-Experimental Universidad del País Vasco Nekane.Balluerka@ehu.es Balluerka, N. y Vergara, A.I. La prueba de significación de la hipótesis nula constituye el procedimiento más utilizado para contrastar hipótesis en el marco del diseño experimental y cuasi-experimental. Sin embargo, durante sus casi 70 años de existencia, ha estado rodeada de controversia. Partiendo de este contexto, en el presente trabajo se persiguen dos objetivos. En primer lugar, se revisarán las principales críticas que se han vertido en torno a la prueba de significación, los argumentos que rebaten cada una de tales críticas y las alternativas, complementarias o sustitutivas, cuyo uso recomienda la Task Force on Statistical Inference (TFSI) de la APA (Wilkinson y TFSI, 1999) para mejorar el modo de proceder de los investigadores en el marco del análisis estadístico e interpretación de los datos. En segundo lugar, tomando como referencia los datos de un diseño cuasi-experimental con grupo de control no-equivalente y de un diseño factorial aleatorio, se ilustrará cómo se estiman los principales índices alternativos a la prueba de significación de la hipótesis nula mediante un programa estadístico ampliamente utilizado en el ámbito de la investigación psicológica, como el SPSS. La exposición finalizará con una reflexión en torno a las medidas que, en lo que se refiere al análisis estadístico, se deberían adoptar para incrementar el rigor en la actividad investigadora.