TEMA 3 Metodología y diseños en Evaluación de Programas

Transcripción

1 TEMA 3 Metodología y diseños en Evaluación de Programas Contenidos 1. Clasificación de diversas metodologías 2. Cualitativo frente a cuantitativo 3. Metodologías según el grado de control 4. Nuevos procedimientos metodológicos 1. CLASIFICACIÓN DE DIVERSAS METODOLOGÍAS Aspectos relevantes para elegir la metodología a seguir (De Miguel, 2000) Objeto de la evaluación: Todo el programa o una parte Finalidad: Sumativa o formativa Momento de la evaluación: antes o después Accesibilidad y disponibiliad de información relevante Relación del evaluador con el programa: evaluación interna o externa Diseños Anguera (1992) Estrategia o plan a seguir, dónde se explica la ecuencia de decisiones acerca de cómo recoger, ordenar y analizar los datos en función de los fines del programa De Miguel (2000) Procedimiento metodológico que permita constatar los efectos obtenidos mediante un programa

2 CLASIFICACIÓN DE MÉTODOS PLAN Preordenado Emergente EXPERIMENTAL CUASI SELECTIVA OBSERVACIONAL METODOLOGÍA COMPARATIVOS: ALEATORIOS CONSTRUÍDOS ESTADÍSTICOS SISTEMAS DE CONTROL De Miguel, 2000 NO COMPARATIVOS GENÉRICOS REFLEXIVOS EN LA GRADO DE CONTROL Cualitativos Estudios observacionales Estudios selectivos Estudios cuasi-experimentales Estudios experimentales PARADIGMA ADOPTADO Diseño preordenado Diseño respondente PROCEDIMIENTO DE CONTROL Comparativos No comparativos Diseño preordenado Parte de un modelo teórico formalizado Especificado mediante un diseños

3 Con detalle de todos los elementos del proceso A partir de la hipótesis se elabora un plan cerrado Objetivo: ejecución del proceso Fin: obtener validez de los resultados El proceso sigue los cánones de la lógica científica aplicada a la investigación social Diseño respondente Parte de un marco teórico flexible Criterio evaluativo: Valoración de los implicados Objetivo fundamental: Evaluar el significado del programa para las distintas audiencias Estructura flexible para adecuarse a los cambios que se dan en la evaluación Permite reconducir cada etapa en función de las observaciones que se producen en la etapa anterior Clasificación de diseños en función del procedimiento de control Cuando la evaluación no contempla únicamente el impacto, sino que valora aspectos como el proceso de detección de las necesidades, el diseño del programa efectuado y la implementación realizada, cabe recurrir a otros procedimientos no experimentalistas DISEÑOS COMPARATIVOS Son aquellos en los cuales la información obtenida sobre el programa es comparada con la obtenida en otros grupos no sometidos a intervención. La forma de elección de estos grupos redunda en la potencia del diseño. DISEÑOS NO COMPARATIVOS Se usan diversos procedimientos de comparación: Normas sobre la población de referencia o la valoración de participantes y no participantes (controles en la sombra) realizan sobre el programa.

4 2. LA POLÉMICA CUALITATIVO / CUANTITATIVO CUALITATIVO FRENTE A CUANTITATIVO No se diferencian en contenido Se diferencian en procedimiento y tratamiento de la información Cualquier información puede cuantificarse Perspectiva cuantitativa Sólo la cuantificación produce material adecuado Perspectiva cualitativa Imposibilidad de eliminar la subjetividad Métodos complementarios Investigación exploratoria o confimatoria Contexto de descubrimiento o de justificación Qué procedimiento elegir. Criterios: El contacto personal que requiera la técnica La necesidad de personal entrenado Costes económicos y de tiempo Calidad de los datos que se quieran recoger Diferencias de los métodos en Evaluación de Programas CUANTITATIVOS Objetividad Generalidades Obtención de datos Diseño planificado Programas de gran alcance Evaluación de resultado CUALITATIVOS Subjetividad de implicados representativos Particularidades Obtención de discursos Diseño emergente Programas locales Evaluación de proceso

5 Criterios de rigor en las metodologías cuali/cuantitativas Rodríguez, 2000 Aspecto Valor de verdad Término científico Término naturalista Validez interna Aplicabilidad Validez externa Credibilidad Transferabilidad Consistencia Fiabilidad Seguridad Neutralidad Objetividad Confirmabilidad 3. METODOLOGÍA SEGUIDA EN FUNCIÓN DEL PROCEDIMIENTO DE CONTROL Metodología cualitativa Técnicas interpretativas que tratan de describir y decodificar un fenómeno de ocurrencia natural Más orientados a determinar el significado del fenómeno que su cuantificación Defienden la existencia de relaciones abiertas. Permite conocer la percepción que los sujetos tienen de su realidad MÉTODOS DE INVESTIGACIÓN CUALITATIVA (De Miguel Badesa, 2000) Método descriptivo observacional Describe, analiza, interpreta y registra situaciones naturales, no modificadas Observacional: observación de la realidad Método comparado Análisis y establecimiento de semejanzas y diferencias entre aspectos que merecen compararse Describe, identifica, yuxtapone y mide problemas, comparándolos Método de análisis de contenido Identificar las características de un mensaje

6 Obtener categorías de datos para clasificación, resumen y tabulación. Identifica rasgos y valores Criterios para la utilización de métodos cualitativos (Pérez LLantada y López de la Llave, 1999) Falta probada de instrumentación cuantitativa Investigación evaluativa exploratoria Evaluación de proceso Evaluación de resultados individualizados Evaluación de la calidad, para validar aspectos no susceptibles de contabilización Axiomas comunes (Anguera, 1995) Concepción múltiple de la realidad Principal objetivo científico: comprensión de la teoría Interacción entre el investigador y el objeto de la investigación Pretensión ideográfica Simultaneidad Los valores están implícitos en la investigación Exigencias metodológicas (Anguera, 1995) Validez semántica de la investigación Relevancia, representatividad y plausibilidad de los datos Validez hermeneútica de la investigación Fundamentación teórica de la investigación y de los análisis e interpretación que incluya Validez pragmática Dinámica relacional de la investigación Diseño en investigación cualitativa (Valles, 1997) Diseño emergente No se establece al comienzo del estudio, sino que surge a medida que se recogen los datos y se hacen los análisis

7 Flexibilidad Permite modificar los planes conforme va avanzando la investigación Fases y tareas en un diseño emergente Fase de reflexión Identificación del tema de estudio Identificación de perspectivas paradigmáticas Fase de planteamiento Selección del contexto y estrategia Preparación del investigador Escritura del proyecto Fase de entrada Selección de informantes y casos Realización de entrevistas y observaciones Fase de recogida productiva y análisis preliminar Fase de salida del campo y análisis intenso Fase de escritura Fiabilidad Fiabilidad diacrónica Estabilidad de la medida en el tiempo Fiabilidad sincrónica Constancia o consistencia, en el mismo tiempo pero usando diversos instrumentos Fiabilidad de procedimiento: Calidad del registro Uso de notas formalizadas para incrementar la posibilidad de comparación Uso de guías en las entrevistas Entrenamiento de los observadores

8 Fiabilidad: Necesidades Necesidad de explicar la génesis de los datos de forma que permita diferenciar lo que pertenece al sujeto de estudio y la interpretación dada por el investigador. Necesidad de entrenamiento y chequeos a lo largo del tiempo para mejorar la posibilidad de comparación entre observadores y entrevistadores Validez Que el investigador vea lo que pretende ver Problemas Cómo asegurar la relación que se estudia y la versión que de ella da el investigador La producción misma de los datos es el punto de partida para juzgar su validez Análisis de la situación de entrevista para determinar si la información recibida está sesgada Validación comunicativa: segundo encuentro tras la transcripción de la entrevista Validez del procedimiento El investigador debe escuchar y no hablar Debe tomar notas Las notas deben ser claras para que otros las interpreten igual El informe debe ser completo y sin interpretaciones Debe buscar retroalimentación con otros colegas Triangulación Tratar un fenómeno, combinando diferentes: Métodos Grupos de estudio Ambientes y tiempos Perspectivas teóricas

9 Tipos de triangulación Triangulación de los datos: Uso de diferentes fuentes de datos Estudiar un fenómeno con diferentes sujetos, tiempos, lugares y ambientes Triangulación del investigador: Diferentes entrevistadores y observadores Triangulación teórica: Acercarse a los datos desde diversas perspectivas Triangulación metodológica, intra e inter método: Intra: uso de diferentes subsescalas de un cuestionario IInter: Recoger datos mediante encuesta y entrevista en profundidad OBSERVACIONALES Programas implementados en contextos naturales Clasificación según el sistema de recogida de datos y el grado de participación del observador Dimensiones (Anguera, 1999) Usuarios del problema Naturaleza de los datos Momento temporal (registro puntual o de seguimiento Qué es observar O = P + I + Cp S O: Observación P: Percepción I: Interpretación CP: Conocimiento previo S: Sesgos Características Comportamiento espontáneo Contexto natural / habitual Enfoque preferentemente ideográfico Ausencia de instrumentos estándar

10 Continuidad temporal Perceptibilidad total (o parcial) Tipos de observación: Criterios Cientificidad Participación Nivel de respuesta Sistematización del registro Perceptibilidad de la observación Delimitación de objetivos Criterios de bondad: comparación Validez observacional De contenido: En qué medida se recoge el dominio conductual De constructo: Grado en que las categorías de conducta reflejan un constructo En función de las categorías: Inferencial: Validez de constructo y de contenido No inferencial: Sólo validez de contenido Fiabilidad En psicometría, es la concordancia entre una medida y el valor verdadero En observacional, se desconoce el valor verdadero, por lo que se plantea un abordaje aproximado Concordancia: Asociación entre registros. Valores porcentuales, entre 0 y 100. Acuerdo: Covariación entre registros. Índices correlaciones con valores entre -1 y +1 SELECTIVOS Intervenciones dirigidas a colectivos, seleccionados o no aleatoriamente Se especifican los criterios para diferenciar entre grupos Se concretan informaciones precisas sobre el programa y los elementos a utilizar

11 Objetivo: Obtener información para describir las características sociológicas o psicológicas de una población Elementos de la investigación por encuesta VALIDEZ DE LA INVESTIGACIÓN POR ENCUESTAS Validez interna Calidad de la encuesta: Ausencia de errores Validez externa capacidad del investigador para generalizar los hallazgos más allá de la muestra de individuos, tiempo y lugar Se debe Establecer el diseño del muestreo Determinar el número de casos necesarios para el estudio Terminología básica Población: Conjunto de todos los casos de interés para los objetivos de la investigación planteada Población objetivo: Conjunto de individuos al que queremos generalizar los hallazgos obtenidos Población marco Aquella operacionalizable o de la que hay algún listado o alguna forma de acceder a ella Población de estudio: Aquella que realmente estudiamos Muestras Muestra Subconjunto de la población que se utiliza para obtener información acerca de ésta Muestra representativa

12 Subconjunto de una población que tiene las mismas características generales que la población Muestra sesgada Aquella en la que la distribución de las características es sistemáticamente diferente de la de la población Ex post facto El investigador no puede manipular la VI ni asignar aleatoriamente los sujetos a los grupos Se selecciona a los sujetos en función de que posean o no determinadas características Las VI pueden ser Organísmicas. Ej: sexo, edad, inteligencia Ajenas al organismo. Ej: Pertenecer a un sistema educativo Establecimiento de relaciones causales Existencia de covariación entre la VI y la VD La VI debe anteceder a la VD Se debe poder descartar explicaciones alternativas En los diseños ex post facto sólo se cumple el primer requisito (y a veces el segundo) Tipos de hipótesis Comparación de grupos Hipótesis en las que se formula relación diferencial entre grupos Ejemplo: Los sujetos con inteligencia media tienen mayor satisfacción laboral NO: La inteligencia alta causa insatisfacción laboral Otros diseños Hipótesis de carácter relacional Ejemplo: Existe una relación lineal entre aspiración académica y rendimiento

13 Procedimientos de control Emparejamiento de los sujetos en función de una variable relevante Seleccionar para cada grupo sujetos con niveles iguales en variables extrañas Análisis de covarianza Introducción de variables relacionadas con la VD Utilización de varias variables dependientes Tipos de diseño ex post facto Diseños retrospectivos Cuando tanto la VD como la VI ya han ocurrido Diseños prospectivos Cuando la VI ya viene dada, pero no se evaluado sus posibles consecuencias METODOLOGÍA EXPERIMENTAL Objetivo primordial Búsqueda de explicaciones causales Única fuente de variación la debida a la VI Características Manipulación de la variable independiente Control de variables extrañas Asignación aleatoria de los sujetos a los grupos Control experimental Capacidad del experimentador para producir fenómenos en condiciones totalmente reguladas Se precisa: Definir la VD Elegir la VI Eliminar o controlar las VE

14 PRINCIPIO MAX-MIN-CON Varianza VD = Sistemática + error Sistemática = Primaria + Secundaria Maximizar la varianza primaria Obtener el mayor efecto de la VI sobre la VD Minimizar la varianza de error Varianza error: variabilidad en la VD debida a fluctuaciones aleatorias Controlar la varianza secundaria Varianza secundaria: influencia de VE incontroladas Fuentes de variación de la varianza total Maximización de la varianza primaria Elección de valores extremos de la variable Método cuando la relación entre VI y VD es lineal Elección de valores óptimos Ante relación no lineal entre las variables Elección aleatoria de posibles valores Cuando se trabaja con variables poco estudiadas Minimización de la varianza error Errores de medida: utilización de instrumentos de medida de probada bondad Diferencias individuales: asignación aleatoria de los sujetos a las unidades experimentales Aumento de los tamaños muestrales Errores de procedimiento: mejora de las instrucciones Control de la varianza secundaria VALIDEZ Teórica El problema planteado y sus soluciones se derivan de teorías bien establecidas Interna

15 Garantía de que los cambios producidos en la VD se deben exclusivamente a la VI Externa Posibilidad de generalizar los resultados De conclusión estadística Confianza con la que podemos inferir covariación entre variables mediante pruebas estadísticas De constructo Inferir constructos a partir de relaciones causa-efecto Experimentales Diseños que cubren todos los requisitos de experimentalidad. Tipos: Diseño entre grupos Diseños factoriales: Entran en juego al menos dos variables con al menos dos niveles por variable. Diseños de medidas repetidas. Cuasi-experimentales Programas donde existe un elevado grado de control sobre la intervención, pero aplicado a sujetos sin asignación aleatoria. Tipos: Diseños pretest postest Diseño de grupo de control no equivalente, Diseños de cohortes Diseños sin grupo de control Diseños de discontinuidad en la regresión:. Diseños de series temporales interrumpidas: Existe más de una medida de la variable dependiente en las diversas fases de la implantación del programa 4. OTRAS METODOLOGÍAS EVALUACIÓN MULTIMÉTODOS Uso conjunto de estudios de casos con otros métodos más complejos.

16 Estudio de caso: método para aprender mediante un ejemplo, basado en el entendimiento exhaustivo del mismo, obtenido mediante la descripción y el análisis en extenso del ejemplo, tomado como un todo y en su contexto. Puede llevar a una mejor evaluación, siempre que La selección de métodos sea parsimoniosamente apropiada a los problemas planteados en la evaluación. Se tenga un cuidado exquisito en anticipar amenazas a la integridad del diseño multimétodo, la recogida de datos, su análisis e informe, así como los problemas éticos y la seguridad de la calidad. Se tenga un cuidado riguroso de asegurar el valor que el estudio de caso y los otros métodos examinado contribuyen a la evaluación. SÍNTESIS ENTRE DISEÑOS La comparación entre diseños es útil cuando: Para algunos problemas de evaluación no hay único diseño ideal. Puede resultar útil sintetizar resultados de diseños totalmente diferentes pero complementarios. Se necesita una estrategia específica para captar los mejores aspectos de los diversos diseños. EVALUACIÓN DE RESPONSABILIDAD COMPARTIDA Es el uso de conceptos, técnicas y hallazgos de evaluación para favorecer el perfeccionamiento y la auto determinación. Sigue metodología cualitativa y cuantitativa. Está diseñada para ayudar a los distintos implicados de un programa, para mejorarlos, usando la auto evaluación y la reflexión Pasos: Determinar aspectos positivos y negativos del programa Establecimiento de objetivos. Desarrollo de estrategias para enseñar a los participantes a establecer sus propias estrategias para alcanzar los objetivos del programa.

17 Ayudar a los participantes del programa a determinar el tipo de evidencia requerida para documentar el progreso hacía los objetivos. Se requiere una atmósfera sincera, honesta, autocrítica y de apoyo. Un evaluador externo puede hacer que la evaluación interna sea creíble y útil, aportando rigor y controles de calidad a través de la evaluación. Evaluación interna y externa se potencian la una a la otra. Se enmarca en una perspectiva de enfoque múltiple de E.P. Es un proceso democrático, dónde se invita a la participación y se examinan los problemas de la comunidad entera en un forum abierto. La evaluación del valor del programa no supone el punto final, sino que es parte de un proceso de mejora del programa. Se basa en los principios de verdad y honestidad EVALUACIÓN DE CONGLOMERADOS Es la evaluación de un programa que se dirige a diversos ambientes, con el fin de obtener un cambio general común. Cada proyecto es relativamente autónomo y desarrolla su propia estrategia para alcanzar la meta del programa. Audiencias para las que sirve Directores del programa, responsables de tomar decisiones sobre el programa actual y sobre implementaciones futuras. Personal encargado de implementar cada uno de los proyectos en los ambientes concretos. Características Es holístico Está dirigido a objetivos Busca la generalización de los hallazgos Incluye comunicación y colaboración entre los realizadores de los proyectos Ventajas y limitaciones Proporciona un marco de referencia donde es posible establecer evaluación formativa y sumativa

18 Incluye perspectivas múltiples Permite información que trasciende a los proyectos individuales Los diversos evaluadores de los proyectos deben trabajar en colaboración directa para que la evaluación global del conglomerado no pierda valor. Referencias Anguera, M.T. (1992) De Miguel, M. (2000) Evaluación externa de un programa de educación social. En G. Pérez (coord) Modelos de Investigación cualitativa. Madrid: Narcea