EVALUACIÓN DE PROGRAMAS DE INTERVENCIÓN SOCIAL OTRA FORMA DE MIRAR A LOS NIÑOS

Transcripción

1 EVALUACIÓN DE PROGRAMAS DE INTERVENCIÓN SOCIAL OTRA FORMA DE MIRAR A LOS NIÑOS

2

3 EVALUACIÓN DE PROGRAMAS DE INTERVENCIÓN SOCIAL ENRIQUE REBOLLOSO BALTASAR FERNÁNDEZ-RAMÍREZ PILAR CANTÓN EDITORIAL SINTESIS

4 Consulte nuestra página web: En ella encontrará el catálogo completo y comentado Enrique Rebolloso Baltasar Fernández-Ramírez Pilar Cantón EDITORIAL SÍNTESIS, S. A. Vallehermoso, Madrid Teléfono: ISBN: Depósito legal: M Impreso en España. Printed in Spain Reservados todos los derechos. Está prohibido, bajo las sanciones penales y el resarcimiento civil previstos en las leyes, reproducir, registrar o transmitir esta publicación, íntegra o parcialmente, por cualquier sistema de recuperación y por cualquier medio, sea mecánico, electrónico, magnético, electroóptico, por fotocopia o cualquier otro, sin la autorización previa por escrito de los editores y de Editorial Síntesis, S. A.

5 Índice Introducción PARTE I DISEÑO DE POLÍTICAS Y PROGRAMAS DE INTERVENCIÓN SOCIAL Capítulo I. Políticas, programas y evaluaciones Conceptos clave Qué es la investigación de evaluación Evaluación e investigación social Desarrollo histórico de la investigación de evaluación Situación actual de la investigación de evaluación Características del proceso de evaluación Delimitación final del concepto de evaluación Capítulo 2. Propósitos y actividades principales del proceso evaluativo Conceptos clave Razones o motivos principales de las evaluaciones Propósitos de la evaluación Evaluación para la responsabilidad Evaluación para el desarrollo Evaluación para el conocimiento Actividades generales de evaluación Conceptualización y diseño Dirección y responsabilidad en la implementación Valoración de la utilidad del programa... 45

6 6 Evaluación de programas de intervención social 2.4. Diseño de la evaluación Elementos de decisión Diseño según el tipo de intervención social El proceso de intervención social Capítulo 3. Procedimientos diagnósticos Conceptos clave La evaluación de contexto dentro del proceso de intervención social Problemas sociales Métodos diagnósticos Evaluaciones proactivas Análisis de problemas Evaluación de necesidades Revisión de investigaciones Revisión de las mejores prácticas (benchmarking) Selección de la población objetivo Definición Conceptos Métodos para identificar la población objetivo del programa Entrevistas con informantes clave Foro comunitario Índices bajo tratamiento Indicadores sociales Entrevistas Técnicas de encuesta Registro de documentos o datos de archivo Censos comunitarios Capítulo 4. Evaluación de entrada y planificación del programa Conceptos clave Programas de intervención social El marco turbulento de las instituciones de servicios Contexto social de los programas Dificultades para la evaluación Objetivos de los programas Misión y objetivos de los programas Definición de los objetivos del programa Elementos del programa Planificación y ajuste de las evaluaciones La evaluación de entrada dentro del proceso de intervención social Evaluación de la evaluabilidad... 90

7 Índice Evaluaciones orientadas por la teoría Elementos de la teoría del programa El sistema de implementación PARTE II EVALUACIÓN SISTEMÁTICA DE LOS PROGRAMAS DE INTERVENCIÓN SOCIAL Capítulo 5. Evaluación de proceso y seguimiento del programa Conceptos clave Seguimiento del programa Implementación del programa Macroimplementación y microimplementación Seguimiento, composición y factores de la implementación La evaluación formativa de McClintock Seguimiento de la participación La evaluación de la implementación dentro del proceso de intervención social Evaluación para el desarrollo organizacional Capítulo 6. Estrategias para la evaluación de resultados e impactos Conceptos clave La evaluación de resultados e impactos dentro del proceso de intervención social La experimentación social La emisión de juicios de valor Criterios de valor y variables de resultado Capítulo 7. Diseños aleatorizados y no aleatorizados para las evaluaciones de resultados e impactos Conceptos clave Diseños aleatorizados Elección del diseño Ideas fundamentales Diseños no aleatorizados Diseños cuasiexperimentales Diseño de grupos unitarios para la evaluación de resultados e impactos

8 8 Evaluación de programas de intervención social PARTE III EVALUACIONES ECONÓMICAS Capítulo 8. Evaluación de la eficiencia Conceptos clave Evaluación de la eficiencia Aspectos esenciales en el ciclo de los programas o proyectos sociales Estado de pre-inversión Estado de inversión Estado de operación Puntos de vista analíticos Consideraciones diferenciales según los grupos de personas afectadas La perspectiva del participante objetivo La perspectiva del patrocinador del programa La perspectiva de la sociedad en su conjunto Identificación y estimación del valor de los componentes Categorización de costes Monetarios y no monetarios De capital y de operación Recurrentes y no recurrentes Manifiestos y escondidos Fijos y variables Añadidos y consumidos Directos e indirectos Medios y marginales Algunas cuestiones de interés analítico Escala del proyecto Unidades del análisis Estimación ajustada de costes Estimación de beneficios y costes futuros Destinatarios de costes y beneficios Críticas a los análisis de la eficiencia Beneficios psicológicos Valor de la vida humana Degradación de la vida humana Requerimiento de asunciones y estimaciones Falta de completitud Presentación e interpretación de resultados La demanda de información El informe de evaluación Papel del evaluador en los análisis de la eficiencia

9 Índice 9 Capítulo 9. Análisis coste-beneficio Conceptos clave Antecedentes del análisis coste-beneficio Marco analítico de referencia Definición del programa Formulación de objetivos y su traducción a declaraciones de evaluación Descripción de la población objetivo Identificación de alternativas Diferenciación del modelo de análisis Áreas sustantivas del ACB Estimación de la magnitud de los impactos Valoración económica de los impactos Agregación de costes y beneficios valorados Estimación de costes totales y promedio Puntos de vista analíticos en el ACB Un ejemplo de cálculo de coste-beneficio Sensibilidad de los resultados del ACB Consideraciones de interés en la estimación Duración del programa Compras de capital Funcionamiento en efectivo y funcionamiento de base acumulativa Cambios incurridos en los costes Práctica estándar de presupuesto Comparación de costes y beneficios Valor neto actual Tasa interna de retorno Relación coste-beneficio El tiempo en los análisis de la eficiencia Aspectos distributivos y éticos Ventajas e inconvenientes del ACB Capítulo 10. Análisis coste-efectividad Conceptos clave Antecedentes del análisis coste-efectividad Aplicación del ACE La cuantificación de beneficios en los programas sociales Metodología del ACE exante Primera fase. Definición del problema Segunda fase. Diagnóstico de la situación Tercera fase. Planteamiento de alternativas de solución Cuarta fase. Selección de la mejor alternativa

10 10 Evaluación de programas de intervención social Quinta fase. Elaboración del proyecto definitivo Sexta fase. Incertidumbre y tests de sensibilidad Séptima fase. Enmarque de los proyectos y programas en las prioridades sectoriales Metodología del ACE expost Primera fase. Identificación precisa de los objetivos del programa Segunda fase. Traducción de objetivos a indicadores y dimensiones cuantificables Tercera fase. Descripción de sujetos posiblemente afectados por el programa Cuarta fase. Establecimiento de las alternativas a evaluar Quinta fase. Medición de los recursos afectados en valores monetarios Sexta fase. Valoración comparativa de las alternativas La matriz de costes Costes totales Servicios anuales prestados (SAP) y oferta total anual (OTA) Coste por unidad de servicio (CUS) y coste por unidad de producto (CUP) Expresión final de la matriz Análisis integrado coste-efectividad Efectividad en el logro de los objetivos (ELO) Peso relativo asignado a cada objetivo (W) Relaciones coste-efectividad o coste-impacto (CUE) Diferencias en valores absolutos y en valores relativos Relaciones coste-efectividad de los sistemas Ventajas e inconvenientes del ACE El análisis coste-utilidad PARTE IV PROBLEMAS PRÁCTICOS Y CALIDAD DE LAS EVALUACIONES Capítulo 11. El movimiento cualitativo en evaluación Conceptos clave El debate cuantitativo-cualitativo Situación actual del debate Métodos combinados en evaluación Evaluaciones cualitativas Evaluación respondente Evaluación centrada en el uso Evaluación de caso único

11 Índice Evaluación de cuarta generación Evaluación democrática deliberativa Criterios de calidad de las evaluaciones cualitativas Capítulo 12. El uso de los resultados evaluativos Conceptos clave El concepto de uso Tipología de los usos La utilidad como criterio de calidad de las evaluaciones El problema del uso Problemas del uso en la fase diagnóstica Problemas del uso en la fase de planificación Problemas del uso en la fase de intervención Problemas del uso en la fase de evaluación de resultados Problemas del uso en la fase de utilización de los resultados Problemas del ambiente político Teoría de la influencia de las evaluaciones Estrategias para aumentar el uso El factor personal Cómo potenciar el uso político de las evaluaciones La difusión de resultados Los informes de evaluación El problema de las recomendaciones Evaluaciones internas de alto impacto Capítulo 13. Factores clave para aumentar el uso Conceptos clave Factores humanos Características del evaluador Características del usuario Factores contextuales Compromisos de evaluación preexistentes Hechos organizacionales Características del programa Factores de evaluación Procedimientos de evaluación Diálogo informativo Naturaleza de la información evaluativa Informe de evaluación Conclusión

12 12 Evaluación de programas de intervención social Capítulo 14. Concepto, procedimiento y criterios de metaevaluación Conceptos clave Concepto de metaevaluación Funciones de la metaevaluación Tipos de metaevaluación El proceso de metaevaluación Criterios de metaevaluación Criterios de calidad científica Normas profesionales Principios éticos de los evaluadores La lista de control de Scriven Criterios para evaluaciones sistemáticas Criterios para evaluaciones democráticas y emancipadoras Capítulo 15. El contexto social de las evaluaciones Conceptos clave El ambiente político de las evaluaciones Relaciones del evaluador con los demás grupos Relaciones del evaluador con los equipos gestores El miedo a ser evaluado La posición ética de los evaluadores Roles del evaluador Evaluaciones de pequeña escala La profesión de evaluador Bibliografía