Objetivos y formas de la evaluación de programas y proyectos con enfoque en la Evaluación de Impacto. Corinna Schopphoff, CICAP 27 de marzo de 2014

Tamaño: px

Comenzar la demostración a partir de la página:

Download "Objetivos y formas de la evaluación de programas y proyectos con enfoque en la Evaluación de Impacto. Corinna Schopphoff, CICAP 27 de marzo de 2014"

Josefina Torres Morales
hace 8 años
Vistas:

1 Objetivos y formas de la evaluación de programas y proyectos con enfoque en la Evaluación de Impacto Corinna Schopphoff, CICAP 27 de marzo de 2014

2 Definición de evaluación Significado cotidiano Se llega a un juicio de valor acerca de cualquier cosa, según algún criterio y de la manera que sea (Kromrey 2001: p. 106, trad.)

3 Definición de evaluación La evaluación de proyectos y programas aplica métodos empíricos de investigación de las ciencias sociales u otras disciplinas,... aplica procedimientos sistemáticos / comparativos para el procesamiento de los datos disponibles,... y aplica criterios transparentes para llegar a un juicio de valor acerca del beneficio y/0 de los resultados del proyecto o programa, para mejorar la toma de decisiones.

4 Objetivos de la evaluación Conocimiento Control Evaluación Desarrollo Legitimación (Stockman, 2011, pag. 30)

Dimensiones de una evaluación Evaluación formativa evaluación del concepto del programa identificación de problemas en el proceso de la implementación información para una mejor gestión del programa

5 Dimensiones de una evaluación Evaluación formativa evaluación del concepto del programa identificación de problemas en el proceso de la implementación información para una mejor gestión del programa Evaluación sumativa balance del insumo y resultado evaluación del logro de objetivos observación de efectos evaluación del beneficio creado para los grupos destinatarios Recomendaciones para la toma de decisiones

6 Dimensiones de la investigación evaluativa (Temporal-Analítico) Fases del proceso del programa Perspectiva del análisis Interés en el conocimiento Conceptos de la evaluación Fase de formulación / Planificación ex-ante Análisis para Políticas Ciencia para la Acción Preformativa/Formativa: activament formadora, orientada hacia procesos, constructiva Fase de implementación on-going (sobre la marcha) Ambos posibles Formativa/sumativa: ambos posibles Fase de Finalización final Análisis de Políticas Sumativa "Ciencia para el conocimiento" Fase de Impacto ex-post "Análisis de Políticas" Fuente: (Caspari 2004: 29, trad.) (Stockman, 2011: 27) "Ciencia para el conocimiento" Sumativa: resume, realiza balance, orientada hacia resultados

7 Perfil de la tareas por realizar en las evaluaciones Observación del proceso y del potencial Análisis del Alcance de los Objetivos (Efectividad) Observación de las causas Análisis- Impacto Sostenibilidad Análisis de Significancia/ Relevancia (Stockman, 2009:74)

8 Criterios para la evaluación Los criterios para la evaluación se orientan hacia el beneficio de: un objeto una línea de acción un proceso de desarrollo etc. para determinadas personas/grupos/actores. Corresponden a diferentes puntos de vista sobre lo que se evalúa. El objeto de la evaluación se investiga bajo el o los criterios elegidos y se emite el juicio de valor en base de estos criterios.

9 Criterios para la evaluación Sostenibilidad Son duraderos los resultados positivos? Pertinencia Estamos haciendo lo correcto? Criterios de evaluación OCDE-CAD Eficacia Estamos logrando los objetivos? Eficiencia Estamos logrando los objetivos con eficiencia? Impacto Estamos contribuyendo al objetivo superior?

Monitoreo y Evaluación Uso Objetivo Método Monitoreo levantamiento de datos como parte rutinaria de la intervención, normalmente a través de personal interno compara lo planificado (actividades,

10 Monitoreo y Evaluación Uso Objetivo Método Monitoreo levantamiento de datos como parte rutinaria de la intervención, normalmente a través de personal interno compara lo planificado (actividades, resultados) con la situación real de la intervención Recolección de data descriptiva según los indicadores de la intervención Evaluación actividad esporádica, en ocasiones especiales, normalmente a través de personal externo cuestiona conceptos y objetivos Métodos avanzados, implica análisis de causas y efectos Resultado Control de procesos Control estratégico Fuente: Gráfico adaptado de Stockmann/Meyer, 2013

11 MyE en el ciclo del proyecto Evaluación ex ante Actuar Monitorear / Evaluar Actuar Evaluación ex post Implementación Monitoreo / Seguimiento Planificar Efectos Planificar Efectos Evaluación final Evaluación durante

12 Evaluación de capacitación Qué es lo que se evalúa normalmente en proyectos de capacitación? Se evalúa la pertinencia de la oferta de capacitación? Se evalúa los conocimientos obtenidos de los participantes? Se evalúa la satisfacción con el curso? Se evalúa la aplicación de los conocimientos en la organización o institución? Se evalúa si la institución cuenta con las condiciones para aplicar lo aprendido y/o la apertura de introducir cambios? Se evalúa si la institución se ha fortalecido a través de la profesionalización del personal?

13 Definición Impactos Efectos de largo plazo positivos y negativos, primarios y secundarios, producidos directa o indirectamente por una intervención para el desarrollo, intencionalmente o no. OCDE-CAD (2002): Glosario de los principales términos sobre evaluación y gestión basada en resultados, p

14 Evaluaciones de impacto tratan de medir los cambios relevantes causados por el programa. Evaluación de Impacto Insumo Actividades Producto Efecto directo Corto plazo mediano plazo Impacto Gráfico adaptado de Caspari/Barbu (2008), p. 5. Se concentran tanto en los efectos de mediano plazo como en los impactos agregados y a largo plazo de una intervención. Toman en cuenta la situación contrafactual: Qué hubiera pasado SIN la intervención? Deben averiguar si los efectos observados son atribuibles a la intervención (diseños rigurosos). En el caso ideal: Identifican todos los efectos relevantes del programa: positivos / negativos; directos /indirectos; planificados / no planificados

15 Ejemplo: Programa de Educación Sexual % de embarazos en adolescentes Sin el programa } IMPACTO Con el programa Intervención Tiempo

16 Diseños para evaluaciones de impacto El diseño metodológico se juzga por su poder para establecer evidencias empíricas acerca de la existencia de una relación causal entre el programa y los resultados observados (E. Montero) El poder para establecer una relación causal depende de cuán bien el diseño estima al contrafáctico. Diseños metodológicos: Experimentos Cuasi-experimentos No experimentales (Pretest-posttest sin grupo de control)

17 Modelo de Resultados de CADESAN (ejemplo simplificado) Evaluación de Impacto Insumo Producto Actividades Aprovechamiento del producto Corto plazo Efecto directo Mediano plazo Impacto Asesores; Financiamiento; Infraestructura; Normas; Etc. Análisis de las necesidades y demanda de capacitación para servidores públicos; Intercambios y talleres entre los actores principales; Desarrollo de nuevos currículos; Etc. Oferta de formación y capacitación de los servidores públicos según necesidades y demanda para la descentralización Instituciones de capacitación aplican los nuevos currículos Las entidades subnacionales mandan sus funcionarios a las capacitaciones Los conocimientos y las habilidades de los egresados se adecuan a las necesidades de las entidades subnacionales Fortalecidas las capacidades para la descentralización de las entidades subnacionales Mejorado el servicio a la sociedad Mejorada la gobernanza del país

18 Definición Impacto en el Desarrollo Institucional Medida en que una intervención mejora o debilita la capacidad de un país o región de hacer uso más eficiente, equitativo y sostenible de sus recursos humanos, financieros y naturales, por ejemplo, a través de : a) mecanismos institucionales mejor definidos, más estables, transparentes y aplicados de manera eficaz y previsible y/o b) mejor ajuste de la misión y la capacidad de una organización con su mandato, que se deriva de estos mecanismos institucionales. Estos impactos pueden incluir los efectos intencionales o no intencionales de una acción. OCDE-CAD (2002): Glosario de los principales términos sobre evaluación y gestión basada en resultados, p

19 Preguntas de reflexión Cuándo sería el momento ideal para una evaluación de impactos? Ya se han creado las condiciones para realizar una evaluación de impacto luego? Tenemos claro nuestra teoría de intervención? Tenemos un sistema de monitoreo orientado a los impactos? Qué nivel debe tener la evaluación de impacto (micro nivel institucional, meso nivel territorial, macro nivel país)?

Documentos relacionados

Evaluación de impacto y gestión para resultados

Sesión de formación I: Evaluación de impacto y gestión para resultados Laura Rawlings Banco Mundial Objetivos de la sesión 1 2 3 Enfoque global en resultados Monitoreo vs. Evaluación Evaluación de impacto