El Marco de Resultados: Las sutiles diferencias entre las actividades, los productos, y los resultados e impactos de un programa

Transcripción

1 TALLER DE EVALUACIÓN DE IMPACTO El Marco de Resultados: Las sutiles diferencias entre las actividades, los productos, y los resultados e impactos de un programa Christian Borja Vega Banco Mundial 4 de Abril de 2017 Guatemala

2 ANTES DE COMENZAR CURIOSIDADES SOBRE GUATEMALA GUATEMALA ES EL PAÍS EXPORTADOR #1 DEL MUNDO DE ARVEJA CHINA A ESTADOS UNIDOS. GUATEMALA HA SIDO SELECCIONADA POR LA BRITISH BROADCASTING CORPORATION (BBC) COMO DE LOS MEJORES DESTINOS VACACIONALES DEL MUNDO EN EL SEGMENTO CULTURAL. ES EL 2DO PAÍS MÁS EFICIENTE PARA PRODUCIR CAÑA DE AZÚCAR Y EL 5TO EXPORTADOR MÁS GRANDE DEL MUNDO. GUATEMALA LA MAYOR VARIEDAD DE CONÍFERAS MADERABLES

3 NO PREGUNTAR SÓLO: FUNCIONÓ EL PROGRAMA? SINO TAMBIÉN: POR QUÉ FUNCIONÓ?

4 HERRAMIENTAS CONCEPTUALES SIMILARES

5 CADENA DE RESULTADOS Insumos Actividades Productos Resultados Inter-medios Resultados Implementación (OFERTA) Resultados (DEMANDA + OFERTA)

6 CADENA DE RESULTADOS SIMPLIFICADA Las Evaluaciones de Impacto identifican esta relación PROGRAMA RESULTADOS INTERMEDIOS RESULTADOS Teoría de Cambio

7 TEORÍA DE CAMBIO De qué se trata el programa? Formula las preguntas correctas Qué impacto se espera lograr con el programa? Cómo se espera que el programa logre ese impacto?

8 PREGUNTA 1: DE QUÉ SE TRATA EL PROGRAMA? PROGRAMA RESULTADOS INTERMEDIOS RESULTADOS

9 PROGRAMA INSUMOS Gente, dinero, provisiones ACTIVIDADES Construcción de instalaciones RESULTADOS Instalaciones para lavarse las manos

10 PREGUNTA 2: QUÉ IMPACTO SE ESPERA LOGRAR CON EL PROGRAMA? PROGRAMA RESULTADOS INTERMEDIOS RESULTADOS

11 RESULTADOS MENOS DIARREA MENOS ANEMIA MENOS MORTALIDAD INFANTIL MEJOR DESARROLLO INFANTIL

12 PREGUNTA 3: CÓMO SE ESPERA QUE EL PROGRAMA LOGRE ESE IMPACTO? PROGRAMA RESULTADOS INTERMEDIOS RESULTADOS

13 RESULTADOS INTERMEDIOS LA GENTE USA Y SE BENEFICIA CON EL PROGRAMA SE LAVAN LAS MANOS MENOS GERMENES EN LAS MANOS

14 CADENA COMPLETA DE RESULTADOS PROGRAMA Insumos: gente, dinero, provisiones Actividades: Construcción Producto: Instalaciones para lavarse las manos RESULTADOS INTERM. La gente se lava las manos Menos gérmenes en las manos RESULTADOS Menos diarrea y anemia Menos mortalidad infantil Mejor desarrollo infantil

15 SI MIDIÉRAMOS SÓLO LA MORTALIDAD INFANTIL Y NO HUBIERA CAMBIOS, QUÉ NOS DICE ESTO?

16 QUE EL PROGRAMA NO SE IMPLEMENTÓ APROPIADAMENTE?

17 QUE LA GENTE NO LO USÓ APROPIADAMENTE?

18 O QUE NO REDUJO LA DIARREA, LA ANEMIA, ETC.?

19 CONCLUSIONES PREGUNTARSE NO SÓLO QUÉ, SINO CÓMO Y MEDIRLO!

20 OTROS EJEMPLOS MANUALES ESCOLARES

21 PROGRAMA? RESULTADOS INTERMEDIOS RESULTADOS

22 PROGRAMA RESULTADOS INTERMEDIOS RESULTADOS?

23 CUÁL DE LOS SIGUIENTES ES UN IMPACTO DEL PROGRAMA? A. LOS ALUMNOS ESTÁN HACIENDO SUS TAREAS. B. LOS MANUALES ESTÁN SIENDO ENTREGADOS A LAS ESCUELAS. C. LOS ALUMNOS TIENEN MEJOR RENDIMIENTO ESCOLAR. D. LOS NIÑOS ASISTEN A LA ESCUELA MÁS DÍAS EN EL MES.

24 CUÁL DE LOS SIGUIENTES ES UN RESULTADO INTERMEDIO DEL PROGRAMA? A. LOS MANUALES ESTÁN SIENDO ORDENADOS A LA EDITORIAL. B. LOS MANUALES SE ESTÁN ENTREGANDO A LAS ESCUELAS. C. LOS ALUMNOS ESTÁN USANDO LOS MANUALES. D. LOS ALUMNOS TIENEN MEJOR RENDIMIENTO ESCOLAR.

25 PROGRAMA Actividades: Distribuir manuales Producto: Manuales disponibles en la escuela RESULTADO INTERMEDIO Maestros y alumnos usan los manuales RESULTADO Mejor aprendizaje

26 Tipo de Programa Actividades Resultados Resultados Intermedios Resultados Educación o Capacitación de los maestros o Maestros capacitados en nuevos métodos o Manuales entregados o Nuevos métodos usados en clase o Mayor uso de los manuales o Mayores puntajes en los exámenes Salud o Nuevos médicos contratados o Asistentes de parto capacitadas o Nuevos doctores ejerciendo o Asistentes aplicando nuevos métodos o Mayor uso de clínicas de salud para dar a luz o Menor mortalidad materna Protección Social y Empleo o Transf. monet condic. (TMC) entregadas o Sistema de selección o Manejo de Sistemas de Información o TMCs entregadas a los hogares objetivos de acuerdo con las condiciones o Mayor consumo de alimentos o Mayor visita de los niños a las clínicas o Menos pobreza o Menos mortalidad infantil

27 OTROS EJEMPLOS CADENA DE RESULTADOS LOS PROGRAMAS BUSCAN RESULTADOS ESPECÍFICOS EN TEMAS COMPLEJOS; ALGUNOS PROGRAMAS COMBINAN MÚLTIPLES INTERVENCIONES; LAS CADENAS DE RESULTADOS PUEDEN AYUDAR A INDENTIFICAR CÓMO Y POR QUÉ LOS COMPONENTES DEL PROGRAMA PUEDEN LLEVAR, CUANDO SE COMBINAN, A CIERTOS RESULTADOS; FACILITAN LA COMPRENSIÓN DE PROGRAMAS COMPLEJOS.

28 EJEMPLO: EL PELIGRO DE LA MATERIA FECAL La contaminación fecal es la mayor fuente de infecciones diarreicas Abastecimiento de agua Saneamiento Fluidos Higiene Faeces Dedos Mosca s Alimen -tos Campos/ Pisos

29 PROGRAMA? RESULTADOS INTERMEDIO RESULTADO Abastecimiento de agua + Saneamiento + Higiene

30 PROGRAMA RESULTADO INTERMEDIO RESULTADO Cuál es el impacto? Qué se espera lograr con el programa? Mejoraría la salud si el programa sólo proveyera agua de calidad? Si no se produce cambio de comportamiento y la infraestructura de saneamiento es pobremente provista, la gente puede todavía mostrar pobres resultados en salud Mejoraría la salud si el programa sólo proveyera infraestructura de saneamiento? Si no se provee agua de calidad y no se produce un cambio de comportamiento, la gente puede todavía mostrar pobres resultados en salud Mejoraría la salud si el programa generara elementos que dispararan un cambio de comportamiento? Si la calidad del agua y la infraestructura sanitaria son probremente provistas, la gente todavía puede mostrar resultados pobres en salu La cadena de resultados puede ayudarnos a entender la contribución de cada componente del programa a los resultados deseados

31 Ejemplo: Intervención combinada de educación, salud y agua potable Insumos Productos Resultados Impacto Dinero Personal Tecnología Litros de agua potable purificada Cantidad de telas antimosquiteras para camas vendidas Número de estudiantes graduándose de la escuela Menor incidencia de diarrea Menos casos de malaria en la comunidad Mayor tasa de alfabetización Prueba de que los resultados no se hubieran logrado si no fuera por la intervención ( contrafactual ) Las Evaluaciones de Impacto ayudan a entender cómo y porqué los componentes (individual y colectivamente) contribuyen a los impactos deseados

32 EJEMPLOS CADENA DE RESULTADOS EN AYS INSUMOS Y ACTIVIDADES PRODUCTOS Y RESULTADOS INTERMEDIOS RESULTADOS FINALES Construcción o expansión de redes de acueducto Conexiones domiciliarias de agua Bombas de agua rurales Subsidios de conexiones Construcción o expansión de redes de alcantarillado Plantas de tratamiento de aguas residuales Construcción o subsidios de baños Aumenta el acceso a servicios de Agua y Saneamiento Mejora en la disponibilidad, cantidad y/o calidad de agua disponible Mejoras en los comportamientos de higiene (lavado de manos, reduccion de deposicion al aire libre, uso de agua hervida para consumo) Reducción en la mortandad y morbilidad de niños pequeños ( por diarrhea, y otras enfermedades respiratorias y gastrointestinales) Mejoras nutricionales en niños Ahorros por gastos medicos no realizados Ahorros en tiempo de viajes para recolección de agua

33

34

35 POR QUÉ NOS SIRVE PARA ENTENDER COMO OPERA EL PROGRAMA? Definir objetivos y metas Asigna indicadores a etapas clave del programa Permite visualizar el concepto y el diseño del programa Ayuda a definir responsabilidades

36 GRACIAS PREGUNTAS?