Estrategias de Monitoreo y Evaluación de Impacto en programas de SAN: El caso del Plan del Pacto Hambre Cero International Food Policy Research Institute www.ifpri.org Avanzando la Agenda de la Seguridad Alimentaria y Nutricional en los países de la región de Centroamérica San Salvador, 11 de setiembre del 2014
Contenido 1. Importancia de la evaluación de impacto y monitoreo 2. Retos en una evaluación de impacto 3. El Plan del Pacto Hambre Cero (PPH0) 4. Objetivos de la Evaluación de Impacto y monitoreo 5. Instituciones Involucradas 6. Estrategia de Evaluación de Impacto 7. Plan de Trabajo 8. Temporalidad de Resultados 9. Implementación de Encuestas 10. Resultados de la Segunda Encuesta (2013)
1. Por qué una evaluación de impacto? 1. Evidencia de que sí funciona: Cuánto mejoró la situación de la población objetivo debido al programa? 2. Rendición de cuentas y transparencia Cuáles fueron los resultados? 3. Herramienta de gestión Seguimos invirtiendo en el programa? 4. Permite fundamentar la sostenibilidad Es el programa costo-efectivo? 5. Justifica la expansión Podemos expandir el programa a otras áreas?
1. Por qué un monitoreo? 1. Rendición de cuentas y transparencia en la implementación Cómo opera y cómo se viene implementando el programa? 2. Seguimiento continuo a indicadores intermedios de interés La cobertura del programa es según lo planificado? 3. Fundamental para tomar acciones correctivas Se debe hacer algún cambio en el sistema de implementación? 4. Provee información critica para la toma de decisiones Cómo es el proceso de adopción de los servicios provistos? Cuál es la calidad de los servicios (si aplica)?
2. Retos en la evaluación de impacto: el contrafactual Comparar situación de beneficiarios con el programa (P) vs. situación sin el programa (SP). Antes de programa (2012) Después de programa (2014) Beneficiarios A: $100 gasto alimentos P: $140 gasto alimentos SP:? 140 -? Grupo de Control Situación observable Situación no observable B: $100 gasto alimentos P:? SP: $120 gasto alimentos Impacto del programa: (140-100) (120-100) = $20
Cómo se obtiene el contrafactual? Selección aleatoria Selección NO aleatoria Población objetivo Beneficiarios Población objetivo Beneficiarios Impacto Otra Población Impacto Encontrar parejas para garantizar la comparabilidad Control Control Control Buscamos encontrar individuos comparables (con las mismas características), que difieran sólo en el tratamiento. Se busca aislar las demás características para hallar el impacto del programa.
2. Retos en la evaluación de impacto: temporalidad de los efectos Se requiere realizar una encuesta de línea de base y por lo menos una encuesta de seguimiento. 2012 Intervenciones 2013 2014 Encuesta de línea de base - Transferencias condicionadas - Charlas informativas de salud Encuesta de seguimiento I Encuesta de seguimiento II $200 60% Consumo alimentos $100 Situación inicial 20% Visitas doctor 40% Corto Plazo $100 Mediano Plazo
2. Retos en la evaluación de impacto: conjunto de intervenciones Además de la heterogeneidad de la población objetivo, es posible (común) que no todos los beneficiarios reciban el mismo conjunto de intervenciones y la secuencia de intervenciones puede también ser distinta. Por ejemplo, dentro de un área focalizada Nivel de intervenciones (Intensidad de tratamiento) SC1.1 Servicios de salud y nutrición SC2.1 Transferencias condicionadas SC1.2 Charlas informativas de salud SC3.1 Acceso a crédito SC2.2 Alfabetización SC1.3 Provisión de alimentos fortificados Grupo 1: Control? Grupo 2: Control? Grupo 3: control? Esquema de intervenciones ( Secuencial?)
3. Antecedentes: Plan del Pacto Hambre Cero (PPH0) Principales objetivos Reducir en 10% la desnutrición crónica para finales de 2015 Prevenir y reducir la mortalidad en la niñez relacionada con la desnutrición aguda Promover la seguridad alimentaria y nutricional del país Prevenir y atender la emergencia alimentaria Población objetivo 166 municipios con mayores tasas desnutrición crónica (según el Tercer Censo Nacional de Talla de Escolares 2008)
Implementación en tres fases Plan Hambre Cero (166 municipios) 70.4 60.1 Fases 1 42.9 Fase 2 Fase 3 33 mun. 50 mun. 83 mun.
Componentes del PPHO 21 instituciones involucradas (16 en la implementación) A. Componentes Directos A.1 Servicios básicos de salud y nutrición A.2 Comunicación para el cambio de comportamiento A.3 Alimentación complementaria y suplemento de micronutrientes A.4 Alimentos fortificados A.5 Atención a población vulnerable a la inseguridad alimentaria 76 actividades presupuestarias 276 productos / subproductos Niños entre 0 y 5 años Mujeres entre 15 y 49 años (embarazadas y no embarazadas) B. Viabilidad y sostenibilidad B.1 Agua y saneamiento básico B.2 Mejoramiento de los ingresos y la economía familiar B.3 Fortalecimiento de agricultores de subsistencia, pequeños y medianos productores B.4 Gobernanza local en SAN B.5 Escuelas saludables B.6 Alfabetización
4. Objetivos de la Evaluación de Impacto y Monitoreo del PPH0 Dos grandes objetivos: 1. Cuantificar el impacto y determinar la atribución del Plan del Pacto Hambre Cero en el estado nutricional de la población objetivo 2. Realizar un monitoreo en el tiempo a la situación nutricional de la población objetivo Seguimiento Representatividad
5. Instituciones involucradas SESAN INE Responsables IFPRI Apoyo Técnico USAID / AECID MINFIN Apoyo Financiero PROYECTO EVALUACION PLAN DEL PACTO HAMBRE CERO 2012-15
6. Estrategia de Evaluación de Impacto La situación nutricional de la población objetivo del PPH0 (PobPPHO) puede ser influenciada (para bien o para mal) por diversos motivos. Si observamos un cambio en la situación nutricional de la PobPPH0 cómo saber (atribuir) si ese cambio se debe al PPH0? Idealmente quisiéramos dos grupos de la PobPPH0 que sean similares excepto porque a uno de ellos se le interviene con PPH0 (grupo de tratamiento) y al otro no (grupo de control).
Tasa de desnutrición % control tratamiento control tratamiento control tratamiento Grupos de tratamiento y control (Aprovechamiento de implementación escalonada) 100 90 80 70 60 50 40 30 20 Fases 1 Fase 2 Fase 3 10 0 Plan del Pacto Hambre Cero (166 municipios) Municipios
Evaluación de impacto y tasa DC
Municipios verdes Representatividad, monitoreo y evaluación de impacto Representatividad Monitoreo Evaluación de impacto Municipios azules
Planificación de Encuestas: Muestras de Individuos Municipios AZULES Municipios VERDES PANEL NUEVA SELECCIÓN - Seguimiento de individuos (excepto niños 4-5 años) - Nueva selección de mujeres embarazadas - Sectores distintos cada año - Nueva selección de todos los individuos en cada sector 19
Diseño cuasi-experimental y panel dinámico en municipios azules Niños 0-5 años 2012 Grupos de interés (Individuos índice) Mujeres en edad fértil (15-49), embarazadas Mujeres en edad fértil (15-49), no embarazadas Panel dinámico: seguimiento a los grupos de interés a través del tiempo (mayor rigurosidad en evaluación de impacto). 2015 Recolección de información de individuos, de sus hogares y de su entorno. - Generación de indicadores e identificación de factores que faciliten o limiten el impacto de las intervenciones.
7. Plan de trabajo (2012-2015) ENCUESTA 2012 ENCUESTA 2013 PRIMER ANALISIS DE SEGUIMIENTO LECCIONES APRENDIDAS CAPACITACION EN EVALUACION DE IMPACTO ENCUESTA 2014 SEGUNDO ANALISIS DE SEGUIMIENTO LECCIONES APRENDIDAS ENCUESTA 2015 EVALUACION GLOBAL DE IMPACTO
Plan de trabajo: 2013-2014 Encuesta 2013 ESTRATEGIA DE EVALUACION DE IMPACTO METODO DE MUESTREO ACTUALIZACION CARTOGRAFICA PREPARACION DE ENCUESTA Evaluación Impacto Uso celulares Taller de lecciones aprendidas 2012 Representatividad Panel dinámico Selección de muestras (mun. verdes) Compra nuevos equipos Cuestionario electrónico y pre-carga Capacitación, estandarización y selección equipo campo SALIDA A CAMPO PREPARACION Y ANALISIS DE INFORMACION INFORME DE MONITOREO ENCUESTA 2014 Captura información por entrevista Captura info. antropométrica y de sangre Limpieza datos Calculo factores de expansión Análisis estadístico Encuesta 2014
8. Temporalidad de resultados 2012 2013 2014 2015 Monitoreo Desnutrición crónica Obesidad Anemia Otros Comparaciones en el tiempo requieren análisis estadístico riguroso Impacto Aún no existe grupo de tratamiento Muestras independientes Muestras dependientes tratamiento sólo para primer grupo tratamiento sólo para primer y segundo grupo Análisis de información de intervenciones para verificar implementación escalonada ESTIMACION DE IMPACTO Desnutrición crónica Obesidad Anemia Otros Análisis econométrico con inform. de municipios azules
Por qué toma tiempo obtener resultados de impacto? La experiencia internacional muestra que lograr reducciones importantes en la desnutrición crónica infantil puede tomar años y hasta décadas. La implementación escalonada del PPHO implica que en los primeros años sólo exista una sub-muestra limitada de grupo de tratamiento y su correspondiente grupo de control.
9. Implementación de Encuestas Selección de sectores y actualización cartográfica (FC01) Protocolo (1) Selección de la muestra y salida a campo Protocolo (2) Recolección y análisis de la información INE INE INE IFPRI SESAN SESAN IFPRI IFPRI Estrecha coordinación entre SESAN, INE e IFPRI. Aprovechamiento de nuevas tecnologías de información y comunicación (NTIC) para la recolección y transmisión de datos; uso de software y equipos de última generación.
Aprovechamiento de NTIC Uso de cartografía satelital Aparatos celulares Galaxy III con sistema operativo Android. Recolección de información con Droid Survey Información exacta sobre la localización de los hogares dentro de cada sector seleccionado. Uso de Software especializado (STATA) para selección de las muestras Rutinas automatizadas para selección de sectores y selección de individuos (hogares) dentro de cada sector censal.
Aprovechamiento de NTIC (2) Uso de Mirus Schoolmates. Recolección de información a través de CsPro (consistencia e eficiencia). Uso de Garmin etrex 10. Información satelital para localización de los hogares visitados.
Aprovechamiento de NTIC (3) Uso de equipo especializado para antropometría y medición de hemoglobina en la sangre. - HemoCues - Lancetas y cubetas - Balanzas electrónicas SECA - Tallímetros 1. Pinchazo en talón 2. Insertando cubeta 3. Resultado SECA 874 Recolección y medición de los niveles de yodo en la sal. - Containers herméticos - Testers de yodo Hinge top containers Iodine Test Strips, 0-5 ppm
Prevalencia % 10. Resultados de la Segunda Encuesta (2013) 70 60 50 Desnutrición crónica, global y anemia en niños menores de cinco años (2da y 1era Encuesta para la Evaluación de Impacto del PPH0) 59.9 58.2 2012 2013 40 30 34.4 29.9 20 16.5 15.9 10 0 Desnutrición crónica (zt/e <-2) Desnutrición global (zp/e <-2) Anemia