Monitoreo y Evaluación (M&E) de programas de Promoción del Crecimiento de Base Comunitaria (PCBC)

Transcripción

1 2 Taller Promoción del crecimiento para prevenir la desnutrición crónica Monitoreo y Evaluación (M&E) de programas de Promoción del Crecimiento de Base Comunitaria (PCBC) Rafael Flores-Ayala International Micronutrient Malnutrition Prevention and Control Program (IMMPaCt) Division of Nutrition, Physical Activity and Obesity

2 Los resultados y las conclusiones de esta presentación son los del autor y no necesariamente reflejan la posición oficial de los Centros de Control de Enfermedad y Prevención (CDC) de los Estados Unidos de América

3 Ciclo simplificado de la gerencia de un proyecto Planificación Implementación M&E Retroalimentación al proyecto y políticas Evaluación Impacto & Efficiencia Adaptado de Valadez (1991)

4 Evaluación de Programas/Proyectos Apreciación, sistemática y objetiva (en lo posible), de un programa o proyecto (P/P) planificado, en ejecución o terminado, de su necesidad,diseño, implementación, impacto, eficiencia y/o sostenibilidad, para incorporar lecciones aprendidas en la toma de decisiones relacionadas al P/P e informar a las política públicas

5 Monitoreo de Programas/Proyectos (evaluación de la ejecución = monitoreo de la implementación = evaluación de proceso) Proceso periódico de recolectar, analizar, interpretar e informar sobre indicadores de insumos, actividades y productos/ resultados, para concluir que tan bien un programa o proyecto esta siendo ejecutado

6 Tipos de monitoreo Tipo Objetivo Periodicidad Ejecución Diagnóstico Financiero Trazar insumos, actividades y productos (problemas?) Investigar por qué ocurrieron los problemas y encontrar soluciones Controlar el uso de fondos Cada 3, 4 o 6 meses? Después del informe de monitoreo Mensual, cada trimestre, anual

7 Monitoreo y Evaluación de Impacto Monitoreo Convierte los objetivos en indicadores de ejecución y define mínimos deseables Recolecta estos indicadores y los compara con los mínimos deseables Informa a los gerentes sobre los resultados y los alerta sobre problemas para implementar soluciones a tiempo Evaluación de Impacto Documenta impactos Analiza el por qué los impactos esperados se lograron o no Explora impactos no esperados Informa al P/P, a los tomadores de decisiones y a la política pública

8 Que es un marco de referencia? Serie de unidades inter-relacionadas que describe rutas causales entre un producto o resultado y varios factores determinantes Una fuente potencial de confusión sino se usa correctamente

9 Para que usamos marcos de referencia? Clarificar los resultados finales objetivos del P/P o resultados estratégicos Relacionar unidades, niveles y dirección de acciones esperadas Contribuir a establecer consenso acerca de un P/P Utilizar como herramienta de planificación y gerencia

10 INSUMOS ACTIVIDADES PRODUCTOS RESULTADOS/IMPACTOS Políticas, producción, entrega, calidad y Comunicación Acceso y cobertura Conocimiento y uso apropiado Repercusión sobre consumo, situación y función en la población ADMINISTRACIÓN, PERSONAL, COALICIÓN NACIONAL, RECURSOS ECONÓMICOS, INFRAESTRUCTURA, OTRAS CONTRIBUCIONES MATERIALES DE LOS ASOCIADOS POLÍTICAS Formulación y aplicación de políticas y reglamentos PRODUCCIÓN Y SUMINISTRO de materiales SISTEMA DE ENTREGA Capacitación y mantenimiento de la motivación del personal CALIDAD Control de la calidad COMUNICACIÓN DEL CAMBIO DE COMPORTAMIENTO Disponibi lidad PCBC Personal tiene conocimien tos y están motivados para entregar la PCBC apropiada mente, Cobertura PCBC Acceso a la PCBC Población usa debidame nte la PCBC Población conoce, acepta y es capaz de usar la PCBC Servicios de salud en tiempo Mejores prácticas de cuidado Apoyo comunita rio apropiad o Mejor crecimie nto físico Otras intervenciones Metas del Milenio GESTIÓN EFICAZ Y MONITOREO Y EVALUACIÓN DEL PROGRAMA Adaptado de la Organización Mundial de la Salud 2011

11 Marco Lógico Herramienta para resumir el propósito y los componentes principales de un P/P en un formato simple, estructurado e interrelacionado Incialmente se usa para planificar y diseñar un P/P y luego para la gerencia y de marco de referencia para el Monitoreo, Evaluacion, Progreso e Informacion sobre el P/P

12 Matriz del Marco Lógico Resumen Narrativo Indicadores Ejecución M&E Supuestos/ riesgos Meta Propósito Resultados Actividades * PSI Logframe Handbook, 2000

13 Matriz del Marco Lógico Resumen Narrativo Indicadores Ejecución Meta objetivo superior al cual el proyecto contribuye Propósito impacto del proyecto Resultados/productos que el proyecto es responsable por Actividades resumen de las actividades que generan los productos Indicadores para medir el logro de la Meta del proyecto Indicatores para medir el logro del Propósito del proyecto Indicatores para medir el logro de los Resultados del proyecto Indicatores para medir el logro de las Actividades del proyecto * PSI Logframe Handbook, 2000

14 Ejemplos genéricos de meta y propósito Descripción del Proyecto Meta 1. Erradicar la extrema pobreza y el hambre en la poblacion del país Propósito: 1. Mejorar el crecimiento físico de los niño/as en las comunidades partiicpantes Indicadores de ejecución 1. % de familias extremedamente pobres 1. Porcentaje de niños de 6-23 meses de edad con retardo en el crecimiento (reduccion de? puntos porcentuales para el 2014)

15 Ejemplos genérico de producto Descripción del Proyecto Resultados: Indicadores de ejecución 1. Incrementar la cobertura de la PCBC a los hogares con niño/as de 6-23 meses de edad 1.1 Porcentaje de hogares con niño/as de 6-23 meses de edad que participan en la PCBC (80% de todos los hogares para el 2013)

16 Monitoreo Para quien se recolectará el indicador (interesados)? Como se recolectará el indicador (metodología, fuente de verificación)? Cada cuanto se recolectará el indicador (frequencia)? Quien hara el informe sobre el indicador? Quien hace qué, como seguimiento al informe de monitoreo?

17 Metodos de recolección de datos Datos existentes (recoleccion secundaria) Datos nuevos (recoleccion primaria). Encuestas transversales Muestreo de calidad por lotes Vigiliancia sentinela Grupos focales Observacion Revision de documentos

18 Evaluación externa de proceso del PROCOSAN 2006 Es el diseño actual del Programa apropiado para alcanzar el propósito y los resultados y/o productos esperados? Sí es apropiado para lograr los resultados esperados en crecimiento y morbilidad Cuáles son los beneficios del PROCOSAN percibidos por la comunidad y los servicios de salud? Comunidad: proveer conocimientos a las madres sobre el crecimiento de los niño/as, ahorro de tiempo y dinero y tener niños sanos. Servicios: aumento y mantenimiento de la cobertura y fortalecimiento de las actividades comunitarias

19 Evaluación externa de proceso del PROCOSAN 2006 Se está implementando el PROCOSAN de acuerdo a su diseño? 29% de las comunidades habían dejado de implementarlo. 31% de las madres no asistía a la sesión mensual. 50% de las madres reportó que seguía las recomendaciones que recibía del brigadista. 56% de las madres había recibido alguna visita domiciliar de parte del brigadista. 29% de las madres reportó que habían tenido reuniones en la comunidad cada dos meses

20 Introducción a la Evaluación de impacto

21 Por qué la evaluación de impacto es importante? Después de décadas en que las agencias de desarrollo internacional han desenbolsado billones de dolares para programas sociales y que los gobiernos de los países en desarrollo y organizaciones no gubernamentales han gastado otros cientos de billones más, es muy decepcionante reconocer que sabemos muy poco del impacto neto de la mayoría de estos programas sociales. Savedoff, W., R. Levine and N. Birdsall (editors). When will we ever learn? Improving lives through impact evaluation. Center for Global Development. Washington DC, May

22 Para que evaluar el impacto de un P/P? Influir en decisiones relacionadas con el futuro del P/P Mantener el P/P? Expanderlo o reducirlo? Terminarlo? Revisar el diseño del P/P Que resultados y actividades requieren modificación? Influir en decisiones relacionadas con la busqueda de otras opciones para solucionar el problema Hay impactos no esperados positivos o negativos que hay que tomar en consideración?

23 Cambio Retardo (%) PCBC 10 0 Basal Final

24 Impacto Retardo (%) PCBC Control 10 0 Basal Final

25 Cambio Retardo (%) PCBC 10 0 Basal Final

26 Impacto 70 Retardo (%) PCBC Control 10 0 Basal Final

27 Situación Contra-factual Como sería la situación si la intervención con PCBC no se hubiera realizado? La contra-factual es una situacion hipotética que trata de describir los niveles de retardo en crecimiento de los niño/as en la ausencia de la intervención Para determinar la contra-factual es necesario destilar el efecto de la intervención de otros factores

28 Evaluación de Impacto Impacto: efecto esperado de un P/P en una población objetivo Estimación de los cambios que ocurren en la población objetivo, que pueden ser atribuidos a la intervención Hace posible que las intervenciones sean responsables al interés público Provee retroalimentación y ayuda a mejorar la efectividad de P/P y políticas públicas

29 Preguntas en la evaluación de impacto La intervención logró el propósito esperado? Los cambios en resultados pueden ser explicados por la intervención o son el producto de otros factores que ocurrieron simultáneamente? Los impactos varían a través de los diferentes grupos focalizados, regiones y/o en el tiempo? Hay efectos no esperados de la intervención (positivos o negativos)?

30 Estrategia de Evaluación Objetivos Indicadores clave Resultados esperados Marco Lógico Preguntas Presupuesto Recolección de datos Diseño de evaluación/ plan de monitoreo Métodos de recolección Cronograma Análisis, informes y publicaciones

31 Catalogo de diseños de evaluación de impacto Experimental Regresión discontínua Comparación aparejada Ajuste estadístico Comparación genérica Asignación aleatoria Expuestos vs no expuestos seleccionados por criterio fijo Expuestos vs no expuestos aparejados por evaluadores Expuestos vs no expuestos ajustados estadisticamente Expuestos vs población estandard

32 Cuando proceder a hacer la evaluación de impacto? Una vez el sistema de monitoreo nos indique: Calidad adecuada de la implementacion del P/P (mínimos deseables) Cobertura adecuada (70, 80, 90%?) por un período mínimo (18 meses?) Adherencia adecuada (70, 80, 90%?) por un período mínimo (18 meses?) No antes!

33 Impactos de P/P de PCBC P/P Crecimiento Otros AIN-C Honduras Costo anual por niña/o $ 5.91 Shaetzel, 2008 Fiedler, 2003 NECDP Uganda Costo/n $ Alderman, 2007 ZPE 0-23 m +0.1 ZPE 0-11 m +0.2 Cobertura de inmunizaciones Conocimientos sobre enfermedades infecciosas Alimentación a pecho exclusiva Alimentación complementaria Diversificación de la dieta Seecaline Madagascar Beneficio/costo 3-5 Glasso, 2007 ZTE < m 1.5 pp/a Alimentación a pecho exclusiva Frecuencia de alimentación Conocimientos nutricionales Tratamiento de diarrea

34 Consideraciones finales Las evaluaciones de impacto son necesarias porque sabemos muy poco sobre la efectividad de los programas PCBC Es factible hacer evaluaciones de impacto independientemente del tamaño y complejidad del P/P, pero las evaluaciones requieren $ Las preguntas de evaluación deben ser claramente definidas al principio de la evaluación Si Ud. decide hacer una evaluación de impacto, defina su estrategia de evaluación muy cuidadosamente al inicio y luego impleméntela con el máximo rigor. Hay muchas evaluaciones mal hechas y muy pocas bien hechas. Es recomendable asociarse con grupos con experiencia en este campo.

35 Muchas gracias Preguntas?

36 Eficacia y Efectividad Eficacia: capacidad de una intervención de producir un cambio beneficioso (impacto positivo) bajo condiciones controladas. Investigación. Efectividad: capacidad de una intervención de lograr su impacto esperado (impacto positivo) bajo condiciones reales. Evaluación de Impacto

37 Las mejores prácticas en evaluación de impacto Asegurarse que los grupos de intervención y comparación proveen el suficiente tamaño de muestra para las inferencias estadísticas y que las perdidas son mínimas Medir la eficiencia: análisis costo-efectividad Incorporar técnicas cualitativas para triangular y explicar los hallazgos

38 Las mejores prácticas en evaluación de impacto Estimar la situación contra-factual: Usar asignación aleatoria para generar un grupo control (diseño experimental) o Usar otros métodos para generar un grupo de comparación (diseño casi-experimental) Asegurarse que existe información relevante recoletada en la línea de base y en la encuesta de seguimiento para controlar diferencias pre- y post P/P en los grupos de intervención y comparación