Secretaría de Desarrollo Social. Meta evaluación del Programa de Apoyo Alimentario. Informe Final

Transcripción

1 Secretaría de Desarrollo Social Meta evaluación del Programa de Apoyo Alimentario Informe Final Institución a cargo del proyecto: Universidad Autónoma de Chiapas Centro Universidad - Empresa Coordinador General: Jorge Mario Soto Romero Responsable Administrativo Alfredo Martínez de la Torre Investigadores: Ricardo A. Belman Martínez Alida Marcela Gutiérrez Landeros Melissa Rodríguez Segura Tuxtla Gutiérrez, Chiapas 23 de Octubre de

2 Resumen ejecutivo La presente Meta evaluación del Programa de Apoyo Alimentario (PAL) tiene como objetivo analizar los avances y logros en materia de evaluación y monitoreo durante el periodo , así como identificar áreas de oportunidad que permitan al programa obtener mejores resultados en próxima administración federal. Así, los principales resultados del PAL en materia de evaluación son los siguientes: Principales fortalezas y oportunidades: El PAL atiende a población pobre de localidades rurales dispersas donde el Programa de Desarrollo Humano Oportunidades no puede operar por falta de acceso a servicios de educación o de salud o en otro tipo de localidades donde no hay capacidad de atención por parte de los servicios de salud bajo el esquema de Oportunidades. Brinda a la población vulnerable la posibilidad de mejorar su nutrición y salud mediante los apoyos monetarios y los complementos alimenticios. Cuenta con criterios de elegibilidad claros y con procedimientos adecuados para la identificación y selección de beneficiarios. El proceso de transferencia de recursos y entrega de apoyos cumple con lo establecido en las ROP; se basa en procedimientos documentados, estandarizados, sistematizados y difundidos públicamente, y es eficaz y eficiente. El PAL tiene el potencial de funcionar como un programa previo a Oportunidades para atender a la población en condición de pobreza en caso de que se pretenda eventualmente ampliar el acceso a los servicios de educación y/o de salud para permitir así la entrada de Oportunidades. Principales debilidades y amenazas: El problema focal y los objetivos del programa no están correctamente identificados y claramente definidos, pues subsisten ambigüedades e inconsistencias importantes. El tránsito de los hogares del PAL a Oportunidades está limitado principalmente por la cobertura y capacidad de los servicios de educación y de salud en las localidades. No se abarca un horizonte de mediano y largo plazo para ir atendiendo a la población objetivo del programa Los cambios en los indicadores de Fin y Propósito no han respondido cabalmente a los comentarios de las diversas instancias. No se han realizado evaluaciones de impacto, por lo que no se conocen los verdaderos efectos e impactos imputables al programa. Hallazgos sustantivos y metodológicos relevantes de otros programas similares: Se puede mejorar significativamente la nutrición infantil mediante transferencias focalizadas pero no condicionadas de ingreso, especialmente si se logra atender a las familias con niños desde edades muy tempranas y al menos hasta el nivel prescolar. 2

3 Las transferencias no condicionadas también pueden lograr ganancias relevantes en la salud de niños y adultos, aún sin mejoras en el acceso a los servicios de salud, por medio de la mejora en el estado físico y el incremento del gasto en salud. Los principales impactos de las transferencias no condicionadas se dan en la seguridad alimentaria, y particularmente como mecanismo de protección ante choques económicos, demográficos y estacionales. Esto puede ocurrir a través de una mayor producción agrícola (disponibilidad); el incremento del gasto y la variedad de los alimentos así como en la reducción de comidas perdidas (acceso); y en la reducción de las enfermedades producto del incremento en el gasto en el cuidado de la salud (uso). Apoyos en especie como los desayunos escolares y los suplementos y complementos alimenticios han mostrado buenos resultados nutricionales, por lo que se podrían explorar arreglos alternativos para combinar los apoyos en efectivo y en especie. Agenda de evaluación propuesta: 2013: Diagnostico y propuestas de atención 2014: Evaluación de diseño : Evaluación de impacto. 2017: Evaluación estratégica de desempeño de los programas sociales alimentarios. 2017: Evaluación de procesos. 2018: Evaluación de consistencia y resultados. Sugerencias para la evaluación de impacto: Evaluar el impacto del programa sobre la nutrición de los niños y de las mujeres embarazadas y en lactancia y sobre la morbilidad de los miembros de los hogares, así como en la seguridad alimentaria (acceso a los alimentos) de los hogares, en los niveles de Fin y Propósito respectivamente. El modelo sería de doble diferencia, con grupos de tratamiento y de comparación así como levantamientos basales y de seguimiento, a partir de encuestas propias con representatividad nacional. Se recomienda además explorar la factibilidad de utilizar los datos del módulo de consumo diario de la ENIGH, con un modelo de diferencia simple. Complementariamente, se propone evaluar los posibles efectos en otros aspectos como el gasto en salud, la producción de alimentos y la satisfacción con la vida propia. En materia de monitoreo, y considerando el diseño actual del programa se desarrollaron las siguientes propuestas: Propuesta para mejorar los resúmenes narrativos: Fin: Contribuir al desarrollo de capacidades básicas en nutrición y salud de la población con ingresos menores a la línea de bienestar mínimo que no tiene acceso al Programa Oportunidades. Propósito: Familias beneficiarias incrementan su seguridad alimentaria Propuesta para mejorar los indicadores: 3

4 Fin: (a) diferencia en el puntaje Z de crecimiento para variables seleccionadas de niños menores de 12 años entre familias beneficiarias y no beneficiarias; (b) diferencia en la prevalencia de anemia de mujeres embarazadas o en lactancia entre familias beneficiarias y no beneficiarias; (c) diferencia en la incidencia de enfermedades gastrointestinales en niños menores de 5 años entre familias beneficiarias y no beneficiarias. Propósito: (a) diferencia en el índice de acceso a la alimentación entre familias beneficiarias y no beneficiarias; (b) diferencia en el consumo promedio ponderado de alimentos básicos entre familias beneficiarias y no beneficiarias; (c) diferencia en el gasto promedio ponderado en alimentos básicos entre familias beneficiarias y no beneficiarias. Finalmente, de las reflexiones complementarias del equipo metaevaluador se derivan las siguientes recomendaciones: Fortalecer el diseño, ampliar la cobertura e incrementar los apoyos del PAL, por su gran potencial para reducir la vulnerabilidad, mejorar la seguridad alimentaria y disminuir la carencia alimentaria, particularmente en las familias del decil más bajo de ingreso. Se espera que de estos efectos se deriven impactos en nutrición y salud. Se recomienda redefinir el problema focal, los objetivos y las poblaciones potencial y objetivo, centrándolos en la seguridad alimentaria. Eliminar la exclusión entre el PASL y el PAL o limitarla solo a aquellos individuos que reciben complementos alimenticios, considerando las complementariedades y sinergias en el soporte nutricional y la prevención de enfermedades. Desarrollar un esquema operativo que facilite el transito de las familias del PAL hacia Oportunidades, en los casos en que éstas sean elegibles, a través de la adecuación y flexibilización de los criterios para la selección de localidades, los requisitos de corresponsabilidad de las familias y los mecanismos de verificación de cumplimiento de Oportunidades, para atender a quienes viven en localidades con déficits en la cobertura y capacidad de los servicios educativos y de salud. Incrementar los montos máximos del conjunto de apoyos del PAL para acercarlos más a los que entrega Oportunidades, considerando que las familias del primero son, por definición, más carenciadas que las del segundo. Explorar alternativas para ampliar y diversificar la entrega de apoyos en especie, incluyendo vales canjeables por alimentos fortificados (leche Liconsa y harina Mi Masa). Buscar nuevas formas de coordinación, complementación y sinergias con Oportunidades, PAR y PASL, para mejorar la atención a las familias más pobres. 4

5 Índice de contenido Resumen ejecutivo Introducción Descripción del Programa Antecedentes y objetivos Problema focal y árbol de problemas Población potencial y población objetivo Apoyos otorgados Evolución de la cobertura Reporte de evaluación Principales resultados de las evaluaciones Evaluación de Consistencia y Resultados (ECR 2007) Evaluación de Diseño (ED 2009) Evaluación Específica de Desempeño (EDD 2008) Evaluación Específica de Desempeño (EDD ) Evaluación Específica de Desempeño (EDD ) Evaluación de Consistencia y Resultados (ECR ) Análisis de evaluaciones de resultados o de impacto en el ámbito nacional o internacional de programas similares Subsidio de apoyo infantil, Sudáfrica Esquema piloto de trasferencias sociales de Mchinji, Malawi Desayunos escolares en zonas rurales, Jamaica Agenda de evaluación para el periodo : Diagnóstico y propuestas de atención : Evaluación de diseño : Evaluación de Impacto Evaluación estratégica de desempeño de los programas sociales alimentarios : Evaluación de procesos : Evaluación de cconsistencia y resultados Análisis de viabilidad y pertinencia para las evaluaciones de impacto Pertinencia de la evaluación Aspectos a evaluar Metodologías y fuentes de información Viabilidad técnica y financiera Principales fortalezas, oportunidades, debilidades, amenazas y recomendaciones Análisis de la contribución de los programas alimentarios a la reducción de la carencia de acceso a la alimentación Aspectos conceptuales y de diseño programático Potencial de contribución de cada programa Programa de Desarrollo Humano Oportunidades y Programa de Apoyo Alimentario Programa de Abasto Social de Leche Programa de Abasto Rural Conclusiones y recomendaciones sobre los programas y la carencia Reflexiones y recomendaciones complementarias del metaevaluador

6 3.7.1 Sobre el problema focal y las poblaciones potencial y objetivo Sobre la mutua exclusión entre el PASL y el PAL Sobre la cobertura y focalización Sobre los apoyos que otorga el PAL Reporte de monitoreo Introducción Análisis histórico de la Matriz de Indicadores para Resultados Principales cambios de la Matriz de Indicadores Análisis Análisis Análisis Análisis Principales comentarios a la Matriz de Indicadores Fin Propósito Componentes Comentarios generales Análisis del resumen narrativo de la Matriz de Indicadores para Resultados Análisis de la MIR 2012 y vínculo con las Reglas de Operación Propuesta de mejoras para MIR Análisis de los indicadores de Fin y de Propósito Indicadores de la MIR Propuesta de mejoras para indicadores MIR Conclusiones Bibliografía Documentos sobre el programa Documentos de otros programas similares Documentos normativos y programáticos Documentos teóricos y metodológicos Anexos Anexo 1: Síntesis de Evaluaciones Anexo 2: Síntesis de Evaluaciones de programas similares internaciones Anexo 3: Agenda de evaluación Anexo 4: FODA Anexo 5: Análisis histórico y propuestas de mejora de la MIR

7 1 Introducción Conforme a los Lineamientos Generales para la Evaluación de los Programas Federales de la Administración Pública Federal (Lineamientos), el numeral vigésimo cuarto, define las evaluaciones complementarias, como aquellas que no se encuentran previstas en el Programa Anual de Evaluación (PAE), y cuya aplicación está a consideración de las necesidades que identifiquen las dependencias o entidades. En este sentido, al ser interés particular de la Sedesol contar con información acerca del desempeño y resultados de los Programas Sociales, y con base en la información disponible de evaluación y monitoreo, se plantea una evaluación complementaria, denominada Metaevaluación para el Programa de Apoyo Alimentario (PAL). El objetivo general de la evaluación es analizar los avances y logros en materia de evaluación y monitoreo durante el periodo , así como identificar áreas de oportunidad en dichos temas, que permitan al programa obtener mejores resultados en el periodo Este objetivo general posteriormente se desarrollará en una serie de objetivo específicos, a los cuales se les da cumplimiento formal en los diversos apartados de documento. El desarrollo de la metaevaluación del PAL comienza con la descripción general del programa a partir de lo establecido en diversos documentos normativos y técnicos básicos, así como las evaluaciones externas recientes. Inicia con una presentación general, deteniéndose luego en aspectos centrales como los objetivos, el problema focal que se busca revertir y las relaciones de causa y efecto asociadas a dicho problema. Posteriormente, en el apartado de evaluación se presenta una síntesis de cada una de las evaluaciones externas que se realizaron al programa en el período ; se analizan evaluaciones de resultados o impacto de programas similares al PAL; se propone una agenda de evaluación para el periodo ; se enuncian principales fortalezas, oportunidades, debilidades, amenazas y recomendaciones derivadas de las evaluaciones realizadas al programa, y se exponen las conclusiones y recomendaciones más relevantes del equipo metaevaluador. En el apartado de monitoreo, se hace un análisis de la evolución de la Matriz de Indicadores de Resultados (MIR) del programa durante el período El análisis histórico identifica los principales cambios en los resúmenes narrativos y en los indicadores que componen la Matriz, que surgieron como resultado a las observaciones y recomendaciones de diversas instancias normativas y fiscalizadoras, así como de evaluaciones externas realizadas al programa. Así mismo, se incluye una serie de recomendaciones del equipo metaevaluador para mejorar la matriz hacia el inicio de la próxima administración federal. Finalmente, se presentan las conclusiones y recomendaciones resultantes de la metaevaluación y se incluyen una serie de anexos que refiere el contenido del documento. 7

8 2 Descripción del Programa En este apartado se presenta una descripción general del programa a partir de lo establecido en diversos documentos básicos, tales como las Reglas de Operación del Programa (ROP) 2012, el Diagnóstico del Programa de Apoyo Alimentario 2009 (en adelante, el Diagnóstico), la Nota de Actualización de la Población Potencial y Objetivo del PAL 2012 (en adelante, la Nota), así como las evaluaciones externas recientes. Inicia con una presentación general, deteniéndose luego en aspectos centrales como los objetivos, el problema focal que se busca revertir y las relaciones de causa y efecto asociadas a dicho problema. Posteriormente, se describen los diferentes apoyos que otorga el programa a sus beneficiarios, se identifica y cuantifica la población potencial y objetivo, y se da cuenta de la evolución de la cobertura durante los años recientes. 2.1 Antecedentes y objetivos El Programa de Apoyo Alimentario con clave programática S118, dependiente de la Secretaría de Desarrollo Social (Sedesol), desde 2010 es coordinado por la Coordinación Nacional de Programa de Desarrollo Humano Oportunidades (CNPDHO) e inició sus operaciones en el año Las ROP del PAL señalan que éste forma parte de la estrategia del Ejecutivo Federal para promover, en el marco de una política social integral, acciones que contribuyan al cumplimiento del derecho a la alimentación y a la nutrición en las familias en condición de pobreza, aspecto que deriva tanto del Plan Nacional de Desarrollo (PND) como del Programa Sectorial de Desarrollo Social (PSDS), en los cuales ese derecho ocupa un lugar central para el desarrollo de capacidades básicas. El PAL provee apoyos monetarios y en especia para cubrir los déficits alimentarios y prevenir la desnutrición de la población más pobre. Su documento normativo define el objetivo general del PAL como: Contribuir al desarrollo de las capacidades básicas de los beneficiarios, mediante la realización de acciones que permitan mejorar su alimentación y nutrición. El objetivo específico se establece en términos de: Mejorar la alimentación y la nutrición de las familias beneficiarias, en particular de los niños menores de 5 años y de las mujeres embarazadas o en periodo de lactancia. 2.2 Problema focal y árbol de problemas El problema central que aborda el Programa se define en su Nota 2012 como la persistencia de desnutrición crónica, anemia y deficiencia de micronutrientes en familias en situación de pobreza en localidades rurales marginadas y desatendidas por los programas de asistencia social existentes. Las causas identificadas se agrupan en dos tipos: 1) las relacionadas con prácticas y hábitos para una alimentación adecuada, entre ellas se encuentran la insuficiencia 8

9 de servicios de salud y educación; el desconocimiento de prácticas adecuadas de alimentación, la escasa higiene y salud; la insuficiencia en el suministro de agua y, la calidad ambiental del entorno donde crecen los niños. 2) Las asociadas a la inseguridad alimentaria y mala distribución de alimentos, entre ellas se destacó la pobreza, desempleo y subempleo; el acceso a alimentos ricos en macro y micronutrientes; la privatización de recursos naturales; el control de la distribución de alimentos por grandes empresas transnacionales y dificultades de distribución en el medio rural; el desmantelamiento de economías locales; el ameno de la tierra y recursos forestales; y la inestabilidad políticas, migración interna y sobrepoblación en ciudades. Todos estos factores atraviesan por dimensiones económicas, socioculturales, políticas y ambientales. Los efectos del problema que atiende el PAL se expresan en: a) el aumento de la vulnerabilidad de las personas a enfermedades; b) el bajo desarrollo cognoscitivo y, c) la baja capacidad productiva. Todas ellos a su vez asociados a situaciones como altas tasas de mortalidad y morbilidad, malas prácticas de salud e higiene, bajo rendimiento escolar, manejo inadecuado de recursos disponibles, acortamiento de la vida laboral y bajo rendimiento productivo. En conjunto, estas consecuencias dan como resultado mayor pobreza y con ello la creación y reproducción de las condiciones de marginación. A continuación se presenta el árbol de problemas que se encuentra en el Diagnóstico

10 Fuente: Sedesol (2009), Diagnóstico sobre el acceso insuficiente a productos básicos y complementarios de la población que habita en localidades rurales de alta y muy alta marginación. Nota: Algunos conceptos del problema focal que aparecen originalmente en el Diagnóstico de 2009 fueron redefinidos en 2012 para la elaboración de la Nota sobre la población potencial y objetivo del PAL, sin que se afectara la esencia del análisis. 10

11 2.3 Población potencial y población objetivo La Nota de actualización de la población potencial y objetivo 2012 define a la población potencial del programa en 2012 como aquellos hogares que tienen carencia por acceso a la alimentación y carencia por acceso a los servicios de salud, que no son beneficiarios de Oportunidades, de conformidad con los requisitos de elegibilidad y la metodología de focalización establecidas en las ROP. Dicha población se cuantifica en aproximadamente 9.87 millones de hogares en Respecto de la población objetivo, las Reglas de Operación 2012 señalan que son los hogares cuyas condiciones socioeconómicas y de ingreso impiden desarrollar las capacidades de sus integrantes en materia de educación, nutrición y/o salud, y que no son atendidos por el Programa Oportunidades. De acuerdo con la Nota, el total de la población objetivo estimada asciende a 3.2 millones de hogares en Apoyos otorgados De acuerdo con las ROP 2012, los apoyos que otorga el Programa se dividen en tres modalidades: Apoyo alimentario. El Programa otorga apoyos monetarios directos mensuales a las familias beneficiarias con la finalidad de elevar su estado de nutrición. Asimismo, se hace entrega de complementos o leche fortificada, según el grupo de riesgo al que va dirigido, con la finalidad de reforzar la alimentación y la nutrición infantil, así como la de las mujeres embarazadas y en periodo de lactancia. Adicionalmente, el Programa otorga un apoyo monetario mensual llamado apoyo alimentario Vivir Mejor, el cual tiene como propósito compensar a las familias beneficiarias por el efecto del alza internacional de los precios de los alimentos. Apoyo infantil Vivir Mejor. Las familias beneficiarias con hijos de 0 a 9 años de edad reciben bimestralmente un apoyo monetario mensual por cada menor (máximo 3 niños por hogar) en este rango de edad para fortalecer su desarrollo. Apoyo especial para el tránsito al Programa Oportunidades. Las familias beneficiarias que transiten al Programa Oportunidades recibirán un apoyo monetario en el periodo de transición denominado Apoyo Especial para el Tránsito a Oportunidades, con el propósito de proteger su economía durante ese lapso. 1 Cabe señalar que al revisar la Nota de Actualización de la Población Potencial y Objetivo 2012, el equipo metaevaluador encontró una serie inconsistencias y ambigüedades importantes en las definiciones y en la cuantificación de las poblaciones potencial y objetivo, que hacen dudar acerca de la validez de ambos elementos. 11

12 2.5 Evolución de la cobertura La evolución de la cobertura del PAL muestra que la población atendida casi se triplica al pasar de 253,744 hogares en 2004 a 673,547 en 2011; sin embargo, en términos absolutos la población atendida presentó una caída continua durante , ya que pasó de 253,744 a 126,332 hogares; luego experimentó un importante repunte en 2009 y 2010, y observó una ligera caída en 2011; finalmente, la cifra quedó en 673,547 familias atendidas. Tipo de Población Unidad de Medida Año 2004 Año 2005 Año 2006 Año 2007 Año 2008 Año 2009 Año 2010 Año 2011 Potencial Ne Ne Ne Ne Ne Ne Ne 834,729 Objetivo Hogares 597, , ,301 Ne 129, , , ,000 Atendida 253, , ,247 Ne 126, , , ,547 Fuente: ECR , Anexo 11. % Ne La evolución en la cobertura del PAL podría llevar a pensar que durante el periodo de análisis se suscita un proceso de convergencia hacia la atención de la totalidad de la población potencial, ya que el programa ha logrado atender a una población mayor aun que la población objetivo para los años 2010 y 2011; no obstante, habría que valorar si las familias atendidas para estos años realmente comprenden al grueso de la población considerada como población objetivo del PAL. 12

13 3 Reporte de evaluación En este apartado se presenta una síntesis de cada una de las evaluaciones externas que se realizaron al programa en el período La síntesis se enfoca en la metodología y los principales resultados; identifica las fortalezas, oportunidades, debilidades y amenazas más relevantes, y enuncia las recomendaciones que los evaluadores derivaron en su momento de las evaluaciones el Anexo 1 facilita una visión esquemática de este ejercicio. Para establecer un punto de referencia con otras experiencias a nivel internacional, posteriormente se muestra una síntesis de evaluaciones de resultados o impacto aplicadas a programas, proyectos o intervenciones públicas que son similares, ya sea por algunos de sus objetivos, componentes o poblaciones atendidas. Se trata de obtener información útil para valorar en qué medida las acciones del programa han obtenidos resultados en otras realidades, así como de analizar y aprovechar aquellos aspectos del esquema metodológico aplicado en estos casos para próximas evaluaciones al programa. El Anexo 2 posibilita una visión sintética de las evaluaciones a intervenciones similares a la que nos ocupa. A continuación, se propone una agenda de evaluación para el período , que pretende ser una guía para orientar los ejercicios que deberán hacerse al programa conforme a la normatividad en la materia. La agenda propuesta plantea los objetivos para cada evaluación y el período de duración, señala los componentes específicos para analizar, hace una justificación de cada ejercicio con base en necesidades o recomendaciones identificadas en esta metaevaluación, y propone un conjunto de insumos necesarios para llevar a cabo las evaluaciones durante todo el período. La esquematización de la propuesta puede observarse en el Anexo 3. Dada la importancia de corroborar en los hechos los cambios que las intervenciones públicas son capaces de imprimir en la realidad que buscan revertir, este apartado incorpora una propuesta más detallada para someter al programa una evaluación de impacto. Se describen la metodología y las fuentes de información necesarias para llevar a cabo este tipo de evaluación, de acuerdo con la naturaleza de las variables específicas a medir así como de las características específicas del programa. La propuesta se acompaña de un análisis de pertinencia y de viabilidad técnica y financiera. En este apartado se incorpora un resumen de las fortalezas, oportunidades, debilidades y amenazas (FODA) del programa identificadas en cada evaluación analizada, acompañadas de sus recomendaciones y propuestas asociadas. Cabe señalar que sólo se presentan aquellos elementos que, a juicio del metaevaluador, son relevantes, en términos de su importancia e implicaciones para el desempeño del programa, así como vigentes, en el sentido que la situación que les dio origen lo sigue siendo en alguna medida. El FODA completo de forma esquemática se presenta en el Anexo 4. Finalmente, se incorpora una sección de conclusiones y recomendaciones del metaevaluador, que si bien en su mayoría construyen sobre el análisis de las evaluaciones antes revisadas, en 13

14 algunos casos llegan a resultados distintos al replicar los ejercicios metodológicos de forma más amplia y rigurosa. Estas conclusiones y recomendaciones se enfocan principalmente en aspectos asociados al diseño, la cobertura y los impactos del programa, y son responsabilidad exclusiva del metaevaluador. 3.1 Principales resultados de las evaluaciones En este apartado se presenta una síntesis de cada una de las evaluaciones externas que se realizaron al programa en el período La síntesis se enfoca en la metodología y los principales resultados; identifica las recomendaciones que los evaluadores derivaron en su momento de las evaluaciones el Anexo 1 facilita una visión esquemática de este ejercicio. Cabe señalar que los resultados aquí presentados reflejan lo encontrado en cada evaluación en el momento en que estas se llevaron a cabo, y no reflejan la opinión del equipo metaevaluador. Asimismo, es necesario enfatizar que, conforme a la normatividad respectiva, los principales hallazgos y recomendaciones de las evaluaciones externas se incorporaron en un mecanismo de seguimiento y derivaron en aspectos susceptibles de mejora, que en su momento fueron atendidos por los responsables de los programas. Sin embargo, por el diseño del propio mecanismo de seguimiento y la naturaleza de los problemas que les dieron origen, algunos hallazgos y recomendaciones importantes pueden seguir siendo vigentes a la fecha en que se realiza la presente metaevaluación. En los casos en esto ocurra, a juicio del metaevaluador, dichos hallazgos y recomendaciones cuyo caso se retomarán en el análisis FODA de la sección Evaluación de Consistencia y Resultados (ECR 2007) La presente evaluación tuvo como objetivo general, evaluar la consistencia y orientación a resultados del Programa de Apoyo Alimentario con la finalidad de proveer información que retroalimente su diseño, gestión y resultados. Más específicamente, se propuso analizar la lógica y congruencia en el diseño del programa, su vinculación con la planeación sectorial y nacional, la consistencia entre el diseño y la normatividad aplicable, así como las posibles complementariedades y/o coincidencias con otros programas federales; identificar si el programa cuenta con instrumentos de planeación y orientación hacia resultados; examinar si el programa ha definido una estrategia de cobertura de mediano y de largo plazo y los avances presentados en el ejercicio fiscal evaluado; analizar los principales procesos establecidos en las ROP o en la normatividad aplicable; así como los sistemas de información con los que cuenta el programa y sus mecanismos de rendición de cuentas; identificar si el programa cuenta con instrumentos que le permitan recabar información para medir el grado de satisfacción de los beneficiarios del programa y sus resultados, y examinar los resultados del programa respecto a la atención del problema para el que fue creado. La evaluación fue realizada por CEPNA S.C mediante investigación de gabinete. A continuación se incluyen las principales conclusiones: 14

15 Diseño: El problema fue correctamente identificado y claramente definido, mediante un diagnóstico actualizado y adecuado; en tanto que el Fin y el Propósito, también fueron claramente definidos y correspondieron con el problema. El Programa estuvo alineado con los objetivos del Programa Sectorial de Desarrollo Social y con el Plan Nacional de Desarrollo. Por otra parte, las lógicas vertical y horizontal de la Matriz de Indicadores de Resultados fueron claras y válidas. Todos los indicadores fueron claros, relevantes, económicos, adecuados y monitoreables. La población potencial no estuvo claramente definida, pero sí la objetivo: hogares en condición de pobreza que no reciban apoyos de otros programas alimentarios federales. Planeación estratégica: Se tuvieron programas anuales, pero no hubo una planeación de mediano y largo plazo, también se contó con indicadores y metas anuales, así como con estrategias, políticas y programas de trabajo detallados. Cobertura y focalización: No existió un método para cuantificar a las poblaciones potencial y objetivo; la población atendida en 2007 fue de 143,423 hogares. No se tuvo una estrategia de cobertura de mediano y largo plazo, ya que ésta se definió fundamentalmente en función de la de Oportunidades y Abasto Social de Leche, y también se careció de un horizonte de permanencia en las localidades atendidas. Operación: Se contó con procedimientos adecuados para seleccionar los hogares beneficiarios y se cumplió con los criterios de elegibilidad, monto y entrega de apoyos contemplados en las Reglas de Operación. Percepción de la población objetivo: Se contó con instrumentos para medir la satisfacción de los hogares beneficiarios. En general, la percepción sobre el programa fue favorable. Resultados: No se reportó información a nivel de Propósito ni de Fin. Se realizaron dos evaluaciones de impacto: y otra en 2006, cuyos principales impactos se reportaron en nutrición y talla para la edad, de manera modesta, pero positivos. 15

16 3.1.2 Evaluación de Diseño (ED 2009) Evaluación del diseño del Programa de Apoyo Alimentario a cargo de Diconsa, S.A. de C.V. se realizó como parte del Programa Anual de Evaluación 2009 emitido por el Coneval, la SFP y la SHCP, el cual señala en el apartado II, numeral 15 que aquellos programas que hayan tenido cambios sustanciales deberán realizar una evaluación en materia de diseño. Los objetivos de la evaluación son analizar la justificación de la creación y diseño del programa, identificar y analizar su vinculación con la planeación sectorial y nacional, analizar la consistencia entre su diseño y la normatividad aplicable e identificar posibles complementariedades y/o coincidencias con otros programas federales. El estudio fue realizado por el Centro de Estudios Económicos y Sociales en Salud dependiente del Hospital Infantil de México Federico Gómez, el análisis realizado se basó en la revisión de gabinete de información entregada por Diconsa así como entrevistas con responsables de los programas, personal de la unidad de evaluación y planeación de la dependencia coordinadora. A continuación se exponen los aspectos más relevantes de los temas que comprende la misma. Principales Resultados: Hubo un impacto limitado en nutrición, debido a que no se tenía vinculación con acciones de salud preventiva, y se atendieron localidades que tenían acceso a otros programas diferentes al Programa de Desarrollo Humano Oportunidades y a localidades con servicios de salud y educación que podrían ser atendidas por dicho programa. Contribución a objetivos estratégicos: No se contribuyó adecuadamente al logro de los objetivos estratégicos, tanto a los sectoriales, como a los del Plan Nacional de Desarrollo. Matriz de indicadores: La Matriz de Indicadores de Resultados no presentaba una lógica interna: el problema a atender no estaba claramente identificado; no se delimitó adecuadamente el universo de atención de acuerdo con las Reglas de Operación, y éstas señalaban apoyos para tener acceso al servicio de agua potable, pero dicha Matriz de Indicadores de Resultados no incorporó indicadores al respecto. Los indicadores de Fin no permitieron medir la contribución del PAL para resolver el problema de la desnutrición, y las Actividades y Componentes no fueron suficientes para alcanzar los objetivos del programa. Asimismo, no existió vinculación del PAL con el sector salud, por lo que los efectos sobre nutrición serían limitados. Población potencial y población objetivo: La Matriz de Indicadores de Resultados y las Reglas de Operación tenían diferentes definiciones de la oblación potencial; no se cuantificó ni caracterizó adecuadamente a la población objetivo, ya que las definiciones de ambas poblaciones resultaron ser demasiado amplias porque incluían a población en localidades de todos los tamaños, de todos los grados de marginación, con acceso a servicios de salud y educación, y a hogares pobres y no pobres. 16

17 Coincidencias, complementariedades y duplicidades: Se determinó que podía existir complementariedad y/o sinergia con programas que fortalecen la cobertura y la calidad de los servicios de salud, educación e infraestructura social básica. Asimismo, se recomendó tener vinculación con los programas que facilitaban el acceso a los servicios de salud. Por otra parte, pudo existir duplicidad a nivel de localidad en los programas de Desarrollo Humano Oportunidades, Liconsa, 70 y más o Abasto Rural de Diconsa, o inclusive, en temas de aguas. No existió una estructura ni manuales de procedimientos formalmente autorizados para operar, lo cual limitaba las posibilidades de control, supervisión y monitoreo, y la asignación clara de responsabilidades Evaluación Específica de Desempeño (EDD 2008) La Evaluación Específica de Desempeño 2008 al Programa de Apoyo Alimentario a cargo de Diconsa, S.A. de C.V. se realizó para mostrar los avances a través del tiempo en materia de indicadores conforme a la información disponible, así como identificar avances en los aspectos susceptibles de mejora del programa derivados de las evaluaciones externas y las acciones establecidas por el programa para atenderlos. La evaluación consistió en un análisis de gabinete que comprendió el ejercicio El Instituto Nacional de Salud Pública fue responsable de la evaluación, siendo el coordinador Dr. Bernardo Hernández Prado. A continuación se exponen los aspectos más relevantes de la misma. Indicadores: Tres de los cuatro indicadores estratégicos seleccionados correspondían al Fin y al Propósito, y no se contaba con las mediciones recientes de estos indicadores. El indicador restante utilizado correspondía al Componente, y su valor se encontraba 20 puntos porcentuales por arriba de la meta programada para Tres de cinco indicadores de gestión seleccionados estaban por arriba de la meta programada en un rango de entre 7 y 42.8 puntos porcentuales. Un indicador estaba 51.4 puntos porcentuales por debajo de la meta. La meta y el valor del indicador restante eran incoherentes, por lo que no se pudo determinar si el indicador estaba por encima o por debajo de la meta. Se reportaron los principales resultados de: 1) la Evaluación de Impacto 2006, 2) dos Evaluaciones sobre Resultados Relevantes 2006, y 3) la Evaluación de Consistencia y Resultados Con base en las evaluaciones, se mostró un buen cumplimiento de sus objetivos; no obstante, se identificaron áreas de mejora en su focalización. El análisis de los indicadores de gestión señaló un buen cumplimiento de las actividades con valores por encima de la meta en muchos casos. 17

18 Los indicadores estratégicos aún no pudieron ser evaluados en algunos casos, debido a los tiempos propuestos para su medición. Los indicadores propuestos permitieron evaluar aspectos relevantes del impacto y de la operación; aunque no hay una definición de población potencial y son generales en algunos casos. Cobertura: La población potencial no estuvo claramente definida ni cuantificada. Se mostró una tendencia ascendente en la cobertura entre 2007 y 2008, que alcanzó el 98% de atención de la población objetivo en Aspectos susceptibles de mejora: Se debían formalizar los mecanismos de definición de metas. Se desarrolló un documento preliminar para adaptarlo al ejercicio 2009, y se tenía que definir de manera clara y precisa la población potencial en las Reglas de Operación, además se propuso incluirla en la modificación de las Reglas de Operación, pero hasta esta evaluación no se había concretado. Era necesario desarrollar un mecanismo para cuantificar a la población potencial y a la población objetivo, y realizar una estrategia de cobertura. De acuerdo con la Posición Institucional, la pertinencia de esta recomendación estaba acotada por la falta de definición de la población potencial. Se acordó que en 2009 se llevaría a cabo un diagnóstico que incluiría esta cuantificación. Asimismo, se debían desarrollar instrumentos para medir el costo y la efectividad de la operación. De acuerdo con la Posición Institucional no era factible hacerlo. Por último, se tenía que definir una estrategia de cobertura a corto, mediano y largo plazo. La pertinencia de esta recomendación estaba acotada por la falta de definición de la población potencial; sin embargo, en la evaluación se establecía que se llevaría a cabo un diagnóstico en Los administradores del PAL atendieron las recomendaciones realizadas y propusieron acciones concretas para resolverlas, reconociendo las limitaciones para tal efecto Evaluación Específica de Desempeño (EDD ) La Evaluación Específica de Desempeño 2009 al Programa de Apoyo Alimentario a cargo de Diconsa, S.A. de C.V. se realizó para mostrar los avances a través del tiempo en materia de indicadores conforme a la información disponible, así como identificar avances en los aspectos susceptibles de mejora del programa derivados de las evaluaciones externas y las acciones establecidas por el programa para atenderlos. La evaluación consistió en un análisis de gabinete que comprendió el ejercicio El Hospital Infantil de México Federico Gómez fue responsable de la evaluación, siendo la coordinadora Evelyne Eugenia Rodríguez Ortega. A continuación se exponen los aspectos más relevantes de la misma. 18

19 Indicadores: Tres de cuatro indicadores de resultados seleccionados correspondían a indicadores de Propósito y estuvieron por encima de la meta en un rango de entre 2 y 6 puntos porcentuales. El indicador restante correspondió a nivel de Componente y se encontró 16 puntos porcentuales por debajo de la meta. Por otra parte, tres de cuatro indicadores de gestión y servicios seleccionados estuvieron por debajo de la meta en un rango de entre 5 y 86 puntos porcentuales; el indicador restante cumplió la meta. La mayoría de los indicadores seleccionados tuvieron como línea basal a 2009, lo que imposibilitó analizar su evolución. Se reportaron los principales resultados de la Evaluación de Impacto 2006, de la Evaluación de Diseño 2009 y de la Posición Institucional Debido a que varios de los indicadores de Fin y Propósito tenían su línea basal en 2009, no fue posible hacer una valoración de los resultados. Cobertura: La población potencial no estuvo claramente definida, pero sí cuantificada. Evolución de la Cobertura Año Población Potencial Población Objetivo Población Atendida 2008 SD 128, , , , ,969 Fuente: Evaluación Específica de Desempeño No fue posible analizar la evolución de la cobertura pues la definición de la población objetivo en 2009 no fue la misma que la de Aspectos susceptibles de mejora: Era necesario establecer que la población objetivo se refería a los hogares pobres extremos en localidades rurales sin acceso a servicios de salud y educación que no contaban con el Programa de Desarrollo Humano Oportunidades ni con otros programas alimentarios de transferencias de ingreso. Se tenía que establecer un procedimiento para referenciar a los servicios de salud los casos con trastornos nutricionales. Por otra parte, se recomendó utilizar los mismos factores que usaba el Programa de Desarrollo Humano Oportunidades para seleccionar a beneficiarios. Avances: Se desarrolló una metodología para definir metas, mas no se atendió el aspecto de medición de costo-efectividad, ya que la Posición Institucional señalaba que no era factible. Asimismo, se hizo un diagnóstico para la cuantificación de la población potencial y de la población objetivo, pero el cálculo no era sobre la población objetivo que señalaban las Reglas de Operación. Por otro lado, la definición de la estrategia de cobertura no presentaba avances, debido a que el PAL cambió de unidad responsable, y 19

20 la definición de la población potencial en las Reglas de Operación no se atendió por criterios que dio el CONEVAL Evaluación Específica de Desempeño (EDD ) La Evaluación Específica de Desempeño al Programa de Apoyo Alimentario a cargo de Coordinación Nacional del Programa de Desarrollo Humano Oportunidades, se realizó para mostrar los avances a través del tiempo en materia de indicadores conforme a la información disponible, así como identificar avances en los aspectos susceptibles de mejora del programa derivados de las evaluaciones externas y las acciones establecidas por el programa para atenderlos. La evaluación consistió en un análisis de gabinete que comprendió el ejercicio El Hospital Infantil de México Federico Gómez fue responsable de la evaluación, siendo la coordinadora Evelyne Eugenia Rodríguez Ortega. A continuación se exponen los aspectos más relevantes de la misma. Indicadores: En los dos indicadores de resultados seleccionados no se proporcionó su valor ni su meta, por lo que no fue posible analizar su desempeño. En dos de los tres indicadores de servicios y de gestión seleccionados, el valor se encontró por encima de la meta en 1.5 puntos porcentuales y 7,027 familias, respectivamente. El indicador restante quedó por debajo de la meta en 31 puntos porcentuales. Se reportaron los principales resultados de la Evaluación de Impacto 2006 y los hallazgos relevantes de las Reglas de Operación de 2010, de la Evaluación Específica de Desempeño de 2009 y de los Avances en las Acciones de Mejora de Hubo cambios sustantivos en el diseño, en lo referente a la población potencial, la población objetivo, los criterios de elegibilidad, los montos y tipos de apoyos, y la operación, por lo que no se registró información histórica de sus indicadores estratégicos. También se cambiaron los montos y los tipos de apoyos dirigidos, por igual, a zonas urbanas y rurales. Cobertura: Hubo una población potencial definida, pero no cuantificada, mientras que la población objetivo estuvo definida y cuantificada. También hubo confusión en las definiciones de población potencial y población objetivo, debido a que las Reglas de Operación traían una definición de población objetivo que en realidad se refería a la de población potencial. Evolución de la Cobertura Año Población Potencial Población Objetivo Población Atendida , , , SD 680, ,027 Fuente: Evaluación Específica de Desempeño

21 No hubo una cuantificación de la población potencial para 2010, mientras que en 2009 fue de 613,162 hogares. Para ese mismo año (2009), la definición señalaba a los hogares en pobreza patrimonial, y a los hogares pobres y no pobres ubicados en localidades marginadas o sin grado de marginación; mientras que en 2010 se focalizó a hogares en pobreza alimentaria o pobres con ingreso insuficiente para invertir en el desarrollo de las capacidades, de cualquier localidad, incluso de aquellas donde el Programa de Desarrollo Humano Oportunidades podía operar. La población objetivo aumentó 139% de 2009 a 2010 para ubicarse en 680 mil hogares en 2010, superior a la población potencial estimada según la definición anterior. En 2010, la cobertura de la población objetivo estuvo en la meta, mientras que el número de familias beneficiadas subió 158% de 2009 a 2010, según lo programado, y se ubicó en 677 mil hogares en Por otra parte, la población atendida aumentó 158% en el mismo periodo ( ) para cerrar en 2010 con 677,027 hogares beneficiarios, superando también a la población potencial de Aspectos susceptibles de mejora: El programa no contó con aspectos definidos en el documento de trabajo Evaluación de Consistencia y Resultados (ECR ) La presente evaluación tuvo como objetivo general, evaluar la consistencia y orientación a resultados del Programa de Apoyo Alimentario con la finalidad de proveer información que retroalimente su diseño, gestión y resultados. Más específicamente, se propuso analizar la lógica y congruencia en el diseño del programa, su vinculación con la planeación sectorial y nacional, la consistencia entre el diseño y la normatividad aplicable, así como las posibles complementariedades y/o coincidencias con otros programas federales; identificar si el programa cuenta con instrumentos de planeación y orientación hacia resultados; examinar si el programa ha definido una estrategia de cobertura de mediano y de largo plazo y los avances presentados en el ejercicio fiscal evaluado; analizar los principales procesos establecidos en las ROP o en la normatividad aplicable; así como los sistemas de información con los que cuenta el programa y sus mecanismos de rendición de cuentas; identificar si el programa cuenta con instrumentos que le permitan recabar información para medir el grado de satisfacción de los beneficiarios del programa y sus resultados, y examinar los resultados del programa respecto a la atención del problema para el que fue creado. La evaluación fue realizada por Centro de Investigación en Alimentación y Desarrollo, A.C.mediante investigación de gabinete. A continuación se incluyen las principales conclusiones: Diseño: El Programa ha venido consolidando su objetivo, pero no dio continuidad al trabajo de las metas. Además, se presentó el problema identificado en un documento, en el que se establecen los plazos para su revisión y actualización, y se contó con un diagnóstico del problema. 21

22 El Programa se alineó con el Plan Nacional de Desarrollo y con el Programa Sectorial de Desarrollo Social, y fue posible identificar a la Matriz de Indicadores de Resultados en las Reglas de Operación o en los documentos normativos. La población potencial y la población objetivo fueron definidas y contaron con una metodología para su cuantificación y con plazos para su revisión y actualización. Asimismo, registró complementariedad con el Programa de Desarrollo Humano Oportunidades y coincidencia con programas del Sistema Nacional DIF. Planeación estratégica: Contó con un plan anual, pero no una planeación a mediano y largo plazo, y no hubo permanencia de la población atendida, ya que las Reglas de Operación consideran el tránsito al Programa de Desarrollo Humano Oportunidades. Cobertura y focalización: Contó con un método para la estimación de la población potencial, en tanto que la población objetivo fue de 670 mil hogares en 2011, al igual que en De 2004 a 2011, la población atendida se incrementó casi el triple (con caídas importantes en el inter) con respecto de la población objetivo. Operación: Se tuvieron procedimientos e instrumentos de medición adecuados para la selección de los hogares beneficiarios y se cumplió con los criterios de elegibilidad que se expresan en las Reglas de Operación. Se cumplió con las características establecidas en las Reglas de Operación de 2010, respecto del contenido, monto y entrega de los apoyos (en especie y en efectivo). Con respecto de los criterios de elegibilidad de beneficiarios, éstos estuvieron claramente especificados, y el procedimiento fue estandarizado y sistematizado. Percepción de la población objetivo: El instrumento usado para medir la satisfacción de la población atendida no indujo las respuestas de los beneficiarios, correspondió a las características de éstos pero los resultados no fueron representativos. Resultados: Se documentaron resultados a nivel de Fin y de Propósito, por medio de dos indicadores centrales, estudios o evaluaciones que no eran de impacto, y estudios y programas internacionales. La Evaluación de Impacto de 2006 encontró efectos positivos relacionados con el Fin y con el Propósito. En 2010, el Programa cambió sustancialmente, por lo que los resultados de las evaluaciones anteriores correspondían a otro diseño, Las evaluaciones (elaboradas por CIESAS (2005), INSP (2006) y el INCMSZ (2006 y 2009)) señalaron la existencia de mejoras en los estados nutricios de los beneficiarios. 22