DATOS GENERALES DEL PROGRAMA 1. Nombre del Programa: 2. Dependencia: SEDESOL. 3.Unidad Administrativa Responsable: 4. Datos del(a) Titular 1 Nombre: Ramiro Ornelas Hall Teléfono: 53285000 Correo electrónico: ramiro.ornelas@sedesol.gob.mx 5. Datos del(a) Responsable Operativo(a) del Programa 1 Nombre: María Adriana Mariño Martínez Teléfono: 53285000 Correo electrónico: adriana.marino@sedesol.gob.mx 6. Modalidad: S - 71 7. Año de inicio del programa: 1997 8. Presupuesto (MDP): Año Presupuesto Aprobado Autorizado Ejercido 2003 400.0 543.42 542.45 2004 700.0 686.6 682.0 2005 275.0 487.16 482.02 2006 150.0 204.69 196.38 2007 319.48 485.76 485.76 2008 331.06 373.03 372.7 2009 343.04 0.0 0.0 S071 1/17
Alineación con Planeación Nacional 1 Objetivo: Reducir la pobreza extrema y asegurar la igualdad de oportunidades y la ampliación de capacidades para que todos los mexicanos mejoren significativamente su calidad de vida y tengan garantizados alimentación, salud, educación, vivienda digna y un medio ambiente adecuado para su desarrollo tal y como lo establece la Constitución. - Eje: Igualdad de Oportunidades - Tema: Superación de la Pobreza Alineación con Programa Sectorial/ Institucional 1 Objetivo: Abatir el rezago que enfrentan los grupos sociales vulnerables mediante estrategias de asistencia social que les permitan desarrollar sus potencialidades con independencia y plenitud. Fin Contribuir a disminuir la vulnerabilidad de hombres y mujeres de 16 años o más en zonas de atención prioritaria, mediante la entrega de un apoyo temporal en su ingreso. Propósito La población objetivo beneficiada obtiene un ingreso temporal para afrontar los efectos derivados de una emergencia natural, económica o de baja demanda laboral. Componentes 1. Proyectos de infraestructura básica, de medio ambiente y productiva ejecutada. 2. Jornales entregados a beneficiarios. S071 2/17
Resumen de Componentes Mediante la entrega de jornales a beneficiarios y la ejecución de proyectos de infraestructura básica, social y productiva. Actividades 1. Entrega de jornales a beneficiarios. 2. Proyectos de infraestructura básica, social y productiva ejecutados. 3. Convocatoria de la asamblea y constitución del Comité de Beneficiarios. S071 3/17
RESULTADOS/PRODUCTOS Principales 5 Indicadores Estratégicos - Indicador 1 1. Nombre del Indicador: Porcentaje de variabilidad del ingreso de los beneficiarios con respecto a los no beneficiaros 2. Definición: Proporción del coeficiente de variación del ingreso de los beneficiarios con respecto a los no beneficiarios 3. Método de Cálculo: (Coeficiente de variacion del ingreso de los beneficiarios/ Coeficiente de variación del ingreso de los no beneficiarios)*100 4. Unidad de Medida: Porcentaje 5. Frecuencia de Medición del Indicador: Bianual 6. Meta del indicador 2008: ND 7. Valor del indicador 2008 (%): ND 8. Valoración del Indicador: Es un indicador pertinente y relevante para conocer el impacto del Programa, ya que éste busca reducir la vulnerabilidad de los ingresos. Es un indicador claro y confiable siempre y cuando su estimación se realice mediante una evaluación de impacto con no beneficiarios que sean un grupo de control comparable. Es monitoreable cada dos años porque para estimar este indicador se requiere una evaluación de impacto que evite sesgos en la estimación. 9. Porcentaje de Avance: - Indicador 2 1. Nombre del Indicador: Incidencia en el ingreso de los beneficiarios. S071 4/17
2. Definición: Es la diferencia promedio en el ingreso promedio de los beneficiarios y los no beneficiarios. 3. Método de Cálculo: (Ingreso promedio estimado de los beneficiarios - Ingreso promedio estimado de los no beneficiarios) 4. Unidad de Medida: Pesos 5. Frecuencia de Medición del Indicador: Bianual 6. Meta del indicador 2008: ND 7. Valor del indicador 2008 (%): ND 8. Valoración del Indicador: Es un indicador pertinente y relevante para conocer el efecto en el ingreso de los beneficiarios que es propósito del Programa. Es un indicador claro y confiable si su estimación se realiza con una evaluación de impacto con un grupo de control comparable. Con datos para dos momentos, en lugar de diferencias absolutas es posible comparar diferencias porcentuales, lo cual es más común. Es monitoreable cada dos años porque se requiere una evaluación de impacto que evite sesgos en su estimación. 9. Porcentaje de Avance: Principales 5 Indicadores de Gestión - Indicador 1 1. Nombre del Indicador: Jornales promedio por beneficiario 2. Definición: Es el número de jornales promedio entregados por beneficiarios 3. Método de Cálculo: (Total de jornales entregados/ número total de beneficiarios) 4. Unidad de Medida: Jornal 5. Frecuencia de Medición del Indicador: Anual 6. Meta del indicador 2008: SD S071 5/17
7. Valor del indicador 2008 (%): SD 8. Valoración del Indicador: Es pertinente y relevante para examinar la evolución del Programa. Es confiable porque está auditado permanentemente. Además, es claro, fácilmente monitoreable y económico ya que se puede calcular con datos administrativos. 9. Porcentaje de Avance: - Indicador 2 1. Nombre del Indicador: Porcentaje de ejecución de los proyectos aprobados 2. Definición: Es el porcentaje de los proyectos que fueron ejecutados con respecto a los proyectos aprobados 3. Método de Cálculo: (Total de proyectos ejecutados/ total de proyectos aprobados)*100 4. Unidad de Medida: Porcentaje 5. Frecuencia de Medición del Indicador: Anual 6. Meta del indicador 2008: 90 7. Valor del indicador 2008 (%): 101.1 8. Valoración del Indicador: Este indicador es pertinente a nivel de componente y permite valorar la eficacia del Programa. Su fórmula de cálculo es clara. Su confiabilidad depende de la precisión de la información sobre proyectos ejecutados, por lo que se requiere un seguimiento estricto por parte del Programa. 9. Porcentaje de Avance: S071 6/17
- Indicador 3 1. Nombre del Indicador: Empleos generados 2. Definición: Los empleos generados son igual al total de beneficiarios atendidos 3. Método de Cálculo: Empleos generados 4. Unidad de Medida: Empleos 5. Frecuencia de Medición del Indicador: Anual 6. Meta del indicador 2008: SD 7. Valor del indicador 2008 (%): SD 8. Valoración del Indicador: Es pertinente y relevante para examinar la evolución del Programa, por lo que complementa al indicador sobre jornales entregados. También es confiable, al estar auditado. Además es claro, fácilmente monitoreable y económico, al calcularse con datos administrativos. 9. Porcentaje de Avance: - Indicador 4 1. Nombre del Indicador: Porcentaje de solicitantes atendidos 2. Definición: Es el porcentaje de beneficiarios con respecto al total de solicitantes que satisface los criterios de elegibilidad del Programa S071 7/17
3. Método de Cálculo: (Total de beneficiarios / total de solicitantes que satisfacen los criterios de elegibilidad)*100 4. Unidad de Medida: Porcentaje 5. Frecuencia de Medición del Indicador: Anual 6. Meta del indicador 2008: 96 7. Valor del indicador 2008 (%): 104.2 8. Valoración del Indicador: Es pertinente para medir la eficacia del programa a nivel de actividad. Su confiabilidad depende de la información sobre los solicitantes elegibles. Su fórmula de cálculo es clara y puede calcularse con datos administrativos, por lo que es monitoreable y económico. 9. Porcentaje de Avance: - Indicador 5 1. Nombre del Indicador: Porcentaje de Jornales generados con respecto a los programados. 2. Definición: Es el porcentaje de los Jornales generados (aquel entregado al beneficiario por su trabajo en algún proyecto establecido en el Comité de Beneficiarios) con respecto a los jornales programados. 3. Método de Cálculo: (Total de jornales generados / Total de jornales programados)*100 4. Unidad de Medida: Porcentaje 5. Frecuencia de Medición del Indicador: Bimestral 6. Meta del indicador 2008: 90 7. Valor del indicador 2008 (%): 92.2 S071 8/17
8. Valoración del Indicador: Es pertinente y relevante para medir la eficacia del Programa a nivel de componente. Es confiable, claro, económico y monitoreable porque se calcula con información de los avances programático presupuestales que reporta periódicamente el Programa. 9. Porcentaje de Avance: a. No existe evidencia de resultados Valoración de los Resultados/Productos Debido a la falta de información sobre los indicadores estratégicos y a que todavía no se cuenta con evaluaciones de impacto o seguimiento, no se puede valorar en qué medida el Programa logra su fin y su propósito. Los tres indicadores de gestión con datos para 2008 muestran que se han alcanzado las metas fijadas por el propio Programa sobre proyectos ejecutados respecto a los aprobados y de población atendida respecto a los solicitantes, pero que sólo entregó 92% de los jornales programados. Fuentes de Información A) Sistema de Evaluación del Desempeño (SED) de la SHCP. 1. Matriz de Indicadores para Resultados 2. Fichas Técnicas de la Matriz 3. Evaluaciones externas B) Informes sobre el Avance en los Indicadores de los Programas Presupuestarios de la Administración Pública Federal. Ejercicio Fiscal 2008. Comentarios y Observaciones Debido a la imposibilidad de valorar el logro del fin y el propósito se consideró preferible no calificar el desempeño del Programa. Es conveniente que se realice lo antes posible una evaluación de impacto que permita conocer si el Programa está cumpliendo con el fin y el propósito que se propone. S071 9/17
VALORACIÓN GENERAL DE LOS INDICADORES Valoración de los Indicadores del Programa Se considera que los indicadores planteados podrían permitir una adecuada valoración del desempeño del Programa y de la medida en que se logra su fin y su propósito. Lo que se requiere es que los indicadores estratégicos sean estimados por primera vez mediante una evaluación de impacto. Fuentes de Información A) Sistema de Evaluación del Desempeño (SED) de la SHCP. 1. Matriz de Indicadores para Resultados 2. Fichas Técnicas de la Matriz 3. Evaluaciones externas B) Informes sobre el Avance en los Indicadores de los Programas Presupuestarios de la Administración Pública Federal. Ejercicio Fiscal 2008. Comentarios y Observaciones En la medida que se realicen las estimaciones de impacto se podrá tener, como subproducto de la evaluación, una mejor valoración de la adecuación de los indicadores, a partir de la cual se podrán sugerir los ajustes pertinentes. S071 10/17
EVOLUCIÓN DE LA COBERTURA 4.1 Población Potencial a.se encuentra claramente definida: No b.unidad de medida para la población potencial: Personas c.cuantificación de la población potencial: SD 4.2 Población Objetivo a.se encuentra claramente definida: No b.unidad de medida para la población objetivo: Personas c.cuantificación de la población objetivo: SD 4.3 Población Atendida a.se encuentra claramente definida: Si b.unidad de medida para la población atendida: Beneficiarios c.cuantificación de la población atendida: 156716 Localización de la población atendida: Entidades sin atender Entidades atendidas Municipios atendidos 4.4 Evolución de la Cobertura del Programa: S071 11/17
1. Población Atendida / Población Objetivo 2. Población Objetivo/ Población Potencial ND ND Valoración de la Evolución de Cobertura La población objetivo tiende a ser confundida con la meta; además, sólo se presentan datos para 2008. Para la población potencial no se tiene ninguna información en el SED de la SHCP. Debido a que se carece de cuantificaciones adecuadas de las poblaciones potencial y objetivo, no se cuenta con datos de cobertura. Por ello, no es posible valorar su evolución. Fuentes de Información A) Sistema de Evaluación del Desempeño (SED) de la SHCP. 1. Reglas de Operación del Programa 2. Documento Plantilla de Población Atendida 3. Documento Justificación de Población Potencial 4. Cobertura del Programa 5. Evaluaciones Externas Comentarios y Observaciones Es indispensable que el Programa defina correctamente sus poblaciones potencial y objetivo y establezca métodos adecuados para cuantificarlas. De esta manera podrá contar con los datos necesarios para calcular periódicamente su cobertura. S071 12/17
SEGUIMIENTO A ASPECTOS DE MEJORA a. Existe un documento de trabajo adecuado para atender o mejorar el programa: Si b. Principales 5 aspectos susceptibles de mejora contenidos en el Documento de Trabajo Aspecto 1. Generar un diagnóstico que permita configurar lo planes específicos de atención a la problemática y proporcionar información para el cálculo de indicadores y el establecimiento de metas Acciones de solución: 1. Elaboración de un diagnóstico con una perspectiva global de las condiciones de vida de la población potencial y en zonas de atención que justifique la intervención del gobierno para propiciar la igualdad de oportunidades de este grupo vulnerable. Durante 2008 se elaboró una versión preliminar del Diagnóstico del Programa. 2. En el período 2009-2010 se completará el Diagnóstico mediante el levantamiento y análisis de Información complementaria para la cuantificación de la población, la mejor identificación de zonas de riesgo y la priorización de acciones. Aspecto 2. Configurar una planeación estratégica que operacionalice la estrategia óptima de atención. Acciones de solución: 1. Elaborar las líneas estratégicas del Programa del Empleo Temporal, correspondiente al ámbito de atención de SEDESOL, con base en el diagnóstico. 2. Análisis de la viabilidad de las metas con respecto a las proyecciones de presupuesto 2009-2012 Aspecto 3. Una vez que se cuente con el dignóstico de la problemática, se requiere revisar el diseño del Programa y la estrategia óptima de atención. Acciones de solución: 1. Durante el 2008 las Reglas de Operación 2009 fueron rediseñadas con base en el diagnóstico de la DGAP S071 13/17
2. Una vez integrado en 2009 el Diagnóstico intersecretarial del Programa se podrán realizar los ajustes al diseño en Reglas de Operación. Aspecto 4. Una vez que se cuente con el diagnóstico y la estrategia óptima de atención de la problemática se requiere revisar y medir el propósito y el fin del Programa Acciones de solución: 1. Durante 2008 se revisó y actualizó la Matriz de Indicadores del Programa. Valoración de los Seguimiento a Aspectos de Mejora Los aspectos de mejora responden a las principales debilidades detectadas en la evaluación de consistencia y resultados de 2007-2008, aunque faltó considerar la carencia de estimaciones de las poblaciones potencial y objetivo. Si bien las acciones planteadas corresponden a los aspectos que se busca mejorar, la temporalidad es poco oportuna ya que el diagnóstico se plantea para 2009-2010 y no se pueden iniciar otras acciones que son dependientes de los resultados de este diagnóstico. Fuentes de Información A) Sistema de Evaluación del Desempeño (SED) de la SHCP. 1. Documentos de trabajo para mejora de Pp. 2. Documento de Posicionamiento Institucional 3. Evaluación Externa: Evaluación de Consistencia y Resultados 2007. Comentarios y Observaciones Es importante contar lo antes posible con el diagnóstico ya que de ello dependen acciones clave como el rediseño del Programa y de la estrategia óptima de atención, la revisión de los indicadores de propósito y fin del Programa y la determinación de las metodologías de estimación con sus correspondientes estimaciones. Se debe enfatizar la conveniencia de mejorar la focalización del Programa, ya que las evaluaciones existentes y a los datos socioeconómicos básicos de los beneficiarios muestran que una parte importante de éstos son desempleados permanentes, mientras que el programa está diseñado para atender a los que enfrentan esta situación de manera temporal. S071 14/17
CONCLUSIONES DE LA EVALUACIÓN Consideraciones de la Evaluación: Debido a la carencia de información sobre los indicadores estratégicos y a que todavía no se cuenta con evaluaciones de impacto o seguimiento no se puede valorar en qué medida el programa logra su fin y su propósito. Como no existen cuantificaciones adecuadas de las poblaciones potencial y objetivo, no se cuenta con datos de cobertura. Es indispensable que el Programa defina correctamente sus poblaciones potencial y objetivo y establezca métodos adecuados para cuantificarlas. Los aspectos de mejora responden a las principales debilidades detectadas en la evaluación de consistencia y resultados de 2007-2008, aunque faltó considerar la carencia de estimaciones de las poblaciones potencial y objetivo. Si bien las acciones planteadas corresponden a los aspectos que se busca mejorar, la temporalidad es poco oportuna ya que el diagnóstico se plantea para 2009-2010 y no se pueden iniciar otras acciones que son dependientes de los resultados de este diagnóstico. Fuente de Información General: A) Sistema de Evaluación del Desempeño (SED) de la SHCP: 1. Matriz de Indicadores para Resultados; 2. Fichas Técnicas de la MIR; 3. Evaluaciones Externas; 4. Reglas de Operación del Programa; 5. Documento plantilla de población atendida; 6. Documento de Justificación de Población Potencial; 7. Documento de Posicionamiento Institucional; 8. Cobertura del Programa. B) Informes sobre el Avance en los Indicadores de los Programas Presupuestarios de la Administración Pública Federal. Ejercicio Fiscal 2008. Resumen de Resultados: Todavía no se cuenta con evaluaciones de impacto o con evaluaciones que hayan dado seguimiento a beneficiarios en al menos dos periodos distintos. Ello implica que no se tengan evidencias sólidas de los resultados del Programa. Fortalezas: Todavía no se cuenta con evidencias sobre las fortalezas en el desempeño del Programa. Los tres indicadores de gestión para los que se calculó el avance para 2008 muestran que el Programa ha alcanzado su meta en términos de proyectos ejecutados respecto a los aprobados y de población atendida respecto a los solicitantes, pero que sólo entregó 92% de los jornales programados. Cabe aclarar que el porcentaje de estos avances depende del valor de las metas que fija el propio Programa. Debilidades: Se carece de información sobre los indicadores estratégicos. Debido a que es un Programa de reciente creación todavía no hay evaluaciones de impacto o seguimiento. No se ha cuantificado adecuadamente a las poblaciones potencial y objetivo. S071 15/17
Conclusiones del Evaluador Externo: Debido a la carencia de información sobre los indicadores estratégicos y a que todavía no se cuenta con evaluaciones de impacto o seguimiento no se puede valorar en qué medida el Programa logra su fin y su propósito. Se considera que los indicadores plantados permitirían una adecuada valoración del desempeño del Programa y del logro de su fin y su propósito. Lo que se requiere es que los indicadores estratégicos sean estimados por primera vez mediante una evaluación de impacto. En la medida que se realicen las estimaciones se podrá tener, como subproducto de la evaluación, una mejor valoración de la adecuación de los indicadores. Debido a que se carece de cuantificaciones adecuadas de las poblaciones potencial y objetivo, no se cuenta con datos de cobertura. Por ello, no es posible valorar su evolución. Es indispensable que el Programa defina correctamente sus poblaciones potencial y objetivo y establezca métodos adecuados para cuantificarlas. Los aspectos de mejora responden a las principales debilidades detectadas en la evaluación de consistencia y resultados de 2007-2008, aunque faltó considerar la carencia de estimaciones adecuadas de las poblaciones potencial y objetivo. Si bien las acciones planteadas corresponden a los aspectos que se busca mejorar, la temporalidad es poco oportuna ya que el diagnóstico se plantea para 2009-2010 y no se pueden iniciar otras acciones clave que dependen de él, tales como el rediseño del Programa y de la estrategia óptima de atención, la revisión de los indicadores de propósito y fin del Programa y la determinación de las metodologías de estimación con sus correspondientes estimaciones. Se debe enfatizar la conveniencia de mejorar la focalización del Programa, ya que las evaluaciones existentes, en particular la de 2007, y a los datos socioeconómicos básicos de los beneficiarios muestran que una parte importante de éstos son desempleados permanentes, mientras que el Programa está diseñado para atender a los que enfrentan esta situación de manera temporal. S071 16/17
DATOS DE LA INSTITUCIÓN EVALUADORA 1. Institución Evaluadora: UAM-Xochimilco 2. Nombre del(a) Coordinador(a) de la Evaluación: Graciela Bensusán Areous 3. Correo Electrónico: bensusan@servidor.unam.mx 4. Teléfono: 30000258 S071 17/17