EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL PROGRAMA DE COINVERSIÓN SOCIAL POSICIÓN INSTITUCIONAL ABRIL DE 2012

Transcripción

1 EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL PROGRAMA DE COINVERSIÓN SOCIAL POSICIÓN INSTITUCIONAL ABRIL DE 2012 Página 1 de 6

2 I. Consideraciones generales De acuerdo al numeral 23 del Programa Anual de Evaluación 2011 y al numeral 26 del Programa Anual de Evaluación 2012; artículo 74 de la Ley General de Desarrollo Social; numeral décimo sexto y décimo octavo de los Lineamientos Generales para la Evaluación de los Programas Federales de la Administración Pública Federal (Lineamientos), se realizó la Evaluación de Consistencia y Resultados (ECyR) para el ejercicio fiscal 2011 y parte de La ECyR tiene por objeto evaluar a través de 51 preguntas la consistencia y orientación a resultados de los Programa Federales, agrupadas en 6 temas: diseño del programa, planeación y orientación a resultados, cobertura y focalización del programa, principales procesos operativos, instrumentos para medir el grado de satisfacción de los beneficiarios, y finalmente resultados del programa respecto a la atención del problema para el que fue creado. Dicha evaluación se realizó mediante trabajo de gabinete, con base en información proporcionada por esta dependencia a través de las entidades o unidades administrativas responsable del programa, así como información adicional que la instancia evaluadora hubiere considerado necesaria para justificar su análisis. El modelo de Términos de Referencia de la ECyR fue establecido por el Consejo Nacional de Evaluación de la Política de Desarrollo Social (CONEVAL), buscando con ello disponer de instrumentos homogéneos que permitan realizar un análisis estandarizado de los programas de la Administración Pública Federal que faciliten la comparación de los resultados. Al ser la segunda ocasión en que se efectúa una ECyR, la consolidación del proceso de mejora continua de los programas en los últimos diez años se refleja en los avances que han tenido éstos como resultado de la atención a las recomendaciones de la primera ECyR efectuada en La Secretaría de Desarrollo Social (SEDESOL) a través de la Dirección General de Evaluación y Monitoreo de los Programas Sociales coordinó y supervisó la realización de estas evaluaciones mediante un proceso participativo, donde intervinieron tanto las unidades responsables de la operación de los programas, como otras áreas de la dependencia que coadyuvan en temas de diseño, planeación, seguimiento, elaboración de padrones, monitoreo y evaluación. En este proceso, se mantuvo siempre un diálogo respetuoso del punto de vista independiente que deriva del carácter externo del evaluador, el cual se refleja en las valoraciones que hace del programa durante los documentos de evaluación. En este documento se presenta la postura a la ECyR, tanto de la Dirección General de Evaluación y Monitoreo de los Programas Sociales como del Programa de Coinversión Social, y en su caso se señalan las posibles diferencias de criterio respecto de las opiniones vertidas por el evaluador, señalando en todos los casos las razones objetivas que las sustentan, desde el punto de vista institucional. Página 2 de 6

3 II. Comentarios Específicos Dirección General de Evaluación y Monitoreo (DGEMPS) La DGEMPS reconoce el esfuerzo realizado por parte del CONEVAL por sistematizar y homogeneizar el instrumento para la ECyR. También reconoce el esfuerzo de síntesis del evaluador para presentar sus valoraciones de forma concisa, sin embargo se considera pertinente advertir al lector de los siguientes aspectos respecto de la evaluación: La complejidad de los problemas de desarrollo social requiere de programas cuya estrategia de atención incluye diversos tipos de apoyo, desde aquellos que demandan mecanismos de selección a nivel persona u hogar (pisos firmes), los que atienden a las personas o territorios mediante obras o acciones de carácter comunitario (infraestructura social) y aquellos para actores sociales intermedios o beneficiarios (como del Programa de Coinversión Social), según los Lineamientos normativos para la integración del padrón único de beneficiarios de la SEDESOL. Esta multiplicidad de tipos de apoyo generó controversias respecto de la interpretación que debe darse a aspectos evaluados, como las características de los beneficiarios, su cuantificación, los criterios de selección, los procedimientos de entrega de apoyos y el seguimiento a la ejecución de dichos apoyos. Si bien el criterio que prevalece en la evaluación es el del evaluador, dicho criterio puede ser distinto del empleado en otras evaluaciones de programas con características similares. Controversias similares se presentaron en conceptos generales para el análisis de preguntas específicas como no beneficiarios o demanda total. Las interpretaciones discutidas vinculaban los conceptos a población potencial o a solicitantes (sean o no población potencial). Nuevamente se respetó el criterio del evaluador pero puede ser distinto del empleado en otras evaluaciones. Página 3 de 6

4 II. Comentarios Específicos del Programa de Coinversión Social (PCS) El Instituto Nacional de Desarrollo Social (Indesol) reconoce el esfuerzo que realizó el evaluador en la sistematización, emisión de valoraciones y recomendaciones, respecto de la consistencia y orientación a resultados del Programa. Por otra parte, valora el esfuerzo que realiza el CONEVAL al sintetizar y homogeneizar los instrumentos para la realización de las evaluaciones de la política de Desarrollo Social, en específico los Términos de Referencia de la Evaluación de Consistencia y Resultados. Sin embargo, se reconoce la necesidad de contar con instrumentos flexibles de evaluación que permitan captar información de Programas con características particulares como es el caso del PCS; de igual manera se debe considerar que este esfuerzo de síntesis y los criterios de valoración de la información pueden dejar de lado avances y logros sustanciales del Programa, que el lector no puede prever en este documento. Es por ello que el Programa de Coinversión Social considera pertinente puntualizar algunos aspectos de valoración, avances y logros que el programa ha llevado a cabo y que dentro del formato de la evaluación no pudieron ser enfatizados: Características particulares del Programa: Dadas las características de operación del Programa, no ha sido posible medir su impacto, toda vez que el establecimiento de un grupo de control se dificulta. El apoyo que otorga el Programa depende tanto de la demanda de los Actores Sociales que presenten proyectos en cada ejercicio fiscal, es decir del interés que muestren para participar y el cumplimiento de criterios y requisitos de participación, como del presupuesto disponible para subsidios en el mismo período, por lo que la determinación de metas y la cobertura de corto, mediano y largo plazo pueden no coincidir con las mismas características de otros Programas. El Programa de Coinversión Social apoya a Actores Sociales constituidos como Organizaciones de la Sociedad Civil, Instituciones de Educación Superior y Centros de Investigación, que por sus características no ha sido posible la conformación de un Padrón Único de Beneficiarios. El Programa considera pertinente subrayar que los mecanismos de verificación de los procesos se encuentran implícitos dentro de la propia mecánica operativa del Programa, toda vez que se cuenta con un conjunto de instrumentos y elementos que le permiten validar el cumplimiento de cada una de las fases para completar cada proceso. Tal es el caso del procedimiento de selección de beneficiarios que se realiza a través de la dictaminación de proyectos, cuyo mecanismo de verificación es el Acta de dictaminación que si bien no cumple con todas las características previstas en los términos de referencia de la evaluación que nos ocupa, no debiera demeritar al propio proceso de selección, el cual se realiza conforme lo estipulado en Reglas de Operación y ha sido objeto de múltiples reconocimientos como una fortaleza del Programa en diversas evaluaciones externas. Por otra parte, es Página 4 de 6

5 pertinente aclarar al lector, que la implementación de mecanismos de verificación adicionales a los procesos, incrementaría el costo eficiencia de operación del programa. Avances y logros del Programa: Actualmente el PCS, cuenta con el documento de Propuesta de Atención, en el cual se contemplan, las metas y estrategia de cobertura del Programa de corto y mediano plazo. Con respecto a la percepción de la población atendida y su seguimiento se tiene registro en el SIGEPPCS de encuestas aplicadas a las personas encargadas de la operación de los proyectos durante las visitas de campo, desde 2005 a la fecha. Como bien los destaca la institución evaluadora, las características del programa no han permitido llevar a cabo una evaluación de impacto; sin embargo en su búsqueda de alternativas para atender esta área de oportunidad se han emprendido diversas acciones; en el año 2010, llevó a cabo una Evaluación para medir los efectos del Programa en la Construcción del Capital Social, cuyos resultados principales fueron: que el 30.8% de los Actores Sociales Apoyados por el PCS tienen el más alto capital social y que el 25.8% cuentan con el más alto fortalecimiento Institucional; durante el ejercicio fiscal 2011, participó en el Proyecto de Incubadora de Evaluaciones de Impacto, coordinado por el CONEVAL. En un esfuerzo por conformar el Padrón Único de Beneficiarios del PCS, se han atendido las solicitudes por parte de la Dirección General de Geoestadística y Padrones de Beneficiarios de la SEDESOL, con la intención de dar cumplimiento a los Lineamientos Normativos para la Integración del Padrón Único de Beneficiarios del Programa de Desarrollo Social publicados por la Subsecretaría de Prospectiva, Planeación y Evaluación de la SEDESOL el pasado 21 de febrero del presente ejercicio fiscal, en el cual se reconocen las características de la población objetivo del Programa y se define una estructura oficial. A pesar de esta limitante, el Programa cuenta con bases de datos, como son el Integra_Todo, que se desprende del Sistema de Gestión de Proyectos del Programa de Coinversión Social (SIGEPPCS), tal como lo señala la institución evaluadora, donde se concentra información relevante de los beneficiarios como: figura jurídica, domicilio fiscal, nombre del Representante Legal, años de constitución, áreas de incidencia. Adicionalmente se cuenta con una aproximación de las características socioeconómicas de los Actores Sociales apoyados, a través de las visitas de seguimiento en campo y a través de evaluaciones externas, como es el caso de la Evaluación para medir los Efectos del Programa de Coinversión Social en la Construcción del Capital Social. Se comparte la opinión de la institución evaluadora respecto de la conformación de un documento explícito sobre la vinculación de los objetivos del Programa con las Metas del Milenio. No obstante, se considera importante aclarar que el PCS ha identificado dicha vinculación de manera indirecta, a través de las convocatorias que emite y se atenderá conforme las disposiciones emitidas por las instancias coordinadoras. Página 5 de 6

6 Finalmente, se agradece a los funcionarios de CONEVAL por los esfuerzos implicados en esta evaluación, así como al evaluador externo por su dedicación y la retroalimentación aportada. Se valorarán las debilidades observadas con la perspectiva de continuar trabajando en resolver las deficiencias, así como de mantener el compromiso de potenciar las fortalezas detectadas. Los avances reportados dan cuenta del esfuerzo de la Secretaría por consolidar una política social institucional, orientada a resultados, con transparencia y rendición de cuentas. Contar con una política social de Estado incentiva a realizar ejercicios similares en los tres niveles de gobierno. Página 6 de 6