Evaluación Externa del Programa. Opciones Productivas

Transcripción

1 Evaluación Externa del Programa Opciones Productivas Informe Metodológico presentado por Graciela Márquez Colín El Colegio de México (Responsable) Marzo, 2005

2 Índice Página I. Introducción....2 II. Metodología para el Cumplimiento de los Objetivos de la Evaluación 1. Objetivos de la Evaluación Estrategia Metodológica de la Evaluación Instrumentos de Campo Análisis de Cobertura y Focalización 8 5. Análisis de Operación Análisis de Resultados (Beneficios Económicos y Sociales) Análisis de Satisfacción y Percepción de los Beneficiarios Plan de la Prueba Piloto Bibliografía...33 III. Instrumentos 1. Cuestionario a Operadores del Programa 2. Cuestionario a Beneficiarios de la Vertiente Apoyo a la Palabra 3. Cuestionario a Miembros del Comité Comunitario (APAL) 4. Cuestionario a Miembros del Comité de Validación Municipal (APAL) 5. Cuestionario a Miembros del Comité Único de Validación Central 6. Cuestionario a Responsables de Proyecto (IP y ADL) 7. Formatos de Solicitud de Información para las Agencias de Desarrollo Local y para los Proyectos de Integración Productiva. -1-

3 I. Introducción De acuerdo a los términos de referencia de la Evaluación Externa del Programa Opciones Productivas, ésta deberá analizar el diseño, operación, focalización, resultados (impacto) y satisfacción de los beneficiarios del Programa Opciones Productivas, identificando las fortalezas y debilidades en cada área, y proponiendo alternativas para mejorar el desempeño del programa. Los aspectos de diseño, cobertura y focalización del programa fueron cubiertos en forma preliminar mediante la entrega del reporte correspondiente el pasado 15 de Octubre del presente año. Por lo tanto, en el presente reporte sólo se presenta el informe metodológico correspondiente a los aspectos de Operación, Resultados y Satisfacción y Percepción de los Beneficiarios del programa. De acuerdo a los Términos de Referencia, el informe metodológico debe contener la metodología a ser utilizada en los distintos componentes de la evaluación y en la generación de cada uno de los productos. Este documento debe ser preparado con base a su propuesta técnica inicial, y desarrollar cada tema con mayor profundidad. Debe dar cuenta de todos los aspectos metodológicos e instrumentos de recolección de datos que se emplearán durante la evaluación e incluir las reflexiones y sugerencias del Programa, la DGEMPS y la DGMS. Además, según los mismos términos de referencia, el informe debe contener un capítulo para cada componente de la evaluación. En cada capítulo se debe discutir la metodología a seguir, las preguntas que se busca responder, sus respectivos indicadores y fuentes de información. También debe contener el borrador de los instrumentos de recolección de datos y la descripción detallada de las metodologías propuestas para los estudios cualitativos. Además, debe discutir los planes para la implementación de la prueba piloto del estudio y el trabajo de campo, el plan de análisis de los datos y estructura propuesta del informe final. El presente documento contiene la propuesta inicial del informe metodológico estipulado en los términos de referencia de acuerdo a las condiciones ahí descritas. -2-

4 II. Metodología para el Cumplimiento de los Objetivos de la Evaluación II. 1 Objetivos de la Evaluación Los objetivos de la evaluación en lo que corresponde a las áreas de Operación, Resultados (Impacto) y Satisfacción (Percepción) de los beneficiarios, serán los siguientes: De Operación: 1. La Evaluación elaborará un diagrama de flujo identificando los principales procesos operativos definidos en las ROP del POP y los actores responsables en cada proceso (SEDESOL central, delegaciones estatales, autoridades estatales, municipales, etc.). 2. La Evaluación verificará la existencia y utilización de sistemas de información que le permitan al POP dar un seguimiento interno del cumplimiento de sus ROP. Además, validará en campo los sistemas de información, incluyendo el Sistema Integral de Información de Programas Sociales (SIIPSO). 3. La Evaluación verificará en campo el cumplimiento de metas físicas y financieras del POP. 4. La Evaluación realizará un análisis de costos de los recursos asignados al POP en función del grado de potencialización de los recursos, es decir, de los costos unitarios que se incurre en su operación. Asimismo, la Evaluación destacará los costos administrativos del total del programa y el costo promedio de las acciones realizadas. De Resultados: 1. La Evaluación medirá los resultados del POP con relación a los beneficios económicos que resultan de los mismos. También se hará un estudio econométrico que analizará la probabilidad de éxito en el cumplimiento de los objetivos de los proyectos, en donde el concepto de éxito dependerá de la vertiente analizada. De Satisfacción de los beneficiarios: 1. La Evaluación medirá el grado de satisfacción de la población objetivo en cuanto al acceso, atención, tiempo de trámites y apoyos obtenidos por el POP. 2. La evaluación obtendrá indicadores de la percepción de los beneficiarios con respecto a la efectividad de los programas sociales en general y del programa de Opciones productivas, en particular. -3-

5 II. 2 Estrategia metodológica de la Evaluación La propuesta técnica para la Evaluación Externa del Programa Opciones Productivas busca cumplir con los objetivos, requerimientos y horizontes de evaluación descritos con anterioridad mediante la aplicación sistemática de diversos instrumentos de cálculo y técnicas analíticas. Se busca conocer el funcionamiento y operación del Programa, así como el acceso de la población en situación de pobreza a fuentes de financiamiento y sus efectos en los niveles de vida de dicha población, además de buscar escenarios diversos que contribuyan a mejorar el desempeño del Programa. De esta manera, la evaluación se plantea como un instrumento que contribuya a la toma decisiones en torno al POP y, en general, de las acciones de desarrollo social y de combate a la pobreza en México. Debido a la complejidad de los aspectos a evaluar, y como resultado de la ausencia de un marco de análisis experimental, resulta necesario establecer una estrategia metodológica compuesta, con procedimientos y técnicas cuantitativas y cualitativas adecuadas para cada uno de los distintos aspectos a evaluar. Dentro de dicha estrategia compuesta se utilizará la información estadística generada con base en una encuesta para cada tipo de vertiente. Al respecto, cabe destacar que utilizaremos un modelo quasiexperimental con base en encuestas a un grupo de beneficiarios, a fin de estimar los beneficios e impactos económicos y sociales del programa con un grado de precisión y confiabilidad aceptable. La idea es que el modelo a emplear y los instrumentos de acopio y análisis de información van a estar diseñados para poder ser replicados en periodos subsecuentes, obteniendo una base de datos que permita hacer estimaciones futuras que permitan la comparabilidad intertemporal y un análisis sobre la evolución del programa. La evaluación que se propone hará uso de cuatro fuentes de información básica: 1. Referencias estadísticas y documentales, principalmente de temas económicos, sociales y demográficos, que estén relacionados con el tema de acceso a fuentes de financiamiento de la población en situación de pobreza en México. 2. Información interna del Programa, misma que será requerida a la SEDESOL. -4-

6 3. Las Evaluaciones Externas anteriores del POP, y estudios académicos relacionados con el apoyo a proyectos productivos y de generación de autoempleo relacionados con la población en situación de pobreza. 4. Información generada en el estudio de campo. En cuanto a la información generada en el estudio de campo, esta será recopilada fundamentalmente a través de dos instrumentos generales: cuestionarios a los beneficiarios y/o responsables de proyectos, así como entrevistas a operadores del programa y miembros de los distintos comités del Programa. Además de lo anterior, también se hará uso de la elaboración de bitácoras de campo, las cuales serán elaboradas por las brigadas de trabajo de campo y en ellas se recopilará información cualitativa para constatar que los apoyos y acciones registradas por el programa realmente se hayan llevado a cabo, el estado en que estos se encuentran, y el desarrollo de algunas de las vertientes evaluadas del POP. Estas observaciones se realizarán de manera general en todas las localidades y municipios a visitar durante el levantamiento de la encuesta, y será utilizada como información complementaria para la evaluación del programa. II. 3. Instrumentos de Campo Estos instrumentos estarán diferenciados por vertiente del programa para la población beneficiaria y por el tipo de participante en el programa. Las encuestas a beneficiarios del programa o responsables de los proyectos seleccionados nos permitirán obtener información que posteriormente será utilizada en el análisis del impacto del programa, así como de la satisfacción o percepción de los beneficiarios. Las encuestas y/o entrevistas a los operadores del programa o miembros de los diferentes comités que intervienen en el proceso de operación del programa se utilizarán para obtener información de primera mano sobre los objetivos y la dinámica operativa del Programa, además de constatar el seguimiento de las reglas de operación del Programa por parte de estos. Tendremos seis diferentes tipos de encuestas y/o entrevistas. -5-

7 1) Entrevista a Operadores del Programa Se realizarán 25 entrevistas a servidores públicos de nivel central y/o en las delegaciones federales de la SEDESOL, en los estados seleccionados para el levantamiento de las encuestas. La información que resulte no será representativa a nivel nacional y tiene como objeto evaluar los procesos que lleva a cabo el Programa para el otorgamiento de los diversos apoyos en las vertientes evaluadas 2) Encuesta a los beneficiarios de la vertiente de Apoyo a la Palabra El cuestionario de Apoyo a la Palabra recolectará información sobre las características del predio, de los insumos, las técnicas de producción, el empleo, el crédito y el mercado; asimismo, contará con un módulo de características individuales y del hogar y otro sobre percepción del programa. Dicho cuestionario será adaptado a las condiciones y necesidades particulares del tipo de siembra de que se trate. Se aplicará a una muestra aleatoria representativa de beneficiarios del POP, para la cual se seleccionaron 80 municipios distribuidos en 15 estados, y se realizarán 20 entrevistas con beneficiarios en cada uno de dichos municipios de acuerdo a lo establecido en el Anexo C de los Términos de Referencia. 3) Encuestas al Comité Comunitario (Apoyo a la Palabra) Por medio de estas encuestas se pretende recopilar información a cerca de las características de operación, conformación y cumplimiento de sus funciones de los mismos, según las ROP. La muestra estará conformada por dos miembros del Comité Comunitario y el representante municipal ante el Comité de Validación en cada uno de los municipios seleccionados en el Anexo C de los TR. 4) Entrevista al Comité de Validación (Apoyo a la Palabra) Se realizaran entrevistas al Presidente o vocales del Comité de Validación a nivel estatal, en los estados seleccionados para el levantamiento de las encuestas. La información que resulte tiene como objeto evaluar los procesos que lleva a cabo el Programa para el otorgamiento de los diversos apoyos en las vertientes evaluadas. No se obtendrá información cuantitativa al respecto. 5) Entrevista al Comité Único de Validación Central (IP y ADL) Se realizaran entrevistas a algunos miembros del Comité Único de Validación Central, para evaluar los procesos que lleva a cabo el Programa para el otorgamiento de apoyos en la vertiente de Agencias de Desarrollo Local. 6) Encuesta a los responsables de los proyectos de Integración Productiva y Agencias de Desarrollo Local A través del cuestionario de Integración Productiva y Agencias de Desarrollo Local se recolectará información sobre las características del proyecto, de los insumos, las técnicas de producción y capacitación, el empleo, el crédito y el mercado. Asimismo, contará con un módulo sobre la percepción del programa. Dichos cuestionarios serán adaptados a las condiciones y necesidades particulares del tipo de proyecto de que se trate. Estas encuestas se aplicarán al total de Organizaciones apoyadas por el Programa durante 2003 y 2004, conforme al anexo D de los TR. -6-

8 Los instrumentos de campo se presentan íntegros en una sección posterior. A continuación, simplemente mostramos la estructura general de cada uno de los instrumentos y las secciones que los componen. Más adelante, al comentar cada una de las secciones de la evaluación por separado, estableceremos los vínculos existentes entre los diferentes instrumentos de campo, las preguntas específicas a responder por cada sección y su contraparte en el instrumento. Estructura de los Instrumentos de Campo BENEFICIARIO DE LA VERTIENTE APOYO A LA PALABRA CARACTERÍSTICAS DEL ENTREVISTADO APOYO OTORGADO POR EL PROGRAMA CARACTERÍSTICAS PRODUCTIVAS FINANCIAMIENTO Y CRÉDITO OPERACIÓN DEL PROGRAMA COMPLEMENTARIEDAD O DUPLICIDAD CON OTRAS VERTIENTES Y PROGRAMAS BENEFICIOS SATISFACCIÓN DE LOS BENEFICIARIOS VALORACIONES GENERALES SOBRE EL PROGRAMA CARACTERÍSTICAS SOCIOECONÓMICAS DE LOS BENEFICIARIOS RESPONSABLE DEL PROGRAMA CARACTERÍSTICAS DEL ENTREVISTADO RELACIÓN CON EL PROGRAMA OPORTUNIDADES PRODUCTIVAS PROCESAMIENTO DE INFORMACIÓN: SISTEMA INTEGRAL DE INFORMACIÓN DE PROGRAMACIÓN SOCIAL (SIIPSO) SISTEMA DE INFORMACIÓN GENERAL TRANSPARENCIA CONTRALORÍA SOCIAL OPERACIÓN DEL PROGRAMA RESPONSABLES DE LA EJECUCIÓN DEL PROYECTO CARACTERÍSTICAS DEL ENTREVISTADO RELACIÓN CON EL PROGRAMA OPORTUNIDADES PRODUCTIVAS CARACTERÍSITCAS DE LA ORGANIZACIÓN SOCIAL A LA QUE PERTENENCE CARACTERÍSTICAS DEL PROYECTO LLEVADO A CABO APROBACIÓN DEL PROYECTO SOLAMENTE PARA LA MODALIDAD DE INTEGRACION PRODUCTIVA SOLAMENTE PARA LA MODALIDAD DE AGENCIA DE DESARROLLO LOCAL COMITÉ ÚNICO DE VALIDACIÓN CENTRAL CARACTERÍSTICAS DEL ENTREVISTADO RELACIÓN CON EL PROGRAMA OPORTUNIDADES PRODUCTIVAS INFORMACIÓN UTILIZADA TRANSPARENCIA OPERACIÓN DEL PROGRAMA SELECCIÓN DE LOS PROYECTOS DE INTEGRACIÓN PRODUCTIVA SELECCIÓN DE LOS PROYECTOS DE AGENCIAS DE DESARROLLO LOCAL SIN APARTADOS SIN APARTADOS COMITÉ COMUNITARIO COMITÉ MUNICIPAL -7-

9 II.4 Cobertura y Focalización El análisis de la cobertura y focalización del Programa Opciones Productivas (POP) para el ejercicio fiscal del 2004 se realiza en cinco apartados: a) Análisis de Cobertura y Focalización Territorial. Se hará una revisión de los municipios y entidades federativas en donde opera el programa, contrastándolo con el total de municipios existentes en la República Mexicana de acuerdo a los datos del XII Censo Nacional de Población y Vivienda del INEGI. Asimismo, los municipios y entidades donde opera el programa serán ubicados de acuerdo a su grado de marginación según los índices de marginación de CONAPO 2000, con el objeto de determinar la cobertura del Programa de Opciones Productivas en lo relativo al nivel de marginación de los lugares donde actúa. b) Análisis de Cobertura y Focalización de Apoyos. Se realizara un estudio del número de apoyos ejercidos durante el año 2004 con base en lo datos de inversión federal proporcionados por el POP. Dicho estudio se realizara abordando: a) número de apoyos por estado; b) número de apoyos por municipio y localidad donde opera; y c) grado de marginación municipal y por localidad. c) Cobertura poblacional Se analizara la distribución de la población atendida a nivel nacional y por modalidad del POP. d) Análisis de cobertura por vertiente En este apartado se realizaran: 1) análisis del número de beneficiarios por vertiente, 2) análisis de la inversión per cápita y, 3) análisis de la cobertura de los beneficiarios atendidos de acuerdo al grado de marginación municipal en el periodo e) Análisis de beneficiarios de Apoyo a la Palabra. -8-

10 Se realizara un análisis que permite contrastar la información de gabinete con la obtenida en campo, a fin de verificar las características socioeconómicas de los beneficiarios de la vertiente de Apoyo a la Palabra. II. 5 Análisis de Operación De acuerdo a los Términos de Referencia, el objetivo de esta sección será el de Verificar el cumplimiento de las Reglas de Operación que regulan las acciones del Programa y la adecuada operación del programa. La evaluación de operación incluirá un análisis de los procesos operativos, la verificación del cumplimiento de metas físicas y financieras y un análisis de costos. Como parte de la evaluación se verificará la existencia y utilización de sistemas de información que le permitan al Programa dar un seguimiento interno del cumplimiento de sus Reglas de Operación. Además, se validarán en campo los sistemas de información, incluyendo el Sistema Integral de Información de Programas Sociales (SIIPSO) y cualquier otro sistema de información que sea utilizado por el programa para el seguimiento de sus operaciones. Asimismo, se verificará la existencia de la información, su confiabilidad, disponibilidad oportuna y el grado en que se utiliza para la mejor gestión del programa. La evaluación complementará la información de los sistemas de seguimiento con entrevistas a profundidad a los responsables de la operación del programa a nivel central y una encuesta a los operadores del Programa (responsables del programa en la Delegación Estatal) (véanse los instrumentos correspondientes más adelante). Para la modalidad de Apoyo a la palabra, se entrevistará a los miembros del comité comunitario: dos beneficiarios por proyecto en muestra y a un miembro del comité de validación (el representante de la presidencia municipal). Para las modalidades de Integración Productiva y Agencias de desarrollo Local se entrevistará a cuantos miembros del Comité Único de Validación Central sea posible. -9-

11 siguientes: Las preguntas que se tratará de responder en esta parte de la evaluación son las Promoción - Existe información sistematizada que permita el seguimiento de actividades de promoción? - Es confiable dicha información? - Se cumple con las actividades de promoción estipuladas en las Reglas de Operación? - Cuáles son las características de la promoción del programa (tiempos, plazos, etc.)? - Qué actividades de promoción se llevan a cabo? - Con qué frecuencia se realizan? - Existen procedimientos estandarizados y adecuados para esta actividad? - Cuál es su efectividad? Solicitud de apoyos - Existe información sistematizada que permita conocer la demanda total de apoyos y las características de los solicitantes? - Se cumple con los lineamientos para recibir y procesar solicitudes de apoyos estipuladas en las Reglas de Operación? - Se resuelven las solicitudes de apoyo en un plazo razonable? - Existen procedimientos estandarizados y adecuados para procesar solicitudes de apoyo? - Hay transparencia en los procedimientos? - Hay equidad en los procedimientos? Selección de beneficiarios - Existe información sistematizada que permita conocer a los beneficiarios del programa? - Existe información sobre la frecuencia con la que se reciben dichos apoyos? - Existe información sobre las características socio económicas de los beneficiarios? - Existe información sobre la conformación y representatividad de las organizaciones beneficiarias de las vertientes Integración Productiva y Agencias de Desarrollo Local? - Es confiable, adecuado y actualizado el padrón de beneficiarios? - Esta sistematizada la información sobre el padrón de beneficiarios? - La selección de proyectos y/o beneficiarios cumple con los criterios de elegibilidad y requisitos establecidos en las Reglas de Operación? -10-

12 - Existen procedimientos estandarizados y adecuados para la selección de proyectos y/o beneficiarios? - Es transparente y expedito el proceso de selección de proyectos o beneficiarios? Contraloría social - Se tiene información sistematizada que permita dar seguimiento oportuno a las actividades de contraloría social? - Es confiable dicha información? - Existen los mecanismos de contraloría social establecidos en las Reglas de operación? - Funcionan de acuerdo a lo estipulado en la normatividad? - Existen procedimientos estandarizados y adecuados de contraloría social? - La composición, funcionamiento y atribuciones de los comités de vigilancia es apropiada para garantizar una efectiva contraloría social? Ejecución de proyectos - Se tiene información sistematizada que permita dar seguimiento oportuno a la ejecución de los proyectos? - Existe concordancia entre la situación real del proyecto y los registros oficiales del programa? - Los proyectos ejecutados son consistentes con los lineamientos de las Reglas de operación? - Se respetaron los montos de apoyos estipulados en las Reglas de Operación? - Se cumplió oportunamente con la entrega de los recursos por parte de cada co participante (gobierno federal, estatal, municipal y otros)? - Se realizaron los proyectos y las acciones en las fechas establecidas? - Fueron pertinentes las fechas de entrega de recursos para la ejecución de los proyectos? - Se tiene información sistematizada que permita dar seguimiento oportuno a las recuperaciones de los apoyos? -11-

13 Además de tratar de responder a las preguntas anteriores mediante los diferentes instrumentos de campo y el análisis de gabinete, el trabajo de esta sección se abocará a analizar otros 3 temas específicos: Cumplimiento de metas Se verificará el cumplimiento de las metas físicas y financieras a nivel estatal y nacional, a través de la selección de una muestra de proyectos del ejercicio 2004 (Apoyo a la Palabra, Integración Productiva y Agencias de desarrollo Local) para comprobar la consistencia entre los registros del sistema y la evidencia en campo de su avance físico. Identificación de Procesos Se identificarán los principales procesos operativos definidos en las Reglas de Operación del Programa y el papel de los diferentes actores responsables en cada proceso (SEDESOL central, delegaciones estatales, autoridades estatales, municipales, etc.). Para ello, se realizará un diagrama de flujo de los procesos que permita entender los procesos operativos. Además de lo anterior, en la evaluación se identificarán las limitantes que impiden una mejora en las acciones operativas del programa en cuanto a la promoción, solicitud de apoyos, selección de beneficiarios, contraloría social, ejecución de proyectos. Sistemas de información La Evaluación verificará la existencia y utilización de sistemas de información que le permitan al Programa dar un seguimiento interno del cumplimiento de sus propias Reglas de Operación Además, validará en campo los sistemas de información, a través de las encuestas a beneficiarios y entrevistas a operadores del programa. Para poder dar respuesta a las preguntas mencionadas anteriormente, así como para evaluar los 3 aspectos recién mencionados, el esquema de trabajo de esta sección será el que se describe a través del siguiente esquema. -12-

14 Esquema I: Operación del Programa EVALUACIÓN DE GABINETE EVALUACIÓN DE CAMPO OPERACIÓN OPERACIÓN CUMPL. DE REGLAS DE OPER. CUMPL. DE REGLAS DE OPER. SISTEMAS DE INFORMACIÓN CUMPLIMIENTO DE METAS Congruencia: Reglas de operación y las actividades de los comités. Información: Las principales limitantes que impiden una mejora en las acciones operativas. Corroboración: De la información del SIIPSO y otras bases de datos del POP Corroboración: Cumplimiento de metas físicas y financieras del POP - Reglas de operación del POP - Presupuesto para la ejecución del POP - Registro de operaciones - Entrevistas con los comités - Encuesta a beneficiarios - Reporte de campo - Entrevista a integrantes de los comités programáticas - presupuestales - Bitácora de campo - Encuesta a beneficiarios - Entrevista a integrantes de los comités - Bitácora de campo -13-

15 Análisis de costos Finalmente, la evaluación medirá el costo de los recursos asignados al Programa en función de la cuantificación monetaria de las diferentes vertientes, acciones y proyectos desarrollados o impulsados por el Programa; así como, los costos y gastos unitarios en los que se incurre durante su operación. Este análisis tratará de determinar qué parte del total de los costos del Programa lo representan los costos de operación del mismo (costos administrativos); y qué costo promedio tiene cada una de las acciones realizadas, así como el costo de hacer llegar un peso a manos de los beneficiarios. En el estudio de gabinete, se usarán el Presupuesto para la ejecución del Programa y el Registro de Operaciones Programáticas Presupuestales para evaluar los costos en los que incurre el Programa en la realización de cada una de las acciones emprendidas por diversas instituciones, en apoyo al acceso a más y mejores fuentes de financiamiento por parte de los beneficiarios. El esquema siguiente ilustra el proceso a seguir en la elaboración de este tipo de análisis. Esquema III: Análisis de Costos EVALUACIÓN DE GABINETE EVALUACIÓN DE CAMPO EVALUACIÓN DE COSTOS EVALUACIÓN DE COSTOS MEDICION DE COSTOS MEDICION DE COSTOS Medir: Gasto monetario de las acciones y proyectos desarrollados por otras dependencias. Los costos y gastos unitarios. Costos administrativos totales y promedios del POP Recabar: Información referente a los costos cualitativos y cuantitativos) - Reglas de operación del POP - Presupuesto para la ejecución del Programa - Registro de operaciones programáticas - presupuestales - Encuesta a beneficiarios - Entrevista a comités -14-

16 Operación Operación: "se deberán validar en campo los sistemas de información, incluyendo el Sistema Integral de Información de Programas Sociales (SIIPSO) y otros similares que sean utilizados por el programa para el seguimiento de sus operaciones" Evaluación de procesos (Promoción) " Existe información sistematizada que permita dar seguimiento oportuno a las actividades de promoción? Es confiable?" (Selección de beneficiarios) El padrón de beneficiarios y/o de proyectos es confiable, adecuado y está actualizado? del Programa 6, 7, 7.1, 7.2, 7.3, 8, 9, 10, 10.1 del Programa 26, 26.1, 27 (Promoción) Se cumple con las actividades de promoción estipuladas en las ROP? del Proyecto Para realizar la convocatoria para la aprobación de su proyecto cómo se enteró usted de: los criterios de elegibilidad/ las fechas límite para el registro de beneficiarios/ los montos máximos de los apoyos/ las condiciones de entrega de los apoyos/ y de la recuperación de los apoyos otorgados? Cómo considera la promoción del programa? Por qué lo considera así? (Promoción) Qué actividades de promoción se llevan a cabo? Con qué frecuencia se realizan? Existen procedimientos estandarizados y adecuados para esta actividad? Cuál es su efectividad? del Programa Cédula al Comité Único de Validación Central: el presidente y los Vocales. 27, 27.1, 27.2, 28, 28.1, 28.2, , 18.1, 18.2, 18.3 (Solicitud de apoyos) Existe información sistematizada que permita conocer la demanda total de apoyos y las características de los solicitantes? (Selección de beneficiarios) Existe información sistematizada que permita conocer quiénes reciben los apoyos del programa, con qué frecuencia y cuáles son sus características socioeconómicas, su conformación y representatividad (en el caso de organizaciones)? del Programa Cédula al Comité Único de Validación Central: el presidente y los Vocales. 11, 11.1, 12, 12.1, 13, 13.1, 13.2, 14, 14.1, 15, 15.1, 16, 16.1, 17, 17.9, 18, 19, 20, 20.1, 21.1, 22, 22.1, 23, 23.1, 24, 24.1, 25, , 7.1, 8, 8.1, 9, 9.1, 9.2, 10, 10.1, 10.2, 11, 11.1, 11.2, 12, 12.1, 12.2, 13, 13.1, 14, 14.1, 15, 15.1, 16, 16.1, 17,

17 (Solicitud de apoyos) Se resuelven las solicitudes de apoyo en un plazo razonable? Existen procedimientos estandarizados y adecuados para recibir y procesar solicitudes de apoyo? Hay transparencia en los procedimientos? (Selección de beneficiarios) Existen procedimientos estandarizados y adecuados para la selección de proyectos y/o beneficiarios? En qué medida es un proceso transparente y expedito? (Tiempo en trámites) Fue oportuna la respuesta del Programa a los trámites de solicitud de apoyo? Cédula al Comité Único de Validación Central: el presidente y los Vocales. 19, 20, 20.1, 24, 24.1, 24.2, 24.3, 24.4, 24.5, 29, 30, 31, 32, 32.2, 32.2, 33, 34, 35, 35.1, 35.2, 36, 36.1, 37, 37.1, 37.2, 37.3, 37.4, 37.5, 38, 39, 40, 41, 42, 43, 44.1, 44.2, 45. (Selección de beneficiarios) La selección de proyectos y/o beneficiarios cumple con los criterios de elegibilidad y requisitos establecidos en las ROP? del proyecto del Programa 23, 23.1, 24, 24.1, 25, 25.1, 26, 26.1, 28, 28.1, 29, 30, 31, 31.1, 32, 32.1, 33, 33.1, 34, 34.1, 35, 36, , 30, 31, 32, 33, 34, 47, 47.1, 47.2 (Contraloría Social) Existen los mecanismos de contraloría social establecidos en las ROP? Funcionan de acuerdo a lo estipulado en la normatividad? del Programa 35, 36, 36.1 Cuáles son las características de la organización? del Programa 19, 20, 21, 22 (Contraloría Social) Existen procedimientos estandarizados y adecuados de contraloría social? La composición, funcionamiento y atribuciones de los comités de vigilancia (u otro relevante) es apropiada para garantizar una efectiva contraloría social? del Programa 34, 34.1, 34.2, 37, 38, 39 (Ejecución de proyectos) Se tiene información sistematizada que permita dar seguimiento oportuno Cédula al Comité Único a la ejecución de los proyectos? Existe concordancia de Validación Central: el entre la situación real del proyecto y los registros presidente y los Vocales. oficiales del programa? 25, 26, 27, 28 (Ejecución de proyectos) Se realizaron los proyectos y las acciones en las fechas establecidas? Fueron pertinentes las fechas de entrega de recursos para la ejecución de los proyectos? (Tiempo en trámites) Cuál es la percepción de los beneficiarios en cuanto a los tiempos de entrega de los apoyos y su concordancia con lo que se les había prometido? (Apoyos obtenidos) Cuál es la percepción de los beneficiarios sobre la calidad de los apoyos? del Programa 40, 41, 42, 43, 44, 45, 46,

18 Existe información sistematizada que permita dar seguimiento oportuno a las actividades de promoción? Es confiable? Se cumple con las actividades de promoción estipuladas en las ROP? Qué actividades de promoción se llevan a cabo? Con qué frecuencia se realizan? Cédula al Comité Comunitario de Apoyo a la Palabra Cédula al Comité de Validación de Apoyo a la Palabra Cédula a Beneficiarios de Apoyo a la Palabra 41,42, 43, 44, 45, 46 49,50,51,52,53,54 Cédula al Comité Comunitario de Apoyo a la Palabra 16, 17 Existe información sistematizada que permita conocer la demanda total de apoyos y las características de los solicitantes? Se cumple con los lineamientos para recibir y procesar solicitudes de apoyos estipuladas en las ROP? Se resuelven las solicitudes de apoyo en un plazo razonable? Existen procedimientos estandarizados y adecuados para recibir y procesar solicitudes de apoyo? Hay transparencia en los procedimientos? Cédula al Comité de Validación de Apoyo a la Palabra Cédula a Beneficiarios de Apoyo a la Palabra 50 19, 20,21,22,23 51,52,53,54,55,56 Cédula al Comité Comunitario de Apoyo a la 10,25,26,27,28,29,30,31,32,33,34 Palabra Cédula al Comité de Validación de Apoyo a la Palabra 32, 33, 34 Existe información sistematizada que permita conocer quiénes reciben los apoyos del programa, con qué frecuencia y cuáles son sus características socio-económicas? El padrón de beneficiarios es confiable, adecuado y está actualizado? La selección de beneficiarios cumple con los criterios de elegibilidad y requisitos establecidos en las ROP? Cédula al Comité Comunitario de Apoyo a la Palabra Cédula al Comité de Validación de Apoyo a la Palabra Cédula a Beneficiarios de Apoyo a la Palabra 11,12,13,14,15,16 11,12,13,14,15,16,17 4,5,6,7,8,9,10,11,12,13,14,15,16,17,18 Cédula al Comité Comunitario de Apoyo a la Palabra 18,19,20,21,23,24 Existen procedimientos estandarizados y adecuados para la selección de beneficiarios? En qué medida es un proceso transparente y expedito? Cédula al Comité de Validación de Apoyo a la Palabra 24,25,26 Cédula al Comité Comunitario de Apoyo a la 47, 48,49,50,51,52 Se tiene información sistematizada que permita dar seguimiento Palabra oportuno a las actividades de contraloría social? Es confiable? Cédula al Comité de Validación de Apoyo a la Palabra 36,37,38,39 Cédula al Comité Comunitario de Apoyo a la 47,48,49,50,51,52 Existen los mecanismos de contraloría social establecidos en las ROP? Funcionan de acuerdo a lo estipulado en la normatividad? Palabra Cédula al Comité de Validación de Apoyo a la Palabra 27,28,29,30,31,32,55,56,57,58,59,60-17-

19 II. 6 Resultados (beneficios económicos y sociales) De acuerdo a los términos de referencia, el objetivo de esta sección será el de Medir los resultados del programa en relación a la sostenibilidad de los proyectos apoyados y los beneficios económicos que resultan. Algunas de las preguntas que trataremos de responder en esta sección son las siguientes. Utilización de los apoyos y Acceso al Crédito - Qué apoyos reciben los beneficiarios? - Desde cuándo reciben dichos apoyo? - Cuál es el uso que se da a los apoyos entregados? - Se utilizan los apoyos para los fines que se solicitan? - En qué otras cosas se utilizan? - La población beneficiaria tiene acceso a crédito? - De quiénes obtienen crédito los beneficiarios? - A qué tasas de interés reciben crédito los beneficiarios? - Cumplen los beneficiarios con sus pagos o recuperaciones? - Conocen los beneficiarios la existencia de organizaciones de ahorro y crédito en su localidad? - Han solicitado crédito en el pasado los beneficiarios del programa? - Les han otorgado a los beneficiarios algún tipo de crédito en el pasado reciente? - Ha cambiado de alguna forma el acceso al crédito por parte de los beneficiarios a raíz de su participación en el programa? Desempeño del proyecto A) Integración Productiva y Agencias de Desarrollo Local: - Cuál es el estado actual del proyecto a un año (o más) de su implementación? - El proyecto continúa operando? - Ha sido ampliado el proyecto? -18-

20 - Si el proyecto ha cambiado, cuáles fueron las causas? - La Organización inicial o beneficiarios han cambiado? - Quiénes participan actualmente en el proyecto? - Quiénes reciben remuneraciones económicas del proyecto? - Cuenta con información contable del proyecto, incluyendo inventarios, utilidades, etc.? - Ha recibido o proporcionado capacitación para su proyecto? - Dónde y a quién compra las materias primas para la producción del proyecto? - Dónde y a quién vende el producto? - Quién y cómo determina el precio de venta de su producto? - Cuáles son las características de las organizaciones apoyadas en términos de su composición, antigüedad, etc.? - Cuáles son los recursos humanos con los que cuentan las organizaciones apoyadas? - Cuál es la experiencia de las organizaciones apoyadas en programas de desarrollo local o regional? - En qué localidades opera el Proyecto o la Agencia de Desarrollo Local? - Cuáles son sus características de las localidades en donde se llevan a cabo los proyectos o en donde operan las ADL? B) Apoyo a la palabra: - Cuáles son las características de su parcela? - Cuántas personas trabajan la parcela? - Quiénes reciben remuneraciones por su trabajo? De qué tipo? - Quiénes no reciben remuneraciones? - Qué sistema de riego ocupa? - Qué tipo de semillas y abono utiliza? - qué y cada cuánto siembra? - De qué bienes de capital dispone? - Cuenta con información contable de su producción? - Dónde y a quién compra las materias primas para su producción? - Dónde y a quién vende su producto? - Quién y cómo determina el precio de venta de su producto? -19-

21 El problema de la evaluación de los efectos económicos de los programas está situado entre los temas más importantes de la economía aplicada. Para ello, se han desarrollado una gran variedad de métodos que buscan solucionar los problemas asociados tanto al carácter no experimental de los datos con que se cuenta, así como la falta de datos y la naturaleza altamente heterogénea y autoselectiva de los mismos. Por dicho motivo, en el transcurso de la evaluación se llevará a cabo la medición de los efectos económicos del Programa de Opciones Productivas tomando en cuenta la disponibilidad de información y la calidad de los mismos. Debe advertirse, sin embargo, que los resultados no corresponden propiamente a una evaluación de impacto del programa, por carecer tanto de un grupo de control, como de información previa a la participación en el programa. En ese sentido, la evaluación de impacto en este caso se reducirá a una simple caracterización de algunos efectos que podrían ser atribuidos al programa, a partir de información restrospectiva o de percepción de los individuos. La Evaluación medirá los resultados del Programa con relación a la factibilidad futura de los proyectos apoyados y los beneficios económicos que resultan de los mismos en las vertientes de Integración Productiva y Agencias de Desarrollo Local, a través de la elaboración de indicadores de factibilidad física, financiera y operativa de los proyectos y de sus beneficios, delimitando el ámbito de responsabilidad del Programa y de otras instancias federales, estatales o municipales que participen en la ejecución y operación del proyecto. Para ello, la Evaluación analizará las variables de información censal recabadas en la Encuesta Nacional de Ingresos y Gastos del INEGI, las que se utilizarán para cuantificar los efectos económicos, y cruzando esta información con la que proviene del Registro de Operaciones Programáticas Presupuestales. Por otro lado, la Evaluación se planteará, vía cuestionario, identificar, cuantificar y evaluar los efectos económicos y sociales de los beneficiarios, con el fin de capturar todos los aspectos cuantitativos y cualitativos relevantes. Así, a través de las encuestas que se realizarán en la muestra proporcionada de proyectos realizados en el 2003 y 2004, se valorará la utilización de los apoyos (subsidios) y -20-

22 acceso al crédito por parte de los beneficiarios del Programa, destacándose los apoyos que reciben, el acceso a fuentes de crédito, sus restricciones de acceso, las tasas de interés y los pagos y recuperaciones de los mismos. Por lo que respecta a la vertiente de Apoyo a la Palabra, se analizarán las características de las parcelas, la cantidad de personas que las trabajan, la forma que reciben remuneraciones por su trabajo y el tipo del mismo, el sistema de riego, las semillas, el periodo de siembra, los bienes de capital con que dispone, la cantidad que produce, entre otros aspectos. Metodología Econométrica Con la información recopilada, se plantearán alternativas de evaluación de resultados, mediante una serie de modelos con variable dependiente binaria (logit o probit), en donde la variable dependiente asumirá diferentes medidas del éxito del programa. Por lo tanto, la variable dependiente en estos modelos dependerá de la pregunta a responder. Algunas de las variables dependientes que utilizaremos en el análisis de la vertiente de Apoyo a la Palabra serán las siguientes: Variable Éxito 1: La variable asume el valor de 1 si el beneficiario cumplió oportunamente con su recuperación y 0 de otra forma. Variable Éxito 2: La variable asume el valor de 1 si el beneficiario obtuvo acceso a un crédito en forma posterior a su participación en el programa y 0 si no fue así. Variable Éxito 3: La variable asume el valor de 1 si el beneficiario considera que el programa le fue de alguna utilidad y 0 si no. -21-

23 En todos los casos, la variable de éxito tratará de explicarse en función de una serie de características socioeconómicas y demográficas de los individuos, así como de las características del proyecto apoyado, tipo y técnicas de cultivo, destino del apoyo, antigüedad en el programa, etc. También se incluirán algunas características externas que pudieron haber incidido en la tasa de recuperación de los apoyos, tales como las características climatológicas y de precios de los productos producidos. Este análisis también deberá distinguir entre productores de autoconsumo y productores comerciales. Es decir, se planteará un modelo de la forma: P(Y=1) = F ( β X) donde Y es la variable de éxito y X es un conjunto de variables explicativas. La función F es una función acumulada que puede corresponder a la distribución logística o a la distribución normal estandarizada. La Variable de éxito 1 nos permitirá caracterizar a los individuos que cumplen satisfactoriamente con las condiciones del programa. La idea de este ejercicio es simplemente analizar si existe alguna serie de factores individuales (observables) que nos permitan identificar a los individuos que tienden a cumplir con los términos del apoyo. La variable de éxito 2 tiene como objetivo estudiar la relación entre los participantes en el programa y el mercado de crédito local. Es decir, se analizará su participación inicial, desempeño y participación actual en el programa en función de su acceso al crédito y a otros apoyos. Esto también nos permitirá analizar si el apoyo recibido en 2003 modificó de alguna manera la relación de los participantes en su relación con el mercado de crédito en el presente año. Es decir, se tratará de encontrar si el programa ha tenido un impacto positivo en las formas y el acceso al mercado crediticio local. Es importante señalar que este último aspecto, quizá pueda ser analizado de una mejor manera si se cuneta con información relevante de otros miembros de la comunidad que no hayan sido beneficiarios del programa. La adquisición de esta información dependerá crucialmente de los recursos disponibles y del tiempo de recolección de la información de campo. -22-

24 Por último, la inclusión de la variable de éxito 3 tiene como objetivo estudiar cuáles son los factores que tienden a incidir en una percepción (ex post) más favorable de los resultados del programa. Cabe señalar que ninguno de estos 3 ejercicios nos permitirá afirmar algo sobre el verdadero impacto del programa. Como ya se ha mencionado, ni el diseño el programa ni la naturaleza de la evaluación e información disponible nos permite concluir algo sobre este tema. En realidad, estos ejercicios sólo nos permitirán caracterizar a los participantes, así como el efecto de algunas otras variables en la percepción favorable del impacto del programa o en el cumplimiento de los términos del mismo. En ese sentido, se espera que los resultados de estos ejercicios proporcionen alguna evidencia interesante que puede reflejarse posteriormente en el diseño del programa. En cuanto a las vertientes de Integración Productiva y Agencias de Desarrollo Local se analizará el estado actual de los proyectos a un año (o más) de su implementación, y los cambios y las causas de mismo (ampliación, operación, cierre entre otras), su organización inicial y actual, todo ello con el fin de establecer y calcular indicadores tempranos de factibilidad y rentabilidad de los proyectos. En este sentido, la encuesta tratará de determinar el grado de avance de los proyectos y su probabilidad de éxito futuro, de acuerdo al horizonte estipulado en los proyectos. Esta información permitirá establecer dos tipos de variable dependiente: una, la cual medirá el grado de avance en la primera parte del proyecto de acuerdo a lo programado originalmente. Esta variable puede ser continua o discreta, según se considere más conveniente, y de ello dependerá el enfoque econométrico utilizado en el análisis. Una segunda variable será la percepción de éxito en el logro de los objetivos planteados en la solicitud inicial. Esta variable puede ser binaria (éxito o fracaso) o continua (probabilidad de éxito), dependiendo de lo que se considere más conveniente. Posteriormente, se analizarán los determinantes de estas dos variables de acuerdo a las características de las Agencias (antigüedad, experiencia, etc.), los tipos de proyectos apoyados y las características de las comunidades en donde se llevan a cabo los proyectos. -23-

25 Resultados (Utilización de los apoyos y Acceso al Crédito) Cuál es el uso que se da a los apoyos entregados? Se utilizan para lo que se solicitan? En qué otras cosas se utilizan? del proyecto 44, 45 (Desempeño del proyecto) Cuál es el estado actual del proyecto a un año (o más) de su implementación? El proyecto continúa operando? se ha ampliado? Si el proyecto ha cambiado, cuáles son las causas? del proyecto 46, 46.1, 47, 48, 49, 49.1, 56, 56.1, 62, 63, 64, 65.1, 66, 66.1, 67, 67.1, 93, 96, 96.1, 97, 97.1, 98, 98.1, 98.2 (Desempeño del proyecto) Cuenta con información contable del proyecto, incluyendo inventarios, utilidades, etc.? Ha recibido o proporcionado capacitación para su proyecto? del proyecto 37, 37.1, 50, 51, 51.1, 51.2 (Desempeño del proyecto) Dónde y a quién compra las materias primas para la producción del proyecto? Dónde y a quién vende el producto? quién y cómo determina el precio de venta de su producto? del proyecto 52, 53, 54, 54.1, 55, 74, 74.1, 74.2 (Desempeño del Proyecto) Cuáles son los recursos humanos de la organización? del proyecto 69, 70, 70.1, 71, 71.1, 72, 72.1, 73, 74, 85, 86, 86.1, 87, 87.1, 88.1, 89, 89.1, 94, 95, 100, 101, 101.1, (Desempeño del Proyecto) Qué circuitos productivos se han generado? del proyecto 75, 76, 77, 78, 79, 79.1, 80, 80.1, 81, 81.1, 82, 83, 83.1, 84, 84.1, 99 Acceso a crédito? En que utilizo el crédito? Qué actividades realiza? Qué cambios hubo en la productividad? Cédula a Beneficiarios de Apoyo a la Palabra Cédula a Beneficiarios de Apoyo a la Palabra 25,26,27,28,29,30,31,32,33,34,35,36,37,38,39,40,41,42,43,44,45,46,47,48,49 19,20,21,22-24-

26 II. 7 Percepción de los beneficiarios De acuerdo a las reglas de operación, el objetivo de esta sección es Conocer las percepciones de los beneficiarios sobre la operación y los resultados del Programa. Se realizará una evaluación cualitativa y cuantitativa del grado de satisfacción de los beneficiarios en cuanto al acceso (percepción de la forma en la que opera y los apoyos que otorga), atención recibida (requisitos y criterios de elegibilidad y calidad de atención), tiempo de trámites (oportuna respuesta a las solicitudes de apoyo, tiempos de entrega de los mismos), y apoyos obtenidos (calidad de los apoyos y cumplimiento del objetivo del Programa). Esta información se obtendrá a través de encuestas a los beneficiarios del programa. Cabe señalar, que la medición de la percepción de los derechos y obligaciones del Programa, por parte de los beneficiarios será diferenciada en función del tipo de vertiente. Asimismo, se determinará en qué medida persisten las deficiencias señaladas por los beneficiarios en evaluaciones anteriores, analizando si las medidas correctivas propuestas fueron adecuadas y si se implementaron de acuerdo a lo planeado. Algunas de las preguntas que trataremos de responder en esta sección son las siguientes: Acceso al programa - En qué medida los beneficiarios identifican correctamente el Programa? - En qué medida los beneficiarios entienden la forma en la que opera el programa, los apoyos que otorga y los objetivos del programa? - Cuál es la percepción de los beneficiarios sobre la accesibilidad al programa en términos de difusión de información, cercanía de las oficinas para pedir información y realizar trámites, y horarios de atención, entre otros? -25-

27 Atención recibida - Cuál es la percepción de los beneficiarios con respecto de la información provista por el programa sobre los requisitos y criterios de elegibilidad para la obtención de apoyos, así como los motivos de la aceptación o rechazo de la solicitud? - La información recibida fue clara y completa? - Cuál es la percepción de los beneficiarios en relación a la atención recibida por parte de los operadores del programa a lo largo del trámite y entrega del apoyo? Tiempo en trámites o entrega de apoyos - Fue oportuna la respuesta del Programa a los trámites de solicitud de apoyo? - Cuál es la percepción de los beneficiarios en cuanto a los tiempos de entrega de los apoyos y su concordancia con lo que se les había prometido? Apoyos obtenidos - Cuál es la percepción de los beneficiarios sobre la calidad de los apoyos? - Cuál es la percepción sobre el cumplimiento de los objetivos del Programa? Utilidad del Programa o de la Política Social en General - Cuál es la percepción de los beneficiarios sobre la utilidad del programa - Cuál es la percepción de los beneficiarios de este programa sobre la política social? - Cómo se compara la percepción de los beneficiarios sobre la utilidad de la política social con respecto a los no beneficiarios? - Cómo se compara la percepción de los beneficiarios de este programa sobre la utilidad de la política social con respecto a los beneficiarios de otros programas? -26-

28 Metodología El análisis sobre la percepción de los beneficiarios del Programa de Opciones Productivas (POP) se basará en los resultados de la encuesta que se aplicará a los participantes en la vertiente Apoyo a la Palabra y la encuesta que se aplicará a los responsables de los proyectos y organizaciones apoyadas en las vertientes Integración productiva y Agencias de Desarrollo Local. Las encuestas de la vertiente Apoyo a la Palabra incluirán preguntas sobre las características personales y de la vivienda de los beneficiarios, así como sus opiniones con respecto a la política social en general y sobre el POP en particular. A partir de esta encuesta se obtendrán una serie de indicadores (de porcentaje, fundamentalmente) para responder a la primera parte de las preguntas mencionadas. Sin embargo, para poder identificar la percepción de los beneficiarios del Programa con respecto a la utilidad de la política social y, sobre todo, para contar con al menos un grupo de referencia, en esta sección también haremos uso de los resultados obtenidos en la encuesta Lo que dicen los pobres (Szekely, 2003). Dicha encuesta, contiene información de 2,939 personas mayores de 18 años que contestaron preguntas de percepción sobre la política social en México. De las personas entrevistadas, una tercera parte respondió que su familia era beneficiaria de al menos uno de los siguientes programas: Microrregiones (1.9%), Empleo Temporal (15%), Diconsa (3.8%), Liconsa (14.2%), Oportunidades (83.7%) y sólo el 9% era beenficiario del programa Opciones Productivas (véase Hernández Licona y del Razo, 2004). Las otras dos terceras partes de los entrevistados no eran beneficiarios de ninguno de estos programas, por lo que, en principio, podrían servir como grupo de control para analizar el efecto de los programas en la percepción de la política social. En nuestro caso, nosotros planteamos realizar un módulo similar al de la encuesta Lo que dicen los Pobres, para poder llevar a cabo una comparación entre las percepciones de los beneficiarios del programa Opciones Productivas y dos grupos de referencia, por un lado, los no beneficiarios de programas sociales y, por el otro, los beneficiarios del programa Oportunidades. -27-