Evaluación Externa del

Transcripción

1 Evaluación Externa del Programa de Ahorro, Subsidio y Crédito para la Vivienda Progresiva Tu Casa Informe Metodológico presentado por: Gerardo Esquivel Hernández El Colegio de México (Responsable) Febrero, 2005

2 Índice Página I. Introducción II. Metodología para el Cumplimiento de los Objetivos de la Evaluación 1. Objetivos de la Evaluación Estrategia Metodológica de la Evaluación Instrumentos de Campo Análisis de Diseño Análisis de Operación Análisis de Cobertura Análisis de Focalización Análisis de Resultados (bienestar, equidad, igualdad) Análisis de Satisfacción y Percepción de los Beneficiarios Plan de la Prueba Piloto Referencias III. Instrumentos 1. Cuestionario a Beneficiarios 2. Cuestionario a Instancias Ejecutoras 3. Cuestionario a Instancias Auxiliares 4. Entrevista a Instancia Normativa IV. ANEXO 1. Beneficiarios seleccionados para la Prueba Piloto 1

3 I. Introducción El informe metodológico esta fundamentado en los Términos de Referencia del Programa de Ahorro, Subsidio y Crédito para la Vivienda Progresiva. Es así que de acuerdo al Objetivo General de los Términos de Referencia de la Evaluación Externa del Programa de Ahorro, Subsidio y Crédito para la Vivienda Progresiva Tu Casa (PTC), la Evaluación deberá analizar el diseño, operación, focalización, incorporando un apartado de impacto (sólo en caso de que a la fecha de la evaluación se hayan dado las condiciones que permitan realizar dicho análisis) y resultados del programa sobre el bienestar, la equidad, la igualdad y la no discriminación de las mujeres, utilizando primordialmente los indicadores establecidos en los anexos de las Reglas de Operación del Programa por el ejercicio 2004, identificando las fortalezas y debilidades en cada área y por instancia, y proponiendo alternativas para mejorar el desempeño del Programa. De acuerdo a los Términos de Referencia, el informe metodológico debe contener la metodología a ser utilizada en los distintos componentes de la evaluación y en la generación de cada uno de los productos. [...] debe ser preparado en base a su propuesta técnica inicial, y desarrollar cada tema con mayor profundidad. Debe dar cuenta de todos los aspectos metodológicos e instrumentos de recolección de datos que se emplearán durante la evaluación e incluir las reflexiones y sugerencias del Programa Además, según los mismos términos de referencia, el informe debe contener un capítulo para cada componente de la evaluación. En cada capítulo se debe discutir la metodología a seguir, las preguntas que se buscan responder, sus respectivos indicadores y fuentes de información. También debe contener el borrador de los instrumentos de recolección de datos y la descripción detallada de las metodologías propuestas para los estudios cualitativos. Además, debe discutir los planes para la implementación de la prueba piloto del estudio y el trabajo de campo, el plan de análisis de los datos y estructura propuesta del informe final 2

4 Con base en lo anterior, el presente documento contiene la propuesta inicial del informe metodológico estipulado en los términos de referencia de acuerdo a las condiciones ahí descritas. 3

5 II. Metodología para el Cumplimiento de los Objetivos de la Evaluación II. 1 Objetivos de la Evaluación Los objetivos de la evaluación en lo que corresponde a las áreas de Operación, Resultados (Impacto) y Satisfacción (Percepción) de los beneficiarios, serán los siguientes: De Diseño: 1. La Evaluación analizará la congruencia del diseño del Programa con los principios y líneas de acción de los principios rectores del Programa Sectorial de Vivienda referido en el punto 2 de los términos de referencia. 2. La evaluación generará un análisis de gabinete utilizando información sobre las Reglas de Operación (ROP), el Manual de Operación y otros documentos que describan el diseño del programa para contrastarlo otros programas sociales similares. 3. La Evaluación valorará la consistencia interna entre los objetivos, lineamientos, componentes y mecanismos de operación del Programa. 4. La Evaluación analizará los cambios en las reglas de operación con respecto al ejercicio fiscal anterior (2003). Asimismo, se evaluarán estos cambios con los principios de equidad, transparencia, corresponsabilidad e integralidad Planteados en la Estrategia General CONTIGO, así como en las estrategias y líneas de acción del Programa Sectorial de Vivienda. De Operación: 1. La Evaluación realizará un análisis de los procesos operativos del Programa Tu Casa. Para ello se elaborará un diagrama de flujo identificando los principales procesos operativos definidos en las ROP del PTC y en el Manual de Operaciones, tomando en cuenta los actores responsables en cada proceso (Instancia Normativa, Ejecutora y Auxiliares). 2. La Evaluación verificará en campo el cumplimiento de metas físicas y financieras del PTC. 3. La Evaluación realizará un análisis de costos indirectos de los recursos asignados al PTC. 4

6 4. La Evaluación realizará un análisis de costos de los recursos asignados al PTC, tomando en cuenta la congruencia de éstos con lo establecido en las ROP. 5. La Evaluación verificará el cumplimiento del Manual de Operación. 6. La Evaluación verificará la existencia, utilización y disponibilidad oportuna de sistemas de información que le permitan al PTC dar un seguimiento interno del cumplimiento de sus ROP. Además, validará en campo los sistemas de información, incluyendo el Sistema Integral de Información de Programas Sociales (SIIPSO). 7. La Evaluación determinará en qué medida se han corregido las principales debilidades operativas señaladas en evaluaciones anteriores, analizando si las medidas correctivas propuestas fueron adecuadas al programa y en su caso, si se implementaron de acuerdo a lo planeado. Cobertura: 1. La Evaluación comparará el número de subsidios por modalidad y Estado con respecto al ejercicio fiscal Focalización: 1. La Evaluación realizará un análisis detallado de la focalización de la distribución de subsidios de acuerdo a las características de la población objetivo descritas en las Reglas de Operación; para ello se tomará en cuenta el papel de las instancias participantes en el PTC (Ejecutiva, Normativa y Auxiliar). 2. La Evaluación realizará un análisis detallado de la focalización de la distribución de subsidios de acuerdo a la modalidad de operación. De Resultados: 1. La Evaluación medirá los resultados del PTC con relación a los beneficios económicos que resultan de los mismos. 2. La Evaluación realizará un estudio econométrico en el que se analizará la probabilidad de éxito en el cumplimiento de los objetivos del PTC, en donde el concepto de éxito dependerá de la variable analizada. 5

7 3. La Evaluación analizará la evolución en las condiciones de la vivienda adquirida con el subsidio otorgado y la permanencia de los beneficiarios en ella. De Satisfacción de los beneficiarios: 1. La Evaluación medirá el grado de satisfacción de la población objetivo en cuanto al acceso, atención, tiempo de trámites y apoyos obtenidos por el PTC. 2. La evaluación obtendrá indicadores de la percepción de los beneficiarios con respecto a la efectividad del programa Tu Casa. 6

8 II. 2 Estrategia metodológica de la Evaluación La propuesta técnica para la Evaluación Externa del Programa de Ahorro, Subsidio y Crédito para la Vivienda Progresiva Tu Casa busca cumplir con los objetivos, requerimientos y horizontes de evaluación descritos con anterioridad mediante la aplicación sistemática de diversos instrumentos de cálculo y técnicas analíticas. Se busca conocer el funcionamiento y operación del Programa, así como el acceso de la población en situación de pobreza patrimonial a una vivienda, o en caso de que habite alguna, su acceso al mejoramiento de ésta, midiendo sus efectos en los niveles de vida de dicha población, además de buscar generar escenarios diversos que contribuyan a mejorar el desempeño del Programa. De esta manera, la evaluación se plantea como un instrumento que contribuya a la toma decisiones en torno al PTC y, en general, de las acciones de desarrollo social y de combate a la pobreza en México. Debido a la complejidad de los aspectos a evaluar, y como resultado de la ausencia de un marco de análisis experimental, resulta necesario establecer una estrategia metodológica compuesta, con procedimientos y técnicas cuantitativas y cualitativas adecuadas para cada uno de los distintos aspectos a evaluar. Dentro de dicha estrategia compuesta se utilizará la información estadística generada con base en encuestas a diversas instancias del programa y a los beneficiarios. Al respecto, cabe destacar que se utilizará un modelo quasi experimental con base en encuestas a un grupo de beneficiarios, que será otorgada por la SEDESOL, a fin de estimar los beneficios e impactos económicos y sociales del programa. La idea es que el modelo a emplear y los instrumentos de acopio y análisis de información van a estar diseñados para poder ser replicados en periodos subsecuentes, obteniendo una base de datos que permita hacer estimaciones futuras que permitan la comparabilidad intertemporal y un análisis sobre la evolución del programa. 7

9 La evaluación que se propone hará uso de cuatro fuentes de información básica: 1. Referencias estadísticas y documentales, principalmente de temas económicos, sociales y demográficos, que estén relacionados con el tema de acceso y mejora a la vivienda de la población en situación de pobreza en México. 2. Información interna del Programa, misma que será requerida al FONHAPO. 3. Las Evaluaciones Externas anteriores del PTC, y estudios académicos relacionados con fuentes de financiamiento para el acceso y mejora de vivienda de la población en situación de pobreza. 4. Información generada en el estudio de campo. En cuanto a la información generada en el estudio de campo, ésta será recopilada fundamentalmente a través de cuatro instrumentos: 1. Cédula a los beneficiarios del Programa 2. Cédula a Responsables en las Instancias Ejecutoras 3. Cédula a Responsables en las Instancias Auxiliares a las Normativas 4. Entrevistas con los Responsables en las Instancias Normativas Además de lo anterior, también se hará uso de bitácoras de campo, que serán elaboradas por las brigadas de trabajo de campo y en ellas se recopilará información cualitativa para constatar que los apoyos y acciones registradas por el programa realmente se hayan llevado a cabo y el estado en que estos se encuentran. Estas observaciones se realizarán de manera general en todas las localidades y municipios a visitar durante el levantamiento de la encuesta, y será utilizada como información complementaria para la evaluación del programa. 8

10 II. 3. Instrumentos de Campo Estos instrumentos estarán diferenciados en cuatro tipos: 1) Instancia normativa (servidores públicos en FONHAPO), 2) Instancia auxiliar de la instancia normativa (servidores públicos de la delegación estatal de SEDESOL, Organismos Nacionales de Vivienda, BANSEFI), 3) Instancia Ejecutora (Personal de la Delegación Estatal de SEDESOL y/o Personal del Municipio) y 4) Beneficiarios. Las encuestas a beneficiarios del programa permitirán obtener información que posteriormente será utilizada en el análisis del impacto del programa, así como de la satisfacción o percepción de los mismos. Las encuestas y/o entrevistas a los y a servidores públicos y personal operativo (instancia ejecutora, auxiliar y normativa) que intervienen en el proceso de operación del programa se utilizarán para obtener información de primera mano sobre los objetivos y la dinámica operativa del Programa, además de constatar el seguimiento de las reglas de operación del Programa por parte de estos. Los instrumentos de campo que la Evaluación utilizará serán: 1) Entrevista a Servidores Públicos de FONHAPO (Instancia Normatica) Se realizarán 25 entrevistas a servidores públicos en oficinas de FONHAPO. Dichas entrevistas tienen como objeto evaluar los procesos operativos que se llevan por parte del Programa. 2) Cédula a Beneficiarios El cuestionario a beneficiarios del Programa recolectará información sobre las características de la vivienda que habitan, tomando en cuenta las principales modificaciones que se han realizado a éstas; asimismo, contará con un módulo de características individuales y otro sobre percepción del programa. Dicho cuestionario será adaptado tomando en cuenta si el apoyo fue subsidio o mejora a la vivienda. Se 9

11 aplicarán encuestas a una muestra de 1,600 beneficiarios del PTC (800 para la modalidad de subsidio a la vivienda y 800 para la modalidad de mejora a la vivienda), en 40 municipios distribuidos en 15 estados, de acuerdo a lo establecido en los Términos de Referencia. Dicha muestra fue proporcionada por SEDESOL. Muestra para el levantamiento de encuestas a beneficiarios del PTC Estados No. de Cuestionarios a Beneficiarios No. de No. Mpios. Loc. Vivienda Mejoramiento Total Nueva Baja California Baja California Sur Campeche Coahuila Durango Guanajuato Jalisco México Michoacán Morelos Nvo. León Querétaro San Luis Potosí Sinaloa Yucatán Total Fuente: Muestra proporcionada por SEDESOL 3) Cédulas a Instancias Ejecutoras (Gobierno Estatal o Municipal) Se realizarán por lo menos 2 encuestas en cada Estado a servidores públicos de nivel de mando en las delegaciones federales de la SEDESOL y en los municipios ejecutores del programa; asimismo, se aplicará a por lo menos 2 personas que se encuentren a cargo de la operación del programa. Por medio de estas encuestas se pretende recopilar información relacionada con las características de operación, conformación y cumplimiento de las funciones de los operadores, según las ROP. 10

12 La aplicación de este tipo de encuestas será con base en el personal operativo y de mando en las delegaciones federales y/o en los municipios. 4) Encuestas a Instancias Auxiliares (Delegados de la SEDESOL en la entidad Federativa, Personal de los Organismos Nacionales de Vivienda, la Sociedad Hipotecaria Nacional y BANSEFI) Se realizará por lo menos un cuestionarios por cada entidad federativa visitada (15), asimismo, se encuestará a por lo menos un miembro por estado, según sea el caso, de los organismos nacionales de vivienda o de la Sociedad Hipotecaria Nacional y del BANSEFI. Por medio de estas encuestas se pretende recopilar información relacionada con las características de operación, conformación y cumplimiento de las funciones de los operadores, según las ROP. 11

13 II. 4 Análisis de Diseño 1 De acuerdo los Términos de Referencia, el objetivo de esta sección es el de analizar la formulación del Programa en términos de su consistencia interna y congruencia con las Estrategias, Vertiente, Líneas de acción y principios que le son aplicables, definidas en el punto dos [de los términos de Referencia]. El análisis del diseño del PTC sólo se realizará en gabinete, para ello, la Evaluación se enfocará en cuatro aspectos importantes: 1) Analizar la congruencia del diseño del Programa con los Principios rectores del Programa Sectorial de Vivienda (a los que se refieren en el punto 2 de los Términos de Referencia); 2) Analizar con el Fondo Nacional de Habitaciones Populares (FONHAPO); 3) Comparar con otros programas similares (Programa de Vivienda Progresiva de Chile); y 4) Analizar los Cambios en las Reglas de Operación. Ver siguiente esquema: Evaluación del Diseño del Programa Programa Sectorial de Vivienda Fondo Nacional de Habitaciones Populares Programas Similares Cambios en las Reglas de Operación 1 El análisis sobre el diseño del Programa formó parte de la primera entrega llevada a cabo en diciembre del año

14 Los instrumentos que se utilizarán para la evaluación de diseño son: 1) Programa Sectorial de Vivienda: Apartado 2 establecido en los Términos de Referencia (Programa Sectorial de Vivienda), las Reglas de Operación y el Manual de Operaciones del PTC. 2) Fondo Nacional de Habitaciones Populares: Reglas de Operación del PTC, Manual de Operaciones e información del FONHAPO. 3) Programas Similares: Literatura relacionada con la implementación de Programas de Vivienda de Interés Social; Información relacionada con el Programa de Vivienda Progresiva llevado a cabo por el Ministerio de Vivienda y Urbanismo de Chile, Información de las Reglas de Operación y el Manual de Operación del PTC. 4) Cambios en las Reglas de Operación: Reglas de Operación 2003 y 2004, Manual de Operación 2004, Lineamientos para la Operación el Programa 2003, apartado 2 establecido en los Términos de Referencia, estrategias del Programa Sectorial de Vivienda, principios planteados en la Estrategia CONTIGO y Evaluación Externa del Ejercicio Fiscal Con base en el análisis y contrastación de los instrumentos antes mencionados, el análisis sobre el diseño del PTC se enfocará a contestar las siguientes preguntas: 1) Programa Sectorial de Vivienda: El diseño del Programa cumple con los principios rectores del Programa Sectorial de Vivienda, en las estrategias y líneas de acción? Están previstos en las Reglas de Operación (ROP) los mecanismos necesarios y suficientes para garantizar el cumplimiento de la equidad, la igualdad y la no discriminación de las mujeres? 13

15 Hay una definición clara y adecuada de los elementos clave del diseño del Programa tales como objetivos, población objetivo, tipo y monto de los apoyos otorgados, criterios de elegibilidad y requisitos, entre otros? Existe congruencia entre los distintos elementos del diseño del Programa según las ROP: objetivos, lineamientos generales y específicos, apoyos otorgados, operación y seguimiento? 2) Fondo Nacional de Habitaciones Populares: Existe congruencia entre el Programa Tu Casa y el FONHAPO tomando en cuenta elementos del diseño del PTC: objetivos generales y específicos, apoyos otorgados, operación y seguimiento? Existe posibilidad de consolidar el Financiamiento con Subsidio y el Financiamiento con Crédito? 3) Programas Similares: Qué se indica sobre las políticas para vivienda de interés social? Cuál es el objetivo general del Programa de Vivienda Progresiva y cuál es la diferencia con el objetivo general del Programa Tu Casa? Cuáles son las alternativas y requisitos de postulación, criterios de selección y asignación de recursos del Programa de Vivienda Progresiva y cuáles son las diferencias con el Programa Tu Casa? 4) Cambios en las Reglas de Operación: En qué medida los cambios en el diseño del Programa fortalecen el cumplimiento de los principios de equidad, transparencia, corresponsabilidad, e integralidad, 14

16 planteados en la Estrategia General CONTIGO, así como en las estrategias y líneas de acción del Programa Sectorial de Vivienda que le son aplicables? Los cambios contribuyen a clarificar la definición de los elementos clave del diseño del Programa tales como objetivos, población objetivo, tipo y monto de los apoyos otorgados, criterios de eligibilidad y requisitos, entre otros? Cuál es el impacto de los cambios en ROP con respecto a la congruencia entre los distintos elementos del diseño del Programa: objetivos, lineamientos generales y específicos, apoyos otorgados, operación y seguimiento? En qué medida los cambios a las ROP responden a debilidades señaladas o recomendaciones específicas de evaluaciones anteriores del Programa? 15

17 II.5 Análisis de Operación De acuerdo a los Términos de Referencia, el objetivo de esta sección será el de Verificar el cumplimiento de las Reglas de Operación por el ejercicio 2004, y del Manual de Operación, que regulan las acciones y la adecuada operación del Programa. Para ello la evaluación de operación incluirá un análisis de gabinete y de campo donde se abarcarán tres puntos principales: Evaluación de Procesos, la Evaluación de Cumplimiento de Metas y un Análisis de Costos. Ver siguiente esquema. Evaluación de la Operación del Programa Evaluación de Procesos Evaluación de Cumplimiento de Metas Análisis de Costos Difusión Solicitudes de Subsidios Número de Subsidios Apoyos Financieros Costos de Operación Análisis Costo Beneficio Selección de Beneficiarios Contraloría Social Ejecución del programa Dado a que el análisis de Operación se realizará con información tanto de gabinete como proveniente de los resultados de campo, los instrumentos a utilizar serán los siguientes: 16

18 1) Evaluación de Procesos: Gabinete: Reglas de Operación y Manual de Operación. Campo: Cuestionario aplicado a beneficiarios del Programa, cuestionario a Instancias Ejecutoras, cuestionarios dirigido Instancias Auxiliares y Entrevista a la Instancia Normativa. A continuación se presenta un esquema que permite conocer las preguntas (su número) por tipo de instrumento. (Para determinar la pregunta ver los cuestionarios en el anexo) Evaluación de Procesos (Preguntas por Instrumento de campo) Difusión Solicitudes de Subsidios Selección de Beneficiarios Contraloría Social Ejecución del programa I. Auxiliar: 32, 32.1, 37, 38, 53 y 54 I. Normativa: d, e, j I. Normativa: n I. Ejecutora: 45 I. Normativa: a, b, c, f, g, h, j, k, l, m, o, p, q I. Ejecutora: 10 y 10.1 I. Ejecutora: 11, 12, 13, 14, I. Auxiliar: 10, 11, I. Auxiliar: 7, 8, 9,12 36, 39 52, Beneficiarios: 76 Beneficiarios: 87, 82 I. Ejecutora: 27, 27.1, 28, 28.1 I. Ejecutora: 5 9, 15 26, 29 44, Beneficiarios: 7, 50 61, Beneficiarios: 8 20, 28, 32 38, 46, 68, ) Evaluación de Cumplimiento de Metas: Gabinete: Metas físicas y financieras (Plan anual de trabajo) a nivel estatal. Campo: Cuestionario aplicado a beneficiarios del Programa, cuestionario a Instancias Ejecutoras, cuestionarios dirigido Instancias Auxiliares y Entrevista a la Instancia Normativa. A continuación se presenta un 17

19 esquema que permite conocer las preguntas (su número) por tipo de instrumento. (Para determinar la pregunta ver los cuestionarios en el anexo) Evaluación del Cumplimiento de Metas (Preguntas por Instrumento de campo) Número de Subsidios Apoyos Financieros I. Normativa: A, C I. Normativa: I, K I. Auxiliar: 8, 9, 15, 16 I. Auxiliar: 33, 71, 72, 73, 74 I. Ejecutora: 13, 14, 21 I. Ejecutora: 21..1, 21.2, 22 3) Análisis de Costos: Información sobre gasto monetario de las acciones y proyectos, costos y gastos unitarios y Costos administrativos totales y promedios. Cuestionario aplicado a servidores públicos de mando y personal operativo; entrevista a servidores públicos en las oficinas de SEDESOL y FONHAPO; y bitácora de campo. 18

20 Evaluación de Costos (Preguntas por Instrumento de campo) Costos de Operación Análisis Costo Beneficio I. Normativa: P Beneficiarios: 27 31, , I. Auxiliar: 38 I. Ejecutora: 73 1) Evaluación de Procesos: La Evaluación realizará un análisis de los procesos operativos del Programa Tu Casa. Para ello se elaborará un diagrama de flujo identificando los principales procesos operativos definidos en las ROP y en el Manual de Operaciones, tomando en cuenta los actores responsables en cada proceso (Instancia Normativa, Ejecutora y Auxiliares), además se verificará el cumplimiento del Manual de Operación, se verificará la existencia, utilización y disponibilidad oportuna de sistemas de información que le permitan al PTC dar un seguimiento interno del cumplimiento de sus ROP, se validará en campo los sistemas de información, incluyendo el Sistema Integral de Información de Programas Sociales (SIIPSO), se determinará en qué medida se han corregido las principales debilidades operativas señaladas en evaluaciones anteriores, analizando si las medidas correctivas propuestas fueron adecuadas al programa y en su caso, si se implementaron de acuerdo a lo planeado. 19

21 Por lo tanto, con base en la información de gabinete y de campo, el análisis de operación se enfocará a contestar las siguientes preguntas: Qué incongruencias existen entre las reglas de operación y el manual de operaciones? Qué parte de las reglas de operación no están diseñadas para funcionar en la práctica? Qué parte del manual de operaciones no se encuentra diseñado para funcionar en la práctica? Difusión: Se analizará por separado tomando en cuenta la difusión que corresponda a cada una de las tres instancias implicadas: Existe información que permita dar seguimiento oportuno al cumplimiento de las de actividades de difusión que deben realizar la instancia Normativa, los Gobiernos Estatales y los gobiernos municipales? La información sobre difusión que utilizan las instancias normativas y ejecutivas es confiable? Qué actividades de promoción se llevan a cabo? Con qué frecuencia se realizan las actividades de promoción? Existen procedimientos estandarizados y adecuados para las actividades de promoción? Cuál es su efectividad? Qué tipo de promoción se estipula en las Reglas de Operación? Se cumple con las actividades de promoción estipuladas en las Reglas de Operación? Cuáles son las características de la promoción del programa (tiempos, plazos, etc.)? 20

22 Qué tipos de promoción son llevados a cabo por las instancias implicadas en la operación del Programa? Solicitudes de subsidios Existe información sistematizada que permita conocer la demanda total de subsidios y las características de los solicitantes? La información sobre las características de los solicitantes de apoyo es confiable? Se cumple con los lineamientos para recibir y procesar solicitudes de subsidio estipuladas en las ROP? Existen procedimientos estandarizados y adecuados para recibir y procesar solicitudes de subsidio? Hay transparencia en los procedimientos? Existe algún grado de discriminación al otorgar los subsidios? Selección de beneficiarios Existe información sistematizada que permita conocer quiénes reciben los subsidios del Programa y cuáles son sus características socio económicas? El padrón de beneficiarios es confiable, adecuado y está actualizado? La selección de beneficiarios cumple con los criterios de elegibilidad y requisitos establecidos en las ROP? Existen procedimientos estandarizados y adecuados para la selección de beneficiarios? En qué medida es un proceso transparente y expedito? Existen defectos en el procedimiento de selección de beneficiarios? Existen filtros ex ante que influyan en el proceso de selección de los beneficiarios? 21

23 Contraloría social Las instancias ejecutoras facilitan a la ciudadanía el acceso a la información, de manera que esto les permita vigilar y dar seguimiento a las acciones del Programa? Las instancias ejecutoras promueven la contraloría social con base en la normatividad establecida para ese efecto? Funcionan de acuerdo a lo estipulado en la normatividad? Ejecución del Programa Se tiene información sistematizada que permita dar seguimiento oportuno a la ejecución del Programas con cada una de las instancias ejecutoras, en cuanto a la modalidad y número de subsidios a entregarse? Existe concordancia entre los subsidios entregados y los registros oficiales de los Programas de trabajo de cada una de las instancias ejecutoras? Las actividades realizadas por las instancias ejecutoras son consistentes con los lineamientos de las ROP? Tomando en consideración que los montos del subsidio son diferenciados según la necesidad del beneficiario. Se respetaron los montos máximos de apoyo económico estipulados en las ROP? FONHAPO cumplió oportunamente con la entrega de los subsidios a los beneficiarios conforme a las ROP? Cumplieron las instancias ejecutoras (gobiernos locales) oportunamente el compromiso adquirido con el beneficiario, en cuanto a la realización de la edificación, ampliación o mejora? Cumplieron oportunamente los ONAVI S el compromiso de otorgamiento de crédito para adquisición de vivienda económica a los beneficiarios? Cuáles fueron los factores que influyeron en el retraso u omisión del otorgamiento de los créditos y/o subsidios? 22

24 2) Evaluación de Cumplimiento de Metas: Se verificará el cumplimiento de las metas físicas y financieras a nivel estatal y nacional, a través de la selección de una muestra de beneficiarios del ejercicio 2003 para comprobar la consistencia entre los registros del sistema y la evidencia en campo de su avance físico. Se hará énfasis en las siguientes preguntas: A nivel estatal qué porcentaje de metas financieras se cubrieron? A nivel estatal qué porcentaje de subsidios esperados se cubrieron? Qué factores influyen en la falta de cumplimiento de las metas? Existe consistencia entre los registros y la evidencia en campo? 3) Análisis de Costos: La evaluación medirá el costo de los recursos asignados al Programa en función de la cuantificación monetaria de las diferentes acciones y proyectos desarrollados o impulsados por el Programa; así como, los costos unitarios en los que se incurre durante su operación. A nivel estatal y a nivel agregado. Además, se tratará de determinar qué parte del total de los costos del Programa lo representan los costos de operación del mismo (costos administrativos); y qué costo promedio tiene cada una de las acciones realizadas, así como el costo de hacer llegar un peso a manos de los beneficiarios. Para el estudio de gabinete, se usarán el Presupuesto para la ejecución del Programa, el Registro de Operaciones Programáticas Presupuestales y los planes estatales de trabajo anual para evaluar los costos en los que incurre el Programa en la realización de cada una de las acciones emprendidas por diversas instituciones, en apoyo al acceso de una vivienda digna y decorosa hacía los beneficiarios. A continuación se determinan las siguientes preguntas: 23

25 Cuál es el costo de los recursos asignados en función de la cuantificación monetaria de las diferentes acciones y proyectos desarrollados o impulsados por el Programa? Cuáles son los costos unitarios en los que se incurre durante su operación? Cuáles son los costos de operación? Cuál es el costo promedio de cada una de las acciones realizadas por el programa? Cuál es el costo de hacer llegar un peso a manos de los beneficiarios? 24

26 Esquema I: Operación del Programa EVALUACIÓN DE GABINETE EVALUACIÓN DE CAMPO OPERACIÓN OPERACIÓN ANALISIS: ROP y MANUAL, METAS Y COSTOS CUMPL. DE ROP Y DEL MANUAL CUMPLIMIENTO DE METAS ANALISIS DE COSTOS Análisis: - procesos de operación - Cumplimiento de metas - Costos Corroborar: Funcionamiento de los procesos operativos y los sistemas de información Corroborar: Registro de información y acciones llevadas a cabo Indagar: Costos cualitativos y cuantitativos - Reglas de operación del PTC - Manual de Operaciones - Información de Costos - Información de Metas - Entrevistas con los beneficiarios - Entrevista con I. Normativa - Encuesta a I. Ejecutora - Encuesta a I. Auxiliar - Bitácora de campo - Entrevista con I. Normativa - Encuesta a I. Ejecutora - Encuesta a I. Auxiliar - Bitácora de campo - Encuesta a I. Ejecutora - Encuesta a I. Auxiliar 25

27 II. 6 Cobertura 2 En los términos de referencia se indica que en el análisis de cobertura y focalización se debe de determinar en qué medida, las acciones del Programa se enfocan a mejorar las condiciones de las personas que viven en pobreza patrimonial, en el rubro de vivienda como patrimonio, para que estén en posibilidad de adquirir, edificar, ampliar o mejorar su vivienda a nivel nacional. Para poder cubrir este objetivo, se evaluará la cobertura del programa sólo con información de gabinete y la focalización con información de gabinete y de campo. En cuanto a la cobertura, la Evaluación, con base en información de gabinete, reportará el número de subsidios por modalidad y por Estado, contrastando, con respecto al año anterior, la cobertura del Programa a nivel nacional y municipal. Para poder llevar a cabo la investigación de gabinete, la Evaluación hará uso de información sobre el número y tipo de acciones, modalidades operadas, número de subsidios e inversión federal por entidad federativa en el año 2003 y 2004, a nivel estatal, municipal y por localidad. Con base en la información que se proporcione se desarrollarán los siguientes puntos: Análisis de Cobertura Estatal, Municipal y por Localidad ( ). Se hará un análisis de la cobertura que tiene el Programa en sus tres niveles, con la finalidad de observar la expansión territorial del Programa con al menos una acción. (A nivel nacional Qué entidades federativas llevaron a cabo la operación del programa Tu Casa con al menos una acción en los años 2003 y 2004?) Análisis de Cobertura de las Modalidades del Programa. En este aparado se analizaran la cobertura de las modalidades de subsidio y mejoramiento a la 2 El análisis de cobertura del PTC formó parte de la primera entrega llevada a cabo en diciembre del año

28 vivienda. ( Cuántos apoyos de subsidio y mejoramiento a la vivienda otorgaron las instancias Ejecutoras?) Distribución de Subsidios por Estado. En este apartado se analiza la cobertura de los subsidios otorgados por las entidades federativas. ( Cuántos subsidios a la vivienda otorgaron las entidades federativas?) Análisis de Distribución de Inversión Federal. En este apartado se analiza la distribución de la inversión federal por tipo de acción, comparando los años 2003 y ( Cómo fue distribuida la inversión federal por tipo de acción de programa en los años 2003 y 2004?) Los puntos antes mencionados se utilizarán para realizar un análisis exclusivamente de cobertura, el cual será complementado con el siguiente apartado, focalización. 27

29 II. 7 Focalización 3 Para el análisis de focalización, la Evaluación utilizará información de gabinete y de campo. Con este informe se pretende realizar un análisis detallado de la focalización de la distribución de subsidios de acuerdo a las características de la población objetivo descritas en las Reglas de Operación; para ello se tomará en cuenta el papel de las instancias participantes en el PTC (Ejecutiva, Normativa y Auxiliar). Para poder llevar a cabo la investigación de gabinete, la Evaluación hará uso de información sobre el número y tipo de acciones, modalidades operadas, número de subsidios e inversión federal por entidad federativa en el año 2003 y 2004, a nivel estatal, municipal y por localidad; la cual será contrastada, con el grado de marginación de CONAPO y con el índice de pobreza patrimonial 4. En cuanto a la información de campo, se utilizará aquella que permita determinar las características socio económicas de los beneficiados por el programa, a fin de definir la focalización del Programa. puntos: Con base en la información de gabinete y de campo, se elaborarán los siguientes Cobertura por grado de marginación y por índice de pobreza patrimonial a nivel Municipal y por localidad. En este apartado se hará un análisis por grado de marginación y por índice de pobreza de los lugares donde se encuentra operando el PTC a nivel municipal y por localidad. ( Qué porcentaje de la cobertura de las entidades ejecutoras se encuentra en municipios y localidades con un alto y muy alto grado de marginación? Y Qué porcentaje de la cobertura de las entidades ejecutoras se encuentran dentro del nivel de pobreza patrimonial?) 3 El análisis de focalización del PTC formó parte de la primera entrega llevada a cabo en Diciembre del año El índice de pobreza patrimonial es elaborado por la SEDESOL, a la cual se le pedirá dicho índice. 28

30 Distribución de Inversión Federal por grado de marginación y por índice de pobreza patrimonial. El apartado contendrá un análisis de la distribución de la inversión federal, tomando en cuenta las modalidades del Programa.. ( Qué porcentaje de la inversión federal se encuentra en municipios y localidades con un alto y muy alto grado de marginación? Y Qué porcentaje se encuentran dentro del nivel de pobreza patrimonial?) Distribución de acciones por grado de marginación y por índice de pobreza patrimonial. En este apartado se describe la focalización por nivel de marginación municipal y por localidad del Programa Tu Casa y por nivel de pobreza patrimonial. ( Qué porcentaje y tipo de acciones se encuentra en municipios y localidades con un alto y muy alto grado de marginación? Y Qué porcentaje se encuentran dentro del nivel de pobreza patrimonial?) Características socio económicas de los beneficiarios del Programa Tu Casa por Entidad Federativa. En este apartado se analizarán las características socioeconómicas de los beneficiarios del Programa, para poder considerar si los apoyos se están enfocado a personas que cumplan con lo establecido en los lineamientos del Programa. ( Qué porcentaje de la población atendida por el programa se encuentra en los umbrales de pobreza patrimonial?) Evaluación de Focalización (Preguntas por Instrumento de campo) Beneficiarios: 8, 17,94 96,

31 II. 8 Resultados (beneficios económicos y sociales) De acuerdo a los términos de referencia, el objetivo de esta sección será el de Medir los resultados del Programa sobre el bienestar, la equidad, la igualdad y la no discriminación de las mujeres.. Asimismo, la evaluación analizara el bienestar o mejora obtenida por los beneficiarios del Programa, a través de la evolución en las condiciones de la vivienda adquirida con el subsidio otorgado. Así, como la permanencia de los beneficiarios en la vivienda adquirida con dicho subsidio. Para ello se recibió una muestra del Padrón de beneficiarios 2003 y se realizara el trabajo de campo a través de la aplicación de una encuesta a beneficiarios del mismo, considerando lo siguiente: En qué estado físico se encuentra la vivienda adquirida, edificada, mejorada o ampliada con el subsidio otorgado en el año anterior: igual que como la recibió; le ha dado mantenimiento; fue objeto de una mejora adicional o ampliación; se ha deteriorado? Las condiciones (hacinamiento, falta de servicios dentro de la vivienda, etc.) en que vivía el beneficiario y su familia antes de recibir el subsidio, son las mismas, han mejorado, han empeorado? El beneficiario del subsidio continúa habitando la vivienda o la ha rentado o vendido? Con base en la información del beneficiario, plasmada en la CIS, y a través de la encuesta directa, se verificara si el mobiliario y enseres ha sufrido una mejora, decremento o cuenta con los mismos bienes. 30

32 La instancia ejecutora, Estado o Municipio ha realizado obras de infraestructura adicionales que generen de manera directa o indirecta mejores condiciones de habitabilidad a los beneficiarios? Para medir la equidad se utilizara el indicador 6 del anexo V de las ROP. Para medir la no discriminación de la mujer se utilizar el indicador 5 del anexo V de las ROP. Adicionalmente a lo establecido en los Términos de Referencia la Evaluación intentara cuantificar los efectos económicos del Programas. Para ello, en la economía aplicada se han desarrollado una gran variedad de métodos que buscan solucionar los problemas asociados tanto al carácter no experimental de los datos con que se cuenta, así como la falta de datos y la naturaleza altamente heterogénea y autoselectiva de los mismos. Por dicho motivo, en el transcurso de la evaluación se llevará a cabo la medición de los efectos económicos del Programa Tu casa tomando en cuenta la disponibilidad de información y la calidad de los mismos. Debe advertirse, sin embargo, que los resultados no corresponden propiamente a una evaluación de impacto del programa, por carecer tanto de un grupo de control, como de información previa a la participación en el programa. En ese sentido, la evaluación de impacto en este caso se reducirá a una simple caracterización de algunos efectos que podrían ser atribuidos al programa, a partir de información restrospectiva o de percepción de los individuos. La Evaluación planteará vía cuestionario, la identificación y cuantificación de los efectos económicos y sociales que se pueden generar debido al apoyo del Programa, diferenciando según el tipo de modalidad del apoyo. 31

33 Metodología Econométrica Con la información recopilada, se plantearán alternativas de evaluación de resultados, mediante una serie de modelos con variable dependiente binaria (logit o probit), en donde la variable dependiente asumirá diferentes medidas del éxito del programa. Por lo tanto, la variable dependiente en estos modelos dependerá de la pregunta a responder. Algunas de las variables dependientes que utilizaremos en el análisis serán las siguientes: Variable Éxito 1: La variable asume el valor de 1 si el beneficiario acumulo activos físicos debido a su participación en el programa, y 0 de otra forma. Variable Éxito 2: La variable asume el valor de 1 si el beneficiario obtuvo acceso a un crédito en forma posterior a su participación en el programa y 0 si no fue así. Variable Éxito 3: La variable asume el valor de 1 si el beneficiario considera que el programa le fue de alguna utilidad y 0 si no. En todos los casos, la variable de éxito tratará de explicarse en función de una serie de características socioeconómicas y demográficas de los individuos, así como de las características del apoyo recibido. También se incluirán algunas características externas que pudieron haber incidido en el éxito del Programa. Es decir, se planteará un modelo de la forma: P(Y=1) = F ( β X) donde Y es la variable de éxito y X es un conjunto de variables explicativas. La función F es una función acumulada que puede corresponder a la distribución logística o a la distribución normal estandarizada. 32

34 La variable de éxito 1 nos permitirá caracterizar a los individuos participantes en el programa que aumentan su acumulación de activos físicos. La idea de este ejercicio es simplemente analizar si existe alguna serie de factores individuales (observables) que nos permitan identificar a los individuos que a raíz de su participación en el programa, aumentan su acumulación de activos físicos. La variable de éxito 2 tiene como objetivo estudiar la relación entre los participantes en el programa y el mercado de crédito local. Es decir, se analizará si su participación actual en el programa, en el sentido de contar con una casa habitación y las escrituras correspondientes, tiene efectos positivos en su acceso al crédito y a otros apoyos. Esto también nos permitirá analizar si el apoyo recibido en 2003 modificó de alguna manera la relación de los participantes en el programa en su relación con el mercado de crédito en dicho año. Es decir, se tratará de encontrar si el programa ha tenido un impacto positivo en las formas y el acceso al mercado crediticio local. Por último, la inclusión de la variable de éxito 3 tiene como objetivo estudiar cuáles son los factores que tienden a incidir en una percepción (ex post) más favorable de los resultados del programa. Cabe señalar que ninguno de estos 3 ejercicios nos permitirá afirmar algo sobre el verdadero impacto del programa. Como ya se ha mencionado, ni el diseño del programa ni la naturaleza de la evaluación e información disponible nos permite concluir algo sobre este tema. En realidad, estos ejercicios sólo nos permitirán caracterizar a los participantes, así como el efecto de algunas otras variables en la percepción favorable del impacto del programa o en el cumplimiento de los términos del mismo. En ese sentido, se espera que los resultados de estos ejercicios proporcionen alguna evidencia interesante que puede reflejarse posteriormente en el diseño del programa. 33

35 II. 9. Percepción de los beneficiarios De acuerdo a las reglas de operación, el objetivo de esta sección es Conocer las percepciones de los beneficiarios sobre la operación del programa y el subsidio federal que reciben. Para tal efecto, se realizará una evaluación cualitativa y cuantitativa del grado de satisfacción de los beneficiarios en cuanto al acceso (percepción de la forma en la que opera y los apoyos que otorga), atención recibida (requisitos y criterios de elegibilidad y calidad de atención), tiempo de trámites (oportuna respuesta a las solicitudes de apoyo, tiempos de entrega de los mismos), y apoyos obtenidos (calidad de los apoyos y cumplimiento del objetivo del Programa). Esta información se obtendrá a través de encuestas a los beneficiarios del programa. Cabe señalar, que la medición de la percepción de los derechos y obligaciones del Programa, por parte de los beneficiarios será diferenciada en función del tipo de modalidad. Asimismo, se determinará en qué medida persisten las deficiencias señaladas por los beneficiarios en evaluaciones anteriores, analizando si las medidas correctivas propuestas fueron adecuadas y si se implementaron de acuerdo a lo planeado. Algunas de las preguntas que trataremos de responder en esta sección son las siguientes: Percepción de beneficios Qué efectos ha tenido en el beneficiario y su familia el contar con una vivienda propia? (esto en el caso de adquisición o edificación de vivienda) Qué efectos ha tenido en el desarrollo de las actividades familiares las mejoras realizadas con el subsidio? (Esto en el caso de mejoras y ampliaciones) Satisfacción de los beneficiarios Esta se medirá con respecto al Acceso y el tiempo de Tramitación y el Tipo de apoyo 34

36 Acceso al Programa Cuál es el medio por el que se enteró el beneficiario del Programa? Se cuenta con un módulo o área de atención a los solicitantes? Los trámites que tuvo que realizar para la obtención del subsidio le parecieron sencillos o complicados? Se le informó al beneficiario que parte del subsidio recibido, le fue otorgado por el Gobierno Federal? Tiempo en trámites o entrega de apoyos Se cuenta con trámites estandarizados? Tiempo que pasó entre el inicio del trámite y la obtención del subsidio? Tiempos de espera para satisfacer la petición de subsidio y comparados con los tiempos fijados Apoyos obtenidos La evaluación clasificara el tipo de subsidio recibido, monto, tipo de localidad en que se aplicó, urbana, semiurbana, rural o indígena, información demográfica y socioeconómica de cada uno de los beneficiarios entrevistados, (edad, sexo, escolaridad, ocupación, etc.), características de la vivienda y servicios disponibles (agua, electricidad, etc.). 35

37 La población de la localidad conoce los apoyos que ha brindado el FONHAPO? Cual es la percepción del beneficiario del subsidio obtenido? Cumplen los subsidios otorgados con las expectativas de la población o no? Metodología El análisis sobre la percepción de los beneficiarios del Programa Tu casa (PTC) se basará en los resultados de la encuesta que se aplicará a los beneficiarios del Programa y se dividirá en dos apartados según el apoyo recibido (Mejoramiento y Edificación de Vivienda, Adquisición de Vivienda). Las encuestas incluirán preguntas sobre las características personales y de la vivienda de los beneficiarios, así como sus opiniones con respecto a la política social en general y sobre los apoyos del PTC en particular. A partir de esta encuesta se obtendrán una serie de indicadores (de porcentaje, fundamentalmente) para responder a la primera parte de las preguntas mencionadas. Sin embargo, para poder identificar la percepción de los beneficiarios del Programa con respecto a la utilidad de la política social y, sobre todo, para contar con al menos un grupo de referencia, en esta sección también haremos uso de los resultados obtenidos en la encuesta Lo que dicen los pobres (Szekely, 2003). Dicha encuesta, contiene información de 2,939 personas mayores de 18 años que contestaron preguntas de percepción sobre la política social en México. De las personas entrevistadas, una tercera parte respondió que su familia era beneficiaria de al menos uno de los siguientes programas: Microrregiones (1.9%), Empleo Temporal (15%), Diconsa (3.8%), Liconsa (14.2%), Oportunidades (83.7%) y Opciones Productivas (9%) (véase Hernández Licona y del Razo, 2004). Las otras dos terceras partes de los entrevistados no eran 36

38 beneficiarios de ninguno de estos programas, por lo que, en principio, podrían servir como grupo de control para analizar el efecto de los programas en la percepción de la política social. En nuestro caso, nosotros planteamos realizar un módulo similar al de la encuesta Lo que dicen los Pobres, para poder llevar a cabo una comparación entre las percepciones de los beneficiarios del programa Tu casa s y dos grupos de referencia, por un lado, los no beneficiarios de programas sociales y, por el otro, los beneficiarios del programa Oportunidades. Metodología Econométrica Para el presente estudio se propone utilizar la metodología de Propensity Score Matching (PSM) para la construcción de un pseudo grupo de control que permita medir el efecto del programa en las percepciones de los beneficiarios. El análisis PSM ha sido estudiado en la teoría y la práctica por Rosembaum y Rubin (1989, 1995) y por Dehejia y Wahba (1999, 2002). En particular, la técnica de PSM se ha implementado en estudios con las siguientes características: (i) la variable de interés es el efecto de tratamiento promedio de aquellos agentes que son tratados, ii) existe un conjunto de variables de control potencial, y (iii) se considera razonable aceptar el supuesto de ignorabilidad del tratamiento. Este método permite realizar un apareo entre observaciones con base en la probabilidad de ser beneficiario de programas sociales. Para ello, se establece una propensión o probabilidad a ser beneficiario de programas sociales, dado un conjunto de características X, de acuerdo a la siguiente expresión: P ( X i ) = Pr( Di = 1 X i ), donde Pr(Di=1 Xi) es la probabilidad del hogar o individuo i ésimo de ser beneficiado por algún programa social, dadas unas ciertas características del hogar (Xi) y P(Xi) es la probabilidad de ser beneficiario de programas sociales (lo que en este caso, es lo que se conoce como propensity store). 37

39 Para obtener la probabilidad mencionada (propensity score) se estima un modelo con variable dependiente binaria (probit o logit) en donde la variable a explicar es la participación en algún programa social como función de una serie de variables que se piensa que podrían influir en la participación del hogar: E( D i X ) i = 0 1 β + β X + ε i i donde E(Di Xi) es la probabilidad condicional de que el hogar i ésimo reciba ayuda de programas sociales, dadas las características observadas a través de las variables contenidas en el vector Xi. Una vez obtenidos las propensiones a participar, es posible entonces obtener una muestra de individuos similares que actúan como contra factual de los individuos que si participan en los programas sociales. Debe notarse que, en nuestro caso, deberemos realizar un doble ejercicio para identificar a los individuos más parecidos a los beneficiarios del programa dentro de dos poblaciones distintas: la de no beneficiarios y la de beneficiarios del programa Oportunidades. Una vez obtenidos estos grupos de pseudo control, procederemos a comparar las respuesta de ambos grupos con respecto a los beneficiarios del programa Tu casa. Este ejercicio nos permitirá obtener una aproximación al efecto del programa en la percepción de los beneficiarios del mismo. Evaluación de la Percepción de los Beneficiarios (Preguntas por Instrumento de campo) Beneficiarios: 36 38, , 82 86,