Capítulo 1. Evaluación de Diseño

Transcripción

1 Capítulo 1. Evaluación de Diseño Análisis de la contribución del programa a los objetivos estratégicos de la dependencia y/o entidad, así como a los objetivos nacionales. 1. El problema o necesidad prioritaria al que va dirigido el programa está correctamente identificado y claramente definido? Si En las Reglas de Operación (ROP) del Programa de Vivienda Rural 2007 se establecen criterios generales de la definición del problema. Así, se señala que la población objetivo es la siguiente: Familias en situación de pobreza patrimonial que vivan en localidades rurales o indígenas de hasta 5,000 habitantes clasificadas como de Muy Alta Marginación o Alta Marginación. Asimismo, el objetivo general del programa es el siguiente: Apoyar económicamente a las familias rurales e indígenas de menores ingresos, para la edificación de una Unidad Básica de Vivienda Rural (UBVR), o la ampliación o mejoramiento de su vivienda actual, que les permita el fortalecimiento de su patrimonio familiar y con ello elevar su calidad de vida. En este sentido, se identifica de manera general que el problema al que el PVR pretende dar solución son las malas condiciones habitacionales en que se encuentran las familias que viven en pobreza patrimonial en zonas rurales e indígenas de hasta 5,000 habitantes clasificadas por CONAPO como de alta y muy alta marginación. 5

2 2. Existe un diagnóstico actualizado y adecuado, elaborado por el programa, la dependencia o entidad, sobre la problemática detectada que sustente la razón de ser del programa? No El Programa no cuenta con un diagnóstico actualizado y adecuado de las malas condiciones habitacionales de la población objetivo. Asimismo, las dos últimas Evaluaciones Externas no proporcionan información acerca de la situación actual de dicha problemática. La Comisión Nacional de Fomento a la Vivienda (CONAVI) a través de su indicador de rezago habitacional, proporciona a nivel de municipio una estimación del tamaño del problema al que pretende dar solución el programa. Resultaría conveniente utilizar dicho indicador a fin de realizar un diagnóstico actualizado y adecuado de las malas condiciones habitacionales de la población objetivo. En este sentido, y debido a que los datos proporcionados por la CONAVI se presentan a nivel municipio, para una adecuada cuantificación del problema será necesario desagregar el indicador de rezago habitacional sólo para localidades rurales menores de 5000 habitantes. 1 Posteriormente, podrían relacionarse los diversos Componentes del programa con los indicadores relevantes de la siguiente forma: Edificación de vivienda (Hacinamiento, viviendas sobreocupadas; viviendas con deterioro, reposición) Ampliaciones (Hacinamiento, ampliaciones). Mejoramientos (viviendas con deterioro, mejoramiento) 1 Una posibilidad es solicitar a CONAVI la información y poder desagregarla. La otra es construirla a partir de los Censos y los Conteos de Población, para lo cual se puede solicitar a INEGI la información sobre las características de las viviendas para este tipo de localidades. 6

3 3. El Fin y el Propósito del programa están claramente definidos? Si Tanto el Fin como el Propósito se encuentran claramente definidos; sin embargo, éstos no son totalmente precisos. El Propósito señalado en la Matriz de Marco Lógico (MML) del Programa está definido como Familias mexicanas habitantes de localidades rurales e indígenas con niveles de alta y muy alta marginación de hasta 5000 habitantes reciben mejoran sus condiciones habitacionales. Por un lado, se observa una definición clara del sujeto de atención de la política de intervención (beneficiario) los cuales son las familias mexicanas habitantes de localidades rurales e indígenas con niveles de alta y muy alta marginación de hasta 5000 habitantes. Por otra parte, el impacto directo que busca lograr el programa a través de su política de intervención y señalado como Mejorar las condiciones habitacionales, no es totalmente claro. Por ello se recomienda realizar las debidas precisiones a dicho concepto o incorporar una nota aclaratoria en donde se mencionen las acciones del programa que contribuyen a mejorar las condiciones de la vivienda de la población beneficiaria. Con respecto al Propósito, se sugiere eliminar la palabra reciben dado que se identificó un error de redacción en el mismo, para que se establezca como sigue: Familias que habitan en localidades rurales e indígenas con niveles de alta y muy alta marginación de hasta 5000 habitantes mejoran sus condiciones habitacionales. En cuanto al Fin señalado en la MML definido como Contribuir al mejoramiento en la calidad de vida de familias indígenas y rurales en situación de pobreza patrimonial que vivan en localidades de alta y muy alta marginación a través de soluciones habitacionales existe una cierta imprecisión en lo se refiere al concepto de pobreza patrimonial, ya que éste refleja una característica relacionada con un flujo de ingreso y no necesariamente con respecto a la calidad de la vivienda o de las condiciones habitacionales. Por esta razón se considera que el concepto de pobreza patrimonial no debería ser relevante para la delimitación de la población objetivo (además de que éste concepto no se menciona en el Propósito). 7

4 4. El Fin y el Propósito corresponden a la solución del problema? Si El Propósito, al ser el resultado esperado una vez que haya finalizado la ejecución del proyecto o programa y debido a que es una consecuencia directa que se espera ocurra como resultado de la generación de los bienes o servicios (Componentes), deberá reflejar los logros obtenidos en la solución del problema que trata de resolver el programa. Por tanto, al ser el problema las malas condiciones habitacionales en que se encuentran las familias que viven en pobreza patrimonial en zonas rurales e indígenas de hasta 5,000 habitantes clasificadas por CONAPO como de alta y muy alta marginación, el mejorar dichas condiciones es directamente la solución al mismo. A su vez, el Propósito del programa está claramente alineado con el Fin (impacto) establecido en la MML del programa. Es así que, al mejorar las condiciones habitacionales de las familias beneficiarias, se contribuirá en el largo plazo a mejorar las condiciones de la calidad de vida de las mismas. Lo anterior se debe a que la vivienda es una necesidad humana fundamental, al igual que la alimentación y el vestido. La carencia o inadecuación de ésta priva al ser humano de su derecho a vivir con dignidad, teniendo efectos tanto en su salud física como psicológica. Por otro lado, también se requiere de una vivienda para que no exista privación en los requerimientos de otras necesidades. 8

5 5. El programa cuenta con evidencia de estudios o investigaciones nacionales y/o internacionales que muestren que el tipo de servicios o productos que brinda el programa es adecuado para la consecución del Propósito y Fin que persigue el programa? De no ser así, el evaluador deberá investigar y, de existir, presentar dicha evidencia. No El programa no cuenta con evidencia en la que se identifique que a través de la entrega de subsidios para la vivienda se logre un mejoramiento en las condiciones habitacionales y con ello, en el largo plazo, mejoras en la calidad de vida de los beneficiarios. Sin embargo, países latinoamericanos como Colombia y Chile han realizado investigaciones e implementado programas similares en los cuales los resultados han sido exitosos. La vivienda es una de las necesidades básicas más importantes a las que el ser humano tiene derecho a tener acceso. Por tal motivo, los gobiernos están poniendo particular atención en este sentido implementando políticas sociales para el mejoramiento de las condiciones habitacionales de su población. Un ejemplo de ello es el gobierno Chileno quien desde 1978 implementó su política de Subsidio Habitacional en la que apoyaba la adquisición de vivienda propia 1 y la Vivienda Económica, con lo que pretendía dar solución a los problemas habitacionales de los hogares de ingresos más bajos. La evidencia hasta ahora demuestra que este programa obtuvo resultados exitosos en cuanto a la reducción de déficit habitacional y, con ello, obtuvo mejoras en la calidad de vida de los beneficiarios. Otro estudio realizado por el Departamento Nacional de Planeación de Colombia, 2 muestra evidencia de que por medio del subsidio a la vivienda, las familias incrementan su poder adquisitivo permitiéndoles ingresar a la demanda efectiva de vivienda, reportando mejoras en las condiciones socioeconómicas, así como un impacto positivo en la redistribución del ingreso. 1 Simian, José Miguel. Política Habitacional en Chile y Alemania. Diciembre 2004, Chile. 2 Torres R. Jorge Enrique. Las condiciones habitacionales de los hogares y su relación con la pobreza. Departamento Nacional de Planeación. Colombia,

6 6. Con base en los objetivos estratégicos de la dependencia y/o entidad que coordina el programa a qué objetivo u objetivos estratégicos está vinculado o contribuye el programa? La entrega de subsidios para la edificación de Unidades Básicas de Vivienda Rural, así como la ampliación o el mejoramiento de la vivienda rural, es la manera en la que el Programa aporta al cumplimiento del objetivo estratégico general de la Secretaria de Desarrollo Social, que habla del combate a la pobreza, a través de la generación de ingresos y el aumento del bienestar social. En este sentido, el programa se vincula con el Objetivo 2 de la Política de Desarrollo Social, bajo la cual está inscrita la SEDESOL, que hace referencia a Abatir el rezago que enfrentan los grupos sociales vulnerables a través de estrategias de asistencia social que les permitan desarrollar sus potencialidades con independencia y plenitud. Asimismo, se vincula con el Objetivo 3. Disminuir las disparidades regionales a través de un patrón territorial ordenado e infraestructura social que permita la integración de las regiones marginadas a los procesos de desarrollo y detonen las potencialidades productivas. En este sentido, también guarda relación con la Estrategia 3.1 Apoyar a las regiones más marginadas del país para reducir la brecha regional de desarrollo humano Es así que el objetivo del Programa de Vivienda Rural es apoyar económicamente a las familias rurales e indígenas de menores ingresos, para el mejoramiento de las condiciones habitacionales, lo que les permite fortalecer su patrimonio familiar y con ello elevar su calidad de vida. 10

7 7. Con base en lo anterior, analiza y evaluar si existe una relación lógica del programa con los objetivos nacionales del Plan Nacional de Desarrollo. Existe una relación lógica entre el Programa y el Plan Nacional de Desarrollo (PND) en relación a sus objetivos. Por un lado, el PND en su Eje 3 Igualdad de oportunidades habla de los esfuerzos que realizará el gobierno para asegurar que cada persona, sin importar el lugar donde nació o su nivel socioeconómico, tenga la posibilidad de desarrollar sus aspiraciones a plenitud y así mejorar su calidad de vida. El PVR busca, a través de la entrega de subsidios, mejorar las condiciones habitacionales de la población rural e indígena y con ello mejorar su calidad de vida. Además, el Programa está vinculado con el Objetivo 1 del PND que se refiere a la reducción significativa del número de mexicanos en condiciones de pobreza con políticas públicas que superen un enfoque asistencialista, de modo que las personas puedan adquirir capacidades y generar oportunidades de trabajo. En relación a lo anterior, el Programa realiza acciones tendientes a asegurar una vivienda digna para la población de menores ingresos a través del otorgamiento de subsidios para el mejoramiento, ampliación y adquisición de viviendas, lo cual les permite fortalecer su patrimonio familiar y con ello elevar su calidad de vida. De igual forma, el PVR se vincula con el Eje 2. Economía Competitiva y Generadora de Empleos, que hace referencia a la mejora de las condiciones de vida y de oportunidades de todos los mexicanos, pero especialmente a aquellos que viven en pobreza, en este sentido, se vincula con el Objetivo 17, que señala ampliar el acceso al financiamiento para viviendas de los segmentos de la población más desfavorecidos, así como para emprender proyectos de construcción de un contexto de desarrollo ordenado, racional y sustentable de los asentamientos humanos, a través de la estrategia 17.7 que es: Promover el mejoramiento de la vivienda existente mediante nuevas alternativas de apoyo para la población de menores ingresos, facilitando a las familias mexicanas hacerse de una vivienda o realizar mejoras en la que poseen. Con base en lo anterior, es evidente que el Programa de Vivienda Rural está claramente alineado con estas acciones. 11

8 Evaluación y análisis de la matriz de indicadores. Evaluación Externa del Programa de Vivienda Rural Las Actividades del programa son suficientes y necesaria para producir cada uno de los componentes? No Las Actividades son todas aquellas acciones que el ejecutor del Programa tiene que llevar a cabo para producir cada Componente (producto) y por tanto implican la utilización de recursos. Dentro de la MML, éstas deben mencionarse en orden cronológico, con el objeto de ver claramente el proceso que siguen para el logro del Componente. Del análisis sobre la forma en que operan las relaciones causa-efecto entre los distintos niveles de la MML (Actividades, Componentes, Producto y Fin) del Programa, concluimos que las Actividades citadas en ella son necesarias, pero no suficientes para el logro de los Componentes (productos), los cuales son la entrega de los distintos tipos de subsidios (producto) que pueden recibir las familias beneficiarias ya sea para la edificación, mejoramiento o ampliación de vivienda. En este sentido, se sugiere adicionar otras Actividades que se consideran pertinentes para la adecuada producción del Componente, de esta forma se propone que las Actividades incluidas en la Matriz de Marco Lógico queden de la siguiente manera 2 : Revisión de las Reglas de Operación del Programa (ROP) Difusión de la operación del Programa a nivel nacional a las instancias ejecutoras. Promoción del Programa con la población objetivo. Envío del plan de trabajo anual por la instancia ejecutora a la instancia normativa. Validación de los planes de trabajo de las instancias ejecutoras. Solicitud de apoyo por parte de la población potencial. Procesamiento y entrega de subsidios a la población beneficiaria. Autorización y transferencia de recursos de la Instancia Normativa a las instancias ejecutoras Verificar la ejecución de las acciones de vivienda. 2 Para una visión integral de la propuesta de MML sugerida por el consultor véase Anexo VI 12

9 9. Los Componentes son necesarios y suficientes para el logro del Propósito? Sí La MML del Programa presenta dos Componentes que considera necesarios para producir el Propósito que es Familias mexicanas habitantes de localidades rurales e indígenas con niveles de alta y muy alta marginación de hasta 5000 habitantes reciben mejoran sus condiciones habitacionales. Dichos componentes son: Familias mexicanas habitantes de localidades rurales e indígenas con niveles de alta y muy alta marginación de hasta 5000 habitantes reciben subsidios federales de vivienda para UBVR. Familias mexicanas habitantes de localidades rurales e indígenas con niveles de alta y muy alta marginación de hasta 5000 habitantes reciben subsidios federales de vivienda para ampliación y mejoramiento. Se considera que ambos componentes son adecuados pues permiten que a través de los subsidios que reciben las familias beneficiarias se financien acciones de vivienda que mejoren las condiciones habitacionales de las mismas. Es decir, la relación productoresultado es consistente. No obstante, si bien en principio el segundo componente podría separarse en dos debido a que teóricamente las acciones de ampliación y mejoramiento de vivienda corresponden a productos con características diferentes entre sí, en la práctica, sin embargo, los montos de apoyo para ambas acciones son muy similares, lo que no permite suponer que tengan un impacto realmente diferenciado. Así, mientras no se cambien los montos de apoyo para una u otra acción, puede mantenerse este componente como uno solo a pesar de que en teoría debería separarse en dos. 13

10 10. Es claro y lógico que el logro de Propósito contribuye al logro del Fin? Si El Propósito señalado en la MML como Familias mexicanas habitantes de localidades rurales e indígenas con niveles de alta y muy alta marginación de hasta 5000 habitantes reciben mejoran sus condiciones habitacionales, tiene una relación causal clara y lógica con el Fin que es Contribuir al mejoramiento en la calidad de vida de familias indígenas y rurales en situación de pobreza patrimonial que vivan en localidades de alta y muy alta marginación a través de soluciones habitacionales Lo anterior se debe a que al mejorar las condiciones habitacionales de las familias beneficiarias, se contribuirá, en el largo plazo, a mejorar la calidad de vida de las mismas. Así, la vivienda al ser una necesidad humana fundamental, al igual que la alimentación y el vestido, se debe procurar que la población cuente con dichos satisfactores, evitando con ello la privación a su derecho a vivir con dignidad, lo cual tiene efectos tanto en su salud física (menores enfermedades) como psicológica (revalorización personal). Asimismo, esto permite reafirmar el sentimiento de pertenencia e integración con su entorno y comunidad. Por otro lado, la vivienda es en ocasiones un requisito para que no exista privación en los requerimientos de otras necesidades, como puede ser la oportunidad de tener un trabajo o recibir ciertos apoyos. Es así que las acciones anteriores permiten mejorar de una u otra manera la calidad de vida de las familias beneficiarias. A fin de tener mayor claridad se sugieren cambios en la redacción del resumen narrativo a nivel Propósito y Fin, sin embargo, el cambio de redacción propuesto no cambia el sentido de los mismos. (Véase Anexo VI) 14

11 11. Considerando el análisis y la evaluación realizados en este punto, la lógica vertical de la matriz de indicadores del programa es clara y se valida en su totalidad? Es decir, la lógica interna del programa es clara? No Del análisis sobre la forma en que operan las relaciones causa-efecto entre los distintos niveles de la MML (Actividades, Componentes, Producto y Fin) del Programa concluimos que existe una relación causal lógica entre los niveles de Fin, Propósito y Componentes. No sucede lo mismo, sin embargo, en las relaciones causa-efecto de Actividades a Componentes pues el análisis de correspondencia entre ambos indica que las Actividades son necesarias pero no suficientes para producir los Componentes del Programa. En este sentido, se sugiere adicionar otras Actividades que se consideran pertinentes para la adecuada producción del Componente (Véase Anexo VI). Por otro lado, en lo referente a los supuestos de la MML, éstos no se validan dado a que no en todos los niveles se cumple que estos sean acontecimientos, condiciones o decisiones importantes que tiene que ocurrir para lograr el objetivo inmediato superior que además deberán estar fuera de control del programa, es decir, algunos de los supuestos señalados no son adecuados. Ejemplo de ello es el supuesto de Las Instancias Ejecutoras, proveedores y beneficiarios cumplen los contratos de ejecución firmados, según sea el caso. ; el cual se considera una condición endógena al programa, debido a que él mismo debería verificar que los contratos y acuerdos concertados entre los diferentes actores se cumplan en tiempo y forma ya que, en caso de que esto no ocurriera, el logro del Propósito del Programa podría verse afectado. Debido a lo anterior, y considerando las recomendaciones realizadas, no puede ser validada en su totalidad la lógica vertical de la MML. Para una visión integral de la propuesta de MML sugerida por el consultor véase Anexo VI. 15

12 12. Si no es así, proponer los cambios que deberían hacerse en el diseño del programa y en su lógica interna. Estos cambios deberían reflejarse en la matriz de indicadores definitiva del programa. Se recomienda lo siguiente: Cambios de redacción en Resumen Narrativo a nivel Propósito, Componente y Subcomponentes que no cambian el sentido de los mismos. Revisar la incorporación del concepto de pobreza patrimonial, pues de mantenerse se pueden provocar errores de focalización en las familias beneficiarias. Se considera que se deben tener las siguientes actividades: Revisión de las Reglas de Operación del Programa (ROP) Difusión de la operación del Programa a nivel nacional a las instancias ejecutoras. Promoción del Programa con la población objetivo. Envío del plan de trabajo anual por la instancia ejecutora a la instancia normativa. Validación de los planes de trabajo de las instancias ejecutoras. Solicitud de apoyo por parte de la población potencial. Procesamiento y entrega de subsidios a la población beneficiaria. Autorización y transferencia de recursos de la Instancia Normativa a las instancias ejecutoras Verificar la ejecución de las acciones de vivienda. Para una visión integral de la propuesta de MML sugerida por el consultor véase Anexo VI 16

13 13. En términos de diseño, existen indicadores para medir el desempeño del programa a nivel de Fin, Propósito, Componentes y Actividades e insumos? No Aun cuando la matriz cumple con tener indicadores para cada nivel jerárquico, éstos no cumplen con la característica de definir operacionalmente lo señalado en el resumen narrativo. A nivel de Fin tenemos que los indicadores no se encuentran claramente definidos, debido a que si bien los estudios señalan la metodología de los indicadores, eso no implica que la misma sea replicada, ni que todas las variables e indicadores incluidos en los estudios se realicen para el Programa, por lo que es necesario ser más puntual en sus definiciones. En lo que respecta a los indicadores de Propósito, éstos no definen necesariamente al propósito, si bien señalan grado de avance en los rezago de vivienda nueva (indicador 1) y de mejoramientos de vivienda (indicador 2), las proyecciones de rezago de CONAVI no son exclusivas para localidades rurales de 5000 o menos habitantes. En lo que respecta al porcentaje de familias beneficiarias, éste indicador no proporciona información acerca de la mejora en sus condiciones habitacionales, sino de la cantidad de beneficiarios del Programa. Por su parte, el indicador de piso firme, solo señala un apoyo del programa. Finalmente, el indicador de localidades atendidas señala la cobertura del programa, por lo que se puede considerar adecuado. A nivel de Componentes se consideran adecuados los indicadores, sin embargo, los indicadores de género y de población indígena, son un subgrupo de la población objetivo y dado que el apoyo es por familia, no se considera que, al menos el primero de ellos, sea de gran relevancia. Respecto a los indicadores de Actividades, se considera que son adecuados. Para una ver los indicadores propuestos por los evaluadores véase el Anexo VI 17

14 14. Todos los indicadores son claros, relevantes, económicos, adecuados y monitoreables? No Si bien la mayoría de los indicadores considerados en la MML tienen justificada cada una de las características mencionadas en las fichas técnicas entregadas por el Programa **, no se considera que la totalidad de dichos argumentos sean correctos. En este sentido, algunos indicadores sólo cumplen parcialmente con dichas características. Un ejemplo de ello es el indicador Rezago anual de vivienda nueva, debido a que el rezago señalado por la CONAVI no se encuentra acotado a localidades de 5000 habitantes o menos. Por otro lado, existen indicadores que no cumplen con ser monitoreables, debido a que se encuentran basados en estudios específicos para una Entidad y tipo de apoyo del Programa, tal es el caso de los indicadores de Fin de Porcentaje de variación de enfermedades parasitarias en niños entre 0 y 5 años y el de Impacto en la Calidad de Vida. Por último, el indicador de calidad de vida no se encuentra claramente definido, si bien existe un estudio metodológico acerca del mismo, es necesario que se señale puntualmente qué se debe entender por dicho indicador, así como la forma específica de cálculo del mismo. * Véase Anexo VII. Características de Indicadores 18

15 15. De no ser el caso, la institución evaluadora, en coordinación con el programa, deberá proponer los indicadores faltantes y necesarios para cada ámbito de acción o las modificaciones a los indicadores existentes que sean necesarias. Con el objeto de realizar una adecuada propuesta de los indicadores faltantes, es necesario reorganizar la lógica vertical de la MML como se señaló en las preguntas correspondientes y generar los indicadores respectivos. A su vez, es necesario realizar nuevos indicadores para los niveles de Fin, Propósito y Componente. De manera general podemos señalar que: Es necesario redefinir los indicadores de Fin para que reflejen la contribución del programa al logro del mismo. Se deberán realizar nuevos indicadores que permitan medir el grado en que el programa ha solucionado el problema que dio origen al programa. Los indicadores de Componentes deberán reflejar la cantidad, calidad y tiempo en el logro de los productos, así como, las metas asociadas a los mismos. Con respecto a los indicadores de Actividades, se sugiere que los indicadores reflejen de mejor manera lo que se busca con la ejecución de cada actividad. La propuesta de indicadores para cada nivel de la MML del Programa se puede ver en el Anexo VI (MML propuesta). 19

16 16. Los indicadores incluidos en la matriz de indicadores tienen identificada su línea de base y temporalidad en la medición? 3 No El análisis de los indicadores de la MML, señala que todos los indicadores tienen identificado el año de su línea base (2007), a excepción del indicador de Porcentaje de variación de enfermedades parasitarias en niños entre 0 y 5 años, del cual su año base será el 2011 y el indicador de Impacto en la Calidad de Vida (medida a través de salud, infraestructura de la vivienda, economía y demografía), el cual tiene como año base el 2006, siendo el único indicador que tiene un valor base (33%). Ssin embargo, no es claro como se obtuvo el valor del mismo, debido a que el estudio señalado como referencia no especifica de manera puntual la metodología de cálculo de dicho indicador. En el mismo sentido, el estudio sólo se refiere al estado de Coahuila, por lo que no se considera que se pueda extrapolar el resultado a todo el país. Con respecto a la temporalidad de la medición, todos los indicadores cuenta con ella, aunque es poco probable que la referente a los indicadores de Fin pueda cumplirse, debido a que el estudio señalado es un estudio especifico de impacto, que no tiene periodicidad para ser replicado por Sedesol. Por lo tanto, en caso de adoptar dicho indicador, el Programa tendría que financiarlo, lo cual dadas las disminuciones presupuestales que ha tenido el Programa en los últimos años, podría hacerlo un indicador no económico. 3 Véase Anexo XII Línea base y Temporalidad de los Indicadores 20

17 17. El programa ha identificado los medios de verificación para obtener cada uno de los indicadores? No Si bien para cada uno de los indicadores propuestos en la MML del Programa se muestra su medio de verificación, en donde se hace planea utilizar tanto Reportes elaborados por la propia Institución, como reportes elaborados por instituciones relacionadas con el ámbito de acción del programa (CONAVI, CONEVAL y CONAPO), existe una fuerte diferencia en lo que respecta a la fuente específica de información entre cada uno de los indicadores existentes y los niveles de la MML. Tal es el caso de los indicadores de Fin, que sólo señalan a la institución que proveerá la información y no el documento específico al que se debe recurrir para obtener la información concreta. Asimismo, existe el riesgo que dichas instituciones no generen nueva información sobre las mismas variables, invalidando con ello al indicador correspondiente. Respecto a los medios de verificación de los indicadores de Propósito, se puede identificar que sólo el indicador de Contribución a la reducción del déficit: Piso Firme no cuenta con el medio de verificación adecuadamente señalado, por lo que se recomienda especificar claramente la fuente de información. Los medios de verificación de todos los indicadores de los Componentes muestran una adecuada especificación, puesto que dentro de los reportes del Sistema integral de información de la institución se encuentran los datos a los que hacen referencia los indicadores de la MML a este nivel. Por último, en lo que respecta a los medios de verificación de las Actividades, éstos sólo señalan al proveedor de la información dentro del programa, pero no hacen referencia al documento que contiene dicha referencia (a excepción del primer indicador), por lo que se recomienda especificar claramente el nombre del documento o base utilizada. 21

18 18. Para aquellos medios de verificación que corresponda (por ejemplo encuestas), el programa ha identificado el tamaño de muestra óptimo necesario para la medición del indicador, especificando sus características estadísticas como el nivel de significación y el error máximo de estimación? No Los indicadores propuestos a nivel de Fin son los únicos indicadores propuestos para los que el Programa señala que deben verificarse a través de trabajo de campo (encuestas). El Programa no ha identificado el tamaño de muestra óptimo necesario para la medición de dichos indicadores, ni especificado las características estadísticas como el nivel de significancia y el error máximo de estimación. Sin embargo, los estudios a los que hace referencia si señalan los mismos. No obstante, eso no indica que estos sean los estándares que debería seleccionar el programa para la actualización de dicha información y, más aún, ya que al señalar que el proveedor de la misma es la SEDESOL, el tamaño de muestra óptima y características estadísticas de la misma, no podrían ser influenciadas por el Programa. 22

19 19. De qué manera el programa valida la veracidad de la información obtenida a través de los medios de verificación? Dadas las características de la información requerida para la elaboración de los indicadores a nivel de Fin, el programa no cuenta con medios de verificación propios, ya que son estudios realizados por terceros. En lo que respecta a los medios de verificación utilizados por el programa para los indicadores a nivel de Propósito, los mismos se consideran adecuados debido a que son información proveniente de instituciones diferentes al Programa, como es la CONAVI y el CONEVAL. En lo que respecta a los medios de verificación a nivel de Componente la información es proporcionada por el Programa y la veracidad de la misma es respaldada por los documentos entregados por los beneficiarios a las distintas instancias, como es la Cédula de Información Socioeconómica Rural. Información que a su vez queda capturada en el SIDIR, teniendo como respaldo el Certificado de Subsidio Federal y el Bono de Subsidio Federal, documentos que son endosados por el beneficiario para la entrega del apoyo correspondiente. Finalmente, los medios de verificación para nivel de Actividades quedan a cargo del programa, dado que la información manejada en la formulación de indicadores es generada por la operación cotidiana del PVR. 23

20 20. Se consideran válidos los supuestos del programa tal como figuran en la matriz de indicadores? No Los supuestos en cada nivel deben ser acontecimientos, condiciones, decisiones o riesgos importantes que tienen que ocurrir o no, para lograr el objetivo inmediato superior y deberán estar fuera del control del programa. Si bien tanto el supuesto de Los beneficiarios dan el mantenimiento necesario a las obras realizadas como el de Existen condiciones climáticas, sociales y políticas que permiten la oportuna ejecución de las acciones de vivienda cumplen con las características antes mencionadas; no se pueden validar en su totalidad los supuestos considerados en la MML, Esto se debe a que algunos de ellos incurren en inconsistencias y en realidad son acontecimientos que el programa debe controlar para garantizar el cumplimiento de su objetivo. Un ejemplo de ello es el supuesto de Las Instancias Ejecutoras, proveedores y beneficiarios cumplen los contratos de ejecución firmados, según sea el caso. ; el cual se considera una condición endógena al programa, debido a que el mismo debería verificar que los contratos y acuerdos concertados entre los diferentes actores se cumplan en tiempo y forma, ya que por el contrario, el logro del Propósito del programa se vería afectado. Por tal motivo, se recomienda que lo señalado en el supuesto anterior sea interiorizado por el programa. Además, es necesario identificar los supuestos necesarios para alcanzar cada uno de los distintos niveles jerárquicos de la MML. Con base en lo anterior, se presenta una propuesta de los mismos en el Anexo VI. 24

21 21. Considerando el análisis y evaluación realizado en este punto, la lógica horizontal de la matriz de indicadores se valida en su totalidad? No Dadas las observaciones realizadas en la lógica vertical y horizontal de la MML, no se puede validar en su totalidad la lógica horizontal de la MML del Programa. Así tenemos que: Es necesario reorganizar la lógica vertical de la MML como se señaló en las preguntas correspondientes y generar los indicadores respectivos. A su vez, es necesario realizar nuevos indicadores para los niveles de Fin, Propósito, Componente y Actividades en los casos que no son definidos operacionalmente por los actuales indicadores. Es necesario especificar los medios de verificación de mejor manera, señalando no sólo a la institución o área que provee la información, sino el documento o base de datos de la cual se tomará la misma. En lo que respecta a los supuestos en cada nivel de la MML, éstos deben ser acontecimientos, condiciones, decisiones o riesgos importantes que tienen que ocurrir o no, para lograr el objetivo inmediato superior y por tanto están fuera del control del Programa. Sin embargo, algunos de los supuestos de la MML del PVR no cumplen con estas características por lo que deberán reformularse e incorporarse a la mecánica de operación del programa. 25

22 22. Si no es así, proponer los cambios que deberían hacerse a la lógica horizontal de la matriz de indicadores (indicadores, medios de verificación y supuestos). Con el objeto de realizar una adecuada propuesta de los indicadores faltantes, medios de verificación y supuestos, se realizó una propuesta de MML para el programa la cual se encuentra en el Anexo VI. 26

23 Población potencial y objetivo 23. La población que presenta el problema y/o necesidad (población potencial), así como la población objetivo están claramente definidas? No Las ROP definen claramente como población objetivo a Familias en situación de pobreza patrimonial que vivan en localidades rurales o indígenas de hasta 5,000 habitantes clasificadas como de muy alta y alta marginación. Sin embargo, aun cuando dicha población está claramente definida, se podrían presentar posibles errores de focalización si no se cuenta con una adecuada forma de verificar que la población beneficiada se encuentra efectivamente en situación de pobreza patrimonial (además de las consideraciones que ya se han hecho sobre la utilización de este concepto en preguntas previas). Así, debe mencionarse que el programa no realiza algún tipo de identificación de las familias según su grado de pobreza, aunque atiende a familias que ganan hasta tres salarios mínimos. De lo señalado en las ROP se podría definir como población potencial a todas aquella familias que habitan en localidades rurales o indígenas de hasta 5000 habitantes, y que presentan condiciones habitacionales inadecuadas. Con la intención de ejemplificar el proceso de focalización del Programa de Vivienda Rural, se elaboró el siguiente diagrama: 27

24 24. El programa ha cuantificado y caracterizado ambas poblaciones, según los atributos que considere pertinentes? (En el caso de individuos, en términos de edad, sexo, nivel socioeconómico señalar quintil de ingreso si corresponde-, principales características de la actividad económica que desempeña- rama de actividad, condición de empelo, etc.-, condición indígena u otros atributos que sean pertinentes). No El programa no ha cuantificado y caracterizado a la población potencial en ningún documento propio; sin embargo, existen datos de la CONAVI que le permiten tener una aproximación del tamaño de la misma, por medio de los indicadores de rezago habitacional y rezago de mejoramiento de vivienda. La CONAVI a través de su indicador de rezago habitacional proporciona a nivel de municipio una estimación del tamaño del problema que pretende solucionar el programa. Con base en lo anterior, para conseguir una adecuada cuantificación del problema, sería necesario desagregar el indicador de rezago habitacional en localidades rurales menores a 5,000 habitantes y agrupar los Componentes del indicador, según la oferta de apoyos del PVR, por tanto tendríamos: Edificación de vivienda (Hacinamiento, viviendas sobreocupadas; viviendas con deterioro, reposición) Ampliaciones (Hacinamiento, ampliaciones). Mejoramientos (viviendas con deterioro, mejoramiento) Pese a lo anterior, actualmente no existen datos específicos que permitan una adecuada caracterización de la población que habita en localidades rurales o indígenas que presenten condiciones habitacionales inadecuadas. Si bien es cierto que el programa ha logrado caracterizar a la población objetivo a través de las Cédulas de Información Socioeconómica Rural, no ha logrado cuantificar la dimensión exacta de la población a la que dirige sus apoyos. 28

25 25. Cuál es la justificación que sustenta que los beneficios que otorga el programa se dirijan específicamente a dicha población potencial y objetivo? El programa no cuenta con una justificación que sustente el por qué los apoyos se dirigen a la población potencial y objetivo del programa; sin embargo, la evaluación 2005 señala que en organizaciones campesinas regionales de todo el país crearon el movimiento El campo no aguanta más que culminó con la firma del Acuerdo Nacional para el Campo (ANC) y dio origen al PVR. Así el PVR surge como una respuesta al tema de vivienda del acuerdo ocho, del apartado de Reforma estructural. Debido a lo anterior los beneficios del programa se dirigen principalmente a la población que cubre las características socioeconómicas de dichas organizaciones, que se definieron como Familias en situación de pobreza que vivan en localidades rurales o indígenas de hasta 5,000 habitantes clasificadas como de muy alta y alta marginación. El PVR inicia sus operaciones en noviembre de 2003 y tiene la finalidad de contribuir a mejorar las condiciones de vida de los habitantes rurales de las localidades de alta y muy alta marginación mediante la edificación, ampliación y/o mejoramiento de sus viviendas. 29

26 26. La justificación es la adecuada? NO Se considera que la justificación no es la adecuada debido a que, como lo menciona la evaluación 2005, la creación del PVR es producto de un movimiento político más que de una verdadera política pública orientada a mejorar las condiciones habitacionales de la población rural, campesina e indígena. Esto quedó reflejado en la operación 2003 del programa, la cual, según la evaluación externa de 2005, resultó un flujo de recursos operados por terceros. Las consecuencias operativas derivaron, entre otros, en que en ese año no se pudo contar con una base de datos confiable que permitiera conocer las características socioeconómicas de los beneficiarios, su ubicación real ni el uso final que se dio a los subsidios. 30

27 27. Los criterios y mecanismos que utiliza el programa para determinar las unidades de atención (regiones, municipios, localidades, hogares y/o individuos, en su caso) son los adecuados? (Señalar principales mecanismos). Si Los criterios de selección de unidad de atención por parte del Programa son los adecuados dada la población objetivo a la que van dirigidos los apoyos. Así, el PVR señala a la familia como la unidad de atención; en este sentido, los beneficiarios deben cumplir ciertos requisitos para poder ser sujetos al apoyo entre los que se encuentran: ser jefe de familia con por lo menos un dependiente económico, estar en situación de pobreza patrimonial, residir en localidad rural o indígena de hasta 5,000 habitantes clasificadas por CONAPO como de alta y muy alta marginación o bien en alguno de los 100 municipios de menor Índice de Desarrollo Humano. Por otro lado, el Programa ha otorgado un puntaje a cada una de las preguntas contenidas en la Cédula de Información Socioeconómica Rural (CISR), en donde los beneficiarios deberán cubrir un mínimo de puntos para poder ser sujetos de apoyo. De esta manera, el programa logra identificar las familias a las que deberán dirigirse los apoyos entregados por el Programa. Sin embargo, el sistema del programa valora a las familias que tienen percepciones menores a 3 salarios mínimos y no a las que se encuentran en pobreza patrimonial de acuerdo a los criterios de SEDESOL, por lo que se puede incurrir en errores de focalización tal y como se encuentra ahora establecida la población objetivo en las ROP. 31

28 28. Existe información sistematizada y actualizada que permita conocer quiénes reciben los apoyos del programa (padrón de beneficiarios), cuáles son las características socioeconómicas de la población incluida en el padrón de beneficiarios y con qué frecuencia se levanta la información? Si Para efecto del Programa, se entiende como padrón de beneficiarios a todos aquellos jefes de familia que hayan recibido el apoyo económico para la edificación de una UBVR, o en su caso, mejoramiento o ampliación de la vivienda. El Programa de Vivienda Rural cuenta con el Sistema Integral de Información del Programa de Vivienda Rural (SIDIR), que es un programa de cómputo diseñado por FONHAPO, que les permite la administración de forma integral de los datos de los beneficiarios, donde una de las herramientas para la obtención de los datos, es la Cédula de Información Socioeconómica Rural (CISR) que cada uno de los beneficiarios llena al hacer la solicitud del apoyo. Dentro de la cédula hay cinco secciones: datos del solicitante, datos de la ubicación del hogar, datos socioeconómicos del jefe del hogar, las características y equipamiento de la vivienda actual y por último, el apoyo solicitado. De esta manera, se logra conocer las características esenciales de cada uno de los beneficiarios del Programa de Vivienda Rural. Asimismo, dicho padrón es actualizado cada tres meses, aunque la captura y el procesamiento de la información se hace en tiempo real. 32

29 Análisis de la vinculación de las Reglas de Operación (ROP) o normatividad aplicable con los objetivos del programa 29. El diseño del programa se encuentra correctamente expresado en sus ROP o normatividad correspondiente? Si El diseño del programa se encuentra correctamente expresado en sus ROP debido a que: Las Reglas de Operación del Programa Vivienda Rural (6 de julio de 2007) son claras y precisas. Las reglas de operación señalan cuál es el objetivo del Programa, así como los medios a través de los cuales se pretende contribuir al mejoramiento de las condiciones de vida de la población objetivo. Se encuentra adecuadamente definida la población objetivo. Son claras y precisas las modalidades que contempla el Programa, así como los criterios de selección de beneficiarios. Señalan el tipo de apoyo que otorga el programa y la forma de acceder al mismo. 33

30 30. Existe congruencia entre las ROP o normatividad aplicable del programa y su lógica interna? Si El Fin del programa especificado en la MML es apropiado según lo señalado en el objetivo general de las ROP. El Propósito del programa especificado en la MML es congruente con lo señalado en las ROP tanto el objetivo general, como en los objetivos específicos. Los Componentes del programa especificados en la MML se encuentran acorde con los apoyos otorgados por el programa y señalados en las ROP. Las actividades del programa especificadas en la MML, en conjunto con lo señalado en el manual de operación del Programa, son congruentes con las actividades especificadas en las ROP. 34

31 Posibles coincidencias, complementariedades o duplicidades de acciones con otros programas federales. 31. Como resultado de la evaluación de diseño del programa, el diseño del programa es el adecuado para alcanzar el Propósito antes definido y para atender a la población objetivo? Si El programa a través de sus diferentes modalidades: 1) subsidio para la edificación de una UBVR; 2) subsidio para el mejoramiento de la vivienda; 3) subsidio para la ampliación de vivienda, logra favorecer el mejoramiento de las condiciones habitacionales de la población objetivo (población rural de localidades con menos de 5000 habitantes, con alto y muy alto grado de marginación). Los apoyos otorgados por el programa permiten disminuir el índice de hacinamiento, aumentar la salud de las familias y fortalecer su patrimonio, propiciando con ello la acumulación de activos de las familias beneficiarias, lo cual les permite en el mediano y largo plazo mejorar su calidad de vida con el objetivo de disminuir el nivel de pobreza. La aportación del 5% por parte del beneficiario en la modalidad de mejoramiento o ampliación de la vivienda, es un modo de garantizar el mantenimiento de la acción realizada bajo el supuesto de que tuvieron que realizar una aportación ya sea en especie (trabajo) o dinero para el mejoramiento de su vivienda. Este tipo de aportación, sin embargo, quizá debería eliminarse para aquellas familias que, además de tener problemas de vivienda, también estuvieran en situación de pobreza extrema o alimentaria, ya que ello podría inducir un racionamiento de los apoyos a las personas que quizá lo necesitaran más. 35

32 32. Con cuáles programa federales podría existir complementariedad y/o sinergia? Un análisis realizado a partir de las Reglas de Operación de distintos programas federales que presentaran posibles similitudes con el Programa de Vivienda Rural, tomando como referencia el objetivo del programa, tipo de apoyo y población objetivo, indica que los programas con los que podrían presentarse una posible complementariedad y/o sinergia * son: Programa 3x1 migrantes (SEDESOL). A través del apoyo a proyectos dirigidos a infraestructura social básica, permite fortalecer el desarrollo de las comunidades y contribuye a elevar la calidad de vida de su población. Programa de infraestructura básica para la atención de los pueblos indígenas (CONADEPI). Dentro de las modalidades de apoyo consideradas por dicho programa encontramos: Electrificación, la cual comprende la construcción de líneas y redes de distribución, así como obras de electrificación no convencional; Agua Potable, que comprende la construcción y ampliación de sistemas de agua potable; y, finalmente, Drenaje y saneamiento, que comprende la construcción y ampliación de sistemas de drenaje y alcantarillado. Programa para el Desarrollo Local (Microrregiones) El programa contempla a la Infraestructura Social dentro de los apoyos otorgados a su población objetivo, la cual hace referencia a la construcción, ampliación y rehabilitación de redes de energía eléctrica, sistemas de agua y alcantarillado, entre otros. * Véase Anexo XIII de Complementariedades y Sinergias. 36

33 33. Con cuáles programas federales podría existir duplicidad? El Programa de Vivienda Rural puede presentar duplicidades con el Programa 3x1 para Migrantes, debido a que dicho programa contempla dentro de sus acciones, el mejoramiento de vivienda. Asimismo, su población objetivo contempla a poblaciones rurales y marginadas dando prioridad a las microrregiones, por lo que contiene parte de la población potencial del PVR. Sin embargo, en el caso del programa 3X1 es necesaria la aportación de una mayor cuantía de recursos por parte de los beneficiarios para la realización de los proyectos. El Programa para el Desarrollo local (Microrregiones), contempla como población objetivo los habitantes de las Microrregiones determinadas por la SEDESOL, lo cual cubre las características de las localidades de cobertura definidas en el PVR. Además, el Programa para el Desarrollo local (Microrregiones) cuenta con una acción similar a la del PVR, en donde se considera la rehabilitación, ampliación de vivienda y dotación de piso firme, por lo que podrían presentarse duplicidades en las acciones de ambos programas. Finalmente, el Programa Tu Casa (PTC) presenta varias posibles duplicidades con el Programa Vivienda Rural. El objetivo general del PTC es mejorar las condiciones de vida de la población que vive en pobreza patrimonial mediante el otorgamiento de un subsidio federal para adquirir, edificar, terminar, ampliar o mejorar su vivienda, lo cual es muy similar al PVR. Con respecto a la población objetivo, ambos programas van dirigidos a población en situación de pobreza patrimonial, aunque el PTC incluye tanto a la población urbana como a la rural. Asimismo, debido a que la cobertura del PTC es nacional, mientras que el PVR tiene presencia en las zonas rurales e indígenas de todo el país (poniendo especial atención en municipios de menor IDH y en las Microrregiones), es probable que los programas pudieran incurrir en duplicidades entre sí. Sin embargo, debido a que ambos programas son operadas por una misma instancia (FONHAPO), el sistema de información integral con el que cuenta la institución evita incurrir en duplicidades en los apoyos que otorgan estos dos programas. Véase Anexo XIV. Análisis de Duplicidades 37