DATOS GENERALES DEL PROGRAMA 1. Nombre del Programa: 2. Dependencia: SEMARNAT. 3.Unidad Administrativa Responsable: 4. Datos del(a) Titular 1 Nombre: Julio Alexander Frezieres Teléfono: 51744000 Correo electrónico: julio.alexander@conagua.gob.mx 5. Datos del(a) Responsable Operativo(a) del Programa 1 Nombre: Enrique Zárate Leyva Teléfono: 51744000 Correo electrónico: enrique.zarate@conagua.gob.mx 6. Modalidad: S - 81 7. Año de inicio del programa: 1998 8. Presupuesto (MDP): Año Presupuesto Aprobado Autorizado Ejercido 2003 43.29 41.35 53.24 2004 119.31 210.91 149.8 2005 149.76 82.54 88.3 2006 86.26 213.8 215.14 2007 215.14 251.19 237.51 2008 251.19 237.51 237.51 S081 1/18
Alineación con Planeación Nacional 1 Objetivo: Asegurar la sustentabilidad ambiental mediante la participación responsable de los mexicanos en el cuidado, la protección, la preservación y el aprovechamiento racional de la riqueza natural del país, logrando así afianzar el desarrollo económico y social sin comprometer el patrimonio natural y la calidad de vida de las generaciones futuras. - Eje: Sustentabilidad ambiental - Tema: Agua Alineación con Programa Sectorial/ Institucional 1 Objetivo: Lograr un adecuado manejo y preservación del agua en cuencas y acuíferos para impulsar el bienestar social, el desarrollo económico y la preservación del medio ambiente. Fin Mejorar el uso del agua de riego en las Unidades de Riego con aprovechamiento subterráneo para reducir el consumo del líquido en riego y alcanzar un manejo integral y sustentable del recurso. Propósito Los productores agrícolas de las unidades de riego y los productores particulares localizados en distritos de riego cuentan con pozos rehabilitados y con infraestructura hidroagrícola modernizada. Componentes 1. Superficie agrícola tecnificada, regada por pozos. 2. Las unidades de riego con aprovechamiento subterráneo se fortalecen gracias a su organización en figura jurídica. 3. Pozos rehabilitados para uso agrícola. 4. Superficie agrícola modernizada regada por pozos. S081 2/18
Resumen de Componentes Mediante la modernización y tecnificación de la superficie agrícola regada por pozos, la rehabilitación de pozos para uso agrícola y la organización jurídica de las unidades de riego. Actividades S081 3/18
RESULTADOS/PRODUCTOS Principales 5 Indicadores Estratégicos - Indicador 1 1. Nombre del Indicador: Incremento anual de la productividad de Agua. 2. Definición: Incremento anual de la productividad del Agua. 3. Método de Cálculo: (Productividad del Agua después de la Inversión / Productividad del Agua antes de la Inversión)*100 4. Unidad de Medida: Porcentaje 5. Frecuencia de Medición del Indicador: Anual 6. Meta del indicador 2008: 100 7. Valor del indicador 2008 (%): 100.0 8. Valoración del Indicador: El indicador es pertinente, relevante y confiable, al ser uno de los fines del programa el incremento de la productividad del agua, y el valor de producción/m3 de agua es la unidad que representa la productividad de modo confiable, la encuesta de donde se obtienen los datos es representativa por el tamaño y selección de muestra, pero la pregunta contenida en este es cualitativa. No se puede saber si el valor del indicador en la MIR (100) es el que corresponde, al no tener justificación 9. Porcentaje de Avance: - Indicador 2 1. Nombre del Indicador: Cobertura a productores beneficiarios del programa 2. Definición: Cobertura a productores beneficiarios del programa S081 4/18
3. Método de Cálculo: (Productores beneficiados (2001-2007) / Productores potenciales a nivel nacional)*100 4. Unidad de Medida: Porcentaje 5. Frecuencia de Medición del Indicador: Anual 6. Meta del indicador 2008: 40 7. Valor del indicador 2008 (%): 100.0 8. Valoración del Indicador: Es pertinente y relevante pero a nivel gestión y no con respecto al fin, además es confiable. Es un indicador válido de cobertura pero ni las reglas de operación, ni el programa, ni las evaluaciones externas proporcionan una población potencial en términos de productores. El mismo programa elaboró una nota donde menciona la imposibilidad de cuantificar a la población potencial y atendida. El valor del indicador proporcionado en la MIR es de 100, en cuenta pública es 0. 9. Porcentaje de Avance: - Indicador 3 1. Nombre del Indicador: Satisfacción con el programa. 2. Definición: Satisfacción con el programa. 3. Método de Cálculo: (Productores encuestados satisfechos con el programa / Total de productores encuestados)*100. 4. Unidad de Medida: Porcentaje 5. Frecuencia de Medición del Indicador: Anual 6. Meta del indicador 2008: 40 7. Valor del indicador 2008 (%): 100.0 S081 5/18
8. Valoración del Indicador: No es pertinente ni relevante en cuanto al propósito o al fin, pero sí lo sería como indicador de gestión. Es confiable pero no se proporciona la cuantificación de población en términos de productores. Se coloca sin justificar una meta de 40% de satisfacción, la cual se considera baja, y un avance de 40% en la MIR, mientras que en cuenta pública es de 0. En comentarios realizados por el programa menciona que la meta debe ser 100% de satisfacción 9. Porcentaje de Avance: 2008 : 0.0 - Indicador 4 1. Nombre del Indicador: Costo de atención por usuario. 2. Definición: Costo de atención por usuario. 3. Método de Cálculo: (Inversión total / Total de usuarios beneficiados) 4. Unidad de Medida: Inversión por usuario beneficiado 5. Frecuencia de Medición del Indicador: Anual 6. Meta del indicador 2008: 100 7. Valor del indicador 2008 (%): 100.0 8. Valoración del Indicador: El indicador es pertinente y relevante, pero a nivel de gestión. Es confiable si se proporciona una cuantificación de usuarios, con la que no se cuenta. No justifican el alcance de 100% en la MIR, pero en la meta del indicador el valor de 100 en caso de estar en unidades monetarias, representa un monto muy reducido. 9. Porcentaje de Avance: S081 6/18
- Indicador 5 1. Nombre del Indicador: Aportación de terceros. 2. Definición: Aportación de terceros. 3. Método de Cálculo: (Aportación de terceros / Inversión total)*100. 4. Unidad de Medida: Porcentaje 5. Frecuencia de Medición del Indicador: Anual 6. Meta del indicador 2008: SD 7. Valor del indicador 2008 (%): 0.0 8. Valoración del Indicador: No es pertinente ni relevante en cuanto al propósito o al fin, pero sí lo sería como indicador de gestión, al representar eficiencia en la operación del programa. Es confiable en cuanto a que se toma la inversión realizada por el programa entre la inversión realizada por terceros; sin embargo, no coloca una meta programada, lo cual hace imposible su evaluación. En la MIR, el valor de 2008 es de 17, en la cuenta pública es NA 9. Porcentaje de Avance: Principales 5 Indicadores de Gestión S081 7/18
- Indicador 1 1. Nombre del Indicador: Cumplimiento del Programa de Pozo Rehabilitados. 2. Definición: Cumplimiento del Programa de Pozos Rehabilitados. 3. Método de Cálculo: (Pozos Rehabilitados en el año / Pozos Rehabilitados programados)*100. 4. Unidad de Medida: Porcentaje 5. Frecuencia de Medición del Indicador: Anual 6. Meta del indicador 2008: 100 7. Valor del indicador 2008 (%): 33.0 8. Valoración del Indicador: Es pertinente, relevante y confiable, al representar uno de los medios para el cumplimiento del propósito del programa. La fórmula es confiable al ser el número de pozos rehabilitados en cuanto a la meta programada. El avance proporcionado en la MIR es 33%, que es mucho menor a la meta (100). 9. Porcentaje de Avance: - Indicador 2 1. Nombre del Indicador: Infraestructura Hidroagrícola Modernizada. 2. Definición: Infraestructura Hidroagrícola Modernizada. 3. Método de Cálculo: (Superficie con Infraestructura Hidroagrícola Modernizada en el año / Superficie de Riego Programada en el año)*100. 4. Unidad de Medida: Porcentaje 5. Frecuencia de Medición del Indicador: Anual 6. Meta del indicador 2008: SD S081 8/18
7. Valor del indicador 2008 (%): 0.0 8. Valoración del Indicador: El indicador es pertienente y relevante al fin. Es confiable pero no se porporciona una línea base y no se cuenta con una meta del indicador en el informe de cuenta pública, mientras que el valor en la MIR es de 150. La modernización incorpora diversos elementos (unos destinados a reducir el consumo de energía y otros a disminuir el desperdicio de agua); el englobarlos en una sola medida no permite cuantificar sus efectos de eficiencia. 9. Porcentaje de Avance: - Indicador 3 1. Nombre del Indicador: Infraestructura Hidroagrícola Tecnificada. 2. Definición: Infraestructura Hidroagrícola Tecnificada. 3. Método de Cálculo: (Superficie con Infraestructura Hidroagrícola Tecnificada en el año / Superficie de Riego Programada en el año)*100. 4. Unidad de Medida: Porcentaje 5. Frecuencia de Medición del Indicador: Anual 6. Meta del indicador 2008: SD 7. Valor del indicador 2008 (%): 0.0 8. Valoración del Indicador: El indicador es pertinente y relevante. Es confiable pero no se cuenta con una meta específica sobre la cual se puedan obtener posibles valores del indicador. No se proporcionan datos en el documento de cuenta pública y no se explica la obtención del avance anual reportado de 149 proporcionado en la MIR. 9. Porcentaje de Avance: S081 9/18
- Indicador 4 1. Nombre del Indicador: Unidades de Riego con Figura Jurídica. 2. Definición: Unidades de Riego con Figura Jurídica. 3. Método de Cálculo: (Unidades de Riego con Figura Jurídica en el año / Unidades de Riego Programadas)*100. 4. Unidad de Medida: Porcentaje 5. Frecuencia de Medición del Indicador: Anual 6. Meta del indicador 2008: SD 7. Valor del indicador 2008 (%): 0.0 8. Valoración del Indicador: Es pertinente, relevante y confiable en el método pero no se proporcionó una meta establecida. En cuenta pública aparece NA en los valores, mientras que en la MIR no se proporciona meta y en los avances aparece 0 9. Porcentaje de Avance: a. No existe evidencia de resultados Valoración de los Resultados/Productos Se presentan resultados con seguimiento a usuarios que define como representativos por el porcentaje de muestra y la forma de selección; sin embargo, están en base a un cuestionario cualitativo y para la parte de hallazgos de eficiencia se utilizan proyecciones de acuerdo a impactos encontrados en una evaluación no proporcionada y sólo se menciona que hay seguimiento pero no se explica el método, por lo que no se pueden considerar como evaluaciones de impacto o de seguimiento. S081 10/18
Fuentes de Información Matriz de indicadores Informe Final 2006 Evaluación del cumplimiento del Ejercicio del Presupuesto, Objetivos y Metas Evaluación de Cumplimiento del Ejercicio del Presupuesto, Objetivos y Metas para 2005 Comentarios y Observaciones Los resultados presentados en las evaluaciones externas de 2005 y 2006 surgen de proyectar los resultados esperados de los proyectos de acuerdo a los impactos encontrados en las evaluaciones de 2003 y 2004; sin embargo no se presentan las metodologías utilizadas en estas últimas, por lo que no se avalan los impactos reportados y por esto no son incluidas en el apartado de evaluaciones externas. S081 11/18
VALORACIÓN GENERAL DE LOS INDICADORES Valoración de los Indicadores del Programa Los indicadores son pertinentes y relevantes. La medición de la productividad es confiable; sin embargo, a pesar de que se proporcionan resultados de ahorro de agua en las evaluaciones, no se presentan en los indicadores de la matriz. Faltan indicadores que midan el posible uso eficiente de los costos administrativos. En los estratégicos, la cobertura a productores y la satisfacción tienen metas bajas, pero los comentarios presentados por el programa aclaran que en satisfacción debe ser 100. Fuentes de Información Matriz de indicadores Informe Final 2006 Evaluación del cumplimiento del Ejercicio del Presupuesto, Objetivos y Metas Evaluación de Cumplimiento del Ejercicio del Presupuesto, Objetivos y Metas para 2005 Matriz de indicadores Comentarios y Observaciones Por las características del programa sería deseable tener indicadores sobre el cumplimiento de cada objetivo: unos relacionados con el efecto de las inversiones en el uso eficiente del agua y otros con las acciones y el efecto en el ahorro de energía electrica. Existe confusión en la forma de llenar la MIR. No proporcionan un gran número de metas, lo cual hace que la cifra presentada no se pueda utilizar para obtener el indicador. No se justifica lo que se está colcando en el avance anual reportado. Hubo bajo alcance en el indicador de pozos, mientras que el de unidades jurídicas no tuvo avance. S081 12/18
EVOLUCIÓN DE LA COBERTURA 4.1 Población Potencial a.se encuentra claramente definida: Si b.unidad de medida para la población potencial: Unidades de Riego de Bombeo c.cuantificación de la población potencial: 31763 4.2 Población Objetivo a.se encuentra claramente definida: Si b.unidad de medida para la población objetivo: Productores agrícolas, ejidatarios, colonos, comuneros, pequeños propietarios c.cuantificación de la población objetivo: ND 4.3 Población Atendida a.se encuentra claramente definida: Si b.unidad de medida para la población atendida: Productores agrícolas, ejidatarios, colonos, comuneros, pequeños propietarios c.cuantificación de la población atendida: ND Localización de la población atendida: Entidades sin atender Entidades atendidas Municipios atendidos S081 13/18
El programa aún no cuenta con información desagregada a nivel municipio 4.4 Evolución de la Cobertura del Programa: 1. Población Atendida / Población Objetivo 2. Población Objetivo/ Población Potencial ND ND Valoración de la Evolución de Cobertura El programa no proporcionó población potencial, objetivo o atendida y proporcionó nota técnica explicando que no puede cuantificar la población potencial y objetivo debido a que se tergiversaría la información al sumar personas físicas con personas morales. En la Evaluación de Consistencia realizada por CONAGUA, mencionan a la población objetivo como usuarios, y a la población potencial como unidades de riego de bombeo con cuantificación, utilizando unidades distintas para cada población Notas técnicas sobre población potencial y objetivo. Reglas de Operación. Informe de Evaluación 2005 Fuentes de Información Comentarios y Observaciones La confusión en las definiciones de población potencial y objetivo, en las reglas de operación, en la evaluación externa y en la nota técnica impiden una correcta cuantificación de éstas e imposibilitan la medición de la población atendida. S081 14/18
SEGUIMIENTO A ASPECTOS DE MEJORA a. Existe un documento de trabajo adecuado para atender o mejorar el programa: Si b. Principales 5 aspectos susceptibles de mejora contenidos en el Documento de Trabajo Aspecto 1. Variaciones presupuestales a lo largo del ejercicio fiscal provocan modificaciones en las metas Acciones de solución: 1. Para un mejor seguimiento con las metas planteadas, es recomendable respetar la programación inicial, manejando por separado las modificaciones por las variaciones presupuestales. Aspecto 2. No existe base de datos con solicitudes presentadas Acciones de solución: 1. Implementar mecanismos que permitan la formación de una base que concentre la información a nivel nacional para tener un conocimiento de la demanda del programa. Aspecto 3. No hay seguimiento de la operación del programa a nivel nacional Acciones de solución: 1. Presupuestar e Implementar un seguimiento con nivel de campo y por medio de muestreos, de la operación antes y después de las inversiones realizadas Aspecto 4. No tiene documento de planeación estratégica S081 15/18
Acciones de solución: 1. Tener lo antes posible un documento que integre planes a corto, mediano y largo plazo Aspecto 5. Este programa es complementario con el programa de Uso Pleno de la Infraestructura Acciones de solución: 1. La conjugación de los 2 programas en uno solo simplificaría el manejo administrativo y de seguimiento de los apoyos que se otorgan ya que son similares. Valoración de los Seguimiento a Aspectos de Mejora Algunas de las acciones propuestas son repetitivas en cuanto al aspecto de mejora. En los aspectos de mejora no se menciona un método claro que ayude a cuantificar a la población objetivo y se utilice como parámetro para la medición del funcionamiento del programa. Fuentes de Información Documento de Posicionamiento Insitucional del Programa. Comentarios y Observaciones La mayoría de los aspectos de mejora coinciden con los del programa de Uso Pleno de la Infraestructura Hidroagrícola debido a que para 2009 se fusionarán en el programa de Modernización y Tecnificación de Unidades de Riego, conforme a lo sugerido por la Gerencia de Unidades de Riego de la CONAGUA. En los aspectos de mejora señalan que estos dos programas de complementaban, pero se refieren a que se duplicaban en sus componentes y población objetivo, por lo que una fusión haría que se complementaran y se evitara la duplicación en funciones S081 16/18
CONCLUSIONES DE LA EVALUACIÓN Consideraciones de la Evaluación: Los resultados de la evaluación de seguimiento no se pueden considerar como rigurosos debido a que no se proporcionan las pasadas evaluaciones en las que se basa para elaborar las proyecciones. El no contar con un cuestionario que evalúe los resultados de forma cuantitativa con los productores hace difícil una evaluación de los indicadores a pesar de que se mencione que se utiliza una muestra representativa con una base de seguimiento de beneficiarios. Los criterios de llenado de la matriz de indicadores tienen errores. La falta de definición de la población potencial y objetivo que sea congruente en todos los documentos del programa impide una correcta evaluación. Fuente de Información General: Evaluación de Cumplimiento del Ejercicio de Presupuesto, Objetivos y Metas para 2005 del Programa Informe Final 2006 Evaluación del cumplimiento del Ejercicio del Presupuesto, Objetivos y Metas Matriz de indicadores, Nota técnica de población potencial y objetivo, Manual de Operación del Programa, Reglas de Operación. Evaluación de Consistencia y Resultados, ejercicio fiscal 2007, Documento de posicionamiento institucional del programa Resumen de Resultados: No se consideran las evaluaciones externas de 2005 y 2006, al no ser validadas debido a que no poseen una metodología de seguimiento o de impacto. Fortalezas: El programa ocasiona un incremento en la productividad, eficiencia en el uso de agua y energía en cuanto a ahorros y mayor producción, incentiva participación de terceros en los proyectos, y presenta satisfacción de beneficiarios con respecto a la meta. Debilidades: Confusión en el diseño de MIR, falta de indicadores de medición de ahorro de agua, energía y de correcto funcionamiento infraestructura de medición volumétrica, que corresponden directamente al fin. Poblaciones potencial, objetivo y atendida no proporcionadas. Falta de definición de metas en algunos de los indicadores proporcionados. Conclusiones del Evaluador Externo: A nivel operativo, el programa ha alcanzado el fin de incrementar la productividad, según el indicador proporcionado, además de que ha logrado un nivel de satisfacción y de cobertura de acuerdo a los planteados en las metas. El logro de la participación de terceros proyecta una buena gestión. Sin embargo, no se puede emitir un juicio fundamentado sobre el impacto del programa en la población atendida con respecto a la objetivo al no ser proporcionados valores específicos para su cálculo y evaluaciones externas con metodología adecuada de seguimiento o impacto. Falta abundar más en la eficiencia de costos-beneficios. S081 17/18
DATOS DE LA INSTITUCIÓN EVALUADORA 1. Institución Evaluadora: GEA, Grupo de Economistas y Asociados 2. Nombre del(a) Coordinador(a) de la Evaluación: Ernesto Cervera Gómez 3. Correo Electrónico: ecg@gea.structura.com.mx 4. Teléfono: 56399000 S081 18/18