Concentrado de comentarios de SEDESOL al informe final en su versión preliminar y respuestas a comentarios. (10 de marzo de 2008)

Transcripción

1 Concentrado de comentarios de SEDESOL al informe final en su versión preliminar y respuestas a comentarios Temas de la evaluación del POP 2007 y listado de preguntas de evaluación 461Formato p/revisión Opciones Productivas.doc (10 de marzo de 2008) 505 Formato p/revisión Opciones Productivas.doc 504 Formato p/revisión Opciones Productivas.doc ECYR-POP-P4.doc ECYR-POP-P4.doc ECYR-POP-P4.doc Responsable de la revisión DGEMPS.- Ricardo Juárez Responsable de la revisión DGOP.- Marcos Oviedo Responsable de la revisión DGS.- Mtro. José Vergara Barragán Respuesta a Comentarios por parte de los Evaluadores FAO del programa de Opciones Productivas Comentarios Comentarios Comentarios PORTADA RESUMEN EJECUTIVO ÍNDICE El índice debe contener el número de página donde puede consultarse el tema o pregunta de interés, el índice de los criterios generales para dar respuesta a las preguntas de la Evolución de CONEVAL es una buena referencia para organizar el documento. INTRODUCCIÓN 1. DISEÑO 1.1 Características del programa 1.2 Análisis de la contribución del programa a los objetivos estratégicos de la dependencia y/o entidad, así como a los objetivos nacionales 1.3 Evaluación y análisis de la matriz de indicadores 1.4 Población potencial y objetivo Se nnmeró el documento y relaciono el indice de acuerdo a lo comentado. 1.5 Análisis de la vinculación de las ROP o normatividad aplicable con los objetivos del programa 1.6 Posibles coincidencias, complementariedades o duplicidades de acciones con otros programas federales 2. PLANEACIÓN ESTRATÉGICA 2.1 Mecanismos y herramientas de planeación estratégica 35. El programa cuenta con planes Se sugieren algunos cambios de forma en el estratégicos actualizados de corto, archivo de las respuestas. mediano y largo plazo? 36. En los planes se establecen La respuesta se valora de manera correcta. Sin indicadores y metas, se definen embargo, su justificación no es muy sólida. Ya estrategias y políticas para lograr que inicia, correctamente, diciendo que no estas metas, y se desarrollan existen mecanismos para asegurar la programas de trabajo detallados para implementación de las estrategias. Y luego se asegurar la implementación de las dice lo que se hace en su lugar, pero la estrategias y así obtener los redacción incluye oraciones incidentales y no resultados esperados? presenta de manera clara como los distintos procesos que describe son elementos que pueden ser programas de trabajo detallados para asegurar la implementación de las estrategias. Sin comentarios Sin comentarios Sin comentarios Sin comentarios Sin comentarios Se mejoró la redacción y se dió precisión de los texos siguiendo las observaciones del comentario. Página 1

2 37. En dichos planes se establecen No es claro, como el segundo párrafo aporta con claridad los resultados (Fin y elementos para justificar la respuesta. Propósito) que busca alcanzar el programa? Sin comentarios Sin comentarios Se eliminó el segundo párrafo para evitar confusiones 38. El programa tiene mecanismos No establece elementos categóricos para para establecer y definir metas e sustentar la respuesta. indicadores?, estos mecanismos son los adecuados? Si no es así, qué modificaciones propondría? Sin comentarios En el párrafo 1, cambiar a Presupuesto y NO Programa de Egresos de la Federación. Se sugiere que el evaluador opine si los mecanismos basados en la Matriz de Marco Lógico son los adecuados o si existe algo que lo pueda complementar. Se recomienda que el evaluador sea más explicito en su recomendación, Cómo sugiere que las entidades ejecutoras retomen los indicadores y metas de la matriz?, Cuál sería el mecanismo más efectivo. No se puede argumentar mas la respuesta ya que el programa no utiliza la MI ni los indicadores contenidos en ella, como parte de la medición de sus resultados en Se recoge la observación de cambiar la palabra presupuesto por la de programa. 2.2 Orientación para resultados 39. El programa recolecta regularmente información oportuna y veraz que le permita monitorear su desempeño? La justificación no presenta elementos suficientes con los cuales se califica la información de veraz y oportuna. No son admisibles, párrafos de una cuartilla. Sin comentarios Es importante dejar en claro que sólo dos Se dio mayor precisión a la fundamentación modalidades del POP son las que estaban de una recolección oportuna y veraz, y se centralizadas hasta el 2006 y no el atendio el dejar claro que en 2006 solo dos Programa en su totalidad. de las modalidades estaban centralizadas. 40. El programa tiene un número no se justifica y argumenta la respuesta a la limitado y suficiente de indicadores pregunta. Sólo se contextualiza. La descripción que se orienten a resultados y reflejen de las fichas técnicas utilizadas para cargar la significativamente el Propósito del matriz de indicadores no responde a la programa? pregunta. En el apartado 1. Diseño (respuestas a Es correcta la interpretación dada en esta las preguntas 4 y 5), el evaluador acepta respuesta, debido a los contenidos de la MI que el propósito del programa está del programa, finalmente no fueron claramente definido y corresponde a la considerados para la medición de resultados solución del problema. Además, en el y su reflejo en el propósito del programa, ya mismo apartado (respuesta a pregunta que unicamente se consideraron los 11), la FAO también acepta que la lógica contenidos en las ROP. vertical de la matriz de indicadores del programa es clara y se valida en su totalidad. Con base en estas respuestas, se solicita al evaluador revalorar la calificación de su respuesta negativa en este punto. 41. El programa tiene metas pertinentes y plazos específicos para sus indicadores de desempeño? No es suficiente, referenciar lo respondido en otras preguntas, además no desarrolla de manera coherente la evidencia para argumentar que no se tienen metas pertinentes ni plazos específicos. Sin comentarios Sin comentarios Es que el programa no cuenta indicadores de desempeño derivados de la MI y por consiguiente tampoco con metas ni plazos especificos a los que se vincule, por lo tanto la respuesta no puede tener mayores argumentaciones. Página 2

3 42. Los indicadores de desempeño del programa tienen línea de base (año de referencia)? Es insuficiente sólo responder con Se aplica las Sin comentarios Sin comentarios Es que el programa no cuenta indicadores respuestas 40 y 41 de este cuestionario. deben de desempeño derivados de la MI y por consiguiente tampoco con metas ni plazos especificos a los que se vincule, por lo tanto la respuesta no puede tener mayores argumentaciones. 43. Están los requerimientos de presupuesto explícitamente ligados al cumplimiento de las metas de desempeño? Sin comentarios. Sin comentarios Sin comentarios Sin comentarios 44. Cuáles son las fuentes de financiamiento del programa? Sin comentarios. Sin comentarios El registro de recursos aportados por los beneficiarios, no precisamente es el equivalente a recursos monetarios, en esa cifra se pueden estar incluyendo aportaciones en especie como activos fijos aportados por los beneficiarios para sus proyectos. Se establece en Reglas de Operación que en algunas modalidades las aportaciones son en efectivo o especie. Se sugiere poner una nota aclaratoria al respecto. Se incluye nota al final de la respuesta a esta pregunta. 45. El programa ha llevado a cabo evaluaciones externas? Sin comentarios. Sin comentarios Sin comentarios Sin comentarios 46. Cuáles son las principales No es necesario identificar los responsables de características de las mismas (tipo de la evaluación. evaluación, temas evaluados, periodo de análisis, trabajo de gabinete y/o campo)? Sin comentarios Sin comentarios En los criterios generales de CONEVAL se solicita poner responsables en caso de contar con la información- 47. El programa ha implementado y dado seguimiento a los resultados y recomendaciones provenientes de las evaluaciones externas de los últimos dos años? 48. Existe evidencia de que el programa ha utilizado la información generada por las evaluaciones para mejorar su desempeño? Vale la pena enumerar algunas de ellas, para evidenciar lo que se propuso en las evaluaciones externas y lo que se realizó. Sin comentarios Sin comentarios Se enumeraron tres de las recomendaciones de las evaluaciones externas que fueron atendidas por el programa. 3. COBERTURA Y FOCALIZACIÓN 3.1 Análisis de cobertura Página 3

4 49. El programa cuenta con algún método para cuantificar y determinar la población potencial y objetivo? El ejercicio de cuantificación de la población potencial puede realizarlo el evaluador externo, así se pide en los Términos de Referencia y es lo que justifica la inclusión en los equipos de trabajo de expertos en manejo de bases de datos. Sin comentarios Se requiere mayor precisión por parte del evaluador en cuanto a la sugerencia del método a seguir para cuantificar la población potencial-objetivo del programa. La DGEMPS comunicó telefonicamente a los evaluadores, el retirar la solicitud de cuantificación de población potencial y objetivo del programa, por considerar que no se cuentan con elementos necesarios para realizar este cálculo. 50. En caso de que el evaluador determine que el programa debe modificar los instrumentos antes analizados, proponer los instrumentos y procedimientos a utilizar, así como realizar un análisis de factibilidad de los mismos. El evaluador debe proponer una aproximación a Sin comentarios la población potencial, utilizando para ello bases de datos nacionales como la ENOE y la ENIGH y la población objetivo debe ser la programada. Constituye una pregunta central de la evaluación. La contribución de la FAO se limita al plano de la identificación de la problemática, se solicita, como se señala en la pregunta, que el evaluador presente sugerencias concretas y, en su caso, presente un análisis de factibilidad. La DGEMPS comunicó telefonicamente a los evaluadores, el retirar la solicitud de cuantificación de población potencial y objetivo del programa, por considerar que no se cuentan con elementos necesarios para realizar este cálculo. 51. Cuantificar la población atendida total a nivel nacional para el periodo del 1 de enero del 2006 al 31 de diciembre del Esta información deberá desagregarse por entidad federativa, por los Componentes del programa y por los atributos considerados en la pregunta 24. Para presentar esta información utilizar el Cuadro No. 1 como referencia. Sin comentarios Sin comentarios La DGEMPS comunicó telefonicamente a los evaluadores, el retirar la solicitud de cuantificación de población potencial y objetivo del programa, por considerar que no se cuentan con elementos necesarios para realizar este cálculo. 52. El avance de la cobertura, que a la fecha presenta el programa, es el adecuado considerando su Fin y Propósito? 53. El programa cuenta con una estrategia de cobertura de corto, mediano y largo plazo? 54. Esta estrategia es la adecuada? Si no es así, qué modificaciones propondría? 3.2 Análisis de focalización 55. En relación con la información de gabinete disponible se debe evaluar si el programa ha logrado llegar a la población que se deseaba atender. Para esto es necesario utilizar indicadores consistentes con los criterios analizados en la pregunta Se ha llegado a la población que se desea atender? No puede afirmarse, ya que esta respuesta es sí sólo cuando se compruebe que la población atendida corresponde a la población objetivo o programada. Sin comentarios Sin comentarios Se refiere a la población atendida en cada programa anual en forma independiente y solo para ese periódo. Página 4

5 4. OPERACIÓN 4.1 Análisis de las ROP o normatividad aplicable 57. Existen procedimientos estandarizados y adecuados para la selección de proyectos y/o beneficiarios? 58. La selección de proyectos y/o beneficiarios cumple con los criterios de elegibilidad y requisitos establecidos en las ROP o normatividad aplicable? 59. El programa cuenta con información sistematizada que permita conocer la demanda total de apoyos y las características de los solicitantes? 60. Existen procedimientos estandarizados y adecuados para recibir y procesar solicitudes de apoyo? 61. Los apoyos otorgados (incluyendo obras y acciones) cumplen con las características establecidas en las ROP o normatividad aplicable? Sin comentarios Sin comentarios Es importante dejar en claro que sólo dos Se hace la acotación del comentario en la modalidades del POP son las que estaban respuesta centralizadas hasta el 2006 y no el Programa en su totalidad. 62. Se respetaron los montos de apoyos estipulados en las ROP o normatividad aplicable? Debe mostrarse la información en la que se basó para realizar el juicio de valor Sin comentarios Sin comentarios Se incluyeron los montos maximos establecidos por el programa por modalidad. 63. Se tiene información sistematizada que permita dar seguimiento oportuno a la ejecución de obras y/o acciones? Sin comentarios Se considera importante incorporar como parte de del seguimiento las visitas de validación y supervisión en campo, las cuales también están sistematizadas en el SIOP. Adicionalmente, la Red de Mentores contribuye al seguimiento de los proyectos del Fondo de Cofinanciamiento. Se incluyó como parte del seguimiento del programa, las visitas de validación y supervisión de campo de los proyectos a apoyar. 64. Existe evidencia documental de que el programa cumple con los procesos de ejecución establecidos en las ROP (avance físico-financiero, actas de entrega-recepción, cierre de ejercicio, recursos no devengados)? 65. Dichos procesos de ejecución funcionan de acuerdo a la normatividad? 4.2 Mejora y simplificación regulatoria. Página 5

6 66. Se han implementado o modificado en los últimos tres años normas internas, políticas, acciones o estrategias institucionales con el fin de lograr una mejora y simplificación regulatoria o de procesos en el programa? Describa las más importantes. 67. Reportar los principales beneficios y resultados alcanzados con la implementación de acciones de mejora comprometidas. Enunciar únicamente el título de las acciones de mejora (Ejemplo: Reducción de tiempos de atención, disminución de cantidad de requisitos, etc.) 4.3 Organización y gestión 68. El programa cuenta con una estructura organizacional que le permita entregar y/o producir los Componentes y alcanzar el logro del Propósito? El análisis deberá incluir las diferentes instancias relacionadas con la operación del programa. 69. Los mecanismos de transferencias de recursos operan eficaz y eficientemente? 70. Considerando las complementariedades del programa, tiene una colaboración y coordinación efectiva con los programas federales con los cuales se relaciona y se complementa? Sin comentarios La pregunta no refiere un SI O NO,.AEl programa sí tiene una colaboración y partir de los elementos mencionados, no coordinación efectiva con los programas es posible determinar un SI? federales con los cuales se relaciona. Además, la argumentación del evaluador al parecer tiende a un sí en la calificación de la respuesta. Con base en ello, se solicita a la FAO revalorar su respuesta. Se reviso el comentario y la fundamentación existente y se cambio la respuesta 4.4 Administración financiera 71. Existe evidencia de que el programa utiliza prácticas de administración financiera que proporcionen información oportuna y confiable para la toma de decisiones de los responsables de la administración política y administrativa? 72. Existe una integración entre los distintos sistemas de información que conforman la administración financiera? Página 6

7 4.5 Eficacia, eficiencia, economía operativa del programa 73. Presentar el avance de los indicadores a nivel de Componente del programa, este avance es el adecuado para el logro del propósito? 74. Se identifica algún componente o actividad que no es producido en la actualidad y que podría mejorar la eficacia del programa? Debe justificarse entonces, porque todos los componentes y actividades actuales son suficientes para lograr la eficacia del programa. Sin comentarios Sin comentarios No se identifican porque no forman parte en 2007 de los indicadores contenidos en la MI, ya que el programa reporta su cumplimiento a traves de los indicadores de gestión contenidos en sus reglas de operación. 75. Se identifican Componentes, No es una respuesta consistente, ni que se Actividades o procesos que se llevan conteste por descarte, ya que esta debe a cabo en la actualidad y que podrían responderse analizando los componentes y ser prescindibles o posibles de actividades actuales e identificar si alguno se sustituir por otros más eficaces? puede sustituir, si no, argumentar porque. Sin comentarios Sin comentarios No se identifican porque no forman parte en 2007 de los indicadores contenidos en la MI, ya que el programa reporta su cumplimiento a traves de los indicadores de gestión contenidos en sus reglas de operación. 76. Existen indicadores de eficacia en la operación del programa? Presentar un listado de estos indicadores. 77. El programa ha identificado y cuantificado costos de operación y costos unitarios dependiendo del Propósito y de sus Componentes? Si fuera el caso, presentar dichos costos. Los indicadores de eficacia son los que miden el grado de cumplimiento de los objetivos planteados. En ese sentido, No todos los indicadores presentados son de eficacia; hay indicadores de cantidad, de cronograma, entre otros. Se sugiere hacer el análisis de nuevo, considerando la definición de indicadores de eficacia. Sin comentarios Sin comentarios No se identifican porque no forman parte en 2007 de los indicadores contenidos en la MI, ya que el programa reporta su cumplimiento a traves de los indicadores de gestión contenidos en sus reglas de operación. Sin comentarios Sin comentarios Se considera que el análisis puede complementarse con información del Programa de los recursos indirectos, desagregados por concepto del gasto (partidas presupuestarias): Materiales y útiles de oficina; Materiales y útiles para el procesamiento en equipos y bienes informáticos; Vestuario, uniformes y blancos; Congresos y convenciones; Pasajes nacionales para servidores públicos de mando en el desempeño de comisiones y funciones oficiales, y Viáticos nacionales para servidores públicos en el desempeño de funciones oficiales. Esta información, que no fue solicitada por la FAO, puede ser proporcionada por la Dirección General de Seguimiento. No se conto con la información como se sugiere dar respuesta y se consideró que no aportaba mucho al análisis 78. El programa tiene procedimientos para medir costoefectividad en su ejecución? Es una respuesta muy sucinta, no aporta elementos para justificar la respuesta. También cabe en la respuesta una breve descripción de una metodología para medir el costo efectividad, existe amplia bibliografía al respecto Sin comentarios Sin comentarios No es una práctica común la medición del costo-efectividad del programa y por lo tanto la DGOP no cuenta con información específica en este sentido. Página 7

8 79. Se identifica algún componente, actividad o proceso que no se esté llevando a cabo en la actualidad y que podría mejorar la eficiencia del programa? Las respuestas a las preguntas, 73, 74 y 75 no Sin comentarios aportan la información necesaria para responder a esta pregunta. Quizá se está tomando como sinónimo Eficacia y Eficiencia, lo cual es incorrecto. Se considera que el análisis puede No se cuenta con información adicional para complementarse con información del cambiar la respuesta Programa de los recursos indirectos, desagregados por concepto del gasto (partidas presupuestarias): Materiales y útiles de oficina; Materiales y útiles para el procesamiento en equipos y bienes informáticos; Vestuario, uniformes y blancos; Congresos y convenciones; Pasajes nacionales para servidores públicos de mando en el desempeño de comisiones y funciones oficiales, y Viáticos nacionales para servidores públicos en el desempeño de funciones oficiales. 80. Se identifican Componentes, No aporta elementos suficientes para Actividades o Procesos que se llevan argumentar esta respuesta. a cabo en la actualidad y que podrían ser prescindibles o posibles de sustituir por mecanismos de menor costo? Sin comentarios Sin comentarios No se cuenta con información adicional para sustentar con mejores elementos la respuesta 81. Existen indicadores de eficiencia en la operación del programa? Presentar un listado de estos indicadores. 82. Cuantificar el presupuesto ejercido al término del presente ejercicio fiscal en relación al presupuesto asignado. Cuáles son las razones de la situación que se observa? No se relaciona suficientemente con la Sin comentarios Sin comentarios No se cuenta con información adicional para respuesta esperada en esta pregunta, agregar sustentar con mejores elementos la el cuadro de población atendida por beneficiario. respuesta. 83. Cuál es el monto o porcentaje de aportaciones de terceros (otras instituciones, otros niveles de gobierno, beneficiarios, etc.) en relación al presupuesto ejercido? Sin comentarios Sin comentarios El registro de recursos aportados por los beneficiarios, no precisamente es el Se incluyo una nota al final de la respuesta precisando la modalidad y las aportaciones equivalente a recursos monetarios, en esa en efectivo o especie que pueden realizar los cifra se pueden estar incluyendo beneficiarios. aportaciones en especie como activos fijos aportados por los beneficiarios para sus proyectos. Se establece en reglas que en algunas modalidades las aportaciones son en efectivo o especie. Se sugiere poner una nota aclaratoria al respecto. 84. En función de los objetivos del programa, se han aplicado instrumentos de recuperación de costos (gasto que le genera al Estado la producción/entrega de servicios del programa)? 4.6 Sistematización de la información Página 8

9 85. Existe una sistematización adecuada en la administración y operación del programa? 86. Cuáles son los principales sistemas de información utilizados en la gestión del programa? 87. En caso de que el programa cuente con un padrón de beneficiarios, existen mecanismos de actualización y depuración del padrón de beneficiarios o listado de beneficiarios? Sin comentarios Considerando la información contenida en Sin comentarios la Cédula de Información Socioeconómica y su disponibilidad en el SIOP, se puede considerar que SI se cuenta con un método de actualización precisamente para el año de análisis. Se cuenta con datos contenidos en la Cédula de Información Socieconómica, pero no con un padrón de beneficiarios específico, que será el resultado en el futuro como subproducto de la Cedula. Actualmente no se tiene este Padrón. 88. Los mecanismos de actualización son los adecuados? Como deberían ser esos mecanismos de actualización La información vertida en la CIS incluye Sin comentarios información que permite verificar la condición socioeconómica de la población atendida. Se deben tomar como base los requisitos mínimos de registro y contenidos establecidos en las Reglas de operación del programa para cada modalidad. 4.7 Cumplimiento y avance en los indicadores de gestión y productos 89. Con base en los indicadores de Sin comentarios gestión y productos del programa, el programa mostró progreso en la realización de sus Actividades y en la entrega de sus Componentes en 2006? En la reunión sostenida con las diferentes Sin comentarios áreas del programa, se entregaron los reportes trimestrales, los cuales incluyen los indicadores de gestión alcanzados en el periodo. Por lo que se considera que la respuesta debería ser SI. Se reviso el comentario y la fundamentación existente y se cambio la respuesta 4.8 Rendición de cuentas y transparencia 90. Existe un Sistema de Rendición de Cuentas y Transparencia para los funcionarios que administran los fondos públicos del programa? 91. Existen y funcionan los mecanismos de transparencia establecidos en las ROP? 92. El programa cuenta con mecanismos para difundir interna y externamente las evaluaciones y sus resultados? 5. PERCEPCIÓN DE LA POBLACIÓN OBJETIVO La justificación describe el marco normativo, no el sistema de transparencia y rendición de cuentas Sin comentarios Sin comentarios El sistema se aplica cuando se detecta o denuncia alguna anomalia por parte de los funcionarios que administran los fondos públicos del programa y se apega a la normatividad descrita. 93. El programa cuenta con instrumentos que le permitan medir el grado de satisfacción de la población objetivo? 94. Estos instrumentos son los mecanismos adecuados y permiten presentar información objetiva? Si no es así, qué modificaciones propondría? Página 9

10 95. De la información que ha sido generada por estos instrumentos cuál es el grado de satisfacción de la población objetivo? Sin comentarios La respuesta no refleja los resultados de Sin comentarios la Carta Compromiso, aún cuando sus resultados sean parciales. En la respuesta se incluyo los resultados de la Carta Compromiso en 2006 y RESULTADOS 96. El programa recolecta regularmente información veraz y oportuna sobre sus indicadores de Propósito y Fin? 97. El programa ha llevado a cabo evaluaciones externas con metodologías rigurosas que le permitan medir el impacto del programa en la población objetivo (evaluaciones que permitan medir los avances en términos de su Propósito y Fin)? Sin comentarios Sin comentarios Sin comentarios Sin comentarios Sin comentarios La respuesta del evaluador es que no se aplicaron metodologías rigurosas para medir el impacto del Programa en la población beneficiaria. Sin embargo, ello La respuesta se refiere a que las evaluaciones no detectaron metodologias rigurosas para medir el impacto del programa en la población objetivo, ya que parece contradecirse con la respuesta a la como se ha mencionado en la respuesta 49 pregunta siguiente (No. 98), donde se no se cuenta con informaciónsobre su citan resultados de impacto logrados con cuantificación; y que si encontraron evaluaciones externas precedentes. Se diversos resultados parciales del programa solicita consistencia en las respuestas como resultado de su aplicación pero que expresadas por parte del evaluador. no son suficientes para responder positivamente esta pregunta. 98. Con base en las evaluaciones externas, cuáles han sido los principales impactos del programa? 99. El diseño y la operación del programa permiten realizar una evaluación de impacto rigurosa? Si no es así, explicar y proponer los ajustes necesarios para que sean compatibles. Se responde de manera incorrecta. La pregunta busca analizar si el programa cumple con los prerrequisitos mínimos de diseño y operación para medir el impacto entre un grupo de personas que reciben el apoyo del programa y otro grupo estadísticamente comparable con la muestra de beneficiarios seleccionados. Se sugiere replantear la respuesta con base en lo anterior. Sin comentarios Sin comentarios Se revisó la redacción de la respuesta tomando en cuenta los comentarios 100. Con base en la información obtenida de los distintos instrumentos, el programa ha demostrado adecuado progreso en alcanzar su Propósito y Fin? Especificar los principales resultados. Página 10

11 FORTALEZAS, RETOS Y RECOMENDACIONES Sin comentarios Sin comentarios En general, se observa poca precisión en Se realizó una nueva redacción de este las recomendaciones, lo que dificultaría su capítulo, tomando en cuenta las aplicación. En lo específico se comenta lo recomendaciones surgidas de la reunión de siguiente: La debilidad No. 1 del tema de presentación ante la DGMEPS, DGOP y DGS Planeación Estratégica, se desprende del del pasado 13 de marzo que se subió al análisis realizado, pero se observa SISEE en la fecha señalada. tautológica la recomendación (similitud entre debilidad y sugerencia). En el punto 4. Operación, la debilidad No.2, no es sustantiva y además la recomendación no concuerda con la problemática identificada. CONCLUSIONES ANEXOS Las conclusiones deben incluir la parte de diseño. Sin comentarios Sin comentarios Se incluyeron aquí las conclusiones de diseño. Anexo I: Características Generales Ya se había revisado en la primera entrega. Sin comentarios Sin comentarios Sin comentarios del Programa Anexo II: Objetivos Estratégicos de la Dependencia y/o Entidad Anexo III: Entrevistas y/o talleres realizados. Nombre de las personas entrevistadas y participantes de los talleres participativos, así como las fechas en las cuáles se llevaron a cabo. Anexo IV: Instrumentos de recolección de información. Anexo V: Bases de datos de gabinete utilizadas para el análisis en formato electrónico. Se deben agregar las bases de datos, no sólo su referencia. Sin comentarios Sin comentarios Se reformuló la respuesta con un archivo en excel con las bases de datos. Anexo VI: Propuesta de Matriz de Indicadores. Anexo VII: Característica de los No se desarrolla, falta incorporar el análisis Sin comentarios Sin comentarios Se hace referencia a la propuesta Indicadores. Anexo VIII: Propuesta para los No se desarrolla Sin comentarios Sin comentarios Se hace referencia de una propusta mecanismos de definición de metas e indicadores. Anexo IX: Factibilidad de los No se desarrolla, Sin comentarios Sin comentarios La DGEMPS comunicó telefonicamente a los instrumentos propuestos para evaluadores, el retirar la solicitud de determinar y/o cuantificar la población potencial y/u objetivo. cuantificación de población potencial y objetivo del programa, por considerar que no se cuentan con elementos necesarios para realizar este cálculo. Página 11

12 Anexo X: Población atendida a nivel No se desarrolla, debe hacerse una nacional desagregado por entidad aproximación de la población potencial federativa, componentes y/o atributos Sin comentarios Sin comentarios La DGEMPS comunicó telefonicamente a los evaluadores, el retirar la solicitud de cuantificación de población potencial y objetivo del programa, por considerar que no se cuentan con elementos necesarios para realizar este cálculo. Anexo XI: MML Anexo XII: MML Revisada al 30 de Falta incluir Sin comentarios Sin comentarios Se presentará como trabajo adicional en enero de abril de Anexo XIII: Revisión de diseño (14 Falta incluir Sin comentarios Sin comentarios Se presentará como trabajo adicional en preguntas). abril de Otros Anexos Comentarios Generales En el punto 2. Planeación Estratégica, se solicita al evaluador un esfuerzo de síntesis en las respuestas y mejorar la redacción. El tema 4. Operación, también se requiere mejora en la redacción. Describir siglas referidas en el documento como DGSE, CONEVAL, FAO entre otros para que el lector tenga clara la referencia. A lo largo del documento se maneja que el programa se descentraliza a partir del 2007, sin embargo es importante dejar en claro que sólo dos modalidades se operaban a nivel central. Se atienden los comentarios de acuerdo a lo descrito Página 12

13 General de Seguimiento Dirección General Adjunta de Seguimiento Operativo Dirección de Seguimiento Programático Opinión técnica DISPRO / OT / No. 2 / 08 Marzo 18 de 2008 Asunto: Observaciones al cap.2, Fortalezas, retos y recomendaciones de la Evaluación de Consistencia y Resultados 2007 del Programa Opciones Productivas Comentarios Debilidad / amenaza Recomendación Opinión DGS Respuesta Evaluadores Planeación estratégica. Si bien en el pasado no ha sido una práctica Se consideran adecuadas tanto la identificación de El programa no cuenta con planes estratégicos de común, ni un requisito de su diseño y la debilidad como la recomendación de que el referencia y metas caramente definidas para el operación, la formulación de planes Programa cuente con un plan estratégico. corto, mediano y largo plazo que permitan evaluar estratégicos de corto, mediano y largo plazo, cuantitativamente los resultados de su desempeño. Planeación estratégica. El programa define sus metas anuales a partir de su techo presupuestal y de procedimientos internos de trabajo que si bien son útiles para la ejecución y seguimiento del programa, no son suficientes para la objetiva medición de sus avances y la evaluación periódica de sus resultados con referencia a horizontes de planeación de mediano y largo plazo. en la actualidad, para avanzar en la consolidación del proceso de presupuestación orientada a resultados, se recomienda integrar un plan estratégico específico que le aporte visión de futuro al programa y facilite la evaluación periódica de sus resultados. No obstante, dado que forma parte de una estrategia más amplia del Gobierno federal, se solicita al evaluador aportar elementos concretos que deberían considerarse en la formulación de un plan estratégico específico para Opciones Productivas. En el marco de actualizados ejercicios de Como en el caso anterior, la recomendación es planeación estratégica, desarrollar un muy general, para poder aplicarla se requiere una conjunto de metas de corto, mediano y largo aportación específica, con elementos concretos, plazo debidamente fundamentadas en que permitan desarrollar un conjunto de metas, análisis de viabilidad y en consideraciones y como lo plantea el evaluador. criterios de política pública. En su caso se sugiere proponer un método de cálculo de metas multianuales. Dadas las características de la evaluación y especialmente sus alcances en cuanto a presentación de resultados, no es posible extenderse en las opiniones vertidas. Sin embargo, se parte de considerar que la SEDESOL cuenta con los elementos para definir los alcances del plan estratégico propuesto, más aún cuando es una constante de las evaluaciones realizadas en No hay un método de cálculo general o especifico para la determinación de metas de corto, mediano y largo plazo. Cada programa en función del diagnóstico de la situación por atender o remediar debe decidir el alcance de sus objetivos y metas específicos. Los evaluadores consideran que la definición de poblaciones objetivos, objetivos generales y específicos y la determinación de metas o expresión cuantitativa de los objetivos NO ES DELEGABLE por los formuladotes de la política.

14 Planeación estratégica. Se recomienda proceder a reformular la Es importante que el evaluador precise en la Se reformularon los textos para hacer explicita Los indicadores que el programa consideró en matriz de marco lógico del programa, columna Debilidad/amenaza, que las Reglas de referencia a las cuestiones planteadas en las 2007 para la presentación de resultados, fueron vinculando los indicadores a los plazos y Operación del POP se publicaron en febrero de observaciones. los contenidos en sus reglas de operación que se metas consideradas en la planeación 2007 (donde se incluyeron los indicadores) y que orientan principalmente a la gestión del programa estratégica. por modalidad, pero no consideró los señalados en la matriz de marco lógico, por considerar que estaba desfasada con relación a la operación del programa y por otra parte, porque se estimó que el ejercicio de elaboración de Matriz de Marco Lógico, fue posterior a iniciativa del CONEVAL, a partir del segundo semestre del ese año por lo que no hubo ningún desfase, sino que fueron actividades para periodos diferentes. se carecía de los métodos apropiados para la captura de los datos de las variables señaladas en el calculo de los indicadores. Cobertura y focalización. Elaborar un documento conceptual y Se solicita al evaluador documentar que hasta No se cuenta con una definición y de un método metodológico que describa y justifique la 2007, el requerimiento a los programas sociales claro y debidamente fundamentado para determinación de la población potencial y se centró exclusivamente en la definición y determinar la población potencial y la población objetivo que servirán de referentes al cuantificación de la población objetivo, con base objetivo, lo que impide estimar el grado de programa. En el caso de que la en dos documentos normativos: cumplimiento del programa y los impactos cuantificación confiable de la población producidos en la población, además de que no potencial resulte en extremo compleja, permite disponer de referentes para el concentrar la atención en la cuantificación y establecimiento de metas de corto, mediano y definición de los criterios de elección de la largo plazo que sustenten los requerimientos de población objetivo a corto, mediano y largo recursos y la correspondiente programación y presupuestación. plazo, señalando conceptualmente cuál es la población potencial del programa y las dificultades encontradas para su determinación cuantitativa. SHCP. Acuerdo por el que se expiden los criterios generales para modificaciones a las Reglas de Operación de programas gubernamentales ya existentes y para la elaboración de las Reglas de Operación para el ejercicio fiscal Publicado en el DOF del16 de enero de 2002 SHCP, SFP, Cofemer. Criterios generales para la elaboración de reglas de Operación de Programas. Enero de La distinción entre poblaciones potencial y objetivo es a raíz de los Términos de Referencia que emite Coneval en junio de 2007 para la evaluación 2007 de los programas sociales. Se sugiere aclarar esta situación para aclarar que no es una insuficiencia del programa la no existencia de la cuantificación de la población potencial del Programa, y por ello debe considerarse como una oportunidad a la luz de los nuevos planteamientos metodológicos que hace Coneval. Se reformularon los textos para hacer explicita referencia a las cuestiones planteadas en las observaciones.

15 Operación. Se recomienda reformular y depurar los Se solicita mayor precisión a la FAO, ya que la El programa en el 2007 midió sus resultados ejercicios previos de diseño del programa recomendación de reformular y depurar los utilizando las metas de corto plazo que resultan basados en la matriz de marco lógico, ejercicios previos de diseño, resulta ambiguo del presupuesto autorizado en el PEF y de reflejando sus contenidos en las futuras en su aplicación concreta. considerar la demanda de proyectos existente, y reglas de operación para garantizar su por otra parte, utiliza los indicadores de resultados aplicación en la operación cotidiana del de sus reglas de operación, pero no cuenta con programa instrumentos adicionales de mediano y largo plazo que permitan medir y evaluar el grado de cumplimiento de sus objetivos y metas a diversos niveles y plazos. No se considera ambiguo sugerir que se ponga mayor empeño en la formulación, y discusión interna de una nueva MI para socializar contenidos y facilitar la asimilación de sus objetivos y alcances. Igualmente no se considera ambiguo ni difícil de incorporar en un programa de trabajo la discusión y promoción de nuevas reglas de operación que tomen en cuenta las definiciones previas de una MI. Operación. Se recomienda iniciar la construcción de una El Programa hasta 2007 no ha logrado base de datos con la información de los sistematizar en una base de datos, la información proyectos apoyados por modalidad que de los proyectos apoyados en tres de sus cuatro permita mejorar la verificación de los apoyos modalidades y de las variables señaladas en sus aplicados. indicadores de resultados. A lo largo de su análisis y argumentación (en Se aclara que la recomendación se deriva de particular las respuestas a las preguntas 59 y 60), que el programa aun no cuenta con una base el evaluador considera que los sistemas de de datos completa, toda vez que subsisten información del programa son eficientes, por lo cuando menos tres modalidades de proyectos que esta debilidad-recomendación no se considera que no estan sistematizadas. procedente, además de que la recomendación vuelve a ser en exceso general como en la mayoría de los casos. Percepción de la población objetivo. Se recomienda considerar la posibilidad de Qué características debería tener la encuesta El programa no cuenta con información suficiente instrumentar una encuesta específica para que se propone, cada cuando debería aplicarse?, y actualizada sobre la percepción del grado de captar la percepción de los beneficiarios del son elementos mínimos que se le solicita al satisfacción de la población objetivo, ya que no programa de manera sistemática y periódica. evaluador aportar. cuenta con instrumentos tales como encuestas, registros o estudios que permitan conocer en forma sistemática la opinión de los beneficiarios sobre los diversos ámbitos de actuación y fases del programa: promoción, registro, selección, otorgamiento y aplicación oportuna de los recursos. Resultados. Se reitera la recomendación formulada en la Se está de acuerdo con la recomendación del Hasta el 2007 el Programa no ha logrado asimilar sección de operación, de reformular y evaluador. Lo que se sugiere es aclarar que el e integrar en sus procesos cotidianos de trabajo el depurar los ejercicios previos de diseño del ejercicio para la construcción de la Matriz de diseño acabado de una matriz de marco lógico programa basados en la matriz de marco Marco Lógico inició a mediados de 2007 y se que refleje con fidelidad los objetivos del lógico, reflejando sus contenidos en las traslapó en cierto momento con la revisión de las Programa a diversos niveles y que establezca futuras reglas de operación para garantizar Reglas de Operación para indicadores consistentes que permitirán medir sus su aplicación en la operación cotidiana del resultados en el corto mediano y largo plazo. programa. Se reformuló el texto para atender el comentario- Para atender sugerencia y no ser reiterativos, se procedió a eliminar debilidad de esta sección En este contexto se denota inapropiada la redacción de esta debilidad: Hasta el 2007 el Programa no ha logrado asimilar e integrar en sus procesos cotidianos de trabajo el diseño acabado de una matriz de marco lógico. Por lo anterior se solicita modificar el sentido de la respuesta.