Términos de Referencia

Transcripción

1 Términos de Referencia para la Evaluación Estatal del Funcionamiento y la Operación 2012 Subsecretaría de Alimentación y Competitividad Dir. Gral. de Planeación y Evaluación de Programas Octubre de 2012

2 Términos de Referencia para la Evaluación Estatal del Funcionamiento y la Operación 2012 PROGRAMA DE PREVENCION Y MANEJO DE RIESGOS Subsecretaría de Alimentación y Competitividad Dir. Gral. de Planeación y Evaluación de Programas Octubre de 2012

3 Contenido 1. Presentación Objetivos de la evaluación Objetivo general Objetivos específicos Enfoque metodológico Elementos del enfoque Criterios para el análisis de los temas Temas de evaluación Arreglo institucional para la operación del Programa Planeación de la operación del Programa Asignación de recursos Articulación de la operación del Programa con otros programas federales y estatales Atención del área de enfoque del Programa Monitoreo de la gestión del Programa Sistemas de información Supervisión de la operación del Programa Seguimiento a los servicios otorgados Transparencia y rendición de cuentas Valoración global del funcionamiento y la operación del Programa Principales fuentes de información Información documental Entrevistas a funcionarios y otros actores relacionados con el funcionamiento y la operación del Programa en el estado Propuesta de contenido temático del informe de evaluación estatal Cronograma de ejecución de la evaluación Productos esperados de la evaluación Responsabilidades y compromisos Proyectos propuestos para evaluación en los estados Formatos de anexos Glosario de términos I 1

4 Siglas CTEE DGAE DGPE Comité Técnico Estatal de Evaluación Dirección General Adjunta de Evaluación de Programas Dirección General de Planeación y Evaluación DPEF Decreto de Presupuesto de Egresos de la Federación 2012 ECE FAO FODA FOFAE MIR OAS PVI PVIF ROP SAGARPA SEDAGRO SENASICA Entidades Consultoras Estatales Organización de las Naciones Unidas para la Alimentación y la Agricultura Fortalezas, Oportunidades, Debilidades y Amenazas (Análisis) Fideicomiso Fondo de Fomento Agropecuario en los Estados o su equivalente Matriz de Indicadores para Resultados Organismos Auxiliares de Sanidad Punto de Verificación e Inspección Interna Punto de Verificación e Inspección Federal Acuerdo por el que se dan a conocer las Reglas de Operación de los Programas de la SAGARPA 2012 Secretaría de Agricultura, Ganadería, Desarrollo Rural, Pesca y Alimentación Secretaría de Desarrollo Agropecuario o su equivalente en el estado Servicio Nacional de Sanidad, Inocuidad y Calidad Agroalimentaria II 2

5 1. Presentación La evaluación estatal del funcionamiento y la operación de los Programas 2012 de la SAGARPA tiene su fundamento normativo en: a) el Decreto de Presupuesto de Egresos de la Federación (DPEF) 2012; b) los Lineamientos Generales para la Evaluación de los Programas Federales de la Administración Pública Federal; c) las Reglas de Operación de los Programas de la SAGARPA 2012; y d) los Lineamientos para las Actividades de Planeación, Monitoreo y Evaluación en los Estados 2012, emitidos por la SAGARPA a través de la Dirección General de Planeación y Evaluación. Asimismo, la evaluación externa de los programas de la SAGARPA obedece a la necesidad de retroalimentar la toma de decisiones sobre la ejecución de los programas en los estados, para incrementar la eficiencia y eficacia de sus procesos y contribuir a mejorar la calidad del gasto público en el medio rural. El presente documento forma parte de los Lineamientos para las Actividades de Planeación, Monitoreo y Evaluación y contiene los términos de referencia para la evaluación estatal del funcionamiento y la operación del Programa de Prevención y Manejo de Riesgos, en su Componente Sanidades 1. Cabe mencionar que en cada entidad federativa la evaluación del Programa se centrará en el funcionamiento y la operación de un proyecto específico, relevante en términos presupuestarios y de su incidencia esperada, el cual podrá consistir en alguna campaña fitozoosanitaria de interés o bien algún proyecto en materia de vigilancia epidemiológica fitozoosanitaria, inocuidad agroalimentaria, sanidad acuícola y pesquera o relacionado con la inspección de la movilización agropecuaria mediante el cual se evalúe la operación de los Puntos de Verificación e Inspección Interna (PVI s) y/o los Puntos de Verificación e Inspección Federal (PVIF s) 2. La evaluación pondrá énfasis en el ejercicio fiscal 2012, aunque para algunos temas específicos también se considerará la información correspondiente al ejercicio El propósito central de estos términos de referencia es orientar a los Coordinadores de los Comités Técnicos Estatales de Evaluación (CTEE) y a las Entidades Consultoras Estatales (ECE) que se harán cargo de realizar la evaluación estatal del Programa en relación con su metodología y alcances. Cabe señalar que el contenido de estos términos de referencia constituye una base mínima para el proceso de evaluación del Programa en los estados, por lo que en cada entidad federativa se podrán incorporar temas adicionales a los aquí propuestos con el fin de asegurar una adecuada atención de las necesidades específicas de los usuarios de la evaluación en el estado. En su caso, los temas adicionales deberán incluirse en un apartado específico tal como se establece en el punto 6 de estos términos de referencia. 1 Con fines de abreviación, a lo largo de este documento se usa el término Programa para hacer referencia al Programa de Prevención y Manejo de Riesgos (Componente Sanidades), excepto cuando se cite de manera específica a nivel de Componente. 2 En el apartado 10 de los presentes términos de referencia se presenta la propuesta de proyectos a evaluar en cada entidad federativa. 3 En particular, el análisis de los temas Monitoreo de la gestión, Supervisión de la operación del Programa y Seguimiento a los servicios otorgados se realizará utilizando como insumo principal la información del ejercicio fiscal

6 Este documento contiene los objetivos de la evaluación, el enfoque metodológico, los temas de evaluación, las principales fuentes de información, la propuesta de contenido temático para el informe final de la evaluación y el cronograma de ejecución. 2. Objetivos de la evaluación 2.1 Objetivo general Analizar los principales procesos de ejecución estatal del Programa de Prevención y Manejo de Riesgos, en su Componente Sanidades, en la perspectiva de aportar propuestas para mejorar su funcionamiento y operación en términos de su eficiencia y eficacia como instrumento de política pública. 2.2 Objetivos específicos a) Analizar el arreglo institucional enfocándose principalmente en los aspectos de su funcionalidad y pertinencia para la operación del Programa. b) Examinar los procesos de planeación y asignación de recursos del Programa. c) Evaluar la articulación de la operación del Programa con otros programas federales y estatales. d) Analizar la pertinencia y eficiencia de las distintas etapas de la operación del Programa en el estado, desde la difusión de sus acciones hasta la entrega de los servicios. e) Evaluar la cobertura del Programa en relación con su área de enfoque. f) Analizar la disponibilidad y uso de sistemas de información como herramientas de apoyo para la gestión del Programa. g) Analizar la pertinencia, oportunidad y uso de los resultados del esquema de supervisión del Programa implementado por la SAGARPA. h) Evaluar si el Programa cuenta con mecanismos efectivos para el seguimiento a los servicios otorgados. i) Evaluar en qué medida el Programa cuenta con un sistema de transparencia y rendición de cuentas. 2

7 3. Enfoque metodológico Los temas de la evaluación estatal del funcionamiento y la operación del Programa de Prevención y Manejo de Riesgos, en su Componente Sanidades, se desarrollarán considerando las acciones y el desempeño de las distintas instancias involucradas en su gestión, lo cual incluye al Servicio Nacional de Sanidad, Inocuidad y Calidad Agroalimentaria (SENASICA) como Unidad Responsable, y la Delegación Estatal de la SAGARPA, el Gobierno del Estado y los Organismos Auxiliares de Sanidad (OAS) como instancias involucradas en la operación, entre otras. A continuación se exponen los principios del enfoque de la evaluación y los criterios para el análisis de los temas propuestos. 3.1 Elementos del enfoque El enfoque de la evaluación está definido por los siguientes elementos fundamentales: a) Orientación del Programa hacia el logro de resultados. b) Carácter analítico de la evaluación. c) Combinación del análisis cualitativo y cuantitativo de los temas. d) Carácter práctico de las recomendaciones. a) Orientación del Programa hacia resultados La evaluación se orientará a determinar si la ejecución del Programa en el estado se apoya en una planeación y una gestión basadas en resultados. En este sentido, se valorará si la operación del Programa se lleva a cabo de manera eficiente y eficaz, y si sus acciones son conducentes a resolver la problemática atendida. Es decir, se busca determinar si las distintas etapas del proceso operativo, que van desde la difusión del Programa hasta la entrega de los servicios, se desarrollan en congruencia con el logro de los objetivos planteados. b) Carácter analítico de la evaluación La evaluación tendrá un carácter eminentemente analítico. Es decir, el análisis a desarrollar buscará identificar las causas que explican los procesos y fenómenos observados en relación con cada uno de los temas de evaluación abordados. Ello significa que cada tema será analizado con rigurosidad a fin de obtener elementos de información robustos que soporten las propuestas de mejora formuladas. 3

8 c) Combinación del análisis cualitativo y cuantitativo de los temas El análisis de los temas será, fundamentalmente, de carácter cualitativo. No obstante, en la medida en que se disponga de información estadística sobre los proyectos, programas y campañas sanitarias, el estudio de los temas se complementará con el análisis cuantitativo de las variables relevantes. La combinación del análisis cualitativo y del análisis cuantitativo permitirá profundizar en el estudio de los temas y ayudará a lograr una valoración exhaustiva de los mismos. d) Carácter práctico de las recomendaciones La evaluación deberá generar propuestas que sean relevantes, concretas y factibles de instrumentarse. En este sentido, se procurará que todas las recomendaciones contenidas en el informe de evaluación indiquen con claridad el qué, el para qué y el cómo se implementarían las mejoras propuestas. 3.2 Criterios para el análisis de los temas El análisis de los temas a evaluar se realizará a partir de las respuestas elaboradas respecto a un conjunto de preguntas específicas para cada uno de dichos temas. Para ello, se formularán dos tipos básicos de pregunta, que a continuación se describen: 1. Preguntas con respuesta binaria: Sí/No. a) Si la respuesta es No, se justificará la respuesta, argumentando claramente las razones de la negativa y, en caso de ser necesario, se deberá anexar la documentación correspondiente. b) Si la respuesta es Sí, se establecerá un nivel de respuesta del 1 al 4, donde el 1 representa el nivel mínimo y el 4 el máximo u óptimo. Además se presentará el análisis de la evidencia encontrada, incluyendo como anexos del informe los documentos probatorios correspondientes. 2. Preguntas abiertas: se trata de preguntas complementarias a las de respuesta binaria, para ampliar información clave, mediante una argumentación sustentada en las respuestas. Con base en el resultado de las preguntas con respuesta binaria se determinará una calificación global al Programa, la cual expresará una medida cuantitativa de la valoración del evaluador sobre su funcionamiento en el estado. Las preguntas abiertas servirán para complementar y fundamentar el análisis de los temas. 4. Temas de evaluación En este apartado se presentan los temas que serán abordados en la evaluación. Para cada tema se plantea un conjunto de preguntas de evaluación que constituyen la base mínima para el desarrollo del análisis, sin que ello limite la posibilidad de que las ECE y/o los Coordinadores de los CTEE incorporen temas o preguntas adicionales que permitan obtener información complementaria sobre las acciones del 4

9 Programa 4 en el estado en atención del interés y necesidades específicas de la Delegación de la SAGARPA, la SEDAGRO y/o del SENASICA. La distribución de las preguntas por cada tema se presenta en el Cuadro 1. Cuadro 1. Temas y preguntas de evaluación APARTADO TEMAS PREGUNTAS BINARIAS ABIERTAS TOTAL Arreglo institucional para la operación del Programa Planeación de la operación del Programa Asignación de recursos Articulación de la operación del Programa con otros programas federales y estatales Atención del área de enfoque del Programa Monitoreo de la gestión del Programa Sistemas de información Supervisión de la operación del Programa Seguimiento a los servicios otorgados Transparencia y rendición de cuentas Valoración global del funcionamiento y la operación del Programa TOTAL El número de preguntas básicas de la evaluación consta de 17 preguntas con respuesta binaria y 10 preguntas abiertas. Como se ha señalado previamente, el evaluador podrá incorporar temas adicionales a solicitud de las instancias involucradas en el funcionamiento del Programa en el estado, lo cual implicará 4 Si bien los temas y preguntas de evaluación que se incluyen en los presentes términos hacen referencia al Programa como un todo, en cada estado la evaluación se centrará en el análisis del proyecto específico que en materia de sanidad sea seleccionado para efectos de la presente evaluación, ello en función de su prioridad e importancia estratégica en la entidad. 5

10 incluir las preguntas complementarias correspondientes. En caso de que se decida el tratamiento de temas adicionales, éstos se incluirán como penúltimo tema en el Capítulo 3 del informe de evaluación (antes del apartado Valoración global sobre el funcionamiento y operación del Programa). 4.1 Arreglo institucional para la operación del Programa Se valorará si el arreglo institucional es el idóneo para una operación eficiente y eficaz del Programa en el estado. En este sentido, se analizará la pertinencia y funcionalidad del dispositivo institucional considerando los actores institucionales involucrados en el funcionamiento del Programa y los ordenamientos jurídicos que norman su ejecución, tales como el DPEF, las Reglas de Operación, el Convenio de Coordinación, el Acuerdo Específico para la ejecución del Componente Sanidades, entre otros. En particular se valorará la definición y el grado de cumplimiento en la práctica de los roles, responsabilidades y atribuciones de las distintas instancias previstas en la normatividad del Programa. 1. Cuáles son las principales instancias/dependencias y disposiciones normativas que conforman el arreglo institucional a través del cual se opera el Programa en el estado? No procede valoración cuantitativa. 1.1 En la respuesta se debe presentar una breve descripción acerca de los principales actores institucionales involucrados en el funcionamiento del Programa, específicamente el Componente Sanidades, indicando la manera en que intervienen y el tipo de relación institucional que se establece entre ellos. Asimismo, deberán analizarse los instrumentos jurídicos que norman el proceso de ejecución del Programa en el estado. La valoración de los elementos del dispositivo institucional debe hacerse desde la perspectiva de su idoneidad para lograr una operación eficiente y eficaz del Programa, señalando las diferencias que existen entre lo establecido en la normatividad y lo que realmente se observa en la instrumentación. 1.2 Las fuentes de información documental mínimas a utilizar son los documentos normativos aplicables al Programa tales como el DPEF 2012, las Reglas de Operación de los Programas de la SAGARPA, el Convenio de Coordinación firmado con el estado, el Acuerdo Específico para la ejecución del Componente Sanidades, y el Convenio de Concertación firmado entre SENASICA, SAGARPA y el Organismo Auxiliar de Sanidad (OAS) 5 correspondiente, entre otros. 1.3 La respuesta a esta pregunta debe ser consistente con las respuestas a las preguntas 2, 3, 4 y 5. 5 Comité Estatal de Fomento y Protección Pecuaria, Comité Estatal de Sanidad Vegetal y Comité Estatal de Sanidad Acuícola y Pesquera. 6

11 2. En la normatividad aplicable al Programa se definen adecuadamente las funciones de las instancias participantes en su funcionamiento (SAGARPA, SENASICA, SEDAGRO o equivalente, OAS, entre otras), y su definición y nivel de cumplimiento en la práctica son congruentes con una orientación hacia el logro de resultados, de modo que: a) Las funciones de las instancias participantes están definidas en forma clara. b) Las funciones de las instancias participantes están definidas de manera completa, es decir, no falta ninguna función relevante. c) Las funciones de las instancias participantes están definidas de manera tal que contribuyen a una orientación hacia resultados del Programa. d) Todas las funciones relevantes definidas en la normatividad son cumplidas en tiempo y forma por las instancias participantes correspondientes. Si en los documentos normativos del Programa no se definen adecuadamente los roles o funciones de los actores institucionales involucrados en su operación, ni se cumple con ninguna de las características anteriores, la respuesta es No. Si las funciones de las instancias involucradas en la ejecución del Programa se encuentran definidas en la normatividad, satisfaciendo al menos una de las características establecidas, la respuesta es Sí y se debe seleccionar alguno de los siguientes niveles: Nivel Criterios Las funciones de las instancias participantes en la operación cumplen con una de las características establecidas en la pregunta. Las funciones de las instancias participantes en la operación cumplen con dos de las características establecidas en la pregunta. Las funciones de las instancias participantes en la operación cumplen con tres de las características establecidas en la pregunta. Las funciones de las instancias participantes en la operación cumplen con todas las características establecidas en la pregunta. 2.1 En la respuesta se deben indicar las funciones relevantes que se encuentran definidas en la normatividad del Programa (Componente Sanidades) para cada una de las instancias involucradas en su ejecución, valorando la claridad, pertinencia y grado de cumplimiento en la práctica de esas funciones (Anexo 1). 7

12 2.2 Las fuentes de información documental mínimas a utilizar son los documentos normativos aplicables al Programa: las Reglas de Operación (en particular los Anexos XXXIII y LIV), los lineamientos, guías o manuales operativos, el Convenio de Coordinación firmado entre la SAGARPA y el Gobierno del Estado, el Acuerdo Específico para la ejecución del Componente Sanidades, y el Convenio de Concertación de acciones firmado entre SENASICA/SAGARPA y el Organismo Auxiliar de Sanidad correspondiente, entre otras. También constituirán fuentes de información relevantes los informes de avance físico-financiero. 2.3 La respuesta a esta pregunta debe ser consistente con la respuesta a las preguntas 1, 3, 4 y Las instancias involucradas en el funcionamiento del Programa en el estado cuentan con la capacidad institucional requerida para su implementación eficiente y eficaz, en términos de que: a) Cuentan con los recursos humanos suficientes en cantidad y calidad (personal directivo, administrativo, técnicos e inspectores de campo, etc.). b) Cuentan con los recursos materiales suficientes (instalaciones, equipo de trabajo, medios de transporte, etc.). c) Cuentan con una estructura administrativa cuya cobertura territorial en el estado permite una atención adecuada de la problemática sanitaria en las zonas con mayor incidencia de plagas y enfermedades. d) Cuentan con la experiencia y las capacidades técnicas adecuadas para el desarrollo de tareas especializadas como la planeación estratégica del Programa y la evaluación técnica de los proyectos de sanidad e inocuidad que se revisan e instrumentan. Si no existe información documental y/o los registros estadísticos correspondientes muestran que las instancias responsables del funcionamiento del Programa carecen de las capacidades instaladas suficientes para lograr una operación eficiente y eficaz del Programa, la respuesta es No. Si existe evidencia que muestre que las capacidades institucionales de las instancias ejecutoras son suficientes para la operación del Programa, es decir, si la respuesta es Sí, se debe seleccionar un nivel según los siguientes criterios: 8

13 Nivel Criterios Las instancias involucradas en el funcionamiento del Programa satisfacen una de las características establecidas en la pregunta. Las instancias en el funcionamiento del Programa satisfacen dos de las características establecidas en la pregunta. Las instancias en el funcionamiento del Programa satisfacen tres de las características establecidas en la pregunta. Las instancias en el funcionamiento del Programa satisfacen todas las características establecidas en la pregunta. 3.1 En la respuesta se debe presentar el análisis de la información sobre la cantidad y calidad de los recursos humanos y materiales con que cuentan las instancias involucradas en el funcionamiento del Programa en el estado (Componente Sanidades), diferenciando el inventario de capacidades de cada instancia (SENASICA, SAGARPA, SEDAGRO o equivalente y OAS). El análisis de esta información deberá hacerse contrastando la cantidad de recursos humanos y materiales existentes con la cantidad que demanda una operación eficiente del Componente Sanidades en el estado (Anexo 2). 3.2 Las fuentes de información documental mínimas a utilizar son los inventarios y/o reportes sobre oficinas, equipo de trabajo y personal que participa directamente en la ejecución del Programa en el estado 6. También deberán consultarse, en caso de existir, estudios o diagnósticos previos que contengan información sobre las capacidades institucionales instaladas de las instancias involucradas en el funcionamiento del Programa. 3.3 La respuesta a esta pregunta debe ser consistente con la respuesta a las preguntas 1, 2, 4 y Cuáles son los principales problemas que se han presentado durante el proceso de transferencia de los recursos (federales y estatales) hacia las instancias responsables de la operación del Programa en el estado y, en su caso, qué estrategias de solución se han adoptado por parte de los actores institucionales involucrados? No procede valoración cuantitativa. 6 En aquellos estados en los cuales la operación del Programa esté soportada en una red muy amplia de oficinas o agencias, se sugiere recabar información a partir de una muestra representativa de casos que permitan hacer inferencias sobre el tema. 9

14 4.1 En la respuesta se debe presentar el análisis de los principales problemas identificados en el proceso de transferencia y radicación de los recursos al FOFAE (o su equivalente) para la implementación de acciones en materia de sanidad e inocuidad, y de éste hacia los Organismos Auxiliares de Sanidad en el estado. También deberá valorarse el grado de cumplimiento en cuanto a los montos de recursos convenidos (federales y estatales) y la oportunidad de la radicación de tales recursos, evaluando sus consecuencias en el logro de resultados del Componente Sanidades. 4.2 Las fuentes de información mínimas a utilizar son el Acuerdo Específico para la ejecución del Componente Sanidades, el Convenio de Concertación de acciones firmado entre SENASICA/SAGARPA y el Organismo Auxiliar de Sanidad correspondiente, el calendario de ministraciones programadas, entre otras. 4.3 La respuesta a esta pregunta debe ser consistente con la respuesta a las preguntas 1 y Cuáles son las principales fortalezas y debilidades de los Organismos Auxiliares de Sanidad como instancias operadoras del Programa en el estado? No procede valoración cuantitativa. 5.1 En la respuesta se debe presentar el análisis de las principales fortalezas y debilidades de los Organismos Auxiliares de Sanidad, en relación con el rol que les corresponde jugar como operadores de los proyectos y acciones en materia de sanidad e inocuidad en el estado. Se valorará de qué manera esas fortalezas y/o debilidades inciden en el logro de los resultados esperados del Programa (Componente Sanidades). 5.2 Las fuentes de información mínimas a utilizar son el acta constitutiva, el reglamento interior y el organigrama de los OAS, los programas de trabajo en materia de sanidad e inocuidad implementados en el estado, y los reportes e inventarios sobre los recursos materiales, financieros y humanos con que cuentan dichas instancias para el cumplimiento de sus funciones. 5.3 La respuesta a esta pregunta debe ser consistente con la respuesta a las preguntas 1, 2 y Planeación de la operación del Programa Se valorará si los responsables del Programa en el estado llevan a cabo procesos de planeación para orientar su ejecución hacia el logro de resultados. En particular, se analiza si los responsables del Componente del programa se basan en planes de trabajo que contengan estrategias, objetivos, indicadores y metas para orientar la operación del Programa hacia la solución de problemas sanitarios relevantes en el estado. 10

15 6. Se han llevado a cabo procesos participativos de planeación del Programa en el estado, con una orientación hacia resultados, que incluyan a los distintos actores involucrados en su operación? No procede valoración cuantitativa. 6.1 Si la respuesta es afirmativa, se debe explicar en qué ha consistido el proceso de planeación, quienes han sido los actores participantes y cuáles son los productos obtenidos. También deberá explicarse de qué manera se llevó a cabo el proceso de planeación del Componente Sanidades en la entidad, indicando si correspondió a un método participativo con el involucramiento de los ejecutores del Programa, la Comisión Técnica Estatal de Sanidad e Inocuidad u otros organismos consultivos/auxiliares y actores del sector productivo (comités sistema producto u otras figuras organizativas de los productores), entre otros. De igual modo se valorará en qué medida el proceso de planeación tiene un enfoque hacia resultados. Si la respuesta es negativa, se deberán analizar las causas o factores que han impedido estos procesos. 6.2 Las fuentes de información documental mínimas a utilizar son los programas de trabajo estatales del Componente Sanidades generados en el proceso de planeación, la MIR estatal del Programa, así como las minutas y/o memorias de los eventos de planeación realizados (talleres, reuniones, etc.), entre otras. 6.3 La respuesta a esta pregunta debe ser consistente con la respuesta a las preguntas 7 y Es posible verificar la alineación entre los distintos instrumentos de planeación relacionados con el Programa en el estado, es decir, existe congruencia entre el Programa de trabajo del Componente Sanidades, el Anexo Técnico del Convenio de Concertación, los Planes Rectores de los Sistemas Producto y la MIR estatal, entre otros? a) La alineación entre los instrumentos de planeación referidos en la pregunta se verifica de manera parcial entre algunos de ellos. b) La alineación entre los instrumentos de planeación referidos en la pregunta se verifica entre dos de ellos de manera completa. c) La alineación entre los instrumentos de planeación referidos en la pregunta se verifica de manera completa entre tres de ellos. d) La alineación entre los instrumentos de planeación referidos en la pregunta se verifica de manera completa entre todos ellos. Si no existe información que sustente la alineación entre los instrumentos de planeación relacionados con el Programa, se considera información inexistente y, por lo tanto, la respuesta es No. 11

16 Si existe información sobre la alineación de los instrumentos de planeación, es decir, si la respuesta es Sí se debe seleccionar un nivel según los siguientes criterios: Nivel Criterios La alineación entre instrumentos de planeación del Programa responde a la primera de las características establecidas en la pregunta. La alineación entre instrumentos de planeación del Programa responde a la segunda de las características establecidas en la pregunta. La alineación entre instrumentos de planeación del Programa responde a la tercera de las características establecidas en la pregunta. La alineación entre instrumentos de planeación del Programa responde a la cuarta de las características establecidas en la pregunta. 7.1 En la respuesta se debe identificar y analizar en qué medida los distintos instrumentos de planeación guardan coherencia entre sí y si están alineados en cuanto a las estrategias, objetivos, indicadores y metas contenidos en los mismos, así como las implicaciones del nivel de alineación identificado en el logro de resultados del Programa (Anexo 3). 7.2 Las fuentes de información documental a utilizar son: Programa estatal de desarrollo sectorial, MIR estatal, Anexo técnico del Convenio de Concertación, Programa de trabajo del Componente Sanidades en el estado, Planes Rectores de los Sistemas Producto atendidos por el Programa, entre otros instrumentos de planeación que orienten la gestión de Programa. 7.3 La respuesta a esta pregunta debe ser congruente con las respuestas a las preguntas 6 y Las instancias involucradas en el funcionamiento del Programa tienen y utilizan algún plan de trabajo que contenga las estrategias adecuadas para orientar su gestión hacia el logro de resultados, de modo que: a) Es resultado de ejercicios de planeación institucionalizados. b) Contiene objetivos, indicadores y metas. c) Se revisa y actualiza periódicamente. d) Es conocido y utilizado por todos los operadores del Programa. Si el Programa no ha elaborado ningún programa de trabajo o el programa de trabajo existente no tiene al menos una de las características establecidas en la pregunta, se considera información inexistente y, por lo tanto, la respuesta es No. 12

17 Si el Programa cuenta con información que satisface al menos una de las condiciones de la pregunta, es decir, si la respuesta es Sí se debe seleccionar un nivel según los siguientes criterios: Nivel Criterios 1 El programa de trabajo tiene una de las características establecidas. 2 El programa de trabajo tiene dos de las características establecidas. 3 El programa de trabajo tiene tres de las características establecidas. 4 El programa de trabajo tiene todas las características establecidas. 8.1 En la respuesta se debe describir el contenido del programa de trabajo, indicando los objetivos, indicadores y metas contenidos en el mismo. Asimismo deberá argumentarse por qué se considera que el programa tiene o no las características señaladas. 8.2 La fuente de información documental a utilizar es el programa de trabajo con que cuente el Componente Sanidades en el estado. 8.3 La respuesta a esta pregunta debe ser consistente con la respuesta a las preguntas 6 y Asignación de recursos Se analizará si la asignación de los recursos del Programa a los proyectos sanitarios apoyados se basa en estudios o diagnósticos en los cuales se identifique la problemática atendida en el estado, y en función de criterios técnicos relacionados con el nivel de incidencia de la problemática, sus efectos en la producción y productividad estatal y la cantidad de productores afectados, a fin de determinar si dicha asignación de recursos es congruente con los objetivos del Programa y con las prioridades de sanidad e inocuidad en el estado. 9. La asignación de recursos a cada proyecto sanitario implementado en el estado (programa, campaña, etc.) responde a la atención de un problema sanitario relevante, teniéndose que: a) El problema atendido se encuentra identificado y documentado a través de un estudio o diagnóstico. b) Se han identificado las causas y los efectos del problema. c) Se conoce la dimensión y/o nivel de incidencia del problema. d) El problema representa un hecho o amenaza que atenta contra la conservación o mejora del estatus sanitario de la producción agropecuaria, pesquera y/o acuícola en la entidad. 13

18 Si no existe evidencia de que los proyectos sanitarios apoyados por el Programa responden a la atención de problemas concretos y relevantes en el estado, se considera información inexistente y, por lo tanto, la respuesta es No. Si el Programa cuenta con información para responder la pregunta, es decir, si la respuesta es Sí se debe seleccionar un nivel según los siguientes criterios: Nivel Criterios La asignación de recursos del Programa responde a la atención de problemas sanitarios relevantes, y se satisface una de las características establecidas en la pregunta. La asignación de recursos del Programa responde a la atención de problemas sanitarios relevantes, y se satisfacen dos de las características establecidas en la pregunta. La asignación de recursos del Programa responde a la atención de problemas sanitarios relevantes, y se satisfacen tres de las características establecidas en la pregunta. La asignación de recursos del Programa responde a la atención de problemas sanitarios relevantes, y se satisfacen todas las características establecidas en la pregunta. 9.1 En la respuesta se debe indicar cuáles son los problemas sanitarios específicos que atiende el Programa mediante los distintos proyectos apoyados en el estado. De existir, debe señalarse el estudio o diagnóstico sobre la problemática estatal en materia de sanidad e inocuidad, así como las causas y efectos de los problemas identificados, y explicar las razones de por qué se considera que éstos constituyen problemas sanitarios relevantes en la entidad. 9.2 Las fuentes de información documental mínimas a utilizar son el estudio o diagnóstico realizado sobre la problemática sanitaria en el estado, el Anexo técnico del Convenio de Concertación, el Programa de trabajo del Componente Sanidades, los Planes Rectores de los Sistemas Producto relacionados con la operación del Programa, entre otras. 9.3 La respuesta a esta pregunta debe ser consistente con la respuesta a las preguntas 10 y La distribución de los recursos del Componente Sanidades entre conceptos y tipos de apoyo específicos se lleva a cabo atendiendo las metas y objetivos establecidos en la MIR estatal o algún otro instrumento de planeación utilizado para orientar su operación? a) La distribución de los recursos entre conceptos y tipos de apoyo se hace en función de objetivos y metas, sin embargo éstos son distintos a los de la MIR del Programa. b) La distribución de los recursos entre conceptos y tipos de apoyo responde de manera parcial a los objetivos y metas de la MIR del Programa. 14

19 c) La distribución de los recursos entre conceptos y tipos de apoyo responde cabalmente a los objetivos y metas establecidos en la MIR del Programa. d) La distribución de los recursos entre conceptos y tipos de apoyo responde cabalmente a los objetivos y metas establecidos en la MIR del Programa, y se priorizan los rubros o ámbitos de atención en los cuales la acción del Programa ha logrado mayores impactos en ejercicios anteriores. Si las instancias involucradas en el funcionamiento del Programa no aplican los recursos en función de los objetivos y metas definidos en su MIR o en algún otro instrumento de planeación se considera información inexistente y, por lo tanto, la respuesta es No. Si el Programa cuenta con información para responder la pregunta, es decir, si la respuesta es Sí se debe seleccionar un nivel según los siguientes criterios: Nivel Criterios La distribución de los recursos del Programa se lleva a cabo de acuerdo a la primera característica establecida en la pregunta. La distribución de los recursos del Programa se lleva a cabo de acuerdo a la segunda característica establecida en la pregunta. La distribución de los recursos del Programa se lleva a cabo de acuerdo a la tercera característica establecida en la pregunta. La distribución de los recursos del Programa se lleva a cabo de acuerdo a la cuarta característica establecida en la pregunta En la respuesta se debe reportar y analizar la información sobre los montos de los recursos asignados entre conceptos y tipos de apoyo y se deberá valorar en qué medida esa asignación de recursos es congruente con los objetivos y metas del Componente Sanidades. Se deberá analizar si la asignación de recursos se basa en los resultados previos logrados por el Programa en ejercicios anteriores o si sigue una dinámica inercial (Anexo 4) Las fuentes de información documental mínimas a utilizar son el Anexo técnico del Convenio de Concertación, los Planes Rectores de los Sistemas Producto, el Programa de trabajo del Componente Sanidades, la MIR estatal, entre otras La respuesta a esta pregunta debe ser consistente con la respuesta a las preguntas 9 y

20 11. El Programa cuenta con criterios técnicos para priorizar aquellos proyectos sanitarios (campañas fitozoosanitarias, programas de inocuidad, acciones de vigilancia, sanidad acuícola y pesquera, inspección de la movilización, etc.) que representan una mayor contribución al logro de los objetivos del Programa en el estado, los cuales cumplen con las siguientes características: a) Están estandarizados, es decir, son utilizados por todas las instancias involucradas en el funcionamiento del Programa. b) Están claramente especificados, es decir, no existe ambigüedad en su definición. c) Se encuentran sistematizados. d) Son pertinentes, es decir, su uso permite seleccionar y atender a los proyectos que más aportan al logro de las metas y objetivos del Programa. e) Se encuentran difundidos públicamente. Si el Programa no cuenta con criterios técnicos documentados para la priorización de proyectos sanitarios o los procedimientos no tienen al menos una de las características establecidas en la pregunta se considera información inexistente y, por lo tanto, la respuesta es No. Si el Programa cuenta con información para responder la pregunta, es decir, si la respuesta es Sí se debe seleccionar un nivel según los siguientes criterios: Nivel Criterios Los criterios para priorizar los proyectos tienen una o dos de las características establecidas. Los criterios para priorizar los proyectos tienen tres de las características establecidas. Los criterios para priorizar los proyectos tienen cuatro de las características establecidas. Los criterios para priorizar los proyectos tienen todas las características establecidas En la respuesta se deben señalar cuáles son los criterios técnicos utilizados por el Programa para la priorización de los proyectos apoyados y se debe hacer un análisis sobre la pertinencia y claridad de su definición (Anexo 5) Las fuentes de información documental mínimas a utilizar son los documentos normativos, manuales de procedimientos y, de existir, el documento que contenga los criterios utilizados por los ejecutores del Programa para priorizar los proyectos sanitarios apoyados La respuesta a esta pregunta debe ser consistente con las respuestas a las preguntas 9 y10. 16

21 4.4 Articulación de la operación del Programa con otros programas federales y estatales Se analizará si la operación del Programa, en su Componente Sanidades, en el estado se lleva a cabo en forma articulada con otros programas de fomento productivo (federales y estatales). En este contexto se valorará si los responsables del Programa se basan en algún esquema de coordinación de acciones con los ejecutores de otros programas, a fin de propiciar sinergias entre los distintos instrumentos de desarrollo. 12. Las acciones del Programa se llevan a cabo en forma articulada con otros programas de fomento productivo en el medio rural impulsados por la SAGARPA u otras dependencias gubernamentales, especialmente con aquellos con los cuales existe potencial para generar sinergias, de modo que: a) La articulación de la operación del Programa con otros instrumentos de fomento productivo se da únicamente como resultado de la voluntad e iniciativa de los responsables de los programas (proceso informal, no institucionalizado). b) La articulación de la operación del Programa con otros instrumentos de fomento productivo se encuentra prevista en la normatividad aplicable al Programa y/o en los convenios/acuerdos y programas de trabajo que orientan su ejecución. c) La articulación del Programa con otros programas se encuentra establecida en los planes y/o programas de trabajo del mismo. d) La articulación del Programa con otros programas se expresa en la definición de los recursos a los proyectos atendidos, mediante el uso de criterios que priorizan la atención a proyectos que contemplan conceptos de apoyo complementarios (como asistencia técnica, sistemas de información de mercados, equipamiento e infraestructura productiva, entre otros) para potenciar sus impactos. Si las acciones del Programa no se llevan a cabo en forma articulada con otros programas federales y estatales se considera información inexistente y, por lo tanto, la respuesta es No. Si el Programa cuenta con información para responder la pregunta, es decir, si la respuesta es Sí se debe seleccionar un nivel según los siguientes criterios: 17

22 Nivel Criterios La articulación de la operación del Programa con otros instrumentos de fomento productivo cumple con la primera característica establecida en la pregunta. La articulación de la operación del Programa con otros instrumentos de fomento productivo cumple con la segunda característica establecida en la pregunta. La articulación de la operación del Programa con otros instrumentos de fomento productivo cumple con la tercera característica establecida en la pregunta. La articulación de la operación del Programa con otros instrumentos de fomento productivo cumple con todas las características establecidas en la pregunta En la respuesta se debe indicar de qué manera la operación del Componente Sanidades se vincula con otros programas, para lo cual se deberán analizar sus objetivos, la definición de su área de enfoque/población objetivo, y los tipos de apoyo entregados. Asimismo, de ser el caso, se deberá analizar la evidencia que demuestre que la articulación del Programa con los demás instrumentos de política constituye un proceso institucionalizado Las fuentes de información documental mínimas a utilizar son los documentos normativos del Programa, los instrumentos de planeación del Programa, los programas de trabajo del Componente Sanidades, lineamientos, guías o manuales de operación en los cuales se documente la existencia de algún esquema de coordinación de acciones entre los responsables de los distintos programas La respuesta de esta pregunta debe ser consistente con la respuesta de la pregunta Con cuáles programas federales y estatales y en qué aspectos específicos el Programa presenta una relación de complementariedad? No procede valoración cuantitativa En la respuesta se debe señalar con cuales programas se complementa el Programa evaluado, explicando en qué aspectos específicos se da la relación de complementariedad Las fuentes de información documental mínimas a utilizar son las ROP u otros documentos normativos del Programa, el Programa de trabajo estatal del Componente Sanidades, lineamientos, guías y/o manuales operativos, la MIR estatal del Programa, entre otras. También deberá consultarse la información correspondiente al resto de los programas públicos con los cuales se relaciona el Programa a evaluar La respuesta de esta pregunta debe ser consistente con la respuesta de la pregunta

23 4.5 Atención del área de enfoque del Programa Se valorará si los operadores del Programa cuentan con una estrategia operativa que les permita atender de manera expedita y eficiente a aquella parte de su área de enfoque que ha sido definida como prioritaria en función del grado de afectación que presente por algún problema sanitario, o por el nivel de riesgo de sufrir alguna afectación por la introducción y diseminación de plagas y/o enfermedades. En este sentido, se pretende valorar en qué medida el Componente Sanidades consigue atender las zonas o sistemas producto prioritarios en el ámbito estatal desde un enfoque de resultados esperados. 14. Los responsables de la ejecución del Programa en el estado cuentan con una estrategia de cobertura documentada para atender a su área de enfoque con las siguientes características: a) Incluye la definición del área de enfoque y una estimación de su tamaño. b) Considera metas de cobertura para periodos específicos. c) Contempla un horizonte de mediano y largo plazo. d) Es congruente con las metas y los objetivos del Programa de conservar y/o mejorar el estatus sanitario en las distintas zonas del estado. Si el Componente Sanidades no cuenta con una estrategia de cobertura documentada para atender a su área de enfoque o la estrategia no cuenta con al menos una de las características establecidas en la pregunta se considera información inexistente y, por lo tanto, la respuesta es No. Si el Programa cuenta con información para responder la pregunta, es decir, si la respuesta es Sí se debe seleccionar un nivel según los siguientes criterios: Nivel Criterios La estrategia de cobertura del Programa cuenta con una de las características establecidas en la Pregunta. La estrategia de cobertura del Programa cuenta con dos de las características establecidas en la Pregunta. La estrategia de cobertura del Programa cuenta con tres de las características establecidas en la Pregunta. La estrategia de cobertura del Programa cuenta con todas las características establecidas en la Pregunta En la respuesta se debe explicar en qué consiste la estrategia de cobertura para atender a su área de enfoque, indicando sus características principales y su contribución al logro de los resultados del Programa. 19

24 14.2 Las fuentes de información mínimas a utilizar son la MIR estatal del Programa, los programas de trabajo del Componente Sanidades, el documento de estrategia de cobertura, entre otros documentos oficiales La respuesta a esta pregunta debe ser consistente con la respuesta de la pregunta Con base en la información disponible sobre los proyectos atendidos por el Programa en el estado, es adecuado el avance observado en la cobertura alcanzada por el Componente Sanidades para lograr sus metas y generar los impactos esperados? Si en el momento del levantamiento de la información el Componente Sanidades registra un avance en la meta planteada en términos de cobertura menor al 50%, la respuesta es No. Si el Programa cuenta con información para responder la pregunta, es decir, si la respuesta es Sí se debe seleccionar un nivel según los siguientes criterios: Nivel Criterios El Programa registra un avance del 50 y hasta 62% de la meta definida en términos de cobertura de su área de enfoque. El Programa registra un avance del 63 al 75% de la meta definida en términos de cobertura de su área de enfoque. El Programa registra un avance del 76 al 88% de la meta definida en términos de cobertura de su área de enfoque. El Programa registra un avance del 89 al 100% de la meta definida en términos de cobertura de su área de enfoque En la respuesta se debe reportar y analizar el porcentaje de avance que registra el Componente Sanidades en su meta de cobertura de atención de su área de enfoque para el ejercicio fiscal objeto de evaluación. Asimismo deberá valorarse si dicho porcentaje es adecuado en términos de la meta planeada o si existe una desviación significativa al respecto (Anexo 6) Las fuentes de información documental mínimas a utilizar son los documentos normativos del Programa, los programas de trabajo estatales del Componente Sanidades, los informes parciales y anuales del Programa, entre otros documentos oficiales La respuesta de esta pregunta debe ser consistente con la respuesta de la pregunta

25 4.6 Monitoreo de la gestión del Programa Se indagará si los responsables del funcionamiento del Programa llevan a cabo un monitoreo continuo de su gestión, que les permita conocer el avance que registra su ejecución en cada una de sus etapas y adoptar medidas correctivas oportunas para evitar que se presenten desviaciones significativas con respecto a sus metas y objetivos, lo cual pudiera poner en riesgo el logro de los resultados esperados. Para este tema se deberá considerar también la información sobre el ejercicio fiscal 2011, de manera complementaria a los datos correspondientes al ejercicio Los ejecutores del Programa llevan a cabo el monitoreo de los indicadores de desempeño a fin de constatar oportunamente el grado de avance que registra su gestión en el estado, cumpliéndose lo siguiente: a) El monitoreo se realiza para todos los indicadores relevantes de la gestión del Programa contenidos en la MIR estatal. b) El monitoreo considera todas las etapas clave de la ejecución del Programa. c) El monitoreo se realiza con la periodicidad adecuada para cada indicador. d) El monitoreo se encuentra definido en la normatividad del Programa. Si el Programa no lleva a cabo el monitoreo de los indicadores de su gestión o el monitoreo no cumple con al menos una de las características establecidas en la pregunta se considera información inexistente y, por lo tanto, la respuesta es No. Si el Programa cuenta con información para responder la pregunta, es decir, si la respuesta es Sí se debe seleccionar un nivel según los siguientes criterios: Nivel Criterios Los ejecutores del Programa llevan a cabo el monitoreo de los indicadores de su gestión y se cumple una de las características establecidas en la pregunta. Los ejecutores del Programa llevan a cabo el monitoreo de los indicadores de su gestión y se cumplen dos de las características establecidas en la pregunta. Los ejecutores del Programa llevan a cabo el monitoreo de los indicadores de su gestión y se cumplen tres de las características establecidas en la pregunta. Los ejecutores del Programa llevan a cabo el monitoreo de los indicadores de su gestión y se cumplen todas las características establecidas en la pregunta. 21