C e n t r o d e I n v e s t i g a c i ó n y D o c e n c i a E c o n ó m i c a w w w. c i d e. e d u

Transcripción

1 Evaluación del diseño, gestión y resultados del Programa P014 Ejecución y Seguimiento de Acuerdos y Resoluciones del Consejo Nacional de Seguridad Pública C e n t r o d e I n v e s t i g a c i ó n y D o c e n c i a E c o n ó m i c a w w w. c i d e. e d u

2 1

3 2 Coordinador Académico Dr. Gustavo Fondevila Investigadores Lic. Arturo Arango Durán Mtro. Juan Pablo Arango Orozco Centro de Investigación y Docencia Económicas (CIDE) Carretera México- Toluca 3655 Col. Lomas de Santa Fe, CP México, D.F. Conmutador: Lada sin costo:

4 3

5 Tabla de contenido RESUMEN EJECUTIVO TEMA IV 1. DISEÑO IV 1 2 Análisis de la justificación de la creación y del diseño del programa El problema o necesidad prioritaria que busca resolver el programa está identificado en un documento que cuenta con la siguiente información: Existe un diagnóstico del problema que atiende el programa que describa de manera específica: Existe justificación teórica o empírica documentada que sustente el tipo de intervención que el programa lleva a cabo? El Propósito del programa está vinculado con los objetivos del programa sectorial, especial o institucional considerando que: IV 1 3 Análisis de la contribución del Programa a los objetivos nacionales y sectoriales Con cuáles objetivos, ejes y temas del Plan Nacional de Desarrollo vigente está vinculado el objetivo sectorial relacionado con el programa? Cómo está vinculado el Propósito del programa con las Metas del Milenio? IV 1 4. Análisis de la población potencial y objetivo Las poblaciones, potencial y objetivo, están definidas en documentos oficiales y/o en el diagnóstico del problema y cuentan con la siguiente información y características: Existe información que permita conocer quiénes reciben los apoyos del programa (padrón de beneficiarios) que: Si el programa recolecta información socioeconómica de sus beneficiarios, explique el procedimiento para llevarlo a cabo, las variables que mide y la temporalidad de las mediciones IV 1 5. Análisis de la Matriz de indicadores para resultados En el documento normativo del programa es posible identificar el resumen narrativo de la Matriz de Indicadores para Resultados (Fin, Propósito, Componentes y Actividades)? Las Fichas Técnicas de los indicadores del programa cuentan con la siguiente información: Las metas de los indicadores de la MIR del programa tienen las siguientes características:... 34

6 IV 1 6. Análisis de posibles complementariedades y coincidencias con otros programas federales Con cuáles programas federales y en qué aspectos el programa evaluado podría tener complementariedad y/o coincidencias? TEMA IV 2. PLANEACIÓN Y ORIENTACIÓN A RESULTADOS DEL PROGRAMA IV 2. 1 Instrumentos de planeación La Unidad Responsable del programa cuenta con un plan estratégico con las siguientes características: El programa cuenta con planes de trabajo anuales para alcanzar sus objetivos que: IV.2.2 De la orientación hacia resultados y esquemas o procesos de evaluación El programa utiliza informes de evaluaciones externas: Del total de los Aspectos Susceptibles de Mejora (ASM) clasificados como específicos y/o institucionales de los últimos tres años, qué porcentaje han sido solventados acorde con lo establecido en los documentos de trabajo y/o institucionales? Con las acciones definidas en los documentos de trabajo e institucionales, que a la fecha se han implementado, provenientes de los Mecanismos para el seguimiento a los aspectos susceptibles de mejora derivados de informes y evaluaciones a los programas presupuestarios de la Administración Pública Federal de los últimos tres años, se han logrado los resultados establecidos? Qué recomendaciones de la(s) evaluación(es) externa(s) de los últimos tres años no han sido atendidas y por qué? A partir del análisis de las evaluaciones externas realizadas al programa y de su experiencia en la temática qué temas del programa considera importante evaluar mediante instancias externas? 44 IV.2.3 De la generación de información El Programa recolecta información acerca de: El programa recolecta información para monitorear su desempeño con las siguientes características: TEMA IV.3. COBERTURA Y FOCALIZACIÓN IV.3.1. Análisis de cobertura El programa cuenta con una estrategia de cobertura documentada para atender a su población objetivo con las siguientes características: El programa cuenta con mecanismos para identificar su población objetivo? En caso de contar con estos, especifique cuáles y qué información utiliza para hacerlo

7 25. A partir de las definiciones de la población potencial, la población objetivo y la población atendida, cuál ha sido la cobertura del programa? TEMA IV. OPERACIÓN IV.4.1. Análisis de los procesos establecidos en las ROP o normativa aplicable Describa mediante Diagramas de Flujo el proceso general del programa para cumplir con los bienes y los servicios (Componentes), así como los procesos clave en la operación del programa El programa cuenta con información sistematizada que permite conocer la demanda total de apoyos y las características de los solicitantes? (socioeconómicas en el caso de personas físicas y específicas en el caso de personas morales) Los procedimientos para recibir, registrar y dar trámite a las solicitudes de apoyo cuentan con las siguientes características: El programa cuenta con mecanismos documentados para verificar el procedimiento para recibir, registrar y dar trámite a las solicitudes de apoyo con las siguientes características: Los procedimientos del programa para la selección de beneficiarios y/o proyectos tienen las siguientes características: El programa cuenta con mecanismos documentados para verificar el procedimiento de selección de beneficiarios y/o proyectos y tienen las siguientes características: Los procedimientos para otorgar los apoyos a los beneficiarios tienen las siguientes características: El programa cuenta con mecanismos documentados para verificar el procedimiento de entrega de apoyos a beneficiarios y tienen las siguientes características: Los procedimientos de ejecución de obras y/o acciones tienen las siguientes características: El programa cuenta con mecanismos documentados para dar seguimiento a la ejecución de obras y acciones y tienen las siguientes características: IV.2. Mejora y simplificación regulatoria Cuáles cambios sustantivos en el documento normativo se han hecho en los últimos tres años que han permitido agilizar el proceso de apoyo a los solicitantes? IV.3. Organización y gestión Cuáles son los problemas que enfrenta la unidad administrativa que opera el programa para la transferencia de recursos a las instancias ejecutoras y/o a los beneficiarios y, en su caso, qué estrategias ha implementado? IV.4. Eficiencia y economía operativa del programa El programa identifica y cuantifica los gastos en los que incurre para generar los bienes y los servicios (Componentes) que ofrece y los desglosa en los siguientes conceptos:... 64

8 39. Cuáles son las fuentes de financiamiento para la operación del programa y qué proporción del presupuesto total del programa representa cada una de las fuentes? IV.5. Sistematización de la información Las aplicaciones informáticas o sistemas institucionales con que cuenta el programa tienen las siguientes características: IV.6. Cumplimiento y avance en los indicadores de gestión y productos Cuál es el avance de los indicadores de servicios y de gestión (Actividades y Componentes) y de resultados (Fin y Propósito) de la MIR del programa respecto de sus metas? IV.7. Rendición de cuentas y transparencia El programa cuenta con mecanismos de transparencia y rendición de cuentas con las siguientes características: TEMA V. PERCEPCIÓN DE LA POBLACIÓN ATENDIDA El programa cuenta con instrumentos para medir el grado de satisfacción de su población atendida con las siguientes características: TEMA VI. MEDICIÓN DE RESULTADOS Cómo documenta el programa sus resultados a nivel de Fin y de Propósito? En caso de que el programa cuente con indicadores para medir su Fin y Propósito, inciso a) de la pregunta anterior, cuáles han sido sus resultados? En caso de que el programa cuente con evaluación(es) externa(s) que no sea(n) de impacto y que permite(n) identificar hallazgo(s) relacionado(s) con el Fin y el Propósito del programa, inciso b) de la pregunta 44, dichas evaluaciones cuentan con las siguientes características: En caso de que el programa cuente con evaluación(es) externa(s), diferente(s) a evaluaciones de impacto, que permite(n) identificar uno o varios hallazgos relacionados con el Fin y/o el Propósito del programa, cuáles son los resultados reportados en esas evaluaciones En caso de que el programa cuente con información de estudios o evaluaciones nacionales e internacionales que muestran impacto de programas similares, inciso c) de la pregunta 44, dichas evaluaciones cuentan con las siguientes características: En caso de que el programa cuente con información de estudios o evaluaciones nacionales e internacionales que muestran impacto de programas similares qué resultados se han demostrado? En caso de que el programa cuente con evaluaciones de impacto, con qué características de las siguientes cuentan dichas evaluaciones:... 77

9 51. En caso de que se hayan realizado evaluaciones de impacto que cumplan con al menos las características señaladas en los incisos a) y b) de la pregunta anterior, cuáles son los resultados reportados en esas evaluaciones? CONCLUSIONES BIBLIOGRAFÍA ANEXOS Anexo 1 "Descripción General del Programa" Anexo 2 "Metodología para la cuantificación de las poblaciones Potencial y Objetivo" Anexo 3 "Procedimiento para la actualización de la base de datos de beneficiarios" Anexo 4 "Resumen Narrativo de la Matriz de Indicadores para Resultados" Anexo 5 "Indicadores" Anexo 6 "Metas del programa" Anexo 7 "Complementariedad y coincidencias entre programas federales" Anexo 8 "Avance de las acciones para atender los aspectos susceptibles de mejora" Anexo 9 "Resultado de las acciones para atender los aspectos susceptibles de mejora" Anexo 10 "Análisis de recomendaciones no atendidas derivadas de evaluaciones externas" Anexo 11 "Evolución de la Cobertura" Anexo 12 "Información de la Población Atendida" Anexo 13. Diagramas de flujo de los componentes y procesos clave Anexo 14 Gastos desglosados del programa Anexo15. Avance de los indicadores respecto de sus metas Anexo 16. Instrumentos de medición del grado de satisfacción de la población atendida Anexo 17. Principales fortalezas, oportunidades, debilidades y amenazas Anexo 18. Comparación con los resultados de la evaluación de consistencia y resultados, anterior Anexo 19. Valoración final del programa Anexo 20. Ficha técnica con los datos generales de la instancia evaluadora y el costo de la evaluación

10 9

11 10 Evaluació n del disen ó, gestió n y resultadós del Prógrama P014 Ejecució n y Seguimientó de Acuerdós y Resóluciónes del Cónsejó Naciónal de Seguridad Pu blica

12 11

13 Resumen Ejecutivo En este documento se presentan los resultados de la evaluación del programa P014 Ejecución y Seguimientó de Acuerdós y Resóluciónes del Cónsejó Naciónal de Seguridad Pública, la cual se realizó en los aspectos de Diseño, Planeación y Orientación a Resultados, Cobertura y Focalización, Operación, Percepción de la Población Atendida y Medición de Resultados 1. Los contenidos que aquí se describen están orientados a proponer mejoras al programa en análisis y su intención principal es favorecer un ejercicio claro y transparente de las actividades presupuestadas en el mismo. 12 En cuanto al diseño del programa se encontró que su estructura analítica define al próblema principal cómó el Insuficiente cumplimientó de lós prógramas, pólíticas y estrategias, protocolos y acciones del Sistema Nacional de Seguridad Pública por parte de las 32 entidades federativas e inadecuada priorización en la asignación de los recursós órientadós a la Seguridad Pública y a la póblación óbjetivó cómó la población de las 32 entidades federativas, lo cual es inadecuado ya que, como bien señala Gónzález, el próblema elabóradó en el árból de próblemas nó cubre pór completo el espectro de las funciones y acciones que el Secretariado tiene para la ejecución y seguimiento de lós acuerdós del Cónsejó Naciónal de Seguridad Pública (González, 2011). Esto implica que la problemática está insuficientemente especificada y la población objetivo no concuerda con la problemática, lo que conduce a que en general el programa, tal cual se aplica en la práctica, tenga problemas de diseño. Es importante mencionar que este programa sigue vigente y fue diseñado con base el Plan Nacional de Desarrollo (PND ), pero, debido a que hubo cambio de gobierno, en esta evaluación, al ser de carácter general a todos los contenidos actuales del programa, se consideró oportuno, donde es pertinente, integrar observaciones con relación al Plan Nacional de Desarrollo (PND ) para cumplir con los criterios establecidos en la Ficha Técnica de la evaluación del programa. De acuerdo a lo referido previamente, la alineación que presenta el programa con el PND es adecuada aunque, por la naturaleza de coordinación y seguimiento que respecta a su contenido, tiene influencia en la mayoría de las estrategias provistas en el Eje 1. Estado de Derecho y seguridad, dicha alineación se nota con más claridad en los Objetivos 5. Combatir la impunidad para disminuir los 1 De acuerdo con lo señalado en la Ficha Técnica para la Evaluación en Materia de Diseño, Consistencia y Orientación a Resultados del Programa Presupuestario a cargo del Secretariado Ejecutivo del Sistema Nacional de Seguridad Pública "P014 Ejecución y seguimiento de acuerdos y resoluciones del Consejo Naciónal de Seguridad Pública

14 niveles de incidencia delictiva; 7. Establecer mecanismos y procesos que permitan conocer sistemáticamente las características y patrones del fenómeno delictivo en México, y aseguren la disponibilidad de información confiable y oportuna; y 9. Generalizar la confianza de los habitantes en las instituciones públicas, particularmente en las de seguridad pública, procuración e impartición de justicia. Respectivamente, en las estrategias 5.1. Fortalecer la coordinación y cooperación entre los tres órdenes de gobierno para combatir la delincuencia; 7.2. Generar, fortalecer y coordinar los sistemas de inteligencia en el Gobierno Federal; y 9.6. Coordinar y establecer mecanismos para la transparencia y rendición de cuentas de los gobiernos estatales y municipales en el ejercicio de recursos federales. 13 La alineación que presenta el programa con el PND es consistente con el punto I.2. Plan de acción: fortalecer al Estado y garantizar la paz. En particular con la estrategia señalada bajo el objetivo 1.3 enfocado en mejorar las condiciones de la seguridad pública. En lo que toca la Planeación y Orientación de resultados, los principales hallazgos tienen que ver con que la planeación se realizaba con base en la definición inadecuada del problema, por lo que los resultados a alcanzar fueron considerados irrelevantes o inadecuados y, por ello, la dificultad de establecer metas. Derivado de la definición, se tiene también un problema en lo que toca a la Cobertura y Focalización, ya que por un lado, aunque se define a la población objetivo como la población de las 32 entidades federativas, no se recolecta información de los resultados y operación efectiva del programa, lo que da como resultado que se carece de mecanismos de sistematización y bases de datos. Esta situación repercute en los procedimientos realizados para conocer de qué forma se aplican los recursos por las instancias involucradas en la ejecución de los acuerdos y a su vez, impide conocer la percepción de la población atendida. Finalmente se encontró que derivado de la falta de información y nula sistematización, la medición de resultados de resultados no es consistente con los indicadores establecidos. Las sugerencias que hemos realizado para mejorar el programa en su conjunto, entre otras, se resumen en: Concluir los trabajos de rediseño y compactación de los programas presupuestales. Sistematizar el seguimiento de acuerdos y de los ejecutores e instancias responsables del cumplimiento. Regular de manera formal la obligación de las instancias involucradas para informar de manera oportuna con documentación probatoria suficiente.

15 Modificar la población objetivo, es decir, cambiar a la población en general por las instancias y entidades representadas en el Consejo, como dicha población objetivo. Realizar un diagnóstico y redefinir indicadores que permitan la evaluación del programa. Realizar un documento que contenga los lineamientos esenciales que den sustento a la Matriz de Indicadores de Resultados. 14 De acuerdo a la Ficha Técnica de la Evaluación, que se divide en seis temas y 51 preguntas, la valoración global de la evaluación fue de 3.75, en una escala de 1 a 10, donde 10 es la calificación máxima alcanzable, la cual se obtuvo como sigue: En la puntuación máxima se consideró sólo a las preguntas donde se solicitaba valoración cuantitativa, paras las cuales, en la Ficha técnica de evaluación del programa se propusieron 4 criterios donde el 1 es la calificación mínima y el 4 representa el máximo a cumplir. Si se coloca esa puntuación en una escala de 1 a 10, donde 1 es la menor calificación y 10 es la máxima alcanzable se tiene que la calificación global de la evaluación del Programa P014 es Los resultados de la valoración se presentan en la siguiente tabla: APARTADO Puntuación Máxima Valoración Preguntas Total Diseño Planeación y Orientación a Resultados Cobertura y Focalización Operación Percepción de la Población Atendida NA NA 43 NA Medición de Resultados TOTAL En la valoración no se tomó en cuenta a aquellas preguntas que se consideró no tenían aplicación dado el marco de la pregunta.

16 15

17 Introducción En el Plan Nacional de Desarrollo (PND) se estableció que un Estado de Derecho pleno y la justicia son el fundamento del desarrollo humano y por tanto, es necesario un respeto irrestricto a la ley para que la población pueda acceder a mejores oportunidades de vida. Así, en este Eje, se establece que la distórsión generada pór la corrupción y la impunidad son un obstáculo para el desarrollo, por lo que resulta inaplazable fómentar la cultura de la legalidad en entre lós mexicanós, garantizar el apegó de lós servidóres públicós a la ley y sanciónar a quienes nó ló hagan (PND p. 44). Entre estas y ótras razónes, es que el prógrama P014 Ejecución y Seguimientó de Acuerdós y Resóluciónes del Cónsejó Naciónal de Seguridad Pública adquiere dimensión e importancia, pues ahí, es donde se concentra el seguimiento a los avances de la seguridad pública en el país. 16 El Sistema Nacional de Seguridad Pública (SNSP) aparece como la institución por excelencia en donde tiene lugar la participación de todas las instancias involucradas en el cumplimiento de la solución al problema diagnosticado en el PND y en donde se construyen los acuerdos entre actores políticos y de la sociedad civil que pueden permitir que se avance en la solución de la problemática de violencia y delincuencia que azota al país. Está integrado por diversas instancias de coordinación, donde se destaca el Consejo Nacional de Seguridad Pública (CNSP) que, entre otras atribuciones tiene la de Emitir acuerdós y resóluciónes generales, para el funciónamientó del sistema. El Programa P014 Ejecución y Seguimientó de Acuerdós y Resóluciónes del Cónsejó Naciónal de Seguridad Pública, cuyo objetivo es garantizar la ejecución y el seguimiento de los acuerdos que el Consejo Nacional de Seguridad Pública emite dentro de las sesiones que se realizan periódicamente entre los integrantes de dicho Consejo, fue creado en el (González, 2011) Fue hasta el Presupuesto de Egresos de la Federación del añó 2011 que el prógrama E006 Ejecución y Seguimientó de acuerdós y resóluciónes del Cónsejó Naciónal de Seguridad Pública fue módificadó y alineado a la Secretaría de Gobernación (Ramo 04) con la clasificación P014 Ejecución y Seguimientó de acuerdós y resóluciónes del Cónsejó Naciónal de Seguridad Pública. El Programa Anual de Evaluación para el Ejercicio Fiscal 2013 de los Programas Federales de la Administración Pública Federal 2, establece la obligatoriedad para realizar una evaluación de Consistencia y Resultados de este programa. Los resultados aquí se presentan. 2 Emitido el 16 de enero de 2013, por la Secretaría de Hacienda y Crédito Público, la Secretaría de la Función Pública y el Consejo Nacional de Evaluación de la Política de Desarrollo Social

18 17

19 Tema IV 1. Diseño IV 1 2 Análisis de la justificación de la creación y del diseño del programa El problema o necesidad prioritaria que busca resolver el programa está identificado en un documento que cuenta con la siguiente información: a) El problema o necesidad se formula como un hecho negativo o como una situación que puede ser revertida. b) Se define la población que tiene el problema o necesidad. c) Se define el plazo para su revisión y su actualización Respuesta Si /Nivel 3 El programa tiene identificado el problema o necesidad que busca resolver, y El problema cuenta con dos de las características establecidas en la pregunta Justificación El problema a resolver es el insuficiente cumplimiento de los programas, políticas y estrategias, protocolos y acciones del Sistema Nacional de Seguridad Pública por parte de las 32 entidades federativas, así como la inadecuada priorización en la asignación de los recursos orientados a la seguridad pública. Existe un dócumentó denóminadó Estructura Analítica del Programa Presupuestal 3 donde el problema principal está insuficientemente especificado, ya que los acuerdos del CNSP obligan no sólo a las entidades federativas sino también a instituciones federales. 3 P01 estructura analítica P14- FDO

20 En un análisis del documento mencionado en el párrafo anterior como causa inmediata, cuestiones relacionadas con el Registro Público Vehicular REPUVE y la necesidad de instrumentos jurídicos en los que se establezcan obligaciones específicas para el cumplimiento de metas, cuando los artículos 18 de la Ley 4 y 11, 19 y 21 del Reglamento 5 confieren al Secretariado Ejecutivo del Sistema realizar la ejecución y seguimiento a los acuerdos y resoluciones adoptados por el Consejo Nacional y las Conferencias Nacionales, pero en dichos ordenamientos sólo se fija la obligación, sin entrar en detalles. 19 El documento señalado define claramente a la población objetivo cómó la póblación de las 32 entidades federativas. Al respectó, se cónsidera inadecuada dicha definición ya que, si bien los acuerdos tienen un impacto futuro sobre la población en su conjunto cuando son cumplidos, el objetivo del programa es la revisión periódica de la ejecución y el seguimiento de los acuerdos establecidos en las sesiones del CNSP, por lo que la población objetivo debe ser aquella que directamente está involucrada o afectada por los acuerdos a los que hace dicho seguimiento. Sugerencia Se contemple al seguimiento de acuerdos de forma sistematizada. Se realice un listado de acuerdos y resoluciones enumerando a las instancias involucradas en la ejecución de cada acuerdo, enlace en cada instancia, plazos para cumplirlos, desarrollo de metodología y protocolos para seguimiento de acuerdos, recopilación de información de cada instancia involucrada en donde se incluyan además documentos probatorios del cumplimiento parcial o total. 4 Ley General del Sistema Nacional de Seguridad Pública 5 Reglamento del Sistema Nacional de Seguridad Pública

21 2. Existe un diagnóstico del problema que atiende el programa que describa de manera específica: a) Causas, efectos y características del problema. b) Cuantificación, características y ubicación territorial de la población que presenta el problema. c) El plazo para su revisión y su actualización. 20 Respuesta Si /Nivel 2 El programa cuenta con un diagnóstico del problema, y El diagnóstico cuenta con una de las características establecidas en la pregunta Justificación En el documento Programa de Trabajo para el Replanteamiento del Programa Presupuestal 6 existe un diagnóstico donde se divide por causas y efectos pero los documentos finales sugeridos no se concluyeron y en 2013 se continúa trabajando bajo las premisas del dócumentó denóminadó Árboles de problemas y objetivos donde el árbol de problemas se divide por causas y efectos, pero como ya se mencionó en el apartado anterior, está insuficientemente especificada la problemática que se pretende resolver con este programa. El Árbol de objetivos también está insuficientemente especificado, ya que aunque se dice que se busca la alineación de recursos del Fondo de Aportaciones a la Seguridad Pública (FASP) a los distintos programas nuevamente sólo está involucrado el REPUVE. No existe mecanismo o base de datos alguna que permita conocer la cuantificación, características y ubicación territorial de la población que representa ya que se define a la población de manera inadecuada. Cabe señalar que se está trabajando en el rediseño global de los programas presupuestarios del SESNSP, cuyos resultados, se espera, estarán activos en P014 MIR replanteamiento final

22 Sugerencias Continuar con los trabajos planteados en el rediseño global de los programas a fin de establecer una Matriz de Indicadores de Resultados (MIR) congruente entre objetivos y población objetivo. Así mismo, se sugiere redefinir los indicadores de desempeño con base en dicho documento. 21 Redefinir a la población objetivo como las instancias federales, estatales, municipales u organizaciones de la sociedad civil involucradas en el cumplimiento de los acuerdos y posterior a ello, sistematizar la información de los enlaces en dichas instancias. Esto facilitará integrar, para cada acuerdo variables de búsqueda comunes como fechas del acuerdo, fechas de cumplimiento, cargos y nombres de personas cargo de la actividad de enlace en el seguimiento, entre otras. Por último se sugiere que cada acuerdo contenga un listado de acciones concretas a desarrollar, plazos y responsables del cumplimiento. Esto se puede cumplir con el diseño de un protocolo de seguimiento en el cual se podrá regular, si no es posible integrarlo como sería idealmente en la Ley, la obligación de informar de manera oportuna que tienen las instancias involucradas, incluyendo la documentación probatoria necesaria y suficiente. Incluso, sería necesario establecer en dicho protocolo, o en la Ley, que haya sanciones a aquellas instancias o responsables cuando no informen conforme a lo establecido.

23 3. Existe justificación teórica o empírica documentada que sustente el tipo de intervención que el programa lleva a cabo? Respuesta 22 Si /Nivel 1 El programa cuenta con una justificación teórica o empírica documentada que sustente el tipo de intervención que el programa lleva a cabo en la población objetivo, y La justificación teórica o empírica documentada no es consistente con el diagnóstico del problema. Justificación Los artículos 18 de la Ley 7 y 11, 19 y 21 del Reglamento 8 confieren al Secretario Ejecutivo del Sistema Nacional de Seguridad Pública (SESNSP) la obligación de realizar el registro y seguimiento a los acuerdos y resoluciones adoptados por el Consejo Nacional y las Conferencias Nacionales. Sin embargo no existe otro documento que dé sustento al tipo de intervención. En el Programa Anual de Trabajo del SESNSP se señala como prioridad estratégica asignada a la Dirección General de Planeación en el punto II. Alineación y normatividad, la estrategia de contar con un registró actualizadó de lós acuerdós adóptadós cuyó óbjetivó es Establecer la coordinación, registro y seguimiento a los acuerdos del Consejo Nacional y las Conferencias Nacionales, con el fin de contar con información respecto del status que guardan y el indicadór que se cóntempla es el Avance en el desarrólló de infórmes de seguimiento a los acuerdos[ ] sin embargo, no se cuenta con protocolos ni metodología para orientar dicho desarrollo de informes. En resumen, no se aprecia una justificación teórica que sustente la creación del Programa, lo cual dificulta su conformación como un conjunto articulado de acciones, metas y objetivos. En términos empíricos, se justifica su creación por la evidente falta de coordinación que ha habido en las áreas de seguridad pública y que se reconoce en el diagnóstico realizado en el PND, pero no hay un estudio que profundice más allá de ello. 7 Ley General del Sistema Nacional de Seguridad Pública 8 Reglamento del Sistema Nacional de Seguridad Pública

24 Sugerencias Se sugiere adoptar metodologías de seguimiento y evaluación sobre solución de problemas relacionados con la seguridad pública y realizar un documento que diagnostique de manera adecuada el problema que pretende atender el programa. Esto es muy útil para plantear escenarios sobre los posibles problemas políticos que pueden surgir cuando se pretende coordinar a distintas áreas o poderes incluyendo a la sociedad civil y las soluciones que pueden ser factibles de implantar. 23 No se debe perder de vista que la población objetivo son las instancias que están involucradas en el cumplimiento de los acuerdos. En base a ello, se debe buscar justificar y medir el programa según las acciones, gastos y los indicadores clave para llevar un seguimiento más preciso del grado de cumplimiento en tiempo y forma, así como en el gasto realizado. En su caso, si no existe regulación que norme con obligaciones y sanciones a los involucrados, con la realización de este documento sugerido se pueden justificar adecuaciones a la norma. Bajo el conocimiento de que este programa se encuentra en fase de rediseño, sería de mucho valor incluir la justificación teórica en el documento de rediseño y compactación de los programas que se encuentra en proceso de elaboración. Para ello, se sugiere revisar la siguiente bibliografía: Bibliografía recomendada Watkins, Ryan et al. A guide to assessing needs: Essential tools for collecting information, making decisions and achieving development results. The World Bank Lopez-Acevedo Gladys, et al. Building Better Policies: The nuts and bolts of monitoring and evaluation systems, The World Bank, 2012 U.S. Department of Justice. Guidelines for developing a criminal justice coordinating committee European Comission. Project Cycle Management Guidelines, 2004 European Commission Project Cycle Management Handbook. 2002

25 4. El Propósito del programa está vinculado con los objetivos del programa sectorial, especial o institucional considerando que: a) Existen conceptos comunes entre el Propósito y los objetivos del programa sectorial, especial o institucional, por ejemplo: población objetivo. b) El logro del Propósito aporta al cumplimiento de alguna(s) de la(s) meta(s) de alguno(s) de los objetivos del programa sectorial, especial o institucional. 24 Respuesta Si / Nivel 1 El programa cuenta con un documento en el que se establece la relación del Propósito con los objetivo(s) del programa sectorial, especial o institucional, y No es posible determinar vinculación con los aspectos establecidos en la pregunta. Justificación Aunque en el momento de la revisión no existe programa sectorial ,en el programa sectorial se observa claramente la alineación entre los objetivos del programa (Ejecución y seguimiento de acuerdos) y el PND donde se buscan la coordinación y el uso transparente de los recursos públicos. En la ficha técnica 2012 el propósito es que las entidades ajusten sus recursos del FASP de acuerdo a los programas, políticas y estrategias, protocolos y acciones del SNSP, dejando de lado, en su caso, a las instancias federales y a la sociedad civil, coadyuvantes ambas, del seguimiento de acuerdos. Sugerencias En el documento de rediseño y compactación de los programas, que se encuentra en proceso de desarrollo, relacionar el propósito y los objetivos con las instancias involucradas en la ejecución y cumplimiento de los acuerdos.

26 IV 1 3 Análisis de la contribución del Programa a los objetivos nacionales y sectoriales. 5. Con cuáles objetivos, ejes y temas del Plan Nacional de Desarrollo vigente está vinculado el objetivo sectorial relacionado con el programa? Respuesta 25 Según la información revisada acerca de los contenidos del programa, se podría decir que, prácticamente, existe una vinculación con todos los objetivos del Eje 1 Estado de Derecho y seguridad, del PND, ya que este programa está enfocado a revisar los avances y problemáticas que cada entidad federativa padece en su fuero interno con respecto a la seguridad. Sin embargo, se pudo identificar que en lo particular, esta alineación es mucho más visible en los Objetivos 5. Combatir la impunidad para disminuir los niveles de incidencia delictiva; 7. Establecer mecanismos y procesos que permitan conocer sistemáticamente las características y patrones del fenómeno delictivo en México, y aseguren la disponibilidad de información confiable y oportuna; y 9. Generalizar la confianza de los habitantes en las instituciones públicas, particularmente en las de seguridad pública, procuración e impartición de justicia. Respectivamente, en las estrategias 5.1. Fortalecer la coordinación y cooperación entre los tres órdenes de gobierno para combatir la delincuencia; 7.2. Generar, fortalecer y coordinar los sistemas de inteligencia en el Gobierno Federal; y 9.6. Coordinar y establecer mecanismos para la transparencia y rendición de cuentas de los gobiernos estatales y municipales en el ejercicio de recursos federales. Con relación al PND está vinculado con los objetivos del Plan Nacional de Desarrollo , en el punto I.2. Plan de acción: fortalecer al Estado y garantizar la paz. En particular con la estrategia señalada bajo el objetivo 1.3 enfocado en mejorar las condiciones de la seguridad pública. Sugerencias Debido a que se está evaluando el último año de vigencia del PND , se sugiere no perder de vista la necesidad de alineación de objetivos con el PND , para mantener la congruencia y consistencia del programa.

27 6. Cómo está vinculado el Propósito del programa con las Metas del Milenio? Respuesta (No procede valoración cuantitativa) El programa está vinculado de manera indirecta con las Metas del Milenio 26 Justificación Los objetivos de Desarrollo del Milenio ODM tienen que ver con combatir la pobreza, el hambre, las enfermedades, el analfabetismo, la degradación del medio ambiente, la discriminación contra la mujer y crear una alianza mundial para el desarrollo por lo que directamente, los objetivos de este programa no están vinculados. Sin embargo y dado que la seguridad es fundamental para el desarrollo de todas las demás actividades, se relaciona indirectamente. Es decir que bajo el marco de la seguridad es que se pueden ejercer todas las demás libertades.

28 IV 1 4. Análisis de la población potencial y objetivo 7. Las poblaciones, potencial y objetivo, están definidas en documentos oficiales y/o en el diagnóstico del problema y cuentan con la siguiente información y características: a) Unidad de medida. b) Están cuantificadas. c) Metodología para su cuantificación y fuentes de información. d) Se define un plazo para su revisión y actualización. 27 Respuesta Si / Nivel 1 El programa tiene definidas las poblaciones (potencial y objetivo), y Las definiciones cuentan con una de las características establecidas. Justificación El dócumentó denóminadó Estructura Analítica del Prógrama Presupuestal 9 define como población objetivo a la de las 32 entidades federativas, lo cual es inadecuado, ya que la población no es responsable de la adquisición ni del seguimiento a los acuerdos. Por lo mismo se omite la unidad de medida y por ello, no están cuantificadas ni definidas las poblaciones potencial y objetivo. Y debido a que no se cuenta con algún diagnóstico del problema, no se tiene metodología para cuantificar a la población ni fuente de información alguna que señale quién o quiénes son la población objetivo del programa. Sugerencias. Realizar un diagnóstico tomando en consideración la experiencia adquirida en la operación del programa. Esto permitirá definir con mayor precisión no solo a la población objetivo, sino establecer de manera procedimental quienes deben ser sus 9 P01 estructura analítica P14- FDO

29 operadores en el caso de los enlaces, así como definir los indicadores y demás elementos que se requieran para una instrumentación más apropiada. Para poder realizar una valoración más documentada de lo que se esperaría del programa, se sugiere revisar la siguiente bibliografía: Berry, Geoff y Mike Carter. Assessing crime prevention initiatives: the first steps. Crime Prevention Unit Paper No. 31. Home Office. London Cushman, Robert C. Guidelines for developing a criminal justice coordinating committee. U. S. Department of Justice. National Institute of Correction, Osnick Milligan, Stacy y Lorie Fridell. Implementing an Agency- Level Performance Measurement System: a guide for law enforcement executives. Police executive research forum Dilulio, John J. Jr. et al. Performance measures for the criminal justice system. Discussion paper from the BJS- Princeton Project OECD. Performance budgeting in OECD Countries

30 8. Existe información que permita conocer quiénes reciben los apoyos del programa (padrón de beneficiarios) que: a) Incluya las características de los beneficiarios establecidas en su documento normativo. b) Incluya el tipo de apoyo otorgado. c) Esté sistematizada e incluya una clave única de identificación por beneficiario que no cambie en el tiempo. d) Cuente con mecanismos documentados para su depuración y actualización. 29 Respuesta No aplica Justificación El programa no entrega apoyos y no se considera la existencia de beneficiarios (personas físicas o morales, públicas o privadas y, en general, quien reciba subsidios y apoyos presupuestarios, por haber cumplido con los criterios de elegibilidad y con los requerimientos establecidos en las disposiciones aplicables) ya que el presupuesto que tiene asignado es para el seguimiento a actividades y acuerdos generados en el marco del Consejo Nacional de Seguridad Pública. Por otra parte, la definición de la población objetivo actual considera a la población nacional en su conjunto, cuestión que no se justifica sino de manera indirecta, debido a que en realidad, los usuarios o beneficiarios directos del programa serían quienes se encargan de operarlo a nivel de las entidades e instancias participantes en las sesiones del CNSP y por tanto, responsables de asegurar el cumplimiento de los acuerdos a los que se da seguimiento. Sugerencia Redefinir la población objetivo de acuerdo a como se señala en la sugerencia de la pregunta 7. Y una vez redefinida la población, se sistematice la información de los ejecutores (beneficiarios o padrón de instancias responsables) según el árbol de ejemplo, a continuación. Considérese dicho árbol en sentido enunciativo y no limitativo.

31 30

32 9. Si el programa recolecta información socioeconómica de sus beneficiarios, explique el procedimiento para llevarlo a cabo, las variables que mide y la temporalidad de las mediciones. Respuesta 31 No aplica, el programa no tiene beneficiarios. Justificación Al estar mal definida la población, no se recolecta información. Una vez que se tenga una definición clara de a quién va dirigido el programa, se podrá realizar esta actividad, como se señala en la sugerencia en la pregunta anterior.

33 IV 1 5. Análisis de la Matriz de indicadores para resultados 10. En el documento normativo del programa es posible identificar el resumen narrativo de la Matriz de Indicadores para Resultados (Fin, Propósito, Componentes y Actividades)? Respuesta 32 Si /Nivel 1 Algunas de las Actividades de la MIR se identifican en las ROP o documento normativo del programa. Justificación En la MIR se identifican fin, propósito, componentes y actividades, pero se encuentran mal definidos en tanto que no se enfocan en el objetivo final del programa y, de esta manera, correlacionan el fin con el otorgamiento del FASP, los componentes con los correos atendidos por el REPUVE, los convenios de coordinación y las llamadas ciudadanas atendidas por el REPUVE, y finalmente la actividad también está relacionada con el REPUVE y las reuniones con las 32 entidades federativas. Sugerencias Se recomienda que las áreas encargadas de la operación del programa, dentro del proyecto de rediseño y compactación que se encuentra en proceso, construyan un documento que contenga los lineamientos esenciales que orienten las acciones de tal forma que se sustente en mejor forma a la Matriz de Indicadores de Resultados, contemplando a las instancias encargadas del cumplimiento de acuerdos.

34 11. Las Fichas Técnicas de los indicadores del programa cuentan con la siguiente información: a) Nombre. b) Definición. c) Método de cálculo. d) Unidad de Medida. e) Frecuencia de Medición. f) Línea base. g) Metas. h) Comportamiento del indicador (ascendente, descendente, regular o nominal). 33 Respuesta Si / Nivel 1 Del 85% al 100% de las Fichas Técnicas de los indicadores del programa tienen las características establecidas Justificación En el dócumentó denóminadó Ficha Técnica del Programa P se cuenta con dicha información. Sin embargo debido a la deficiente definición de la población objetivo, lo que se mide o pretende medir en dicha ficha no concuerda con los objetivos finales que deben tener este programa. Sugerencias Se recomienda continuar con los trabajos iniciados en el año 2013, reflejados en el rediseño y compactación de los programas presupuestarios donde puede redefinirse a las fichas técnicas de los indicadores con base en una definición adecuada de la población objetivo. 10 Ficha Técnica P014

35 12. Las metas de los indicadores de la MIR del programa tienen las siguientes características: a) Cuentan con unidad de medida. b) Están orientadas a impulsar el desempeño, es decir, no son laxas. c) Son factibles de alcanzar considerando los plazos y los recursos humanos y financieros con los que cuenta el programa. 34 Respuesta Si / Nivel 1 Más del 0% y hasta el 49% de las metas de los indicadores del programa tienen las características establecidas. Justificación Aunque se cuenta con unidad de medida claramente definida, como se ha señalado hasta aquí, existe poca claridad en los contenidos y objetivos finales del programa. Sin embargo puede señalarse que en el año 2012 se iniciaron trabajos con objeto de recomponer y rediseñar dicho programa. Éstos continúan en proceso, ya que se llevó a cabo la compactación de los programas presupuestales y de los 4 con clave P existentes se planteó que quedara uno sólo con clave P para el 2014 que lleva el nombre de Coordinación con las instancias que integran el sistema nacional de seguridad pública y donde se contempla realizar las actividades de coordinación y seguimiento de acuerdos. Por otro lado, aunque se señala en el reporte de avance generado que al 2012, se tienen avances que van del 31.25% al 100% o bien los indicadores son irrelevantes o bien no existe documentación suficiente que de soporte a estas afirmaciones, ya que no existe sistematización alguna de la información y los informes se basan en que el pleno, en las reuniones del CNSP, da esos informes de avance. Por lo que se sugiere que se robustezca este tipo de documentación. Sugerencias Continuar con los trabajos de rediseño iniciados en el año 2012, y con ello, establecer nuevos parámetros en cuanto a las características de las metas de los indicadores de la MIR, con base en la compactación de los programas que se ha venido realizando.

36 IV 1 6. Análisis de posibles complementariedades y coincidencias con otros programas federales. 13. Con cuáles programas federales y en qué aspectos el programa evaluado podría tener complementariedad y/o coincidencias? 35 Cabe señalar que en la página de la Secretaría de Gobernación que tiene que ver con Reporte de la MIR de todos los programas presupuestales, los programas presupuestales P013 y P014 reportan la misma alineación. Así, aunque pudiera pensarse que el programa P014 tiene complementariedad cón el prógrama P013 Emisión y supervisión de criteriós, nórmas, prócedimientós y estándares de evaluación y control de confianza de servidores públicos de las Instituciónes de Seguridad Pública en cuantó a que dichó prógrama P013 señala en su alineación que unó de sus óbjetivós es el de Cóórdinar, articular y alinear lós esfuerzos de colaboración de las instancias de seguridad pública promoviendo y cumpliendó cón la Ley y las directrices del Cónsejó Naciónal de Seguridad Pública. En la SEGOB, estos programas se consideran complementarios ya que al revisar a detalle los resultados en cuanto a nivel, objetivos, denominación y métodos de cálculo, se encuentra que en realidad el programa P013 tiene que ver con exámenes de control de confianza, por lo que no puede señalarse complementariedad debido a que forman parte de una sola estrategia y sin uno no podría darse de manera confiable el otro. nsformacion=s&excel=n&ka_imagen=16&zip=n&paramts=0%3dl16

37 Tema IV 2. Planeación y Orientación a Resultados del programa IV 2. 1 Instrumentos de planeación 14. La Unidad Responsable del programa cuenta con un plan estratégico con las siguientes características: 36 a) Es resultado de ejercicios de planeación institucionalizados, es decir, sigue un procedimiento establecido en un documento. b) Contempla el mediano y/o largo plazo. c) Establece los resultados que quieren alcanzar, es decir, el Fin y Propósito del programa. d) Cuenta con indicadores para medir los avances en el logro de sus resultados. Respuesta (Valoración 5 /16) Si / Nivel 1 El plan estratégico tiene una de las características establecidas. Justificación Puede señalarse que en el Programa Anual de Trabajo 2011 del SESNSP se realiza la planeación institucional donde se da cuenta de las prioridades y elementos estratégicos, mismos que se redefinen en el Programa Anual de Trabajo PAT 2013, pero ahí no se establecen los procedimientos para la planeación. Sin embargo, debido a la propuesta de compactación de programas concluida en julio de 2013, en el PAT 2013 no se contempla el mediano plazo. El PAT sí establece los resultados que se quieren alcanzar, pero con base en cómo se encontraba el P014 en 2012, con la definición inadecuada que aquí se ha mencionado, por lo que los resultados que se quieren alcanzar y los indicadores de avance de los procesos, para el año 2013, son inadecuados o irrelevantes. Sugerencias Concluir el proceso de compactación y el rediseño de metas, objetivos e indicadores.

38 37

39 15. El programa cuenta con planes de trabajo anuales para alcanzar sus objetivos que: a) Son resultado de ejercicios de planeación institucionalizados, es decir, siguen un procedimiento establecido en un documento. b) Son conocidos por los responsables de los principales procesos del programa. c) Tienen establecidas sus metas. d) Se revisan y actualizan. 38 Respuesta Si / Nivel 1 Los planes de trabajo anuales tienen una de las características establecidas Justificación Véase la justificación a la respuesta 14. Los Planes Anuales de Trabajo sí existen, siguen un procedimiento, son conocidos, tienen establecidas sus metas y se revisan y actualizan de forma anual. Sin embargo, el Programa de Trabajo Anual 2013 sólo señala la obligación radicada en la Dirección General de Planeación para Establecer la cóórdinación, registró y seguimiento a los acuerdos del Consejo Nacional y las Conferencias Nacionales con el fin de contar con información respecto del estatus que guardan, y se plantea como meta el desarrollar como mínimo dos informes de seguimiento de los acuerdos; Además, al no estar sistematizada la información relacionada con dicha coordinación, registro y seguimiento de los acuerdos, puede señalarse que no responde a un ejercicio planificado, no se tiene una definición exacta de los objetivos del programa, por lo que las metas establecidas son irrelevantes y las revisiones y actualizaciones han quedado en meros documentos de trabajo. Sugerencia En el proyecto de rediseño y compactación, se contemplen los mecanismos y procedimientos de recolección, sistematización y automatización de información que apoyen a un proceso de planeación, con base en y retroalimentados por los resultados obtenidos.

40 IV.2.2 De la orientación hacia resultados y esquemas o procesos de evaluación 16. El programa utiliza informes de evaluaciones externas: 39 a) De manera regular, es decir, uno de los elementos para la toma de decisiones sobre cambios al programa son los resultados de evaluaciones externas. b) De manera institucionalizada, es decir, sigue un procedimiento establecido en un documento. c) Para definir acciones y actividades que contribuyan a mejorar su gestión y/o sus resultados. d) De manera consensada, participan operadores, gerentes y personal de la unidad de planeación y/o evaluación. Respuesta Si / Nivel 4 El programa utiliza informes de evaluación externa y tiene todas las características establecidas. Justificación Existe al menos una evaluación externa previa relacionada con el diseño del programa. En ella se señaló expresamente parte de la problemática hasta aquí planteada. Es a partir de dicha evaluación que se ha trabajado en el proceso de rediseño y de donde surge la propuesta de compactación de programas presupuestales que se espera esté funcional para el año Se piensa que en este rediseño se tenga una nueva MIR, un árbol de problemas y objetivos diferentes, así como una nueva estructura analítica presupuestal.