TABLA DE CONTENIDO TABLA DE CONTENIDO... 2 I. CONSIDERACIONES GENERALES... 3 II. PROCEDIMIENTO DE EVALUACIÓN... 6 Planeación.... 6 Ejecución.... 7 Informe.... 7 Seguimiento.... 8 III. MATRIZ DE INDICADORES PARA RESULTADOS (MIR)... 8 IV. METODOLOGÍA DE EVALUACIONES... 8 Evaluación de indicadores (EI)... 8 Evaluación de diseño (ED)... 9 V. CRONOGRAMA DE EJECUCIÓN... 9 VI. MONITOREO... 9 VII. CONSIDERACIONES FINALES... 10 VIII. TRANSITORIOS... 10 IX. ANEXOS... 10 TD: FUN Página 2 de 10
Dr. Jorge Alejandro Ortiz Ramírez, Auditor Superior del Estado de Jalisco, con fundamento en el artículo 20, fracción V, de la Ley de Fiscalización Superior y Rendición de Cuentas del Estado de Jalisco y sus Municipios expido el siguiente: PROGRAMA ANUAL DE EVALUACIÓN DE LA AUDITORÍA SUPERIOR DEL ESTADO DE JALISCO 2018 I. CONSIDERACIONES GENERALES Con fundamento en los artículos 35-Bis de la Constitución Política del Estado de Jalisco; 79 de la Ley General de Contabilidad Gubernamental; 42 de la Ley de Fiscalización Superior y Rendición de Cuentas del Estado de Jalisco y sus Municipios; 12, 13, 16 y 17 de los Lineamientos del Sistema de Evaluación del Desempeño de la Auditoría Superior del Estado de Jalisco; así como lo estipulado por el Reglamento Interior de la ASEJ; en vinculación con lo establecido en el Plan Institucional de la Gestión Pública 2018-2025, el Programa Anual de Actividades y Auditorías 2018 y sus modificaciones, atendiendo a los indicadores establecidos en la Matriz de Indicadores de Resultados de la Auditoría Superior del Estado del Estado de Jalisco, así como los señalados en el Plan Estatal de Desarrollo Jalisco 2013-2033 y sus modificaciones. 1. Objetivo general: Realizar una valoración al desempeño de los programas y unidades administrativas seleccionados que permita identificar y valorar sus fortalezas, debilidades, así como áreas de oportunidad y mejora a partir de las metas y objetivos propuestos en PIASEJ y la Matriz de Indicadores de Resultados de la ASEJ de conformidad con lo estipulado en el Sistema de Evaluación del Desempeño de la Auditoría Superior del Estado de Jalisco. 2. Objetivos específicos: a) Seleccionar los programas y unidades administrativas a las cuales se les realizarán evaluaciones, los tipos de las mismas y los alcances que tendrán. b) Calendarizar las evaluaciones del año 2018, a través de un cronograma de ejecución. c) Emitir recomendaciones de mejora a las diversas unidades administrativas, para la corrección de irregularidades, así como definir las áreas de oportunidad detectadas en el proceso de evaluación. d) Dar seguimiento a las observaciones y recomendaciones de las evaluaciones realizadas en cumplimiento al presente Programa, así como a la adopción de medidas y acciones para su cumplimiento por parte de las unidades administrativas evaluadas como elemento relevante del Sistema de Evaluación del Desempeño de la ASEJ. TD: FUN Página 3 de 10
3. Definiciones. Para efectos del presente Programa, se entenderá por: a) Equipo evaluador: conjunto de personas encargadas de llevar a cabo el diseño, la ejecución y la emisión del informe de las evaluaciones. b) Evaluación: conjunto de actividades encaminadas a valorar cuantitativa y cualitativamente los resultados de los proyectos y programas emanados del PIASEJ, con la finalidad de reorientar su ejecución y generar el perfeccionamiento de la eficacia y eficiencia de los recursos empleados para alcanzar los objetivos previstos. c) Evaluación complementaria: son de aplicación opcional de acuerdo con las necesidades e intereses de la institución y tiene como finalidad obtener evidencia adicional sobre el desempeño de los programas con el fin de mejorar su gestión. d) Evaluación de consistencia y resultados: analiza sistemáticamente el diseño y desempeño global de los programas, para mejorar su gestión y medir el logro de sus resultados con base en la matriz de indicadores. e) Evaluación de diseño: instrumento dirigido a los programas de nueva creación para mejorar la lógica interna de un programa, es decir, saber si su esquema actual contribuye a la solución del problema para el cual fue creado. f) Evaluación de impacto: identifica con metodologías rigurosas el cambio en los indicadores a nivel de resultados, atribuible a la ejecución del programa. g) Evaluación de indicadores: analiza mediante trabajo de campo, la pertinencia y alcance de los indicadores de un programa para el logro de resultados. h) Evaluación de procesos: analiza mediante trabajo de campo si el programa lleva a cabo sus procesos operativos de manera eficaz y eficiente y si contribuye al mejoramiento de la gestión. i) Evaluación específica: aquellas evaluaciones no comprendidas en los Lineamientos y en el PAE18 y que se realizarán mediante trabajo de gabinete y/o de campo. j) Evaluación integral: proporciona una valoración general del desempeño de un conjunto de programas que conforman una temática específica. k) Informe: es el documento donde se expresan las conclusiones y, en su caso, las observaciones y recomendaciones, que el equipo evaluador emite sobre la gestión de la unidad administrativa evaluada. TD: FUN Página 4 de 10
l) Programa: es el conjunto interrelacionado de actividades o procesos sistemáticos de las unidades administrativas que tienen como finalidad atender un problema definido a través de la entrega de insumos o servicios. Por cada programa llevado a cabo por las diferentes áreas institucionales se elaborará una Matriz de Indicadores de Resultados. m) Programa Anual de Evaluación: documento mediante el cual la Unidad de Evaluación programa y planea las auditorías, visitas, inspecciones y evaluaciones técnicas a las unidades administrativas a realizar a partir de los resultados que arroja el Sistema de Evaluación del Desempeño. n) Sistema de Evaluación del Desempeño: conforme al artículo 3, fracción XIV de la Ley de Fiscalización Superior y Rendición de Cuentas del Estado de Jalisco y sus Municipios, se define como el conjunto de elementos metodológicos que permiten realizar una valoración objetiva del desempeño de los programas bajo los principios de verificación del grado de cumplimiento de metas y objetivos, con base en matrices de indicadores para resultados, estratégicos y de gestión que permitan conocer el impacto social de los programas y proyectos. o) Términos de referencia: definen los objetivos, características, aspectos metodológicos y las fechas relevantes con las que serán realizadas las evaluaciones. p) Unidad de Evaluación: unidad administrativa de la institución encargada implementar las evaluaciones de desempeño y dar seguimiento al PAE. q) Unidad responsable o unidad administrativa: unidad mínima a la que se dota de asignación presupuestaria para que desarrolle de manera específica las funciones previstas en el marco de sus atribuciones establecidas en el reglamento interno o documentos legales o administrativos respectivos. 4. Abreviaturas. Para efectos del presente Programa, se entenderá por: a) ASEJ: Auditoría Superior del Estado de Jalisco. b) EC: evaluación complementaria. c) ECR: evaluación de consistencia y resultados. d) ED: evaluación de diseño. e) EE: evaluación específica. f) EI: evaluación de indicadores. g) EIM: evaluación de impacto. h) EIT: evaluación integral. i) EP: evaluación de procesos. j) Lineamientos: Lineamientos del sistema de evaluación del desempeño de la ASEJ. TD: FUN Página 5 de 10
k) MIR: matriz de indicadores para resultados. l) PAE: Programa Anual de Evaluación. m) PAE18: Programa Anual de Evaluación de la Auditoría Superior del Estado de Jalisco 2018. n) PIASEJ: Plan Institucional de la Gestión Pública 2018-2025 de la ASEJ. o) SED: Sistema de Evaluación del Desempeño de la ASEJ. p) TdR: términos de referencia. q) UE: unidad de evaluación. r) UR: unidad responsable. II. PROCEDIMIENTO DE EVALUACIÓN 5. La UE es la encargada de coordinar todas las etapas de las evaluaciones del cronograma de ejecución del PAE18, acatando los Lineamientos. 6. La evaluación debe cubrir las cuatro fases que el artículo 19 de los Lineamientos exige para las mismas. Planeación. 7. El PAE18 señala que las evaluaciones contempladas serán realizadas dentro del periodo estipulado en los Lineamientos. 8. La selección de las evaluaciones atiende a los criterios contemplados en los Lineamientos, que entre otros pueden ser: a) Riesgos potenciales del proceso o área a revisar; b) Ineficacia de los procedimientos de fiscalización sustantivos; c) Montos, naturaleza, características e importancia relativa de los rubros, operaciones, programas, proyectos y recursos sujetos a revisión; d) Debilidad de los controles internos; e) Deficiencias en la definición de indicadores financieros, de gestión y administrativos; f) Seguimiento de evaluaciones realizadas con anterioridad por la Unidad de Evaluación; g) Incumplimiento de normas, programas, proyectos, objetivos y metas; h) Atención de quejas y denuncias, y i) Cualquier aspecto relevante a consideración del titular de la ASEJ. 9. El PAE18 está dirigido a todas las unidades administrativas de la ASEJ, a efecto establecer los programas y procesos seleccionados para ser evaluados, identificando las UR que los operan y fijando el cronograma de ejecución. 1 1 Ver cronograma de ejecución en el apartado V. TD: FUN Página 6 de 10
10. Una vez autorizado el PAE18 por el Auditor Superior, se remitirá a las unidades administrativas para hacer de su conocimiento la calendarización de las evaluaciones. 11. A su vez, las/los titulares de las unidades administrativas deberán socializar el PAE18 con el personal su cargo, para que conozcan los tipos de evaluaciones que se llevarán a cabo y la participación que su área tendrá en las mismas, dejando constancia escrita de que se hizo de su conocimiento. 12. El equipo evaluador será designado de acuerdo a los procedimientos internos y tomando en cuenta lo establecido en los Lineamientos y en Reglamento Interno de la ASEJ. 13. El PAE18 contempla los siguientes tipos de evaluación a llevar a cabo: a) Indicadores. b) Diseño. Ejecución. 14. Para el desarrollo de esta etapa, el equipo evaluador definirá las diversas acciones a llevar a cabo, con la finalidad de verificar la efectividad y eficiencia con que las UR realizan sus encargos, procesos y atribuciones, así como el nivel de cumplimiento en el logro de sus objetivos. 15. En esta etapa se podrá solicitar a las UR a evaluar la evidencia documental, practicar inspecciones oculares, observaciones in situ, solicitar información complementaria y todos aquellos documentos, soportes y actividades que permitan verificar el nivel de cumplimiento de las metas y objetivos propuestos a las unidades administrativas al inicio del periodo de la gestión evaluada. 16. La etapa de ejecución comprende las siguientes actividades: a) Notificación de la orden de evaluación a la unidad administrativa. b) Recolección de evidencia. c) Elaboración de cédulas de resultados. 17. Las actividades a que se hace referencia el numeral anterior deberán realizarse contemplando los requisitos establecidos en los Lineamientos para tales efectos. Informe. 18. Al finalizar cada evaluación, la UE realizará un informe que contendrá el estado de los procesos, indicadores, documentos y actividades evaluadas, así como los hallazgos detectados y la evidencia de los mismos. TD: FUN Página 7 de 10
19. Derivado de los hallazgos y resultados de las evaluaciones realizadas, se emitirán las observaciones, recomendaciones y/o acciones de mejora, así como un plazo razonable para que las unidades administrativas las adopten y cumplimenten. 20. El informe de la evaluación será notificado a las unidades administrativas evaluadas, para efectos de que las UR atiendan las observaciones y recomendaciones emitidas. Seguimiento. 21. Las unidades administrativas que han sido evaluadas, deben atender las medidas recomendadas como resultado de la evaluación practicada en el lapso de tiempo estipulado, respetando las etapas y plazos contemplados en los Lineamientos. 22. La UE, se encargará de vigilar, constatar y, en su caso, validar que las acciones llevadas a cabo por las unidades administrativas han sido debidamente cumplimentadas, conforme a las reglas establecidas en los Lineamientos. III. MATRIZ DE INDICADORES PARA RESULTADOS (MIR) 23. Los indicadores establecidos en la MIR contienen los elementos a ser evaluados en el presente PAE18. Se utilizará la información contenida en la MIR para llevar a cabo la evaluación, con la finalidad de verificar su avance y pertinencia en concordancia con el Programa Anual de Actividades y Auditorías 2018 y sus modificaciones. IV. METODOLOGÍA DE EVALUACIONES Evaluación de indicadores (EI). 24. Deberá realizarse con base en el modelo TdR (anexo 1) así como los demás elementos particulares que se establezcan para dicho fin. 25. Se evaluarán los indicadores contemplados en la MIR 2018 de la ASEJ. 26. La evaluación de indicadores es pertinente porque al contar con nuevos instrumentos de planeación, es necesario garantizar que los indicadores realmente midan y suministren información oportuna y adecuada sobre el alcance en el cumplimiento de los objetivos y metas, con el fin de proveer datos y evidencia que permitan la evaluación del desempeño de los programas. TD: FUN Página 8 de 10
Evaluación de diseño (ED). 27. Deberá realizarse con base en el modelo TdR (anexo 2) y demás elementos particulares que se establezcan para dicho fin. 28. La evaluación de diseño contempla realizar una valoración sobre la normativa interna, así como los procesos y mecanismos de la implementación del SED. 29. Dicha evaluación es pertinente, porque permitirá desarrollar una logística y metodología más robustas para la implementación del SED y se encuentra justificada en la publicación de la Ley de Fiscalización Superior y Rendición de Cuentas del Estado de Jalisco y sus Municipios, 3 que establece cambios sustanciales para la evaluación del desempeño de los entes públicos. V. CRONOGRAMA DE EJECUCIÓN 30. La calendarización de las evaluaciones se encuentra proyectada en el siguiente cronograma: EI-18-01 ED-18-01 CONCEPTO Evaluación de indicadores (EI) Matriz de indicadores para resultados de la ASEJ Evaluación de diseño (ED) Sistema de Evaluación del Desempeño. UNIDAD DE EVALUACIÓN CRONOGRAMA DE EJECUCIÓN Términos de referencia Evaluación de Indicadores Evaluación de Diseño ENE FEB MAR ABR MAY JUN JUL AGO SEP OCT NOV DIC X X X X X X X X X X X X 31. El cronograma de ejecución se proyectó atendiendo a los criterios y términos establecidos en los Lineamientos y la MIR 2018 de la ASEJ. VI. MONITOREO 32. La UE llevará a cabo reuniones periódicas para valorar los avances de las evaluaciones e informes, determinar la pertinencia de realizar evaluaciones complementarias, verificar el avance en el cumplimiento de las recomendaciones por parte de las unidades administrativas o UR, y resolver cualquier otra consideración en materia de lo dispuesto en el presente documento y/o los Lineamientos. 3 Publicada el 26 de septiembre de 2017. TD: FUN Página 9 de 10
VII. CONSIDERACIONES FINALES 33. La UE, en el ámbito de su competencia, notificará mediante memorándum a las unidades administrativas o UR sobre las modificaciones que, en su caso, se realicen al PAE18, así como las evaluaciones complementarias que se considere pertinente implementar durante la vigencia del presente documento. 34. La UE atenderá las consultas y solicitudes relacionadas con el PAE18 y resolverá los casos no previstos en los ámbitos de su competencia. VIII. TRANSITORIOS PRIMERO. El presente documento entra en vigor a partir del día siguiente de su autorización y emisión. SEGUNDO. Hasta en tanto no se realicen las adecuaciones administrativas, presupuestales y de infraestructura necesarias para el debido cumplimiento de las disposiciones de este ordenamiento interno, las funciones relativas a la unidad de evaluación se llevarán a cabo por la Dirección de Programación, Evaluación y Seguimiento. IX. ANEXOS Anexo 1: Términos de Referencia. Evaluación de Indicadores. Anexo 2: Términos de Referencia. Evaluación de Diseño. TD: FUN Página 10 de 10