Marco para la Medición del Desempeño de las Entidades Fiscalizadoras Superiores

Transcripción

1 Marco para la Medición del Desempeño de las Entidades Fiscalizadoras Superiores LISTA DE CONTROL DE ASEGURAMIENTO DE LA CALIDAD PARA LOS TÉRMINOS DE REFERENCIA Versión en borrador 1.1 Octubre de 2014 Secretaría de la Cooperación INTOSAI-Donantes para el Grupo de Trabajo de la INTOSAI sobre el Valor y los Beneficios de las Entidades Fiscalizadoras Superiores (WGVBS) Detalles de contacto Secretaría de la Cooperación INTOSAI-Donantes: INTOSAI.donor.secretariat@idi.no

2 Tabla de contenidos 1. Introducción Buenas prácticas en materia de aseguramiento de la calidad La oferta de la IDI en materia de aseguramiento de la calidad Lista de control para el aseguramiento de la calidad de los Términos de referencia del MMD de las EFS...4 A. Propiedad... 4 B. Propósito... 5 C. Antecedentes... 5 D. Comprensión de la EFS... 5 E. Alcance de la evaluación... 6 F. Cronología de la evaluación... 7 G. Composición, aptitudes y responsabilidades del equipo... 7 H. Control de calidad... 8 I. Aseguramiento de la calidad... 8 J. Utilización proyectada de los resultados de la evaluación... 9 K. Apoyo a la evaluación del MMD de las EFS... 9 L. Logística M a r c o p a r a l a M e d i c i ó n d e l D e s e m p e ñ o d e l a s E F S Página 2

3 1. Introducción El aseguramiento de la calidad (AC) es un factor esencial para el logro de la objetividad y la credibilidad de las evaluaciones. Si se realiza correctamente, posibilita que una misma evaluación satisfaga las necesidades de las diferentes partes interesadas. También contribuye a la supervisión de los progresos realizados a lo largo del tiempo mediante la reiteración de las evaluaciones. Garantizar la calidad y la objetividad de las evaluaciones es un requisito fundamental para elaborar un Informe de desempeño de la EFS (ID de la EFS) que potencie los esfuerzos en pro del desarrollo realizados por una EFS. El AC supone que la evaluación sea examinada por alguien que no haya participado de forma directa en la labor de evaluación detallada, a los efectos de garantizar que dicha evaluación tenga la calidad suficiente. Debería garantizarse que el AC forme parte de la totalidad del proceso del MMD de las EFS, especialmente durante la etapa de planificación (mediante el AC de los términos de referencia (TdR) para la realización de la evaluación), como así también de la etapa de elaboración de los informes, tanto en sus versiones en borrador como definitivas. Esta lista de control está concebida para brindar apoyo a los examinadores de AC en la realización de un examen minucioso de los TdR del MMD de las EFS. 2. Buenas prácticas en materia de aseguramiento de la calidad El examen de AC en la etapa correspondiente a la formulación de los TdR contribuye a las siguientes buenas prácticas en materia de AC, garantizando que el proceso de AC se encuentre debidamente diseñado desde el inicio: i. La conducción de la EFS selecciona el(los) examinador(es) de aseguramiento de la calidad, de modo tal de cumplir con el propósito de la evaluación ii. iii. iv. El diseño del proceso de aseguramiento de la calidad se incorpora a los Términos de referencia Los Términos de referencia están diseñados para garantizar la calidad1 y son examinados de forma independiente, previamente a la aprobación y el inicio de la evaluación El aseguramiento de la calidad se realiza de forma independiente de aquellos que son responsables por la elaboración del informe v. El proceso de aseguramiento de la calidad incluye un examen por parte de una persona familiarizada con el país y con la EFS, en condiciones de garantizar que el objetivo (a) del proceso de aseguramiento de la calidad se cumpla (es decir, es el informe fácticamente correcto?) 1 Por ejemplo, mediante el diseño de un enfoque del MMD de las EFS que sea pertinente para la EFS, la selección de un equipo con la experiencia y los conocimientos adecuados en materia de EFS y el MMD de las EFS, y la constatación de que se implementa un proceso de consultas adecuado con las partes interesadas. M a r c o p a r a l a M e d i c i ó n d e l D e s e m p e ñ o d e l a s E F S Página 3

4 vi. vii. El examen del aseguramiento de la calidad supone la participación de una persona dotada de la experiencia y los conocimientos adecuados acerca del MMD de las EFS2, en condiciones de garantizar el cumplimiento del objetivo (b) del proceso de aseguramiento de la calidad (es decir: se ha cumplido con la metodología del MMD de las EFS?) El proceso de aseguramiento de la calidad y los resultados correspondientes se exponen de manera transparente en el informe de la evaluación realizada según el MMD de las EFS 3. La oferta de la IDI en materia de aseguramiento de la calidad La Secretaría de la Cooperación INTOSAI-Donantes (la Secretaría), que funciona dentro de la IDI, se esfuerza por brindar asistencia para el aseguramiento de la calidad de las evaluaciones del MMD de las EFS, para lo cual brinda el siguiente apoyo: Aseguramiento de la calidad de los TdR Aseguramiento de la calidad de las versiones en borrador de los informes Aseguramiento de la calidad de las versiones definitivas de los informes La IDI brindará de forma directa cierto nivel de apoyo para el AC, además de coordinar otras formas de apoyo, a través de evaluadores del MMD de las EFS y examinadores de AC con experiencia en la materia. Para este fin, se está conformando una red global de expertos en el MMD de las EFS. 4. Lista de control para el aseguramiento de la calidad de los Términos de referencia del MMD de las EFS La siguiente lista de control está diseñada para asistir a los equipos de evaluación en la elaboración de los TdR, y como base para la realización de un examen documental del AC de los TdR. A. Propiedad 1. Los TdR confirman la decisión del Titular de la EFS de llevar adelante una evaluación según el MMD de las EFS. 2. Los TdR identifican al propietario de la evaluación designado internamente por la EFS. 3. Los TdR demuestran que personal adecuado de la EFS, en número suficiente, ha recibido/recibirá capacitación sobre el MMD de las EFS o concientización acerca de 2 P. ej., alguien que se haya capacitado en el MMD de las EFS y participado en una evaluación según el MMD de las EFS. M a r c o p a r a l a M e d i c i ó n d e l D e s e m p e ñ o d e l a s E F S Página 4

5 éste. B. Propósito 4. Los TdR establecen claramente el propósito principal y los demás propósitos de la evaluación. 5. Los TdR demuestran que el titular de la EFS ha escogido un enfoque de evaluación adecuado (evaluación propia, entre pares, externa, híbrida) para cumplir con el(los) propósito(s) de dicha evaluación. C. Antecedentes 6. Los TdR brindan información breve y pertinente acerca del contexto del país y del sistema de gobierno de éste. 7. Los TdR identifican las partes interesadas clave, internas y externas, para la realización de la evaluación. 8. Los TdR brindan información de referencia sobre el MMD de las EFS, lo que incluye la versión a utilizar de éste. D. Comprensión de la EFS 9. Los TdR identifican el tipo de EFS a evaluar (p. ej., modelo parlamentario, modelo judicial, etc.) 10. Los TdR identifican la ubicación de la EFS dentro de la estructura gobierno del país, y el órgano al que ella responde. 11. Los TdR establecen claramente el mandato de la EFS con relación a la estructura de gobierno del país. 12. Los TdR establecen claramente el mandato de la EFS con relación al rol de otros auditores (p. ej., instituciones de fiscalización sub nacionales, auditores del sector privado). 13. Los TdR identifican los tipos de auditoría principales realizados por la EFS (p. ej., financiera, de cumplimiento, de desempeño, etc.) y el modo en que éstos se combinan en los compromisos de auditoría. 14. Los TdR aclaran si la EFS subcontrata la labor de auditoría (p. ej., con auditores del sector privado) y, de ser así, el tipo de auditoría en cuestión, la importancia de ésta con relación a la labor realizada por la EFS, y si se siguen los mismos procedimiento de control y aseguramiento de la calidad. 15. Los TdR explican la estructura de la EFS (especialmente la existencia de oficinas sub nacionales y regionales, y las responsabilidades de los diferentes departamentos de auditoría). M a r c o p a r a l a M e d i c i ó n d e l D e s e m p e ñ o d e l a s E F S Página 5

6 16. Se identifican todas las responsabilidades inusuales que forman parte del mandato y las operaciones de la EFS, y los TdR aclaran si éstas se abordarán en la evaluación y cómo se lo hará (p. ej., tareas previas a la auditoría/de control, responsabilidad por la elaboración de los estados financieros). E. Alcance de la evaluación 17. Los TdR establecen qué entidades, oficinas y departamentos deben evaluarse, de forma congruente con el(los) propósito(s) de la evaluación. 18. Los TdR establecen si se esperan desviaciones de desempeño entre diferentes entidades, oficinas y departamentos, y determinan el alcance de la evaluación en consecuencia. 19. Cuando se proyecte excluir algunos indicadores de la evaluación, se deja constancia de ello en los TdR y se explican las razones de tal exclusión. 20. Cuando deban agregarse indicadores locales a la evaluación (p. ej., para medir el desempeño en áreas tales como la labor previa a la auditoría), los TdR aclaran las responsabilidades para el desarrollo de tales indicadores. 21. Los TdR establecen claramente el período que se está examinando, incluyéndose la fuente de las evidencias utilizadas para la evaluación de los indicadores financieros, de cumplimiento y de desempeño. 22. Los TdR tienen en cuenta la posibilidad de examinar y recurrir a los informes de AC propios de la EFS como fuente de evidencias. 23. Los TdR abordan cuestiones clave en cuanto a la selección de la muestra de auditoría para obtener evidencias destinadas a la evaluación de los indicadores asociados a auditorías financieras, de cumplimiento y de desempeño (p. ej., tamaños de las muestras, necesidad de estratificar las muestras en función de las desviaciones de desempeño previstas y la subcontratación, responsabilidad por la selección de las muestras). 24. Los TdR garantizan que la selección de las muestras para la realización de las auditorías sea independiente de las personas responsables por estas auditorías. 25. En general, se espera que el enfoque adoptado para la M a r c o p a r a l a M e d i c i ó n d e l D e s e m p e ñ o d e l a s E F S Página 6

7 recopilación de evidencias conduzca a una evaluación objetiva del desempeño de la EFS. 26. Cuando existan desviaciones de desempeño esperadas (por, ej., entre entidades, oficinas y departamentos) dentro de un indicador, los TdR acaran si las puntuaciones de los indicadores se informarán de manera separada y/o de forma agregada, y de qué modo se realizará la agregación. F. Cronología de la evaluación 27. Los TdR identifican la cronología proyectada de la evaluación. 28. Los TdR incluyen un cronograma detallado que contiene los hitos clave correspondientes a las diferentes etapas de la evaluación, con un criterio realista. 29. Los TdR demuestran que la cronología proyectada de la evaluación toma en cuenta las cargas de trabajo derivadas del ciclo de auditoría anual de la EFS, y otras actividades. 30. La cronología planificada de la evaluación es adecuada con relación al(a los) propósito(s) enunciado(s) de la evaluación (p. ej., los hitos son congruentes con otros cronogramas relacionados, como el ciclo de planificación estratégico de la EFS). G. Composición, aptitudes y responsabilidades del equipo 31. Los TdR establecen con claridad el rol del líder del equipo. 32. Los TdR demuestran que el líder del equipo cuenta con las aptitudes, la experiencia y los conocimientos adecuados acerca del MMD de las EFS, el tipo de EFS que se está evaluando, y la utilización de herramientas de evaluación similares. 33. Los TdR demuestran que el líder del equipo dispone de tiempo suficiente para planificar e implementar la evaluación según el MMD de las EFS, y presentar los informes correspondientes. 34. Los TdR demuestran que el equipo, en su conjunto, dispone de conocimientos suficientes acerca del MMD de las EFS, el tipo de EFS que se está evaluando, y los tipos de auditoría puestos en práctica por la EFS. 35. Los TdR demuestran que el equipo dispone de las aptitudes lingüísticas necesarias para realizar la evaluación, disponiéndose asimismo de los medios de M a r c o p a r a l a M e d i c i ó n d e l D e s e m p e ñ o d e l a s E F S Página 7

8 traducción e interpretación a los que sea necesario recurrir. 36. Los TdR identifican las responsabilidades de diferentes miembros del equipo para asignar puntuaciones a cada indicador y elaborar cada sección del informe de desempeño de la EFS. H. Control de calidad 37. Los TdR aclaran los mecanismos de control de calidad dentro del equipo de evaluación. 38. Los TdR aclaran los mecanismos de control de calidad implementados entre el equipo, la EFS y cualquier proveedor de apoyo financiero. 39. Los TdR describen con claridad el proceso para la formulación de comentarios sobre la versión en borrador del informe de la evaluación y la realización del control de calidad de ésta, previamente al proceso de AC (en especial, si diferentes partes interesadas participan de forma secuencial o simultánea). I. Aseguramiento de la calidad 40. Demuestran los TdR que la EFS determinó y seleccionó el diseño del proceso de AC de modo tal de cumplir con el(los) propósito(s) de la evaluación? 41. El diseño del proceso de AC se encuentra detallado en los TdR. 42. Los TdR se envían para el examen de AC antes de su finalización y del inicio de la evaluación. 43. Los TdR demuestran que el proceso de AC está diseñado para guardar independencia de la realización de la evaluación. 44. El proceso de AC se encuentra diseñado para incluir a una persona familiarizada con el país y la EFS, en condiciones de garantizar que el informe sea fácticamente correcto. 45. El proceso de AC se encuentra diseñado de modo tal de incluir a alguien con la experiencia y los conocimientos adecuados acerca del MMD de las EFS (p. ej., una persona capacitada en el MMD de las EFS con experiencia práctica sobre la aplicación de éste), en condiciones de garantizar la adhesión a la metodología que le es propia. 46. El proceso de AC se encuentra diseñado de modo tal de abarcar tanto la versión en borrador como la versión M a r c o p a r a l a M e d i c i ó n d e l D e s e m p e ñ o d e l a s E F S Página 8

9 definitiva del informe del MMD de las EFS. 47. Los TdR aclaran si el examen de AC se limita al examen del informe de la evaluación, o si además abarca la documentación de trabajo del equipo. 48. Los TdR aclaran si el examen de AC incluye un examen de muestra de los archivos de auditoría en los que se basó la evidencia, y si como parte del examen de AC es necesario realizar una visita de campo. 49. El diseño general del examen de AC es adecuado y eficaz en función de los costos, teniendo en cuenta el propósito de la evaluación. J. Utilización proyectada de los resultados de la evaluación 50. Los TdR establecen con claridad el modo en que las EFS y otras partes interesadas proyectan utilizar los resultados de la evaluación, congruentemente con el propósito de ésta. 51. Los TdR establecen con claridad que el Informe de desempeño de la EFS en su versión definitiva es de propiedad EFS, y que el titular de la EFS es responsable de las decisiones sobre la divulgación y cualquier publicación de la evaluación. 52. Para aquellas evaluaciones en las que se utilice la versión piloto del MMD de las EFS: los TdR confirman el modo en que los comentarios y opiniones surgidos de la evaluación se transmitirán al equipo de tareas del MMD de las EFS (p. ej., sugerencias para el mejoramiento del MMD de las EFS, y copias de los informes y puntuaciones de indicadores suministradas de forma confidencial a la IDI). K. Apoyo a la evaluación del MMD de las EFS 53. Los TdR establecen con claridad las contribuciones en especie y el apoyo financiero que las diferentes partes interesadas aportan a la evaluación, y las condiciones bajo las que se brindan las contribuciones y el apoyo señalados. 54. Los TdR son claros en cuanto a las responsabilidades de las diferentes partes interesadas que apoyan la evaluación. 55. Los TdR identifican cualquier forma de apoyo solicitado a la IDI (p. ej., aseguramiento de la calidad, respuestas ad hoc a consultas, provisión de materiales de M a r c o p a r a l a M e d i c i ó n d e l D e s e m p e ñ o d e l a s E F S Página 9

10 capacitación y orientación). L. Logística 56. Los TdR identifican el(los) idioma(s) de trabajo de la EFS, y el(los) idioma(s) del informe de desempeño de la EFS. 57. Los TdR establecen de forma clara qué persona dentro de la EFS brindará asistencia al equipo de la evaluación para obtener acceso a documentación y concertar entrevistas. 58. Los TdR incluyen detalles de contacto acerca de contactos clave relacionados con la evaluación. 59. Los TdR identifican todas las cuestiones de confidencialidad relevantes (por ej., aquellas vinculadas con el acceso a los archivos de auditoría) y garantizan que se implementen todos los mecanismos adecuados. M a r c o p a r a l a M e d i c i ó n d e l D e s e m p e ñ o d e l a s E F S Página 10