Definición del tipo de sistemas de monitoreo y evaluación: Clientes, usos esperados y utilización real

El Banco Mundial PREMnotes S e p t i e m b r e 2010 N ú m e r o 2 por el Sector de Reducción de la Pobreza y Gestión Económica Definición del tipo de sistemas de monitoreo y evaluación:, usos esperados y utilización real Serie Especial Sobre Bertha Briceño Esta es la segunda de una serie de notas mensuales sobre sistemas de Monitoreo y Evaluación (M&E) de la gestión gubernamental llevadas a cabo por el Grupo para la Reducción de la Pobreza y la Promoción de la Igualdad (PREM) del Banco Mundial, bajo la orientación de Jaime Saavedra, Gladys López Acevedo, Keith Mackay y con la participación de diversos colegas del Banco. El objetivo principal de esta serie es presentar una síntesis de los conocimientos existentes acerca de los sistemas de M&E y documentar nuevos conocimientos sobre estos sistemas que aún no se hayan comprendido plenamente. La serie está dirigida a funcionarios del Banco Mundial y de otros organismos donantes que trabajen apoyando a gobiernos clientes a robustecer sus sistemas de monitoreo y evaluación, así como a los funcionarios gubernamentales interesados en aprender sobre los usos y beneficios del sistema de M&E y en adoptar un método más sistemático para la utilización de estos sistemas en sus gobiernos. En esta nota se caracterizan varios tipos de sistemas de monitoreo y evaluación (M&E), que comprenden ejemplos de tres sistemas que se aplican en gobiernos de América Latina: México, Colombia y Chile. La caracterización que se presenta cubre una amplia gama de modalidades, desde organismos externos completamente independientes, pasando por sistemas de gobierno fuertemente centralizados, hasta sistemas altamente descentralizados. Cada tipo de sistema ofrece diferentes ventajas provenientes de la interacción entre las fuerzas de la oferta y la demanda: del lado de la oferta, los actores producen información de M&E para una variedad de propósitos esperados, mientras que la demanda responde con la utilización real de la información, revelando los incentivos reales de los clientes de los sistemas. De igual manera, se presentan estrategias tendentes a mitigar las posibles desventajas de los diferentes tipos de sistemas. Dado que los países hacen sentir cada vez más su necesidad de contar con apoyo en el área del monitoreo y la evaluación, el presente trabajo debe ayudar a los paladines y a los jefes de grupo a identificar oportunidades en su contexto particular; identificar y entender las fuerzas que impulsan la creación de nuevas unidades y órganos de M&E y comprender mejor las concesiones mutuas que se hacen necesarias. Quiénes producen información de M&E y por qué Un buen punto de partida es preguntarse quiénes realizan las actividades de monitoreo y evaluación y con qué propósito lo hacen, con el fin de extraer luego las lecciones pertinentes para el diseño de las nuevas unidades de M&E. Los bancos de desarrollo, los organismos de ayuda bilateral, las organizaciones independientes, la comunidad académica y

los gobiernos en general, participan de cerca en el monitoreo y evaluación de los programas de desarrollo. Los bancos de desarrollo y los organismos de ayuda bilateral suelen utilizar el sistema de M&E para medir la efectividad del desarrollo, rendir cuentas a los donantes y partes interesadas, y mostrar la transparencia de sus actividades. Los académicos a través de centros asociados con las facultades de economía y política pública producen estudios muy rigurosos centrados en la generación de conocimiento en el campo de la economía del desarrollo. Por otra parte, los académicos intentan a menudo influir en las políticas, aunque menos directamente que los gobiernos. Por lo general los gobiernos realizan actividades importantes de M&E como una forma de aumentar la efectividad de sus programas y mejorar la asignación de los recursos. Los sistemas administrados por el gobierno suelen atender a clientes internos de la rama ejecutiva, tales como las dependencias de planificación y presupuestación; las unidades centrales internas de los ministerios o los organismos encargados de planificación y presupuestación y, en algunos casos, las unidades de evaluación especiales. Todas estas dependencias gubernamentales por lo general emplean el sistema de M&E como una herramienta para mejorar la eficiencia y eficacia de la asignación de recursos, con una especie de enfoque de control centralizado. Como ejemplos de lo anterior se presentan más adelante tres sistemas administrados por gobiernos de países de América Latina: CONEVAL de México, SINERGIA de Colombia y DIPRES de Chile (véase el recuadro 1). Entre los clientes internos también se incluyen los organismos de ejecución e implementación de los gobiernos, así como los jefes de grupos de trabajo de los bancos de desarrollo. Estos, por lo general, están más interesados en revisar y ajustar los procesos, en cambiar y mejorar las prácticas con una orientación hacia los resultados, en generar visibilidad de sus proyectos y en responder a sus representados y a los gerentes con información concreta. La eficiencia y eficacia de la asignación de recursos también constituyen objetivos centrales de los clientes internos de los organismos de ayuda bilateral y la banca de desarrollo, por ejemplo las juntas directivas y directores de los donantes, las unidades de evaluación interna y los gerentes sectoriales y regionales. En cuanto a los clientes externos de los sistemas de M&E relacionados con el gobierno, existe el uso potencial del sistema por parte del Congreso y la sociedad civil, que están interesados en fomentar la transparencia, la rendición de cuentas y el control social. 1 Por otro lado, las actividades de M&E que llevan a cabo los bancos de desarrollo y los donantes tienen como clientes externos a los encargados de la formulación de políticas públicas, los gobiernos clientes, los órganos legislativos y los individuos y grupos representados en general. La Tabla 1 presenta una clasificación sencilla de los clientes principales y de su correspondiente enfoque respecto al uso de los sistemas de M&E. Tipos de sistemas de M&E y usos esperados La mayor parte de los organismos que utilizan sistemas de M&E en sus programas de desarrollo luchan por la independencia, la transparencia, la autonomía, la credibilidad, la utilidad y el sentido de propiedad, entre otras cualidades. 2 En teoría un sistema ideal de M&E debe contar con suficiente independencia como para ser externamente creíble y socialmente legítimo, pero no tan independiente como para dejar de ser pertinente. El sistema de M&E debe influenciar la formulación de políticas, asegurando que se adopten las recomendaciones generadas gracias a las lecciones aprendidas. A su vez, debe ser sostenible a largo plazo no obstante los cambios de gobierno, puesto que percibido como un sistema que tiene la finalidad de responder a las necesidades de sus clientes y que es de utilidad para sus principales grupos interesados. Los organismos de M&E difieren en cuanto a su naturaleza e incentivos preponderantes: su estructura institucional varía, desde organismos externos independientes pasando por entidades gubernamentales fuertemente centralizadas adscritas a autoridades presupuestarias así como, a sistemas de gobierno altamente descentralizados. Organismo externo independiente: énfasis en transparencia y control social Cuando los principales motores de las actividades de M&E son la transparencia, el control social y la rendición de cuentas, y cuando se pone especial hincapié en la independencia, la creación de organismos independientes externos resulta atractivo. Su ubicación fuera del gobierno y su financia- 2 PREMNOTE Septiembre 2010

Recuadro 1. Características principales de tres sistemas de M&E de gobiernos: CONEVAL, DIPRES y SINERGIA México: Consejo Nacional de Evaluación de la Política de Desarrollo Social (CONEVAL) CONEVAL fue creado en 2004 como parte de la Ley General de Desarrollo Social y con financiamiento directo del presupuesto nacional. La institución se estableció con una doble misión: medir la pobreza y evaluar todas las políticas y programas de desarrollo social de orden federal. CONEVAL es encabezado por un director ejecutivo y pertenece a la rama ejecutiva por intermedio ( ) del sector social, pero tiene autonomía técnica y gerencial. Es gobernado por una junta directiva compuesta por seis académicos independientes, el Secretario de Desarrollo Social y su propio director ejecutivo. En medio de un entorno descentralizado, CONEVAL fija las normas y pautas de las evaluaciones de los programas del Gobierno Federal que son encargadas por los propios organismos federales. Hay aproximadamente 130 programas federales bajo el mandato de CONEVAL, y a todos ellos se les exige llevar a cabo evaluaciones de tipo logframe. Por otra parte, CONEVAL ejerce una vigilancia directa sobre cerca de 15 evaluaciones anuales correspondientes al Programa Anual de Evaluación [PAE]. Este último es preparado en forma conjunta por CONEVAL, la Secretaría de Hacienda y la Secretaría de la Función Pública. Colombia: Sistema Nacional de Evaluación de Gestión y Resultados (SINERGIA) Un plan de desarrollo obligatorio debe servir de guía a cada nueva administración en Colombia. En este contexto, la Ley 152 de 1994 asigna específicamente al Departamento Nacional de Planeación (DNP) el mandato de planear, diseñar y organizar un sistema de evaluación y monitoreo de la gestión del sector público basada en resultados. El DNP es un departamento administrativo de larga trayectoria organizado en unidades técnicas o direcciones. Dentro del DNP la dirección de Evaluación de Políticas Públicas (DEPP) asumió la promoción del sistema de M&E nacional, que se convirtió en el Sistema Nacional de Evaluación y Resultados de la Gestión Pública (SIN- ERGIA). La DEPP es una de las diez direcciones técnicas del DNP y está encabezada por un director técnico, que reporta directamente al director general y al subdirector del DNP quienes a su vez ostentan rangos equivalentes al de ministro y viceministro, respectivamente. Entre las actividades principales de la DEPP se encuentran la administración del Sistema de Seguimiento a las Metas de Gobierno (SIGOB), que incluye las metas de cada sector y ministerio, además y la gestión y contratación de evaluaciones de los programas gubernamentales principales. En la actualidad el sistema comprende aproximadamente 600 indicadores de metas sumando todos los sectores, y ha concluido más de 30 evaluaciones. Chile: División de Control de Gestión de la DIPRES En Chile, la DIPRES es la Dirección de Presupuestos del Ministerio de Hacienda. En esta dirección se encuentra una unidad especial, la División de Control de Gestión, que dirige el sistema de evaluación y control de la gestión. Desde principios de los años 90, la evolución del sistema de control de gestión ha constituido un empeño a largo plazo del gobierno chileno bajo el firme liderazgo de sus sucesivos directores de presupuesto. La meta general de la unidad es contribuir a la eficiencia en la asignación y utilización del gasto público, coadyuvando a un mejor nivel de desempeño, transparencia y rendición de cuentas. La División de Control de Gestión Pública es una de las cuatro divisiones y dos subdirecciones que conforman la DIPRES. El jefe de la División de Control de Gestión Pública reporta directamente a la Directora de Presupuestos del Ministerio de Hacienda, mientras que la Dirección de Presupuesto le reporta al Congreso. Desde principios de los años 90 se han desarrollado y fortalecido cuatro áreas de trabajo: la evaluación de programas e instituciones, los instrumentos para monitoreo y supervisión, los mecanismos de incentivos salariales institucionales y el fondo de modernización de la gestión pública. Para el presupuesto de 2010, 150 instituciones de gobierno adoptaron aproximadamente 1.200 indicadores de desempeño y se encuentran en curso 28 evaluaciones de instituciones y programas. Fuente: Información compilada por la autora. Septiembre 2010 PREMNOTE 3

Tabla 1. Sedes de las Actividades de M&E, y Usos Gobiernos internos Rama ejecutiva: planeación/presupuesto/ministerios de nivel presidencial Unidades centrales internas en organismos/ministerios (unidades de planeación/ presupuesto) Gerentes de organismos de ejecución/ ministerios Controlar/mejorar eficiencia y eficacia de la asignación de recursos Controlar ejecución de políticas nacionales Retroalimentación al proceso de decisiones sobre políticas/presupuesto Retroalimentación a planeación Procesos de revisión y adaptación Mejoramiento de prácticas de gestión orientadas a resultados Gestión de programas y personal o gestión institucional Respuesta a las personas y grupos representados con información concreta externos Organismos multilaterales/donantes Congreso Sociedad civil Enfoque en transparencia y rendición de cuentas Banca de desarrollo, organismos de ayuda externa, y especialmente organismos de evaluación internos Gerentes Jefes de equipos de trabajo Oficinas de evaluación interna Organismos directivos (junta directiva, junta de donantes) Implementación de controles Exposición de programas innovadores Visibilidad de proyectos con enfoque en resultados Procesos de revisión y adaptación Mejoramiento de programación de la cartera Mejoramiento de diseño de programas Comprobación de innovaciones Controlar/mejorar eficiencia y eficacia de asignación de recursos Revisión y adaptación de procesos Enfoque en transparencia y rendición de cuentas Respuesta a las personas y grupos representados con información concreta externos Sociedad civil Encargados de formulación de políticas Gobiernos Parlamento Enfoque en transparencia y rendición de cuentas Control de implementación de políticas nacionales Academia internos Academia y comunidades científicas Generación de conocimiento en desarrollo económico externos Encargados de formulación de políticas, organizaciones no gubernamentales, donantes, organizaciones internacionales Difusión del conocimiento y defensa de intervenciones eficaces Fuente: Información compilada por la autora 4 PREMNOTE Septiembre 2010

miento independiente ofrecen la posibilidad de realizar las evaluaciones con libertad, sin ninguna influencia inapropiada. El organismo de M&E disfruta de un alto grado de independencia que, en definitiva, refuerza su credibilidad externa. Estos tipos de instituciones de M&E incluyen iniciativas de donantes y de la sociedad civil, instituciones de vigilancia independientes y grupos de expertos. Algunos ejemplos de organismos que financian o realizan actividades de M&E por su propia cuenta son Transparencia Internacional, la Iniciativa Internacional de Evaluación de Impacto (3ie), el Centro de Desarrollo Global y la iniciativa Bogotá Cómo Vamos de Colombia. Las desventajas de un organismo externo son que adolecen de un acceso insuficiente a la información, falta de profundidad y de conocimiento contextual. Estos organismos suelen gozar de una larga reputación de independencia y desvinculación de filiaciones partidarias en su influencia sobre la formulación de políticas. La transparencia y la rendición de cuentas pueden resultar más fáciles para un organismo de M&E independiente. Sin embargo, la influencia en las políticas continúa siendo un reto muy importante para estas instituciones (bien sean instituciones académicas o entidades financiadas por donantes). Sistema de M&E centralizado de propiedad del gobierno: herramienta de gestión o de control Cuando el sistema de monitoreo y evaluación tiene su sede en el nivel central del gobierno (en alguna dependencia de presupuesto, autoridad central, planeación, presidencia o control interno), por lo general sirve como herramienta para controlar la gestión o el presupuesto. Si está bajo autoridades centrales de presupuesto, el sistema de M&E se suele emplear para controlar la eficiencia y/o eficacia de los recursos y, en tal calidad, el organismo de M&E disfruta de un poder considerablemente superior para hacer cumplir las recomendaciones emanadas de las evaluaciones de M&E. En la versión extrema del cumplimiento de las recomendaciones el organismo de M&E ejerce un poder directo sobre la agenda de la evaluación, además de gozar de una posición destacada y del apoyo del Congreso. Este es el caso de DIPRES en Chile. Estando bajo la autoridad del presupuesto presumiblemente cuenta también con una mejor integración del sistema de M&E en las etapas de presupuestación y ejecución del ciclo de políticas públicas. Por otra parte, cuando la finalidad principal de las actividades de M&E es servir como herramienta de gestión, se puede designar un organismo central de coordinación externo a las autoridades directas del presupuesto a fin de evitar un enfoque impuesto a la fuerza. Este organismo busca invitar a la participación y la propiedad del sistema por parte de las directivas y espera que las recomendaciones se adopten en forma voluntaria. A este efecto el organismo de M&E realiza una alta inversión en elaborar consultas, mostrar los beneficios de la evaluación como herramienta de gestión, desarrollar actividades de formación de capacidad e instaurar un ambiente cultural favorable para el monitoreo y la evaluación. Los organismos de M&E de Colombia (SINERGIA) y México (CONEVAL) llevan a cabo actividades periódicas de formación de capacidad y de difusión para fomentar una cultura de gestión orientada hacia los resultados. Entre algunas de las ventajas que ofrece un organismo de M&E centralizado están la mayor autoridad para priorizar los programas clave que se deban monitorear y evaluar cuando hay escasez de recursos; la capacidad de buscar recomendaciones que afecten a varios organismos o al gobierno en general; la capacidad de buscar prácticas estándar, mejores prácticas y metodologías de calidad; la posibilidad de mantener un equipo de personal técnico especializado de apoyo (que quizá los organismos individualmente no puedan costear, en especial al principio cuando el volumen de las actividades de monitoreo y evaluación es aún bajo); mayores oportunidades de generar sinergias para el aprendizaje y economías de escala en la recopilación de la información; menor duplicación de esfuerzos y mantenimiento de una memoria institucional de las prácticas de monitoreo y evaluación. Sistema de M&E descentralizado de propiedad del gobierno: de propiedad plena de los organismos En el extremo de la versión descentralizada, el organismo encargado de ejecutar el programa también realiza las actividades de monitoreo y evaluación para mejorar su propio desempeño, en lugar de reportarle a una entidad o autoridad central. Las ventajas que conlleva esta modalidad son el conocimiento contextual profundo y el mejor acceso a la información y a la divulgación de ésta. Dado que las actividades de M&E dependen

en gran parte de la calidad y disponibilidad de la información interna que producen los programas y de su buena voluntad y capacidad de generar información primaria o de recopilar información sobre los beneficiarios, el organismo cuenta con múltiples incentivos para producir y utilizar la mejor información de entrada y de emplear internamente los resultados. Algunas desventajas que presenta el esquema completamente descentralizado son la menor estandarización de las metodologías y prácticas, lo cual da pie a una mayor heterogeneidad en la calidad y el rigor de los productos de M&E; una coordinación intersectorial limitada; menores oportunidades de compartir las mejores prácticas y la necesidad de mantener su propia pericia técnica especializada. Algunos podrían argumentar que la separación entre el evaluador y el ejecutor es menos clara, lo que aumentaría la posibilidad de una interferencia indebida, pero en teoría este no debería ser el caso si el uso es principalmente interno y la verdadera motivación es mejorar el propio desempeño en lugar de reportarlo. Estrategias de apoyo Algunos de los posibles riesgos de los diferentes tipos de sistemas de M&E se podrían mitigar empleando varias estrategias de apoyo o instituciones complementarias, tales como las siguientes: Alianzas clave. En los sistemas de gobierno analizados, el apoyo del Congreso, una comunicación fluida y la promoción de alianzas con autoridades centrales del gobierno son estrategias comunes que se han empleado para superar las debilidades en la aplicación y fomentar la adopción de recomendaciones en sectores renuentes. Ejemplos de estas alianzas incluyen los casos de CONEVAL con la Secretaría de Hacienda y el de SINERGIA con la Presidencia de la República. En los países miembros de la Organización para la Cooperación y el Desarrollo Económico como Canadá, Australia, Estados Unidos y Países Bajos, el apoyo prestado por las oficinas nacionales de auditoría ha sido considerable: éstas han contribuido a revisar (mediante auditorías de eficiencia) la planeación, realización y uso de M&E en el gobierno ejecutivo; publicando guías de buenas prácticas sobre estos temas; analizando la calidad de la información y sistemas de datos de departamentos y organismos, y empleando su posición influyente y preponderante para preconizar los méritos del sistema de M&E. Las alianzas con las dependencias nacionales de estadísticas, aunque no se han promocionado hasta ahora, también podrían resultar fundamentales. Independencia financiera. La capacidad del organismo coordinador de influir en las políticas, la adopción de las recomendaciones y el establecimiento de una agenda de evaluaciones se pueden mejorar mediante un sólido apoyo legal (CONE- VAL), una línea presupuestaria permanente o el empleo de los propios recursos financieros de un organismo para llevar a cabo las actividades de M&E (DIPRES). En contraste, cuando los recursos para las actividades de M&E provienen del presupuesto del programa y tienen asignado un uso específico en los préstamos y, en general, cuando los recursos dependen en gran medida de la participación y la adopción voluntaria de las partes interesadas, el organismo podría terminar descuidando precisamente los programas y sectores que más necesitan el monitoreo y la evaluación. Contratación externa. Cuando los sistemas de M&E se contratan con consultores, firmas o centros de investigación externos utilizando procesos de adquisición competitivos y abiertos, no sólo se aumentan la legitimidad y la independencia sino que se disminuye la posibilidad de conflictos de interés entre los evaluadores y los gerentes. DIPRES en Chile y SINERGIA en Colombia son buenos ejemplos de sistemas que emplean la contratación externa. Administración mixta. Un buen ejemplo de un organismo de M&E muy independiente que aún es parte del gobierno es el caso de CONEVAL. Si bien se trata de una entidad que pertenece a la rama ejecutiva a través del sector social, goza de autonomía técnica y gerencial basada en una estructura administrativa especial: un comité directivo conformado por seis investigadores académicos independientes, el Titular de la Secretaría de Desarrollo Social y su propio director ejecutivo. Mecanismos de control de calidad. Se cree que mientras mayor sea la participación de los organismos en el sistema de M&E mayores serán la profundidad, calidad e integralidad de la información que ofrecen los programas a este sistema. No obstante, en los esquemas centralizados, el organismo de M&E puede procurar obtener una mayor calidad y una información 6 PREMNOTE Septiembre 2010

de entrada más confiable de los organismos de ejecución, estableciendo mecanismos de control tales como verificaciones externas, auditorías o alianzas con entes de control interno como, por ejemplo, las entidades de auditoría y estadística nacionales. Difusión al público. El principio de apertura implica que el proceso de evaluación debe ser tan transparente como sea posible y que el público debe disponer de un amplio acceso a los resultados. En varios países (como México y Chile) se han aprobado recientemente leyes trascendentales sobre el acceso del público a la información, que apoyan en forma indirecta la capacidad de difusión del sistema de M&E. El riesgo de la falta de autonomía para divulgar información de M&E cuando el sistema se encuentra bajo la jurisdicción de una autoridad ejecutiva se puede mitigar con otras disposiciones, tales como la larga tradición de difundir la información al público. Las evaluaciones de SINERGIA son un ejemplo de escasa divulgación, así como de la ausencia de una legislación más amplia sobre información al público. Rigor académico. Las evaluaciones contratadas con agentes externos, como investigadores y académicos, suelen pasar por algunos filtros de calidad adicionales establecidos por la comunidad académica. También pueden fácilmente servir de apoyo a actividades de formación de capacidad. La revisión de pares, la selección en seminarios y el proceso de publicación contribuyen en buena medida a asegurar el rigor y la calidad de los hallazgos (como ocurre en los casos de SINERGIA y CONE- VAL). Estas importantes ventajas se pueden lograr a costa de su utilidad inmediata si no se tiene en cuenta su divulgación en un lenguaje accesible. En un caso extremo, la evaluación se fusiona con la investigación pura y, aunque la generación y uso de la investigación se han estudiado de forma extensa y formal, la esencia y razón de ser de cada una de ellas son muy diferentes. Formación de capacidad y estandarización. La formación de capacidad y la estandarización siempre son importantes, pero lo son aún más en entornos de alta descentralización, cuando se logra o exige un volumen considerable de actividades de monitoreo y evaluación, y cuando los organismos dedican una cantidad importante de recursos financieros y humanos al sistema de M&E (CONEVAL). Manifestación de la demanda: Utilización real de la información de M&E La información de M&E puede cumplir varios objetivos: enviar retroalimentación al proceso de formulación de políticas y toma de decisiones y a la planeación nacional del presupuesto; mejorar el análisis y desarrollo de políticas; contribuir a las actividades gerenciales tales como la gestión de los programas y el personal o la gestión institucional y mejorar la transparencia y rendición de cuentas, entre otros (Mackay, 2007, 9). El patrón más común para medir el éxito de un sistema de M&E es el grado de utilización de la información producida; casi todos los organismos de M&E vigentes destacan la importancia de dicha utilización. Esta última también puede considerarse uno de los factores determinantes de la sostenibilidad. Los principios del Comité de Ayuda al Desarrollo (DAC, por sus siglas en inglés) respecto a las evaluaciones afirman los siguiente: para que las evaluaciones sean útiles, deben ser utilizadas (OCDE-DAC, 1991). La utilización de la información es, pues, un requisito previo para la sostenibilidad financiera. De no ser así, qué razón hay para financiar herramientas o evaluaciones de M&E costosas si no se van a utilizar? No es fácil definir las medidas de un desempeño exitoso. 3 Por lo regular se han explorado dos dimensiones (véase la Tabla 2): la primera de ellas, la cobertura, suele medir qué tanto la práctica de la evaluación está relacionado con un valor o universo de referencia, por lo general una proporción del presupuesto evaluado, es decir, el valor de los programas que han sido evaluados comparados con el monto total del presupuesto, o el número de programas evaluados en relación con una agenda de varios años, o el número de programas de una clasificación programática del presupuesto. La segunda dimensión es un consenso sobre la necesidad de hacer un seguimiento a las recomendaciones, compromisos y planes de acción derivados de las actividades de M&E. Esto puede comprender simples medidas que van desde el número de alertas derivadas del monitoreo, pasando por el número de recomendaciones de las evaluaciones que se adoptan en realidad hasta medidas más exigentes, por ejemplo, la parte de las recomendaciones implementadas comparadas con el número total de recomendaciones formuladas. Septiembre 2010 PREMNOTE 7

Tabla 2. Seguimiento a la utilizacion de la informacion de M&E Cobertura Utilización Proporción del presupuesto evaluado/monitoreado Seguimiento a recomendaciones, compromisos y planes de acción derivados de la información de M&E Transparencia/rendición de cuentas Mejoramiento de calidad y eficiencia del gasto público e influencia en las asignaciones presupuestales Bien público/investigación aplicada (en los estudios más rigurosos) Presupuesto de programas evaluados o monitoreados sobre monto total del presupuesto Número de programas evaluados o monitoreados de una agenda a lo largo de varios años Número de programas evaluados o monitoreados sobre número de programas incluidos en la clasificación programática del presupuesto Número de cambios derivados de las evaluaciones Número de alertas generadas por el monitoreo Número y lista de recomendaciones adoptadas Recomendaciones priorizadas y adoptadas Recomendaciones implementadas/número total de recomendaciones formuladas Ninguna medida asociada con la transparencia o la rendición de cuentas con información de sistemas de M&E Ninguna solicitud Cambio en las asignaciones presupuestales/de recursos resultantes de la utilización de los hallazgos de M&E por parte del Congreso Correlación con cambios en el presupuesto u otra asignación de recursos Producción científica (número de citas y publicaciones) Uso de bases de datos públicas (citas, investigaciones académicas y de políticas derivadas) Fuente: Información compilada por la autora Por último, en lo concerniente a los objetivos definitivos de los sistemas, es decir, los de mejorar la calidad y eficiencia del gasto público, no se han establecido claramente indicadores para medir estos resultados o para atribuírselos a los efectos de los sistemas de M&E. Sin embargo, hay un pequeño número de análisis de evaluaciones individuales que estudian en qué medida se utiliza el sistema de M&E y que miden su eficacia en función de los costos. Estos estudios pueden ser realizados en forma más sistemática para ayudar a medir la rentabilidad general del sistema de M&E, aunque los costos y los retrasos típicos que se presentan entre la realización de una evaluación y la medición de su impacto pueden prestarse para dificultades. Aún no se han explorado las medidas de otras dimensiones, por ejemplo la transparencia y la percepción de rendición de cuentas del gobierno que tienen los ciudadanos, resultantes de los sistemas de M&E. Si el sistema tiene también como objetivo incidir en las asignaciones del presupuesto, las medidas de utilización adicionales podrían comprender el cambio en las asignaciones que sean consecuencia de la utilización de los sistemas por parte de las entidades encargadas del presupuesto y del Congreso o, más indirectamente, las medidas de correlación con los cambios en la asignación de los recursos. En la República de Corea hay un mecanismo mediante el cual las asignaciones presupuestarias de los programas que no cumplan con sus objetivos de desempeño dentro de cierto margen específico sufren un recorte automático. Algunos intentos de utilizar esta posible medida analizan la correlación entre los resultados de la evaluación y el incremento del presupuesto de los programas evaluados (Kim y Park, 2007, 2008). Finalmente, para las evaluaciones más rigurosas, la utilización también se podría medir en términos de las normas para la producción científica (es decir, las citas y publicaciones). Uno de los puntos fuertes del sistema chileno es que mantiene información muy específica respecto a los cambios en los programas y moni- 8 PREMNOTE Septiembre 2010

torea el alcance de las recomendaciones de las evaluaciones. Dado que los términos de referencia estandarizados consideran la producción de recomendaciones específicas, estas recomendaciones sirven de base para determinar los compromisos institucionales que luego son objeto de un cercano seguimiento por parte de DIPRES. El informe de 2008 de DIPRES constituye un buen ejemplo de la utilización de la información de M&E: entre 2000 y 2008 se evaluaron 174 programas adscritos al programa de evaluaciones generales y evaluaciones de impacto del gobierno. Hay una clasificación de los cambios derivados de las recomendaciones, de las cuales se presentan cinco categorías en la Figura 1. Entre 1999 y 2007 hubo más de 3.500 compromisos derivados de las recomendaciones, alrededor de 500 anuales en los primeros años y unos menos desde 2006. De estos, el 82 por ciento se cumplieron, 11 por ciento se lograron en forma parcial y el 6 por ciento no se han cumplido. En términos generales se acepta que la información de M&E de DIPRES se emplee intensivamente en el análisis presupuestal y en la toma de decisiones, en la aplicación de ajustes al programa y en los informes al Congreso y a la sociedad civil. Sin embargo, el uso gerencial o la propiedad por parte de las directivas del programa han sido escasos, debido a la naturaleza centralizada del sistema y a la falta de incentivos percibidos para que los organismos participen en sus propias evaluaciones (Mackay, 2007, 29). En México, CONEVAL expidió a finales de 2008 la política denominada Mecanismo de seguimiento de aspectos sujetos a mejoras con el fin de establecer un procedimiento general para hacer el seguimiento a aspectos por mejorar derivados de las evaluaciones de consistencia. Los aspectos susceptibles de mejoras se clasifican según la participación de las diferentes partes: algunos aspectos están bajo el control directo del programa, mientras que otros son atendidos por Figura 1. Clasificación de Cambios en los Programas, 2000 2008, DIPRES Reubicación institucional 6% Programas eliminados o completamente reemplazados o absorbidos 7% Modificaciones al diseño y a procesos de gestión interna 37% Ajustes menores 23% Rediseño sustancial de programas 27% Fuente: DIPRES (2008); ilustración de la autora. Septiembre 2010 PREMNOTE 9

diversas unidades de un mismo organismo o de varios organismos, o requieren la atención de diferentes niveles del gobierno. De igual forma, los propios organismos sectoriales clasifican dichos aspectos como de alta, mediana o baja prioridad según contribuyan a las metas del programa. Para el presupuesto de 2008, se incluyeron 101 programas con evaluaciones rápidas en el sistema de seguimiento, con 930 aspectos susceptibles de mejoras. De estos, el 70 por ciento fueron aspectos que se consideró estaban bajo el control directo del programa (CONEVAL, 2008a, 2008b, 2010). El enfoque de la utilización de SINERGIA ha centrado en las operaciones y gestión de los programas, dado que las evaluaciones suelen realizarse con la participación voluntaria de los ministerios sectoriales/organismos, en contraste con el modelo chileno. El presidente Uribe fue un defensor decidido de la información de M&E en Colombia. Exigió el uso intensivo de las metas y los indicadores, especialmente durante su primer mandato (OCDE-DAC 2008). La desventaja es su escaso uso por parte de las autoridades encargadas del presupuesto y del Congreso. En tiempos recientes, el sistema ha puesto su atención también en el seguimiento a los compromisos de las recomendaciones emanadas de cada evaluación. En síntesis, las evaluaciones de la utilización del sistema de M&E hasta hoy han incluido sustitutos de la cobertura, encuestas de satisfacción de clientes (el Grupo de Evaluación Independiente del Banco Mundial lleva a cabo encuestas anuales a grupos clave dentro y fuera de Banco), evidencia sobre la adopción de recomendaciones y compromisos (CONEVAL y DIPRES) y algo de evidencia circunstancial (SINERGIA). Aunque falta mucho por hacerse, la utilización de los sistemas de M&E es un tema que está comenzando a ser tratado de modo más sistemático. Observaciones finales La formación de capacidad en M&E tiene que ver con el desarrollo de sistemas de monitoreo y evaluación exitosos: sistemas lo suficientemente independientes como para ser externamente creíbles y socialmente legítimos; sistemas que influyan en la formulación de las políticas y que sean sostenibles con el tiempo y sistemas que respondan a las necesidades de los clientes y de las principales partes interesadas. A medida que cada vez más países están considerando establecer sistemas de M&E, las lecciones aprendidas de las experiencias de otros países pueden resultar sumamente útiles. Las circunstancias específicas determinan la evolución y enfoque de cada sistema, y sería ingenuo tratar de exportar una receta determinada a otros países. Sin embargo, una estrategia explícita para apoyar el desarrollo de nuevos sistemas de M&E debe empezar por identificar las preferencias del país; definiendo claramente los clientes y la función principal que debe cumplir el organismo de M&E y determinando cómo hacer el seguimiento al desempeño del sistema de M&E. Agradecimientos Esta nota se ha nutrido extensamente de trabajos anteriores realizados para la Iniciativa Internacional de Evaluación de Impacto (3ie) y el departamento de Desarrollo Internacional del Reino Unido (Briceño y Gaarder, 2009) a los cuales la autora agradece su generoso apoyo. La autora Bertha Briceño se desempeña como especialista principal en evaluación del programa de Agua y Saneamiento (WSP, por sus siglas en inglés) del Banco Mundial. Antes de ingresar al WSP en 2009, fue directora del sistema de M&E de Colombia (SINERGIA) durante tres años. Anteriormente trabajó en la Oficina de Evaluación del Banco Interamericano de Desarrollo y participó en evaluaciones de proyectos y programas de país. Asimismo ha actuado como consultora de Iniciativa Internacional de Evaluación de Impacto (3ie). Cuenta con un título de maestría en desarrollo internacional de Harvard Kennedy School. Notas al final 1. En el contexto institucional colombiano, el control social se refiere al uso de mecanismos participativos constitucionales que permiten el control del Estado; la confiabilidad y eficacia de las entidades designadas para controlar al Estado el Congreso, la Fiscalía o los medios masivos y los mecanismos de rendición de cuentas de quienes han sido elegidos por voto popular (Sudarsky 2008). 2. Algunos ejemplos de estos principios son las Normas de Calidad OCDE-DAC (2010), los principios de la Agencia de Evaluación de España (Ministerio de la Presidencia de España, 2010) y los principios del Banco Mundial IEG (2010). 10 PREMNOTE Septiembre 2010

3. El Banco Mundial y el Centro Latinoamericano de Administración para el Desarrollo (CLAD) han contribuido a la evaluación de los sistemas fomentando activamente los diagnósticos y revisiones de desempeño de los sistemas de 12 países (CLAD y Banco Mundial 2008). Bibliografía Briceño, Bertha, and Marie Gaarder. 2009. Institutionalizing Evaluation: A Review of International Experience. International Initiative for Impact Evaluation (3ie) and the U.K. Department for International Development (DFID). CLAD (Centro Latinoamericano de Administración para el Desarrollo) y Banco Mundial. 2008. Fortalecimiento de los sistemas de monitoreo y evaluación (M&E) en América Latina y el Caribe, a través del aprendizaje Sur-Sur y del intercambio de conocimientos. http://www.clad.org/investigaciones/investigaciones-concluidas/fortalecimiento-de-los-sistemas-de-monitoreo-y. CONEVAL. 2008a. Informe de seguimiento a los aspectos susceptibles de mejora de programas federales 2008. http://medusa.coneval.gob. mx/cmsconeval/rw/resource/coneval/eval_ mon/2733.pdf.. 2008b. Mecanismos para el seguimiento a los aspectos susceptibles de mejora derivados de informes y evaluaciones a los programas federales de la administración pública federal. http://medusa.coneval.gob.mx/cmsconeval/rw/resource/ coneval/evaluaciones/mecanismo_seguimiento_291008.pdf?view=true.. 2010. Mecanismos para el seguimiento a los aspectos susceptibles de mejora derivados de informes y evaluaciones a los programas federales de la administración pública federal. www.coneval.gob.mx/contenido/normateca/2339.pdf. DIPRES. 2008. Informe de Finanzas Públicas: Proyecto de Ley de Presupuestos del Sector Público para el año 2009. http://www.dipres. cl/572/articles-41339_doc_pdf.pdf. Kim, John, and Nowook Park. 2007. Performance Budgeting in Korea. OECD Journal on Budgeting (7) 4. Mackay, Keith. 2007. How to Build M&E Systems to Support Better Government. Washington, DC: World Bank, IEG. Ministerio de la Presidencia de España. 2010. Agencia de Evaluación y Calidad. Principios Rectores y Código Ético. http://www.aeval.es/es/la_agencia/ presentacion/principios/. OECD-DAC (Organisation for Economic Co-operation and Development Development Assistance Committee). 1991. Principles for the Evaluation of Development Assistance. Paris. http://www. oecd.org/dataoecd/31/12/2755284.pdf.. 2008. Emerging Good Practice in Managing for Development Results (MfDR) Sourcebook, Third Edition. http://www.mfdr.org/sourcebook/.. 2010. Quality Standards for Development Evaluation. Paris. http://www.oecd.org/dataoecd/55/0/44798177.pdf. Park, Nowook. 2008. Does More Information Improve Budget Allocation? Evidence and Lessons from Performance-Oriented Budgeting in Korea. Trabajo presentado en el Congreso del instituto Internacional de Finanzas Públicas, Agosto, Maastricht, Países Bajos. Sudarsky, John. 2008. La evolución del capital social en Colombia, 1997 2005. Bogotá, revista 747 (144). World Bank, IEG (Independent Evaluation Group). 2004. Influential Evaluations: Evaluations That Improved Performance and Impacts of Development Programs. Washington, DC.. 2010. Evaluation Methodology Overview. http://web.worldbank.org/external/default/main?thesitepk=1324361&pipk=64252979&pagep K=64253958&menuPK=5039271&contentM DK=20790052. Sitio Web del Banco Mundial: www.worldbank.org/poverty/nutsandbolts Esta serie de notas busca resumir las buenas prácticas y los hallazgos políticos clave sobre temas relacionados con PREM. Las opiniones expresadas en las notas pertenecen a los autores y no reflejan necesariamente las del Banco Mundial. Notas PREM se distribuyen ampliamente al personal del Banco y también están disponibles en el sitio Web de la Red (http://www.worldbank.org/prem). Si usted está interesado(a) en escribir una PREMnote, por favor envíe su idea por correo electrónico a la Sra. Madjiguene Seck (mseck@worldbank.org). Para obtener copias adicionales de este PREMnote, póngase en contacto con el servicio de asesoría PREM en la extensión x87736. Esta serie es para difusión externa e interna Septiembre 2010 PREMNOTE 11