173 Las memorias de los programas presupuestarios y su evaluación Cristina Aranda Hernández Mariona Riera Estorch Dirección General de Presupuestos de la Generalitat de Catalunya 1 Las memorias de programa en el presupuesto orientado a resultados En el contexto del proceso de cambio presupuestario iniciado por la Generalitat de Catalunya el año 2005 1 hay que mencionar como uno de los principios inspiradores la orientación a resultados, que consiste básicamente en vincular la asignación de los recursos públicos a los resultados derivados de su utilización. 2 Esta idea se puede materializar de diferentes formas. Así, por ejemplo, existen los contratos programa, los modelos de financiación mediante fórmulas (formulafunding) y, el sistema más conocido y sobre el cual parte la reforma presupuestaria de Cataluña: el pre supuesto estructurado por programas. 3 El objetivo de la utilización de programas presupuestarios no es otro que mejorar la asignación de los recursos públicos a partir de la información de los resultados que estos alcanzan. En este sentido, se entiende por programa presupuestario 4 el conjunto de actividades y proyectos, bajo la responsabilidad de un gestor, que consumen recursos y pretenden contribuir a la consecución de unos objetivos determinados. La idea subyacente es que los agentes implicados en el proceso de elaboración presupuestaria tomarán mejores decisiones de asignación de recursos si tienen información sobre el coste y los beneficios (en términos de los resultados alcanzados) de los programas. Hay dos elementos que resultan clave: por una parte, la clasificación del gasto en programas presupuestarios (pa 1. Tal como se explica con más detalle en el artículo de este dossier El cambio presupuestario en la Generalitat de Catalunya: una reforma necesaria. 2. Para una primera aproximación sobre presupuestación orientada a resultados, véase OCDE, 2007 o FMI, 2007. 3. Para ampliar la información sobre este ámbito de la reforma en Cataluña se pueden consultar, entre otros, Maluquer y Tarrach, 2006 y Sort, 2009. 4. La estructura de programas del presupuesto de la Generalitat de Catalunya consta de 110 programas presupuestarios que se agrupan en políticas y estas en áreas de gasto.
174 Nota d economia 99 Gráfico 1 Teoría del cambio de las intervenciones públicas Problema (necesidades) La razón de ser de la intervención pública: el problema o la situación social insatisfactoria que motiva la intervención pública. Hipótesis: la naturaleza, magnitud y distribución del problema justifica la existencia y el tipo de intervención. Recursos (input) Hipótesis: los recursos son suficientes para llevar a cabo las actividades. Actividades (procesos) Hipótesis: los productos consiguen los impactos previstos para la intervención (y la legitiman). Hipótesis: las actividades son adecuadas y pueden generar los productos deseados al coste previsto. Productos (outputs) Impactos (outcomes) Aquello que se espera que suceda como consecuencia de los productos de la intervención (beneficios de corta, media y larga duración para los participantes de la intervención o la sociedad). Lo que se necesita para llevar a cabo las actividades previstas en la intervención. Lo que hace la intervención con los recursos disponibles. Los productos de las actividades de la intervención. Fuente: Instituto Catalán de Evaluación de Políticas Públicas (guías prácticas de evaluación de políticas públicas). ra los cuales se definen una serie de objetivos) y, por otra, la información sobre los resultados (es decir, sobre el grado de consecución de estos objetivos). Por eso, la clasificación por programas en la que se estructura el presupuesto de gastos de la Generalitat de Catalunya no tan solo se tiene que entender como una de las posibles clasificaciones del gasto del presupuesto, sino también, y sobre todo, como un instrumento de la presupuestación orientada a resultados, un instrumento a partir del cual se explicita y formaliza la información sobre los objetivos y los resultados que se quieren alcanzar con los recursos públicos. Los diferentes agentes gestores del presupuesto elaboran una memoria para cada uno de los programas a los cuales asignan recursos. Este documento, titulado Memoria de programa, contiene la estrategia a partir de la cual se diseña el programa en términos de la teoría del cambio que tiene asociada. Se entiende por teoría del cambio la descripción de los fundamentos lógicos sobre los cuales el programa o la política pública se estructura y se gestiona. De manera general, cualquier intervención pública se puede concebir como una hipótesis causal: si llevamos a cabo una determinada política pública, solucionaremos un determinado problema o, alternativamente, si llevamos a cabo una política pública, produciremos una transformación intencionada de unos recursos específicos (input) en ciertas actividades (procesos) con el fin de producir unos impactos deseados (outcomes) en un contexto específico. La construcción de la teoría del cambio precisamente consiste en desagregar la hipótesis causal general en un conjunto de hipótesis parciales que configuran el proceso por el cual se espera que la intervención pública llegue a solucionar o atenuar el problema. 5 Cada una de estas hipótesis tiene que ser plausible para que el conjunto de la teoría también lo sea; como más plausibles y demostrables sean estas hipótesis, más robustas serán las conclusiones derivadas de la teoría. No obstante, hay que tener presente que en la relación entre los productos de la actividad pública (outputs) y los resultados conseguidos (outcomes) siempre hay un determinado grado de incertidumbre, como conse 5. Si tenemos determinados recursos, podremos hacer determinadas actividades; si hacemos determinadas actividades, generaremos determinados productos, y si generamos determinados productos, alcanzaremos determinados impactos que, en última instancia, solucionarán o mitigarán el problema para el cual se concibió la intervención pública. Es decir, se alcanzarán los objetivos perseguidos por el programa.
175 cuencia de la existencia de elementos de entorno (no controlables por los gestores) que pueden afectar el impacto final de la intervención. En coherencia con este proceso lógico, las memorias de programa se estructuran en apartados con el contenido siguiente: 6 la unidad responsable del programa; el diagnóstico de la situación, en el cual se identifica y describe el problema o la situación social insatisfactoria que motiva la intervención pública, así como los colectivos de ciudadanos a los que va dirigido el programa; la misión que es la razón de ser del programa; los objetivos que concretan aquello que se quiere conseguir con el programa en un horizonte de medio y largo plazo (objetivos estratégicos) y también desde la perspectiva anual (objetivos operativos); los servicios que hay que proveer, los productos que hay que producir y las actividades que hay que realizar con el fin de contribuir a la consecución de los objetivos del programa de la manera más eficiente y eficaz posible; los indicadores, con los cuales se expresa en términos cuantitativos el grado de consecución de los objetivos y el impacto conseguido por el programa; el impacto sobre políticas transversales que pueda tener el programa en los ámbitos de medio ambiente, igualdad de género y fomento de la competitividad; un resumen de los gastos del programa clasificados en capítulos presupuestarios, y un resumen del número de puestos de trabajo presupuestados en el programa. No obstante, vistas las dificultades de asignar determinado personal que presta servicios de administración general a un programa finalista, en algunos casos se utilizan programas instrumentales. 6. Las memorias de programa de los presupuestos de la Generalitat se pueden consultar en el web del Departamento de Economía y Conocimiento (http://www.gencat.cat/economia), en los apartados de presupuestos anuales. Para garantizar que la información sobre resultados se utilice en el proceso de negociación y elaboración presupuestaria de manera efectiva y sistemática, y evitar así que la presupuestación orientada a resultados se convierta en un simple ejercicio formal, el primer requisito es que esta información sea sintética, relevante y de calidad. 7 En este contexto, la evaluación se convierte en una pieza clave, ya sea a través de la evaluación de diseño, que permite analizar la calidad de la información inicial para mejorarla y corregirla, o a través de la evaluación de resultados, que permite contrastar el grado de eficacia alcanzada e incorporar esta información como una herramienta más para la asignación de recursos. 2 La evaluación del diseño de las memorias de programa Con la finalidad de velar por la calidad de la información presupuestaria de la Generalitat de Catalunya y, a su vez, facilitar la utilización en el proceso de toma de decisiones de asignación de recursos, la Dirección General de Presupuestos, del Departamento de Economía y Conocimiento, lleva a cabo anualmente, desde el año 2006, una evaluación interna del diseño de los programas presupuestarios. Este tipo de evaluación permite detectar los aspectos que hay que mejorar en cuanto a la información contenida en las memorias de programa y también los aspectos del proceso presupuestario que se tienen que corregir. La evaluación del diseño consiste en verificar en qué medida las memorias de programa responden a la metodología definida para elaborarlas, a partir de un cuestionario de 29 preguntas estructuradas en 6 7. Aunque la información sobre resultados se ha incrementado notablemente en los últimos años, porque numerosos países de la OCDE han emprendido reformas para orientar los presupuestos a resultados, la evidencia sobre la incorporación y utilización de esta información en el proceso de elaboración presupuestaria no es tan clara. Así pues, se hace patente que la información sobre resultados es una condición necesaria pero no suficiente para garantizar la utilización efectiva para la toma de decisiones. Véase Curristine [et al.], 2008.
176 Nota d economia 99 bloques, que se corresponden con los diferentes apartados de las memorias de programa. Para llevarla a cabo se selecciona una muestra de memorias representativa en términos de presupuesto consolidado, tanto con respecto al conjunto del presupuesto como con respecto a la agrupación, que al mismo tiempo garantiza cierta rotación, en los programas evaluados. 8 La puntuación de los programas que se evalúan puede oscilar entre 0 y 10 y el resultado de la valoración puede ser deficiente (puntuación igual o superior a 0 e inferior a 3), insuficiente (puntuación igual o superior a 3 e inferior a 6), adecuado (puntuación igual o superior a 6 e inferior a 8,5) y bueno (puntuación igual o superior a 8,5). Las evaluaciones realizadas durante el período 2006-2010 muestran que se ha mejorado en el diseño de las memorias, que ha pasado de una puntuación media de 5,1 a 6,3. Hay que matizar, sin embargo, que no ha sido una mejora constante, sino que después del importante avance experimentado el año 2007 (se pasó de 5,1 a 6,3) se produjo un cierto estancamiento en la calidad, con ligeras variaciones entre un año y otro. De acuerdo con los resultados de la última evaluación, la valoración media del diseño de las memorias es adecuada, si bien un 44% del conjunto de las memorias necesita mejorar. Esta necesidad de mejora es más patente en las memorias de las entidades dependientes 9 (un 57% necesita mejorar) que en las de los gestores departamentales (el porcentaje en este caso es del 27,3%). Los resultados de la evaluación muestran también cierta variabilidad entre agrupaciones departamentales. 10 Así, si bien el 75% de las agrupaciones obtienen una valoración media de diseño adecuada 8. La evaluación del diseño de los programas de gasto de los presupuestos para el 2010 se ha hecho sobre una muestra integrada por 100 memorias de programa, que representan el 71,5% del presupuesto consolidado del sector público de la Generalitat y el 18,9% del número total de las memorias de los presupuestos de este ejercicio. 9. Para más información sobre las entidades que integran los presupuestos véase, en este mismo dossier, el artículo La evolución del ámbito institucional de los presupuestos de la Generalitat. 10. Las agrupaciones departamentales están formadas por los departamentos y las entidades que tienen adscritas. (es decir, superior a 6), las puntuaciones medias oscilan entre un 8,4, la más elevada, y un 3, la más baja. Los diferentes apartados de las memorias obtienen una valoración adecuada, salvo los relativos al diagnóstico y los indicadores (con una puntuación de 5,9 y 5,4, respectivamente). Sin embargo, se detectan importantes espacios de mejora en cada uno de los apartados. Hay que destacar, especialmente, la necesidad de mejorar en la relevancia y concreción de los objetivos (estratégicos y operativos) y de los indicadores de seguimiento. Por otra parte, también se considera importante avanzar en la descripción de la teoría del cambio de los programas o, dicho de otra manera, en los fundamentos lógicos sobre los cuales estos se estructuran. 3 Líneas de trabajo emprendidas y proyectos de futuro La evaluación de diseño se lleva a cabo para detectar los aspectos que se deben mejorar o corregir, pero, tal como ya se ha comentado antes, para que esta mejora se haga efectiva hay que hacer uso de los resultados obtenidos. Con este objetivo, desde la Dirección General de Presupuestos, aparte de transmitir y comentar los principales resultados de las evaluaciones con los diferentes departamentos del Gobierno con el fin de favorecer el proceso de reflexión y mejora de la información, se han llevado a cabo diversas actuaciones. A modo de ejemplo se puede mencionar que el año 2007 se elaboró una Guía metodológica para la elaboración de memorias de programa 11 de referencia para los agentes implicados en el proceso de elaboración presupuestaria, que posteriormente se ha actualizado para ampliar la explicación de los aspectos que en las sucesivas evaluaciones se ha puesto de manifiesto que era necesario mejorar. Paralelamente, también se han 11. La Guía para la elaboración de memorias de programas presupuestarios se puede consultar en el apartado Guías y manuales presupuestarios del web del Departamento de Economía y Conocimiento (http://gencat. cat/economia).
177 organizado diversas ediciones de cursos y talleres prácticos encaminados a difundir esta metodología. Con la finalidad de implicar a todos los agentes de la organización en el proceso de mejora que supone la reforma presupuestaria orientada a resultados, desde el año 2006, se han organizado jornadas y sesiones 12 para difundir el proyecto y fomentar el trabajo conjunto y compartido con una visión corporativa (tanto para el personal de dirección como para el personal técnico de los departamentos y las entidades). A pesar de los avances realizados en estos cinco años, el trayecto que queda por recorrer para culminar el proceso de reforma presupuestaria todavía es largo, y hay que seguir invirtiendo esfuerzos para consolidar el cambio de cultura organizativa que implica que el presupuesto se conciba no tan solo como una herramienta operativa de gestión, sino también como una herramienta de planificación para la toma de decisiones estratégicas. En este sentido, la orientación de cara a los próximos años en el contexto de la utilización de programas presupuestarios se centra, fundamentalmente, en mejorar la integración entre planificación estratégica (tanto en el ámbito del Gobierno como en el de los diferentes departamentos) y presupuesto, a fin de que la primera señale la orientación y el presupuesto provea los recursos para implementar estos planes de la manera más eficaz y eficiente posible. 13 Esta orientación puede comportar que haya que hacer determinados ajustes en la actual clasificación por programas (por ejemplo, desagregar algunos), con el fin de garantizar que esta se adecue lo máximo posible a la manera en la que los departamentos toman las decisiones sobre la asignación de recursos y la obtención de resultados, así como seguir fomentando los sistemas de información corporativa. 4 Bibliografía Curristine, T. [et al.]. Improving public sector efficiency: Challenges and opportunities. Presupuesto y Gasto Público, n.º 51, 2008. FMI. Performance budgeting. Linking funding and results. FMI, 2007. Maluquer, Salvador; Tarrach, Anna. Gestión estratégica del presupuesto y orientación a resultados: La reforma presupuestaria de la Generalitat de Catalunya. Presupuesto y Gasto Público, n.º 43, 2006. OCDE. Performance budgeting in OECD countries. OCDE, 2007. Sort Miret Jordi. El procés de reforma pressupostària de la Generalitat de Catalunya: Balanç i propostes per aprofundir-hi. Barcelona, 2009. 12. Durante el periodo 2006-2010 entre cursos, talleres y jornadas se han formado más de 2.000 personas. La documentación de las diferentes ediciones, así como el calendario de las próximas, se puede consultar en el apartado de formación del Departamento de Economía y Conocimiento (http://gencat.cat/economia). 13. Estos trabajos se desarrollan de forma conjunta con el Departamento de la Presidencia.