La evaluación de resultados de los programas presupuestarios según sus indicadores

Transcripción

1 185 La evaluación de resultados de los programas presupuestarios según sus indicadores Marc Noguera Piquer Laia Ferrer Minguet Dirección General de Presupuestos de la Generalitat de Catalunya 1 Evaluación de resultados La evaluación de resultados completa el ciclo anual de la presupuestación orientada a resultados: asignación anual de recursos a objetivos y actuaciones según la planificación estratégica del Gobierno, ejecución del presupuesto por parte de los gestores para cumplir los objetivos definidos y, una vez cerrado el ejercicio, evaluación de los resultados obtenidos. Para el Gobierno y para los gestores la evaluación de los resultados es fundamental porque permite discernir los objetivos y las actuaciones que obtienen los resultados esperados de los que no los obtienen y que, por lo tanto, se tienen que modificar (en su definición o en la dotación de recursos asignados) o se tienen que suprimir para mejorar la eficacia de la acción pública. Así, la evaluación de los resultados de los programas presupuestarios de un ejercicio finalizado permite constatar el grado de eficacia alcanzada y se convierte en una herramienta más para una asignación eficiente de recursos para el ejercicio siguiente. Igualmente, la evaluación de resultados mejora la transparencia y hace posible rendir cuentas a la ciudadanía de la eficacia en el uso de los recursos públicos sobre una base objetiva. En el proceso de reforma en la Generalitat de Catalunya para la presupuestación orientada a resultados, iniciada el ejercicio 2005 con la elaboración del presupuesto del ejercicio 2006, 1 la evaluación de los resultados es un elemento clave para hacer posible que la elaboración presupuestaria tenga como punto de partida los resultados alcanzados en el ejercicio anterior y los resultados que se pretenden alcanzar en el ejercicio siguiente. La evaluación de resultados de la ejecución de los presupuestos de la Generalitat se hace según los indicadores introducidos en las memorias de programa, 2 1. Este proceso se explica con detalle en el primero de los artículos de este dossier, El cambio presupuestario en la Generalitat de Catalunya: una reforma necesaria, de Salvador Maluquer. 2. Las memorias de programa forman parte de la documentación anexa a los presupuestos de la Generalitat.

2 186 Nota d economia 99 Gráfico 1 Tramos del grado de consecución de los indicadores y de la ejecución presupuestaria Consecución de resultados de los indicadores: (valor real - valor previsto) / valor previsto RESULTADOS ALCANZADOS Dentro de los márgenes Con creces -100% -50% -15% 0% 15% 100% Con desviación elevada Con desviación moderada RESULTADOS ALCANZADOS Ejecución presupuestaria: obligaciones reconocidas / presupuesto definitivo 0% 60% 90% 100% Muy baja Baja Normal o alta que cuantifican los objetivos que se pretenden alcanzar con los recursos asignados. El valor previsto para un indicador en el momento de elaborar el presupuesto se compara con el valor real al final del ejercicio, teniendo en cuenta los recursos efectivamente utilizados. 2 Metodología de la evaluación de resultados La evaluación de resultados, a diferencia de la evaluación del diseño de las memorias de programa, requiere que la información que se tiene que analizar la proporcionen los departamentos específicamente para la evaluación. Asimismo, la metodología de la evaluación implica que los responsables valoren los resultados obtenidos a partir de los instrumentos que la Dirección General de Presupuestos pone a su disposición. El instrumento que recoge la información de resultados se ha mejorado desde el 2006 y actualmente es una ficha de evaluación de resultados para cada uno de los programas en los que participa cada servicio presupuestario y cada entidad del sector público de la Generalitat; es decir, para cada combinación programa-servicio. Cada ficha incluye el grado de consecución de los indicadores, la ejecución presupuestaria y la relación entre ambos. En caso de que las desviaciones de cada una de estas variables superen determinados umbrales, los departamentos tienen que dar una justificación y lo tienen que clasificar en alguna de las tipologías de desviación predefinidas. El grado de consecución de cada uno de los indicadores se obtiene calculando la variación del valor real finalmente alcanzado (facilidad para la evaluación) con respecto al valor previsto indicado en las memorias de programa, mientras que la ejecución presupuestaria de un programa-servicio se calcula como la ratio entre el gasto finalmente contabilizado (obligaciones reconocidas) y el presupuesto definitivo. En el gráfico 1 se muestran los tramos en los que se clasifica cada indicador según el grado de consecución y los tramos en que se clasifica la ejecución presupuestaria de un programa-servicio. También se analiza la coherencia entre los resultados obtenidos por el programa-servicio (grado de

3 187 Cuadro 1 Consecución de resultados de los indicadores de 2009 Número % sobre los indicadores valorados % sobre el total de indicadores Resultados alcanzados con creces ,2 23,5 Resultados alcanzados dentro de los márgenes ,7 47,2 Resultados no alcanzados con desviación moderada ,2 13,2 Resultados no alcanzados con desviación elevada 216 9,9 9,2 Resultados alcanzados ,9 70,7 Resultados no alcanzados ,1 22,4 Indicadores valorados ,0 93,2 Indicadores nulos 94 4,0 Indicadores sin datos disponibles 66 2,8 Total de indicadores ,0 consecución del conjunto de los indicadores) y su ejecución presupuestaria. A priori se espera que estas dos variables presenten una correlación directa; es decir, si se ejecuta el gasto previsto o más se tienen que alcanzar resultados; si se ejecuta un gasto inferior a lo previsto no se alcanzarán resultados. Se considera que un programa-servicio consigue los resultados si la media de consecución de los indicadores es igual o superior al 90%, y a partir del 90% se considera que la ejecución es normal o alta. Adicionalmente, con el fin de tener una visión conjunta, cada departamento tiene que elaborar un informe resumen de consecución de resultados global a partir de los obtenidos por sus servicios presupuestarios y sus entidades adscritas. A partir de la información enviada por los departamentos, la Dirección General de Presupuestos elabora un informe de los resultados obtenidos por el conjunto del sector público de la Generalitat. Se analiza el resultado global y se presentan resúmenes por agrupaciones, políticas de gasto y subsectores, se extraen unas conclusiones sobre los resultados obtenidos y se hacen propuestas de mejora que afectan tanto a los departamentos como a la propia Dirección General de Presupuestos. Un extracto de este informe con la información propia y las conclusiones generales se envía a los departamentos. 3 Conclusiones sobre la evaluación de resultados de 2009 La última evaluación de resultados efectuada corresponde al ejercicio El sistema de indicadores de los presupuestos de la Generalitat de Catalunya para el ejercicio mencionado comprendía un total de 2.343, asociados en 520 combinaciones de programas-servicios. Algunas de las conclusiones sobre los resultados alcanzados para el conjunto de indicadores y programas-servicios son las siguientes: 1. Un 75,9% de los indicadores valorados han alcanzado los resultados mientras que un 24,1% no los han alcanzado (cuadro 1). Eso quiere decir que en tres de cada cuatro indicadores del sector público se han cumplido los objetivos previstos. El porcentaje mejora en cada ejercicio desde 2006: 68,7%, 70,2%, 73,8% y 75,9%. 2. Con respecto a la ejecución del presupuesto, el 70,2% (n = 365) de los programas-servicios de la evaluación ha presentado un grado normal o alto mientras que un 21,2% (n = 110) lo presenta bajo y un 7,9% (n = 41) muy bajo. Se han dejado sin recursos presupuestarios tres programasservicios y uno no tenía datos de ejecución disponibles.

4 188 Nota d economia 99 Cuadro 2 Relación entre consecución de resultados y gasto realizado Número de programas-servicios Gasto previsto o más Menos gasto de lo previsto Total Resultados alcanzados Resultados no alcanzados Total No valorables 52 % Gasto previsto o más Menos gasto de lo previsto Resultados alcanzados 81,3% 61,4% Resultados no alcanzados 18,8% 38,6% Total 100,0% 100,0% 3. Por último, se relaciona la consecución de los indicadores de un programa-servicio y su ejecución presupuestaria: un 81,3% de los programasservicios que realizan el gasto previsto o más (ejecución del presupuesto inicial normal o alta) alcanzan los resultados (media de la consecución de los indicadores superior al 90%), pero el 61,4% de los programas que ejecutan menos gasto de la prevista también los alcanzan, tal como muestra el cuadro 2. Por lo tanto, la correlación esperada entre estas dos variables no se produce con la intensidad esperada. El hecho de que dos de cada tres programas-servicios que ejecutan menos del 90% del gasto previsto alcancen al menos el 90% de los resultados previstos indica que los valores previstos de los indicadores se calculan con un grado de exigencia bajo, o que los indicadores están poco relacionados con el gasto del programa-servicio. De hecho, a la hora de valorar los resultados de los programas hay que tener presente que hay ciertas limitaciones que ya nacen de la definición de objetivos e indicadores efectuada por los departamentos. Estas limitaciones, que se ponen de relieve en la Evaluación del diseño de las memorias de programa que lleva a cabo la Dirección General de Presupuestos, 3 hace fal 3. Para más detalles sobre la evaluación del diseño véase el artículo de este dossier Las memorias de los programas presupuestarios y su evaluación, de Cristina Aranda y Mariona Riera. ta que se superen para que la evaluación de resultados sea sólida y sea una herramienta útil para la asignación de recursos presupuestarios. Entre estas limitaciones hay que destacar las siguientes: 1. El conjunto de indicadores presupuestarios de un programa-servicio no siempre recoge la totalidad de los objetivos relevantes del departamento en aquel programa. En estos casos, la evaluación de resultados proporciona información parcial sobre la eficacia del programa. 2. Algunos indicadores no siempre están relacionados con el gasto y, por lo tanto, tienen un interés relativo desde el punto de vista de la asignación de recursos. 3. El vínculo entre objetivos e indicadores no siempre es fuerte y directo. Entre otros motivos, en ocasiones los objetivos que se persiguen no se pueden medir y, en otros, los indicadores establecidos están más vinculados a la gestión que a los resultados. 4. La definición de los indicadores no siempre es la más adecuada. Así, por ejemplo, no es lo mismo definir un indicador como tasa de variación que como valor que se tiene que alcanzar, o bien definir este valor que se tiene que alcanzar en términos absolutos o en términos relativos. 5. El valor previsto establecido para un indicador no siempre es el más ajustado a la realidad. En la previsión del valor del indicador que se quiere obtener al final del ejercicio influyen diversos

5 189 4 factores tales como: a) el valor que se toma como referencia para el cálculo (que puede ser el valor real del ejercicio anterior, el valor previsto del ejercicio en curso, o bien el valor disponible en la fecha de elaboración del presupuesto); b) si se calcula la previsión con los recursos asignados al programa en presupuesto inicial o con los que se prevén obtener finalmente, y c) el grado de exigencia del gestor. 6. El diseño del sistema de indicadores de los presupuestos no prevé ponderaciones y, por lo tanto, la consecución de resultados se mide sin tener en cuenta si, dentro de un programa, un indicador es más relevante que otro, o bien si el programa tiene los indicadores suficientes. Propuestas de futuro De la evaluación de los resultados del ejercicio 2009 surgen unas propuestas de mejora que se pueden resumir en las siguientes: a) solicitar a los departamentos que inicien un proceso de revisión del sistema de indicadores con el fin de mejorar la calidad y el vínculo con los objetivos del Departamento y b) por parte de la Dirección General de Presupuestos, introducir nuevas mejoras en la metodología de evaluación de los resultados e interpretar un volumen considerable y heterogéneo de datos. Finalmente, de cara al progreso de la reforma presupuestaria orientada a resultados, y en coherencia con las conclusiones de la Evaluación del diseño de las memorias de programa, se considera conveniente implementar: Una alineación entre planificación estratégica de los departamentos y presupuestación por resultados, para posibilitar un único sistema de definición de objetivos e indicadores para los departamentos. Un mecanismo de priorización (orden de importancia) o ponderación (peso relativo) del conjunto de indicadores de un programa-servicio, con el fin de tener en cuenta la relevancia dentro del programa y el vínculo con los objetivos. Un procedimiento de revisión de los valores previstos de los indicadores en las tramitaciones de modificaciones presupuestarias y en la dotación de nuevos programas-servicios, con el fin de adecuar los objetivos previstos a los recursos asignados. Un mayor uso de la información de resultados de los presupuestos en el proceso de elaboración y negociación de los presupuestos del ejercicio siguiente, con el objetivo de reforzar el gran cambio que supone presupuestar porresultados.