Indicadores como herramientas de control

Transcripción

1 Indicadores como herramientas de control Autor: Mgter Carmen Joaquina Caballero Facultad de Ciencias Políticas y Sociales- UNCuyo Ponencia para el VII Congreso Argentino de Administración Pública - Julio de 2013

2 1. Introducción Hoy el accionar del gobierno exige desarrollar mecanismos que permitan medir los programas y proyectos que hacen al cumplimiento de políticas públicas, desarrollados a través de los distintos organismos. Esto es que se disponga de mecanismos de evaluación de la gestión. Las administraciones públicas han de garantizar la igualdad y equidad en la prestación de los servicios públicos. Se trata de ofertar los servicios con igualdad en el trato y la distribución, los que por otra parte, deben prestarse de forma transparente y con responsabilidad. Por otra parte, también en el contexto actual, los ciudadanos conscientes de su papel frente a dicho accionar, exigen prestaciones en cantidad, oportunidad y calidad y en consecuencia, parámetros que le permiten evaluar los resultados de la gestión. Para ello los prestadores de los servicios deben garantizar el derecho de los ciudadanos en recibir información veraz sobre su accionar, incluso a ser consultados sobre los servicios recibidos, con mayor razón a gozar del derecho a reclamar. Es por ello, que en la actualidad, se insiste en que el diseño de los servicios debe favorecer la participación y deben estar adaptados a los diferentes ciudadanos, los que pueden aportar a los procesos de mejora de aquéllos. Es en este marco donde los indicadores de gestión revisten gran importancia para la mejora en el desempeño institucional; sin embargo, su diseño e implementación implican, en la mayoría de los casos un desafío, dada la complejidad de las organizaciones en que se requiera aplicarlos. En el presente trabajo se abordará el tema de los indicadores como un instrumento del control, relacionando éstos a los procesos de planificación, evaluación, monitorio y obtención de resultados, en el marco de la capacidad del Estado para accionar las políticas públicas. En tal sentido se describirá qué son los indicadores, su tipología, características y por último se indicará el proceso para su implementación.

3 2. Capacidad estatal y Control Se puede definir a la capacidad estatal u organizativa como la habilidad de las organizaciones para desempeñar sus tareas de manera eficaz, eficiente y sostenible (1). Según Hintze (2002:1), en el marco del complejo proceso de transformación del rol del Estado acontecido en nuestro país es las últimas décadas emerge la relevante cuestión de la conformación, funcionamiento y confiabilidad de su aparato institucional como valor público en sí mismo, La sociedad exige, cada vez más, una rendición de cuentas acerca de la estructura, el funcionamiento y la relación costo-beneficio de las instituciones públicas (2 ). Para responder tanto a la generación de valor público como a las demandas de la comunidad, se requiere de un modelo de gestión que capta las mismas, las analice y las traduzca en políticas o programas de acción. Es decir, se requiere de un nuevo modelo de gestión y no basta solamente con que los resultados sean exitosos, porque habrá que meritar si responden en cantidad, calidad y coste. Ello implica desarrollar una capacidad en el Estado, que acompañe los cambios y transformaciones en su gestión, para el logro de las políticas públicas.- Los siguientes serían algunas líneas de apoyo a las políticas activas: profesionalización de los recursos humanos Sistema de planeamiento estratégico que incluya objetivos y metas cuantificables Convenio de desempeño para los gerentes mayor autonomía dentro de la normativa vigente de los responsables de programas para la administración de los recursos esquema de incentivos efectivos para los gerentes y para los recursos en general sistema objetivo y eficiente de evaluación, monitoreo y control que se apoye en sistemas de información adecuados (3).

4 A los fines de este trabajo, interesa destacar el último enunciado, dado que plantea disponer de un adecuado sistema de control de gestión. Si tomamos en cuenta el concepto de control, entonces se confirmará la aseverado en el párrafo anterior, asì Control es un proceso de carácter permanente, dirigido a la medición y a la valoración de cualquier actividad o prestación sobre la base de criterios y de puntos de referencia fijados, y a la corrección de las posibles desviaciones que se produzcan respecto a tales criterios y puntos de referencia (4). De tal manera que el control consiste en realizar la verificación, a través de la comparación de los estándares y parámetros fijados previamente con los resultados que se van obteniendo, para verificar si hay correspondencia entre ambos, también el control consiste en verificar los progresos realizados y el cumplimiento de los plazos establecidos; en recoger datos que permitan efectuar acciones correctivas, corregir los planes originarios de los programas, reformularlos tomando en consideración las experiencias y los análisis realizados. De lo dicho se desprende que es la etapa de la planificación, la instancia donde deben diseñarse los estándares que luego del proceso deberán ser verificados. Los mismos criterios que se definan al momento de la planificación son los que deberán utilizarse en la etapa de control, sólo así habrá coherencia al momento de la medición, entre metas a alcanzar y resultados obtenidos se desea disponer de alguna información sobre el cumplimiento de lo planificado, Considerando los planes como pronósticos, presunciones o expectativas sobre posibles logros futuros y los controles como verificaciones sobre logros pasados, en medio de estos dos momentos debe ubicarse el evento de la asignación de recursos para que hubiera algo que controlar. Es este el momento de la toma de decisión, en el que comienza la responsabilidad que da lugar a la rendición de cuentas (5) Como se advierte el control conlleva siempre medición. Esta medición se efectiviza a través de unidades de medidas a las que llamamos indicadores.

5 3. Indicadores 3.1- Concepto Previo a su desarrollo, debemos mencionar que los indicadores no son un fin en sí mismos, sino que son una herramienta que se utiliza en las distintas fases: planificación, desarrollo de las actividades, seguimiento, monitoreo y obtención de resultados. Asimismo, son insumos en instrumentos tales como: tablero de control, marco lógico, sistemas de gestión de calidad, Carta Compromiso con el Ciudadano, etc Su utilidad también está significada al constituir un instrumento que aporta valiosa información para la función directiva, y en consecuencia para la toma de decisiones. Podemos conceptualizar al indicador como una medida una magnitud, asociada a una actividad, a un proceso, a una política a través de la cual es posible determinar, en forma objetiva y sistemática sobre la pertinencia, eficiencia, eficacia de las actividades y su impacto sobre los beneficiarios previstos. Se trata de una medida explícita, objetivamente verificable que permite evaluar y describir un fenómeno cuantitativamente. Otro concepto nos lo define como instrumentos que permiten medir los insumos, procesos, productos, resultados y efectos de los proyectos, programas o estrategias de desarrollo (6). Cuando están respaldados por sistemas acertados de recopilación de datos, análisis e información, los indicadores permiten a los administradores seguir los progresos, demostrar los resultados y adoptar medidas correctivas para mejorar la prestación de los servicios. Se advierte que el indicador aporta información valiosa para conocer una situación y tomar decisiones para cambiar, si correspondiera, por lo que cumple una doble función: función descriptiva: aporta información sobre una situación determinada o el estado de un sistema, y muchas veces, sobre su evolución en el tiempo o en el espacio.

6 Función valorativa: permite, al comparar con valores de referencia, emitir juicios de valor sobre la bondad o no de la actuación o la evaluada. Esta es la función genuinamente de control que tienen los indicadores. Un indicador es un instrumento que permite medir y evaluar la gestión pública. Los indicadores pueden definirse como las unidades de medida que permiten el seguimiento y la evaluación periódica de las variables clave de una organización, mediante su comparación con sus correspondientes referentes internos y externos (7). El monitoreo, seguimiento y evaluación de las actividades brinda información a los funcionarios o responsables de programas a fin de aprender de las experiencias pasadas, mejorar la prestación de servicios en cantidad y calidad, un uso más racional de los recursos y en definitiva demostrar los resultados alcanzados. Es decir, el indicador debe actuar como un disparador, porque al marcar las diferencias debe promover la reflexión y el estudio de las causas que las motivan. Este análisis o reflexión, a partir de la información aportada por los indicadores, se puede utilizar en distintas instancias: en la evaluación de las políticas públicas, y estará dirigida a los niveles políticos en la evaluación de gestión y resultados de los distintos organismos, y estará orientada a los directores, jefes de sectores o responsables de programas, y en la evaluación de desempeño individual, que servirá a jefes y empleados. Para la evaluación de resultados y gestión de las instituciones públicas en diferentes niveles (Nacional, Regional, Local), se usan indicadores de desempeño, apoyados en procesos previos de planeación estratégica, con el propósito de evaluar la gestión, uso de los recursos y en general el desarrollo óptimo de las entidades en busca de fines mayores gubernamentales.

7 En este sentido, los indicadores se convierten en uno de los elementos centrales de evaluación de los diferentes sistemas que implementan y desarrollan las entidades, ya que permiten, dada su naturaleza, la comparación en la organización (Referenciación interna) o al exterior de la misma (Referenciación externa colectiva) desde el sector donde se desenvuelve. Los indicadores permiten evidenciar el nivel de cumplimiento acerca de lo que está haciendo la organización y sobre los efectos de sus actividades, a través de la medición de aspectos tales como: Recursos: Como talento humano, presupuesto, planta y equipos. Cargas de Trabajo: Como estadísticas y metas que se tengan para un período de tiempo determinado y el tiempo y número de personas requeridas para realizar una actividad. Resultados: Como ciudadanos atendidos, oficios respondidos, ejecución del cronograma, niños vacunados, kilómetros construidos, etc. Impacto: De los productos y/o servicios, tales como enfermedades prevenidas, impuestos recolectados, niveles de seguridad laboral alcanzados.9 Productividad: Como casos atendidos por profesionales, solicitudes procesadas por persona, llamadas de emergencia atendidas. Satisfacción del Usuario: Como el número de quejas recibidas, resultados de las encuestas, utilización de procesos participativos, visitas a los clientes. Calidad y Oportunidad del Producto y/o Servicio: Como tiempos de respuesta al usuario, capacidad para acceder a una instancia, racionalización de trámites (8) Ventajas o beneficios de trabajar con indicadores: Como puede apreciarse los indicadores son un instrumento útil para la planificación, control y la función directiva; su importancia deviene de la complejidad, diversidad de productos y/o servicios que ofrecen las instituciones, de la diversidad de usuarios que exige determinar, con mayor

8 precisión, el nivel de desempeño. Algunos de los beneficios que se pueden mencionar son: Sirve para comunicar los logros obtenidos y su impacto en el medio, Refuerzan el proceso de planificación y de formulación de políticas de mediano y largo plazo, Aportan datos del desempeño de las distintas dimensiones de la organización que participan en un proceso, Permite realizar ajustes en los procesos internos y readecuar los cursos de acción, Facilitan la cuantificación de los progresos obtenidos, Suministra información válida para una mayor satisfacción del usuario Finalidad de los indicadores y qué miden: Los indicadores deben cumplir con requisitos y elementos para poder apoyar la gestión en el cumplimiento de los objetivos institucionales, la utilidad o validez real de los indicadores dependerá de que reúnan determinadas cualidades. Existen algunos criterios que sirven para seleccionar los indicadores; cuando la información que brindan pueden responder a preguntas como miden el resultado?, es posible medir los resultados en distintos momentos del proceso? Aportará información útil para la toma de decisiones? se podrán obtener con facilidad? son sencillos de interpretar?,etc entonces, podemos decir que los indicadores serán válidos.

9 Recursos utilizados EFICIENCIA Resultados Concretos obtenidos Impacto global obtenido ECONOMIA EFICACIA EFECTIVIDAD Recursos disponibles Resultados concretos previstos Impacto global previsto Fuente: LOPEZ CAMPS, J. y GADEA CARRERA, A. El control de gestión en la Administración local Tipos de indicadores: Un indicador de evaluación de desempeño debe ser sencillo y expresar la realidad que mide. Atento que la realidad presenta el carácter de multidimensional, de igual manera la evaluación de desempeño institucional puede ser abordada desde distintas perspectivas y no sólo desde la visión tradicional que mide la eficacia y la eficiencia. Indicadores de Eficacia Son aquéllos que expresan la capacidad de realizar lo programado y satisfacer la demanda. En la gestión estatal la eficacia comprende, también, la capacidad de satisfacer las necesidades de la población objetivo por cuanto los objetivos políticos se originan a partir de la captación de la demanda, su caracterización y cuantificación. Es decir, que los Indicadores de Eficacia miden si la intervención alcanzó los cambios que se requieren y generó un grado de cumplimiento de los objetivos predeterminados.

10 Las organizaciones que son capaces de identificar los productos o servicios que son estratégicos para el cumplimiento de su misión, pueden acotar adecuadamente las prestaciones que se deben medir y la población objetivo que recibirá esos bienes o servicios. Los indicadores de eficacia a su vez se pueden sub-clasificar en distintas categorías: Cumplimiento de la meta Es la relación que se establece entre los resultados alcanzados en función de los resultados programados. Para que este valor tenga relevancia y asegure una adecuada interpretación, es necesario que en la instancia de formulación de las metas se especifiquen los tiempos de ejecución y se tengan en cuenta los niveles de recursos necesarios para su ejecución. Si al momento de la programación no se tienen en cuenta estos parámetros puede haber una sobre-estimación o subestimación de la meta y en consecuencia el cálculo de este indicador no poveerá la información gerencial que permita evaluar la ejecución. Indicadores de cobertura: Son aquéllos que reflejan la relación entre la demanda potencial por los bienes o servicios que ofrece la institución y la cantidad efectivamente entregada. indicadores de capacidad para cubrir la demanda actual También conocidos como indicadores de proceso, permiten evaluar cuantitativamente la capacidad de la actividad para producir los resultados demandados explícitamente por la comunidad. Relaciona los productos obtenidos con la demanda real. Indicadores de Eficiencia La otra dimensión importante es la de eficiencia, estos indicadores se relacionan con la maximización del impacto del gasto. Esta maximización se puede medir desde dos ángulos distintos: si se está produciendo la

11 mayor cantidad de productos o prestaciones posibles ante el nivel de recursos de que se dispone, o cómo alcanzar un nivel determinado de servicios utilizando la menor cantidad de recursos posible. La eficiencia se presenta cuando se relacionan ambos componentes, es decir que una institución es eficiente cuando produce lo máximo con el mínimo desperdicio, costo y esfuerzo en el tiempo establecido para su ejecución. El indicador de eficiencia más utilizado es el costo unitario de producción, el que relaciona la producción física con los costos directos e indirectos utilizados en la entrega del producto o servicio. La producción física es relativamente simple de medir, pues se relaciona con el nivel de actividad, expresado en número de fiscalizaciones, solicitudes resueltas, personas capacitadas, usuarios atendidos, etc. Sin embargo, la medición de los costos presenta una mayor complejidad pues los sistemas contables registran en forma agregada la utilización de recursos para todos los bienes y servicios que entrega la organización. Uno de los problemas más recurrentes en la generación de este tipo de indicadores es la ausencia, en las contabilidades públicas, de centros de costos que permitan identificar claramente aquéllos que están asociados a un producto determinado de los restantes productos o servicios que provee la institución, como por ejemplo los gastos de mantenimiento, de inmuebles, de servicios, de personal, etc. Estos indicadores de costos Unitarios relacionan las erogaciones en la actividad con los resultados obtenidos. Indicadores de Economía Se pueden definir como la capacidad de la organización para producir los recursos financieros adecuados para el cumplimiento de sus objetivos. Expresan la relación entre los costos reales y los recursos o medios previstos;

12 lo que obliga que, al momento del diseño de un programa se deban prever los recursos ( materiales, humanos, financieros, etc) necesarios. Todo organismo que administre fondos, especialmente cuando éstos son públicos, es responsable del manejo eficiente de sus recursos financieros, de ejecución de su presupuesto y de la administración adecuada de su patrimonio. Algunos indicadores representativos de esta categoría son, por ejemplo, la capacidad de autofinanciamiento (cuando la institución tiene atribuciones legales para generar ingresos propios), la capacidad para recuperar préstamos y otros pasivos. También en este tipo de indicador se pueden ubicar otros, como por ejemplo: aumento de costos en el caso de contratos de obras públicas, ahorros realizados a partir de la aplicación de nuevas tecnologías en los sistemas de compras, etc Indicadores de Impacto: Estos indicadores nos informan sobre el resultado final de las actuaciones en la sociedad, en el territorio, etc. Miden la capacidad de producir la solución o respuesta deseada por el conjunto social y, por otra parte, expresan la responsabilidad institucional para producir lo que la sociedad estaba esperando. La información que aportan estos indicadores es útil para tener conocimiento, no sólo de los resultados finales de un programa, sino que también valoran los resultados indirectos ( repercusiones) de una actividad sobre la población. Por ejemplo si se elabora un programa para sacar los jóvenes de la calle se trabajará en distintos aspectos como el educativo, el deportivo, el cultural, tratamiento de drogadicción, etc. Pero si para ello hubo que construir un playón deportivo en el barrio o si como consecuencia de lo realizado, disminuye el índice de delitos en dicho barrio, se observa que hay resultados indirectos que se deben merituar. Los indicadores de impacto posibilitan relacionar los resultados a alcanzarse con las transformaciones estructurales o resultados finales planteados en las políticas de desarrollo económico y social. Por tanto, son

13 indicadores a lograrse en el largo plazo y su obtención está ligada directamente al logro de los resultados previstos (9). Estos indicadores, a su vez utilizan información aportada por los indicadores de eficacia, pero también los de eficiencia, desde el momento que la administración pública, y con ello, nos estamos refiriendo a los gestores públicos, deben procurar optimizar los recursos utilizados en la generación de valor. Indicadores de Calidad Todos los tipos de indicadores pretenden medir la calidad de los servicios, sea desde el punto de vista de la eficacia, intermedio de gestión (proceso), o de la eficiencia. Es evidente que estos indicadores no garantizan automáticamente un buen proceso de prestación de servicios, y un buen proceso no asegura totalmente un buen resultado. Pero sí es verdad que, para obtener un buen resultado en un servicio o producto, es necesario un buen proceso.. Hay que tener presente que cuando se evalúa la calidad, se está evaluando la gestión, y el éxito de ésta radica en la satisfacción del cliente, o usuario. Por ello es fundamental que se pulse periódicamente la opinión del cliente para conocer las demandas y el grado de satisfacción que tienen de los productos finales. Lo que se miden son los atributos de calidad que están presentes en los servicios prestados, como por ejemplo: capacidad de respuesta, accesibilidad, credibilidad, seguridad, comprensión de las demandas, cortesía, competencia del personal,etc Metodología para la construcción de indicadores y definición de estándares

14 1-Consensuar y definir actividades La finalidad de esta etapa es abrir la discusión entre los diferentes directores y jefes con sus técnicos y profesionales sobre lo que realmente se está haciendo. Este proceso de sensibilización, formación y elaboración conjunta tiene que ser participativo, el éxito del sistema está en la comprensión que tengan todos los agentes de lo que hacen. 2- Definición de estándares: Es importante que la determinación de los estándares y de los indicadores se haga de forma participativa y los valores escogidos sean aceptados por todas las personas que intervienen en la realización de las actividades. Las siguientes recomendaciones constituyen una guía a utilizar para establecer con seguridad los diferentes estándares de sus actividades: Evitar definiciones poco concretas de los estándares. Utilizar estándares cuantificables Los estándares pueden ser positivos o negativos. Pueden expresar lo que se quiere o lo que no se quiere. Pueden ser rangos de valores aceptables. El estándar debe tener coherencia con los objetivos y la práctica de la organización. Han de decidirse con los colaboradores. Deben centrarse, fundamentalmente, en aquellas actividades que consumen el 70-90% del esfuerzo personal Es preciso asociar el estándar a una responsabilidad personal. La obtención de estándares tiene que ser sencilla y el método de medida simple. En su elección es preciso practicar el principio de economía: seleccionar el menor número posible de estándares. Para facilitar la construcción de estándares, conviene que el responsable de las actividades describa primero cuáles y cómo son estas actividades y después intente construirlos preguntándose el porqué de estas actividades.

15 3- Construcción de Indicadores: La selección de indicadores relevantes de una actividad, es la tarea más importante dentro del proceso de generación de un sistema de información gerencial y deben estar directamente relacionados con las actividades claves de la organización. Cuando responden a la estrategia de la organización se basan en factores que determinan lo que es importante para su éxito. Las características más relevantes que debe tener un indicador son las siguientes: Pertinencia: condición que manifiesta la correspondencia entre el indicador seleccionado y el fenómeno que se pretende cuantificar, en otras palabras el indicar debe ser adecuado a lo que se quiere medir Validez: tiene que ver con la información que aporta, si se elabora para brindar una información determinada, no se debe extender su uso para abarcar situaciones que el mismo no contempla en su naturaleza. Objetividad/ confiabilidad: El cálculo de las magnitudes observadas no debe ser ambiguo. Debe ser digno de confianza, independientemente de quien realice la medición. Sencillez: pretende que la interpretación del fenómeno a partir del indicador esté al alcance de los no expertos en el área específica, que sea fácil de calcular e interpretar. Sensibilidad: Debe mostrar o permitir identificar las variaciones, por pequeñas que sean, de la actividad que se desea medir o controlar. Accesibilidad: La obtención de los datos debe ser sencilla y factible, además de que sea a un costo aceptable..

16 Reflexiones finales La sociedad, en la actualidad, está demando mejores resultados de la gestión pública, en consecuencia el aparato burocrático debe introducir cambios en su gestión que aseguren un fortalecimiento de su capacidad institucional. En consonancia con ello, se requerirá introducir la planificación estratégica, nuevas modalidades de presupuestación ( donde se vinculen fines con recursos asignados y resultados esperados), cambios en la gestión administrativa, régimen de incentivos institucionales e individuales. Es básico que los funcionarios adopten la planificación como instrumento de gestión sin la cual no es posible realizar las actividades y medirlas, dado que es en esa instancia donde se definirán los parámetros de evaluación. Además que, sea ésta, un proceso continuo que se retroalimente a partir de las evaluaciones durante el proceso y al término de las acciones, que por otra parte no se vea afectada por los cambios periódicos de funcionarios. Es necesario que se tenga otra visión del control, que éste no quede sólo en la revisión formal o legal, que si bien no puede dejarse de lado en las burocracias estatales, no permiten evaluar otras dimensiones de los procesos, programas o políticas desarrolladas. Incorporación, en la nueva gestión pública, de metodologías de seguimiento, monitoreo y evaluación de la gestión, que brinde información acerca de los resultados y procesos, a partir del uso de los indicadores, que permitan conocer las desviaciones presentadas en el proceso y el impacto final a efectos de realizar las acciones correctivas pertinentes. Resaltar la importancia de los indicadores, la que está significada al constituir un instrumento que aporta valiosa información para la función directiva, y en consecuencia para la toma de decisiones.

17 Una vez instalados los sistemas de medición a través de los indicadores, éstos deben tener continuidad en el tiempo, dado que de esta forma se podrá disponer de información que permita evaluar distintos procesos o resultados obtenidos en el tiempo y analizar qué factores influyeron en los distintos períodos. Además porque, de no mantener dicho sistema, se estarían desperdiciando recursos que se afectaron para la creación de dicho sistema.

18 Citas bibliográficas 1- FERNANDEZ, A. Construcción de capacidad estatal y procesos de modernización. Confluencia. Revista n 11 - Ciencia Política y Administración P ública, Uncuyo pág Ibidem, pág PEREZ ALFARO, A.. Control de gestión y tablero de comando. Del diagnóstico a la aplicación. Ediciones Depalma. Buenos Aires Pág LOPEZ CAMPS, J. y GADEA CARRERA, A. El control de gestión en la Administración local. Ediciones Gestión 2000, Barcelona 1992, pag HINTZE,J. Instrumentos de evaluación de la gestión del valor público. VIII Congreso Internacional del CLAD sobre la reforma del Estado y la Administración Pública. Panamá Pag Banco Mundial, Seguimiento y evaluación: instrumentos, métodos y enfoques. Departamento de Evaluación de Operaciones, Washington, 2004, pag 6 7- LOPEZ CAMPS, J. y GADEA CARRERA, A. op. Cit. pag Departamento Administrativo de la Función Pública. Guía para la Construcción de Indicadores de Gestión. ISBN: Bogotá D.C Pag MAKON, M. La gestión por resultados, es sinónimo de presupuesto por resultados? 66 - Revista Internacional de Presupuesto Público ASIP -2008

19 Bibliografia Banco Mundial, Seguimiento y evaluación: instrumentos, métodos y enfoques. Departamento de Evaluación de Operaciones, Washington, Consejo científico del CLAD. Una nueva gestión pública para América Latina. Centro Latinoamericano de Administración para el Desarrollo (CLAD)1998. Departamento Administrativo de la Función Pública. Guía para la Construcción de Indicadores de Gestión. ISBN: Bogotá D.C EVANS, R. y LINDSAY, W. Administración y control de calidad. Thomson Editores. México.2006 FERNANDEZ, A. Construcción de capacidad estatal y procesos de modernización. Confluencia. Revista n 11 - Ciencia Política y Administración Pública, Uncuyo GADEA CARRERA, A. Gestión de la calidad en servicios públicos. I&C Argentina. Córdoba HINTZE,J. Instrumentos de evaluación de la gestión del valor público. VIII Congreso Internacional del CLAD sobre la reforma del Estado y la Administración Pública. Panamá LOPEZ CAMPS, J. y GADEA CARRERA, A. El control de gestión en la Administración local. Ediciones Gestión 2000, Barcelona 1992, MAKON, M. La gestión por resultados, es sinónimo de presupuesto por resultados? 66 - Revista Internacional de Presupuesto Público ASIP PEREZ ALFARO, A.. Control de gestión y tablero de comando. Del diagnóstico a la aplicación. Ediciones Depalma. Buenos Aires