Métricas que importan: indicadores clave de desempeño sectorial. México Evalúa, 2013. Un sistema de métricas clave de desempeño se orienta a promover, presentar y reportar el avance en términos de las grandes prioridades del país derivadas del sistema nacional de planeación (Ley de Planeación y Art. 26 de la Constitución). Este documento es un mecanismo que puede servir de insumo bajo este marco normativo para monitorear el avance al desarrollo. La mayor parte de las economías desarrolladas que utiliza el enfoque a resultados en su sistema de planeación, utiliza herramientas de monitoreo y evaluación (M&E) para: 1) mejorar la efectividad del gasto; 2) avanzar consistentemente en el cumplimiento de los grandes objetivos del país, y; 3) promover gobiernos enfocados a resultados. México requiere mantenerse a la vanguardia en mecanismos de monitoreo y evaluación de la actividad pública enfocados a resultados y avanzar en una visión orientada a medir resultados e impacto y de sus grandes acciones a nivel sectorial. La propuesta aquí planteada se centra en atender la preocupación de mantener una desconexión entre el nivel de acciones y su resultados. Es decir entre un nivel primario de planeación y la ejecución de políticas y programas que derivan de éstas metas estratégicas. Sin un enfoque a resultados nuestro gobierno podrá seguir recibiendo recursos crecientes de gasto sin que ello garantice obtener avances, resultados e impacto en lo que importa para el desarrollo del país. El sistema de monitoreo y evaluación métricas que importan de México Evalúa ofrece tableros de control a nivel sectorial con métricas clave que derivan de la experiencia internacional y la opinión de expertos. Es un como elemento estratégico que ayuda a la toma de decisiones de la autoridad. Un sistema de monitoreo y evaluación con este enfoque genera confianza y certidumbre sobre el quehacer público ya que informa a los ciudadanos los resultados de las acciones de gobierno en términos de fines. El documento, Métricas que importan: insumos para la planeación nacional, presenta una metodología de selección de indicadores técnicamente sólida y replicable que nos dirige a observar 1
métricas relevantes. Este sistema utiliza los indicadores que existen y los contrasta y fortalece con las mejores prácticas internacionales, haciendo un ejercicio de refinación con la intervención de expertos y autoridades en cada tema. Este sistema se centra en hacer visibles las grandes prioridades y metas del Plan Nacional, ayudando a mantener vivo el mensaje del Plan como guía al desarrollo de los planes sectoriales y prioritarios y transversales de mediano y largo plazo. Los principales atributos de estos indicadores clave de desempeño sectorial que aquí se presentan son su sencillez y solidez. Las métricas propuestas han sido también pensadas para que puedan ser trasladadas, replicadas y monitoreadas a nivel estatal. Este sistema puede transparentar el desempeño gubernamental y señalar a los responsables de ejecutar las políticas y alcanzar o no los objetivos planteados ayuda a transitar de una noción de apertura y transparencia a una de rendición de cuentas y responsabilidad efectiva. Con esta propuesta México Evalúa busca fortalecer una cultura de evaluación, ofreciendo a la autoridad un esquema sencillo de monitoreo y permitir al ciudadano observar si México avanza como se requiere. El sistema puede ser administrado de forma independiente o conjunta con nuestros gobiernos. Lo importante es garantizar que la información sea siempre pública y de libre acceso. Cuando seamos capaces de identificar resultados, avances y rezagos en las grandes metas, estaremos en posibilidad de avanzar un mecanismo para construir una idea de nación que se sustente con datos y evidencia los resultados de sus acciones y el uso eficiente de recursos públicos. Importancia de los indicadores de desempeño en los sistemas de M&E Es necesario recalcar que un punto clave en el desarrollo de sistemas de monitoreo y evaluación de desempeño son los indicadores que lo componen. Aún cuando los indicadores existan en suficiencia, estos deben contar con requisitos mínimos que aseguren verificar su calidad y pertinencia para el fin que persigue el instrumento o herramienta. Es evidente la disponibilidad de una gran diversidad y multiplicidad de indicadores en diversas áreas. Contar con una gran cantidad de indicadores lejos de ser una importante ventaja puede ser también una limitante de consideración para los sistemas eficientes de M&E. Puede, por ejemplo, ser nocivo y distorsionador el observar métricas inadecuadas o erróneas para atender un problema, ya sea por 2
que no atiende a sus causas y áreas de mejora o a lo mejor puede promover incentivos perversos o afectaciones secundarias al medir resultados y dar recomendaciones con base en una medición inapropiada (negative spillovers). Observamos que las tecnologías disponibles facilitan la tendencia a desarrollar demasiados indicadores creando sistemas de monitoreo costosos, poco prácticos y muy probablemente utilizados de forma sub-óptima. Por ello es prioritario invertir tiempo en trabajar para construir escenarios que evalúen opciones de selección de los mejores indicadores. Cuando se realiza un trabajo adecuado de selección es posible diferenciar los indicadores que son esenciales de aquellos que son indicadores deseables, pero no esenciales. Considerando diversos parámetros para el desarrollo de sistemas de M&E, podemos definir a los indicadores de desempeño como los instrumentos que permiten medir los insumos, procesos, resultados y productos de los proyectos, programas o estrategias de desarrollo. Cuando están respaldados por buenos sistemas de recopilación de datos, análisis e información, los indicadores permiten a los tomadores de decisión seguir los progresos, demostrar los resultados y adoptar medidas correctivas para mejorar la prestación de servicios o resultados de programas. Por tanto éstas métricas se pueden utilizar para fijar objetivos de desempeño y evaluar los progresos en su consecución de metas, o bien para identificar los posibles problemas mediante un sistema de 1 alerta temprana para poder adoptar medidas correctivas. Por ello es de gran utilidad generar lineamientos que sustenten las herramientas de M&E reflejando la realidad del contexto nacional y tengan como fin de sustentar una selección de indicadores basada en experiencias relevantes. Analizando los objetivos y realidades operativas, así como atendiendo recomendaciones de expertos para identificar las métricas y prácticas exitosas en las materias que se quiera evaluar. Observamos frecuentemente que los indicadores de desempeño son utilizados como factor decisivo para determinar la asignación de factores (recursos físicos y humanos) cuando son sólo son un medio eficaz para cuantificar los progresos conseguidos en el logro de los objetivos, y permiten facilitar 1 En Matthew D. McCubbins and Thomas Schwartz, Congressional Oversight Overlooked: Police Patrols versus Fire Alarms, University of Texas at Austin, se apunta que los sistemas de alerta temprana son una versión del concepto de alarmas contra incendios (fire alarms), descrito como aquellos sistemas de alerta que se incorporan dentro de un programa o política y son en realidad un sistema costo-eficiente de monitoreo de políticas públicas. 3
establecer puntos comparativos de referencia entre las diferentes unidades y poblaciones a lo largo del tiempo. Las preferencias más recientes se inclinan hacia aquellos indicadores que pueden cuantificarse con los datos disponibles. Indicadores simples y bien acotados. Un ejemplo de ello son los indicadores clave de desempeño (KPIs) que son métricas (financieras o no financieras) utilizadas para cuantificar objetivos que reflejan el rendimiento de una organización y que generalmente se compilan como parte de un proceso de planeación estratégica. Estos son indicadores mínimos para asegurar la eficiencia y eficacia de procesos observables y el cumplimiento de sus fines últimos. La importancia de los indicadores clave El uso de indicadores clave de desempeño conlleva ventajas como asentar una base comparable y objetiva para medir el desempeño y proveer evidencia para la toma de decisiones. Los indicadores clave, por su cantidad y sencillez son también un buen vehículo para realizar benchmarking y facilitar el entendimiento de un programa por parte de donantes y financiadores, así como para otros agentes externos que requieren información sencilla y oportuna. No es sencillo transmitir la utilidad de los indicadores clave a la parte operativa de los procesos de gestión, debido a que su perspectiva es más amplia y no se enfoca en tareas operativas, ni procesos. Su enfoque esta en observar resultados en términos agregados y proveer información acotada sobre una problemática particular de acuerdo con su evolución en el tiempo. Sin embargo, a pesar de no dar respuestas operativas, los indicadores clave son convierten en insumo valiosos para trabajos de autoridades hacendarias, el Congreso, así como para aproximar a ciudadanos a evaluar las actividades y resultados de sus gobiernos. Además, estos indicadores se han convertido en un standard para integrarlos a bases de datos de organismos internacionales y realizar comparativos entre naciones. Los indicadores clave de desempeño son también frecuentemente utilizados para generar paneles de control sobre actividades diversas que deben ser observadas medidas y comunicadas en un solo reporte. Estos indicadores clave de desempeño también se utilizan para integrar la inteligencia de una agencia gubernamental que puede anticipar alguna vulnerabilidad u oportunidad que requiera una intervención inmediata. Un ejemplo en ámbito de observación sectorial es la labor de las oficinas de presidencia o del ejecutivo, como la OMB de la Casa Blanca donde a través de un sistema de análisis 4
2 a nivel de sector y agencia se informa la conformación de los nuevos presupuestos, o bien un mecanismo de alcance transversal como lo tiene Australia donde las directrices de desempeño que emanan del ejecutivo son de observancia general. Este enfoque que promueve la observación de métricas clave de desempeño es útil al construir un mecanismo que sintetice la información útil, dentro del cúmulo de información disponible. Su estructura sin embargo debe ser cuidadosamente estructurada para integrar indicadores relevantes mediante rigurosos métodos de selección. La selección de indicadores relevantes contempla un análisis acucioso realizado por los expertos en las temáticas específicas. Los estudiosos en temáticas, como salud o educación, son quienes a través del tiempo se han familiarizado con las métricas existentes y aquellas reconocidas a nivel internacional que son parámetro y referencia en términos de su efectividad. Hoy día hay ineficiencias en las mediciones que buscan proveer mejoras a las políticas públicas. Esto debido a que ya sea por que los esfuerzos no se enfocan en observar la métrica adecuada, o no se estructura su observación con el rigor que se requiere para generar evidencia precisa, terminamos 3 por escoger métricas erróneas para medir resultados. Por otra parte, la definición de indicadores para por una discusión entre los actores relevantes, requiere partir de un intercambio constructivo que discierne el entendimiento del uso que se dará a los indicadores en términos de toma de decisiones relativas a la gestión. Se debe resaltar que los sistemas dependen en buena medida de estadísticas oficiales fidedignas, consistentes, relevantes y oportunas para sentar las bases al desarrollo de un buen modelo de monitoreo y evaluación. Las métricas que importan serán utilizadas para monitorear los avances de la Administración en el sexenio 2013-2018. Son un paso para construir un sistema de observación de desempeño orientado a resultados e insumo para un sistema nacional de indicadores. La visión de indicadores estratégicos se trasladó a al desarrollo de planes sectoriales que sean la conexión para el reporte de avances y resultados. Ya que hoy existe una desconexión funcional entre el nivel estratégico de planeación y el nivel operativo de monitoreo de la gestión. Es decir, que el nivel de planeación donde se establecen las metas mas importantes (primarias), disminuyendo la importancia relativa a reportar en términos de indicadores y metas de gestión a nivel programático presupuestal. 2Hablamos del reporte sobre traslapes, ajustes y eliminaciones del gasto ( Office of Management and Budget). 2012. 3Annual Letter from Bill Gates 2013. Bill & Melinda Gates Foundation. 5
Es por ello que esta propuesta busca desarrollar un sistema que pueda monitorear de manera prioritaria resultados en términos de impacto. Permitiendo alcanzar hitos en el camino a cumplir metas de largo plazo con visión al desarrollo. Este enfoque en resultados para el desarrollo puede servir para identificar las métricas relevantes a observar, desarrollando para ello información e indicadores existentes que cuenten con un enfoque a resultados. México Evalúa ha dado un primer paso en este sentido. Nuestro objetivo es ofrecer al modelo de planeación y sistema de indicadores que promueve, un insumo sólido que asegure la observación de los avances de esta nueva Administración en cuanto al cumplimiento de sus metas. Nuestra propuesta es generar paneles de métricas con indicadores clave de desempeño sectorial que mantengan vivo y vigentes las directrices de los Planes Nacionales de Desarrollo. Nos interesa que éstas métricas se observen, pero sobre todo buscamos se promueva un avance consistente y positivo de las mismas a través del tiempo. Metodología para integración de indicadores La metodología para el desarrollo de este sistema de indicadores estuvo integrada por dos componentes. Primero, se siguió puntualmente la propuesta del Grupo de Evaluación Independiente del Banco Mundial, a través del manual How to Build M&E Systems to Support Better Government (Mackay 2007) y Ten Steps to a Results-based Monitoring and Evaluation System (World Bank). En resumen, estos insumos integran experiencias de buenas prácticas en sistemas de evaluación mediante diversos estudios comparativos. Al mismo tiempo, incluyen guías para el diagnóstico, ejemplos de evaluaciones fundamentales y materiales didácticos para comprender herramientas de monitoreo y evaluación, entre otros. Los indicadores fueron integrados y codificados en una base de datos y clasificados de acuerdo a distintas categorías que permiten identificar su origen, propósito y finalidad, entre otros. A través de dicha metodología, fue posible elegir los componentes para el sistema de indicadores clave de desempeño (Key Performance Indicators, KPIs), cuya finalidad radica en plantear, monitorear y 6
evaluar si las políticas públicas o las prácticas de la administración pública federal cumplen, o no, 4 satisfactoriamente sus objetivos anuales o sexenales. Finalmente, con la ayuda de un grupo de expertos en los temas propuestos para esta primera fase, se seleccionó una batería mínima de indicadores clave con recomendaciones, sugerencias y contribuciones de cada uno de nuestros expertos. Esta lista genera un panel de control (dashboard) ilustrativo y dinámico que dará seguimiento a la evolución del desempeño de los KPIs en el sexenio 2012-2018. Como mecanismos de refinación, se definieron cinco pilares para la clasificación de los indicadores del PbR-SED e internacionales permite incluir dimensiones adicionales para su análisis y verificar así su relación con cada uno de los objetivos sectoriales. Es pertinente mencionar que estas dimensiones son en general compartidas por académicos y expertos ya que provienen de la práctica internacional. i) Equidad: Justifica la igualdad de oportunidades a partir de la implementación e impacto de los diversos programas federales. ii) Acceso/Cobertura: Extensión territorial y cantidad de beneficiarios que abarcan los programas federales. 4 Como base del sistema, se utilizó la metodología propuesta por la unidad Independent Evaluation Group (IEG) del Banco Mundial. 7
iii) Desempeño: Cumplimiento de obligaciones y objetivos inherentes a cada uno de los programas, así como su dedicación y ejecución de actividades. iv) Calidad: Permiten juzgar el valor ex ante y ex post en el mejoramiento de las condiciones de los programas federales. v) Satisfacción: Basados, principalmente, en encuestas de satisfacción de los beneficiarios en cuanto a su relación con los programas federales. También es posible hacer una agrupación que responda a las prioridades del Gobierno Federal planeadas en su Plan Nacional de Desarrollo (2013-2018). I. México en Paz II. México Incluyente III. México con Educación de Calidad IV. México Próspero V. México con Responsabilidad Global Los paneles de métricas clave son una guía de indicadores estratégicos que deben pueden parte los instrumentos de planeación nacional, así como de un sistema de indicadores: De manera instrumental se espera que se consideren este tipo de indicadores clave desde el Plan Nacional y sean considerados en planes sectoriales, especiales y presupuestales. Solamente así, se podrá tener la certeza de que en la gestión pública la autoridad mantienen una visión a resultados. Fuente: Métricas que importan: indicadores clave de desempeño sectorial. México Evalúa. 2013. 8