GESTIÓN POR RESULTADOS RELEVANCIA DE LA CALIDAD DE LOS INDICADORES
GESTIÓN POR RESULTADOS Se ha adoptado un modelo de Gestión por Resultados, con dos componentes: Sistema de Evaluación de Desempeño Programa de Mejora de la Gestión Entidades federativas deben de rendir cuentas del uso de los recursos federales asignados, además de poder maximizar la calidad de su propio gasto. GpR requiere: sistemas de planificación, programación, presupuestación, seguimiento y evaluación y acuerdos institucionales entre entidades rectoras.
IMPORTANCIA DE INDICADORES Para informar al presupuesto, conocer el desempeño de programas públicos y rendir cuentas, se requieren Indicadores Oportunos y Confiables. Sin esto, la eficiencia de un sistema de GpR se ve limitada. El objetivo general de la asistencia técnica del Banco Mundial es de apoyar a la consolidación del sistema de GpR del Estado de. Entre las actividades se encuentra la evaluación de la calidad de los indicadores claves de intervenciones prioritarios.
CANTIDAD Y CALIDAD DE INDICADORES La consolidación del sistemas estatal de GpR exige atención sobre la cantidad y calidad de los indicadores. Si el número de indicadores es enorme y su calidad no se controla, las posibilidades de identificar hallazgos del desempeño y provocar recomendaciones es baja o nula.
CANTIDAD DE INDICADORES La cantidad se limita por mecanismos de sistematización y requerimientos de autoridades de planeación y presupuestales. Así, en varias iniciativas hay un número definido de indicadores : CONEVAL/Hacienda en México; SINERGIA en Colombia; RUTA en la República Dominicana, etc.
AVANCES EN LIMITAR INDICADORES Var1 ------ Indicador= Var1 ------ Indicador= Indicador= ------ Var1 Indicador= ------ Var1 ------ ------ Indicador= Var1 Indicador= Var1 Indi cadores Dependencias y Programas Var1 Indicador= ------ Indicador= ------ ------ Indicador= Var1 Var1 Autori dad Presupuestal Coordinador M&E
CALIDAD DE INDICADORES - CREMA Diversas iniciativas aplican el criterio CREMA para valorar la CALIDAD al definir los indicadores. Iniciativas de M&E como CONEVAL en México y SINERGIA en Colombia han desarrollado guías específicas para la aplicación de dichos criterios.
DEFINICIÓN DE METAS Si la definición de metas no considera: series de tiempo, benchmarks y análisis de recursos disponibles, será poco realista. Dos problemas: definición poco precisa por desconocimiento o gaming : definición a modo para maximizar el logro de resultados. Criterio SMART
DEFINICIÓN DE METAS Sin embargo, pocas iniciativas evaluan la calidad en la definición de las metas. CONEVAL estima que 40% metas de los programas federales plantear metas muy faciles de lograr (eficacia o eficiencia de 300 % o mayor) o inalcanzables, muestran fracasos donde no hay.
FUENTES DE INFORMACIÓN CREMA/SMART son herramientas necesarias pero no suficientes para valorar la calidad de un indicador y su meta. La experiencia al evaluar indicadores en varios países es: Indicadores y metas cada vez mejor definidos pero basadas en archivos CREAM de datos inconsistentes, incompletos y poco confiables. SMART
INDICADORES, METAS Y FUENTES CREAM SMART Indicador A = Descripción: Mide el grado de desnutrición de los niños de 6 a 14 años matriculados en los Coleg ios del Estado de Nayarit. Año 2013 Var 1 FUENTES DE INFORMACIÓN v1 v2 v3 v4 Hombre 2 3 5 Hombre 22 22 21 Mujer 2 4 2 v1 v2 v3 v4 Calvillo 2 3 5 San Fco 22 22 21 Calvillo 2 4 2 Agostadero 56 43 23 ARCHIVOS DE DATOS (Excel; SPSS;Stata, DBF, etc.)
POR LO TANTO... Avanzar en el GpR requiere de indicadores, metas y fuentes de calidad. Sin embargo, hacen falta herramientas que permiten su evaluación integral y la formulación de planes de mejora.
HERRAMIENTA PARA EVALUAR CALIDAD DE INDICADORES, METAS Y FUENTES DE INFORMACIÓN
APLICACIÓN DE LA HERRAMIENTA Objetivo: Analizar la formulación de indicadores y metas a través de criterios como CREMA y SMART. Hacer una valoración rápida de las fuentes de información utilizadas para tal fin. Participantes: Responsables de la preparación de las MIRs y responsables del manejo de los archivos de datos. Material: archivo Excel, archivo de datos (sin importar formato), formulario, formatos, documentos técnicos, documentación relativa al indicador, etc.
LA HERRAMIENTA La herramienta se conforma de tres partes: Evaluación de Calidad de los Indicadores (9 preguntas) Evaluación de Calidad de las Metas de los Indicadores (8 preguntas) Evaluación de Calidad de las Fuentes de Información (10 preguntas) acceso archivo de datos
SECCIÓN 1: EVALUACIÓN DE LA CALIDAD LOS INDICADORES 1) Clara 4) Adecuada 2) Relevante 3) Medible Rubros de Evaluación de Calidad de los Indicadores 3) Medible Evaluación Ejemplo Puntuación 3.1 Se ha definido con claridad la línea base para el indicador? 0. No existe una clara definición de las características de la línea de base para el indicador 3. Se ha definido la línea base pero aún no se ha hecho el cálculo 5. Existe una clara definición de la línea de base 99. No aplica La línea de base es el valor de referencia que toma el indicador, a partir del cual se pueden realizar análisis de series temporales y valorar el resultado o gestión del programa. Para lo anterior, la metodología de cálculo del indicador no debe cambiar para que la serie temporal no sea interrumpida y la línea de base sea consistente en diferentes puntos a lo largo del tiempo. 5
SECCIÓN 2: EVALUACIÓN DE CALIDAD DE LAS METAS DE LOS INDICADORES 1) Específico 4) Pertinente 2) Comparable 5) Acotado en el tiempo 3) Acordado Rubros de la Evaluación de Calidad de las Metas de los Indicadores 2) Comparabilidad Evaluación Ejemplo Puntuación 2.2 Existe un punto de referencia (nacional o internacional) que sirva de apoyo a la formulación de la meta? 0. No existe un punto de referencia (nacional o internacional) para el indicador 5. Si existe un punto de referencia (nacional o internacional) para el indicador 99. No aplica Por ejemplo: el indicador mortalidad materna en México fue de 51 muertes por cada 100,000 nacimientos vivos en 2010. Este indicador puede compararse con el objetivo de 22.2 muertes por cada 100,000 nacimientos establecidos en los Objetivos de Desarrollo del Milenio por la ONU. Un programa para disminuir la población analfabeta mayor de 15 años en el estado de, cuyo indicador es 8.2, puede utilizar como referencia para su meta el promedio nacional el cual es 6.9 Si un programa es nuevo y único, y por tanto no tiene punto de referencia se debe responder "No aplica". 5
SECCIÓN 3: EVALUACIÓN DE CALIDAD DE LAS FUENTES DE INFORMACIÓN 1) Fuente de información 2) Metadatos 3) Datos Rubros y Sub-rubros de Evaluación de Calidad de las Fuentes de Información 2) Metadatos Evaluación Criterios y/o Ejemplos Puntuación 2.2 Existe una variable de identificación única por cada unidad de observación de los registros en la fuente de información? 0. No existe Las variables de identificación unívoca 5. Si existe permiten identificar de manera única cada caso en particular. Por ejemplo: CURP, 99. No aplica RFC, identificador del hogar, etc. 5