Los Sistemas de Monitoreo: Teoria y Práctica

Transcripción

1 Los Sistemas de Monitoreo: Teoria y Práctica Alejandro Medina Giopp Julio 21-22, 2014

2 Los Sistemas de Monitoreo: Teoria y Práctica Conceptos y elementos que constituyen un Sistema Nacional de Monitoreo

3 Los Sistemas de Monitoreo: Contexto Los SM&E son componentes de estrategias de modernización de la gestión pública, buscan contribuir a evitar: Crisis Fiscal: Si el monto de recaudaciones de tasas, derechos e impuestos es menor que el gasto corriente hay déficit fiscal, si esto es recurrente, hay crisis fiscal. Lo que presiona a hacer mas con menos (incremento de productividad) y mejorar la política fiscal. Crisis de legitimidad: se expresa en baja calidad y cobertura de servicios públicos, corrupción, déficit legalidad, baja rentabilidad social del gasto e inversión pública. A través de SM&E: consecuencias: informe la asignación de recursos, mejora de la gestión de programas, instituciones (productividad) y mayor rendición de cuentas.

4 Conceptos Sistema Nacional de Monitoreo Conjunto integrado de principios, prácticas gerenciales/ institucionales y técnicas. Principios: Continuidad en la colecta de datos Síntesis sobre desviaciones de la programación (y pertinencia program) Retroalimentacion sobre hallazgos Prácticas gerenciales/ institucionales: Informar al ciclo presupuestal (tiempo legales) Ranking desempeño institucional y de programas Uso de la evidencia: reuniones ministeriales (metas presidenciales y seguimiento a PND), informes a Congreso, etc. Herramientas: Estimaciòn de eficacia, eficiencia y calidad de producción institucional; marco de gasto de mediano plazo; planes indicativos, evaluacion de calidad de las estadísticas, medición de productividad en la entrega de servicios, tableros de control de gestion, enfoque de marco lógico, etc.

5 Conceptos Sistema Nacional de Monitoreo.. que permiten generar reportes continuos del desempeño de la gestión pública.. Desempeño de: Proyectos: sistemas de inversión pública (ex ante, seguimiento, ex post). Programas: eficacia, eficiencia, calidad, productividad, focalización. Instituciones: modelo organización y gestión (procesos) Funcionario públicos: Servicio civil y carrera administrativa. Desempeño servidores públicos. Muy importante el tipo y estructura de los Reportes (hallazgos, explicación desviaciones, recomendaciones).

6 Conceptos Sistema Nacional de Monitoreo.. orientados a mejorar la asignación de recursos en el proceso presupuestal, la rendición de cuentas, y la gestión pública.. (!! Que genere Consecuencias!!) Hallazgos y recomendaciones útiles para: Asignación/ reasignación de recursos presupuestales. Ajustar el diseño y la gestión de instituciones, programas y proyectos. Mejorar la difusión de resultados y la rendición de cuentas. De no haber consecuencias, el sistema no es útil. No agrega valor.

7 Conceptos Recapitulando: Un sistema Nacional de Monitoreo es: Conjunto integrado de pincipios, prácticas gerenciales y técnicas que permiten generar reportes continuos del desempeño de la gestión pública; orientados a mejorar la re-asignación de recursos en el proceso presupuestal, la rendición de cuentas, y la gestión pública, para constribuir a la mejora del Bienestar.

8 Monitoreo y Evaluación Evaluación Monitoreo Foco Políticas y Programas. Programas, proyectos, instituciones, servidores públicos. Tiempo Episódico. Periódico. Métodos Predominantemente Cuantitativo y Cuantitativo. cualitativo. Alcance Impacto y resultados de Producción institucional las intervenciones entregada a usuarios y públicas. beneficiarios, y las actividades y procesos de su producción..

9 Conceptos Piezas clave: Sistema Nacional de Monitoreo Un sistema nacional de monitoreo, se constituye de diversas piezas clave y parte de ciertas condiciones mínimas para poder consolidarse. A continuacion se presentan 12 piezas clave derivadas de la práctica de Monitoreo en diversos paises, Las piezas de ordenan en 3 niveles: Nivel básico: Existencia de condiciones básicas y operación minima. Nivel intermedio: El sistema posee articulaciones institucionales adecuadas. Nivel Avanzado: normas, metodologías y prácticas consolidadas y evidencia de consecuencias.

10 Nivel Básico SNP y Planes Agenda de Evaluación Agenda Nacional de Evaluación Elementos clave PND Proyección Macroeconómica y Marco Fiscal de Mediano Plazo Estrategia de Reducción de Pobreza Priorización de Objetivos Vínculo a Presupuesto Consenso / Consulta Metas e indicadores (IPS, IOH, PM, IDH, MDG etc.) Difusión y eventos públicos Prioridades del PND y metas presidenciales Definición de unidades de evaluación (qué de va a evaluar): Programas, Proyectos, Instituciones, Funcionarios Definición de Mecanismos de Evaluación (cómo?) y evaluadores (quienes?) Definición de Fuentes de Financiamiento de evaluaciones Uso de los resultados

11 Nivel Básico SNP y Planes Agenda de Evaluación Consolidación Producción institucional Reportes Regulares B/S EECPF Consolidación Producción Institucional El monitoreo se concentra en actividades, productos (B/S) entregados a usuarios y beneficiarios. Se requieren herramientas para estandarizar la definición de productos, unidades medida, indicadores y metas Importante rol de los POAs Marcos de Gasto de Mediano Plazo (Sectorial) / Sistematización Reporte Regulares de Produccion de Bienes y Servicios Usualmente solo se mide Eficacia, es decir cumplimiento de entrega B/S Eficiencia menos frecuente (costos indicativos) Calidad poco realizada (mayor demanda Clase Media y clave 20% mas pobre), estándardes / satisfacción Productividad en producción y entrega B/S (poco explorado)

12 Nivel Básico SNP y Planes Agenda de Evaluación Consolidación Producción institucional Reportes Regulares B/S EECP Marco normativo Lineamientos Marco Normativo Reformas legales: Planeación; Hacendaria y Fiscal; Acceso a la Información Pública, Control Interno; Sistema Estadístico, Transparencia y Acceso a Información Pública, etc. Relevancia de la adecuada Reglamentación Lineamientos concretos de aplicación a entidades y dependencias de la Administración pública Normas y estándares sobre un resultado esperado, mas que sobre metodologìas especificas.

13 Nivel Intermedio Conexión a Proceso Presupuestal Conexión a Sistema Inversión Pública Conexión Presupuestal Integrar Planificación y Prespuesto PND puede leerse en la Estrutura Presupuestal Unificar Catálogos de Productos Planeación / Programación y Presupuestacion Alineación estructura Programas Presupuestales vs Programa Gerenciales (Ep Central y Sectorial) Capacidad de reportar gasto, productos entregados y beneficiarios Conexión a Inversión Pública Es el antecedente mas importante de los SNM&E Experiencia acumulada en evaluación (ex ante/ seguimiento) Integrar inversión de gasto de K con gasto corriente NK Opción para potenciar acciones de Monitoreo desde proyectos (por sector, y agregación) Programa como artculador de proyectos.

14 Nivel Intermedio Conexión a Proceso Presupuestal Conexión a Sistema Inversión Publica Conexión a Función Pública y Control Interno Conexión Función Pública Evaluación del desempeño institucional: Programas de Mejora de la Gestión Pública. Evaluación del desempeño de los funcionarios públicos (agenda por consolidar, sin sistematizacion y consecuencias por desempeño), Articular los mecanismos de control interno al sistema de monitoreo (seguimiento de las recomendaciones de gestión, retroalimentación). CI como aliado de gestion. Evitar superponer funciones.

15 Problemas Frecuentes Problema Clasificadores Escaso potencial de aprovechamiento estadístico de los archivos Casos perdidos Ausencia de metadatos Identificadores Descripción Uso no regular de clasificadores, por ejemplo municipios, entidades federativas, etc. Estaban como variables alfanuméricas y no utilizaban la codificación numérica de los INEs. Otras variables que eran sujetas de codificación no se encontraban codificadas, lo que impedía hacer análisis de frecuencia. Los archivos de varios programas tenía todas, o casi todas las variables de tipo alfanumérico (texto) lo que es inútil para su trabajo estadístico. Algunas de éstas fácilmente pudieron ser convertidas durante el taller en variables numéricas. Algunas variables en varios archivos se identificaron con un alto porcentaje de casos perdidos. En algunos casos de más del 50%, y sin existir información sobre si son blancos o saltos de pregunta. Archivos de datos sin metadatos básicos a nivel general y de variables Sin identificación de variables clave en los archivos. Ausencia microdatos de En varios casos los archivos no tienen microdatos sino datos agregados que provienen de municipios, estados o delegaciones regionales del programa, pero no se constituyen como archivos de microdatos. Esto sucede ya que los programas son más consolidadores de información que productores

16 Nivel Intermedio Conexión a Proceso Presupuestal Conexión a Sistema Inversión Publica Conexión a Función Publica Conexión al Sistema Estadístico Nacional Conexión al Sistema Estadístico Nacional Conexión fundamental. Calidad de las estadísticas básicas: Encuestas y Censos para la construcción de indicadores Especial atención a la mejora de los registros administrativos. Necesidad de capacitación para fortalecer los RRAA; Evaluar la Calidad de los RRAA y de INTEGRARLOS. Conexión a microdatos Rol protagónico de INEGI, Sedes regionales y estatales y Unidades Estadísticas de Entidades públicas..

17 Evaluación de Calidad de Indicadores en los Sistemas de Monitoreo En relación a la Calidad de los Indicadores, diversas iniciativas aplican el criterio CREAM para valorar la CALIDAD al definir los indicadores y SMART para evaluar la CALIDAD de las metas asociadas. Iniciativas de M&E como CONEVAL México o MEPYD en República Dominicana, han desarrollado guías específicas para la aplicación de dichos criterios. S Específico M Medible A Acordado R Realistas T Limitado en el tiempo CLARO RELEVANTE ECONÓMICO MONITOREABLE ADECUADO

18 La evaluación de las fuentes de información CREAM/SMART son herramientas Necesarias pero no Suficientes para valorar la Calidad de un Indicador. La experiencia al evaluar indicadores en varios países es: Indicadores y metas cada vez mejor definidos pero basadas en archivos de datos inconsistentes, incompletos y poco confiables. En especial en RRAA

19 Evaluación de fuentes de información CREAM SMART Indicador A = Descripción: Mide el grado de desnutrición de los niños de 6 a 14 años matriculados en los Colegios del Estado de Nayarit. Año 2013 Var 1 Var 2 El indicador tiene Verde en CREAM y SMART. Indicador y metas están bien definidas. Es suficiente?

20 Importancia de Evaluación de fuentes de información CREAM SMART Indicador A = Descripción: Mide el grado de desnutrición de los niños de 6 a 14 años matriculados en los Colegios del Estado de Nayarit. Año 2013 Var 1 Var 2 FUENTES DE INFORMACIÓN v1 v2 v3 v4 Hombre Hombre Mujer v1 v2 v3 v4 Calvillo San Fco Calvillo Agostadero ARCHIVOS DE DATOS (Excel; SPSS;Stata, DBF, etc.)

21 Nivel Avanzado Sistemas Único de Identificación de Beneficiarios Sistema Único de Identificación de Beneficiarios / Sistema Integrado de Padrones de Beneficiarios Base de datos de hogares pobres en el país y Padròn de Hogares Elegibles. Sistema integrado de Beneficiarios de los diversos programas públicos Responder con el Monitoreo que se produce (B/S), que se entrega y a quién. Reportar gasto por tipo de beneficiario (Gasto anual en tercera edad, menores de 5 años, etc.) y focalizacion (exclusión

22 Nivel Avanzado Sistemas Único de Identificación de Beneficiarios Expansión a nivel territorial Expansión a Nivel Territorial Sistemas Federales / Sistemas Uniatarios Coordinacion / inducción a nivel territorial del modelo nacional de Monitoreo. Alineación planes territoriales, a sectoriales y nacionales. Consolidación de información nacional y territorial. Desarrollo de capacidades locales de Monitoreo. Aprovechamiento de registros administrativos de nivel local.

23 Nivel Avanzado Sistemas Único de Identificación de Beneficiarios Expansión a nivel territorial Triangulación Resultados (reporte ejecutivo) Triangulación de Resultados Valorar toda la información del desempeño sobre las prioridades del Gobierno: Por ejemplo Mejoras en la educación inicial Establecer conclusiones y definir estrategias que atiendan a las diversas dimensiones del desempeño Medir las consecuencias de la intervenciòn..!!! Evaluacion de Programas Educativos Evaluación Ministerio de Educación Evaluación de Funcionarios Educativos Educación Evaluación de proyectos de inversión educativa

24 Nivel Avanzado Sistemas Único de Identificación de Beneficiarios Expansión a nivel territorial Triangulación Resultados Consecuencias Consecuencias Debe contarse con Estrategias para el Uso de la Evidencia. Foco en Recomendaciones: Pertinencia, complejidad, costos, etc. Asignación presupuestal informada. Mejora en la gestión de programas, proyectos e instituciones. Mejora en la difusión del información y rendición de cuentas, Si el sistema de Monitoreo NO LOGRA nada de esto no agrega valor a la modernizacion de la gestión pública ni al bienestar.

25 Todos los Niveles SNP y Planes Agenda de Evaluación Consolidación Producción institucional Reportes Regulares B/S EECP Marco normativo Lineamientos Conexión a Proceso Presupuestal Conexión a Sistema Inversión Publica Conexión a Función Publica Conexión al Sistema Estadístico Nacional Sistemas Único de Identificación de Beneficiarios Expansión a nivel territorial Triangulación Resultados Consecuencias

26 Posible usos del enfoque Realizar diagnósticos de sistemas nacionales de monitoreo (12 Piezas). Identificar Planes de Acción para el fortalecimiento de Sistemas Nacionales. Sistematizar prácticas y herramientas por componentes o piezas. Los más relevante: Evaluar y tener evidencia de las Consecuencias del uso del sistema nacional de monitoreo.

27 Diagnóstico rápido SNP y Planes Agenda de Evaluación Consolidación Producción institucional Reportes Regulares B/S EECP Marco normativo Lineamientos Conexión a Proceso Presupuestal Conexión a Sistema Inversión Publica Conexión a Función Publica Conexión al Sistema Estadístico Nacional Sistemas Único de Identificación de Beneficiarios Expansión a nivel territorial Triangulación Resultados Consecuencias

28 Muchas gracias