Metodología de Matriz de Marco Lógico para la Matriz de Indicadores de Resultados: Construcción de Indicadores

Transcripción

1 Metodología de Matriz de Marco Lógico para la Matriz de Indicadores de Resultados: Construcción de Indicadores 1

2 QUÉ SON LOS INDICADORES? 2

3 UN INDICADOR ES UNA SEÑAL, UN AVISO, QUE NOS ENTREGA INFORMACIÓN SE RELACIONA DIRECTAMENTE Y SIEMPRE CON UN OBJETIVO Aumentar nivel de escolaridad del país Años promedio de escolaridad por habitante del país 3

4 Indicadores de Desempeño Que indica o sirve para indicar Latín = Indicare = Mostrar o significar algo, con indicios y señales Desempeño: capacidad de un programa para gestionar adecuadamente sus recursos y dar cumplimiento a los objetivos y metas establecidos 4

5 Indicadores de Desempeño Es una herramienta que entrega información cuantitativa respecto del logro o resultado de los objetivos del programa, cubriendo aspectos cuantitativos o cualitativos Para qué sirve esta información? TOMAR DECISIONES 5

6 Son herramientas de gestión que proveen un valor de referencia a partir del cual se puede establecer una comparación entre las metas planeadas y el desempeño logrado Un indicador de desempeño es una herramienta que entrega información cuantitativa respecto del logro o resultado de los objetivos del programa Los indicadores de desempeño son medidas que describen cuán bien se están desarrollando los objetivos de un programa, a qué costo y con qué nivel de calidad

7 PRESUPUESTO NACIONAL Recursos Bienes y Servicios Beneficiarios (resultados: Intermedio - final) 7

8 PROGRAMA Presupuesto ($) Insumos / Procesos Producción (Q) Resultados (desde punto de vista de los beneficiarios) Indicadores Actividades -Programas de trabajo -Programación -Ejecución de recursos Indicadores Componentes -Cobertura y focalización -Oportunidad -Características de Bienes. y Servicios. -Costos Indicadores Propósito y Fin -Intermedio -Final 8

9 PROGRAMA DE SALUD Alimentación Consultas Vacunación Componentes Atención médica Propósito (Resultado Intermedio) Controles Actividades Actividades Actividades Actividades Actividades Recursos e Insumos Fin (Resultado Final) 9

10 SECTOR PUBLICO Objetivos Gubernamentales (PND) Agregación de mediciones O B J E T I V O S Secretarías Secretarías Secretarías Secretarías Entidades Programa Entidades Programa I N D I C A D O R E S Operacionalización de objetivos

11 ÁMBITOS DE MEDICIÓN Actividades: Actividades vinculadas a la producción de bienes y servicios. Corresponden a las necesarias para generar los componentes del programa: procedimientos de compra licitaciones procesos tecnológicos administración financiera etc. - Porcentaje del presupuesto ejercido - Porcentaje de compras de insumos efectuadas dentro del tiempo programado

12 ÁMBITOS DE MEDICIÓN Componentes: Bienes y/o servicios públicos producidos o entregados por el programa para cumplir con su propósito. Está dirigido al beneficiario final, o en algunos casos, intermedio. - Porcentaje de alumnos que reciben la beca oportunamente - Tiempo promedio de entrega de subsidios para la vivienda - Metros cuadrados construidos promedio por vivienda entregada

13 ÁMBITOS DE MEDICIÓN Propósito (Resultado intermedio): Es el resultado directo a lograr en la población objetivo dado el uso de los componentes. Es la aportación específica a la solución del problema. Cada programa tiene un solo Propósito - Porcentaje de profesoras indígenas asesoradas que aplican prácticas pedagógicas mejoradas con el enfoque de la Educación Intercultural Bilingüe

14 ÁMBITOS DE MEDICIÓN Fin (Resultados finales o impacto): Contribución del programa a la solución de un problema de desarrollo o al logro de los objetivos estratégicos de las dependencias y entidades No implica que el programa, en si mismo, será suficiente para lograr el Fin Complejidad de medir Impacto o Resultado Final: un programa público contribuye a alcanzar un fin (resultado final) y se complementa con la acción de otros programas

15 Resultados finales (impacto): ÁMBITOS DE MEDICIÓN Cómo identificar el Impacto de nuestro programa? El impacto no se produce inmediatamente y medirlo requiere de un análisis más profundo, de la definición de un conjunto de indicadores y otros instrumentos complementarios como las evaluaciones de impacto. - Tasa de crecimiento del Sector de Tecnologías de la Información (TI)

16 Eficacia: DIMENSIONES DEL DESEMPEÑO Mide el grado de cumplimiento de los objetivos del programa. En qué medida el programa está cumpliendo con sus objetivos No considera necesariamente los recursos asignados para ello - Porcentaje de becas entregadas en relación a las programadas

17 Eficiencia: DIMENSIONES DEL DESEMPEÑO Mide la relación entre los productos y servicios generados con respecto a los insumos o recursos utilizados. Alcanzar un cierto nivel de producción utilizando el mínimo de recursos posibles. Aproximaciones a este concepto: productividad media de los distintos factores de producción (nivel de actividad y recursos utilizados) costos de producción (costos medios, costos unitarios gastos administrativos en relación al gasto total)

18 Economía: DIMENSIONES DEL DESEMPEÑO Mide la capacidad del programa para generar o movilizar adecuadamente los recursos financieros - Ingresos propios generados - Presupuesto ejercido

19 DIMENSIONES DEL DESEMPEÑO Calidad (eficacia): Mide los atributos, capacidades o características que deben tener los bienes y servicios para satisfacer los objetivos del programa. - Grado de satisfacción de usuarios - Tiempo de respuesta a requerimientos de los beneficiarios

20 AMBITOS DE MEDICIÓN ACTIVIDADES COMPONENTES FIN Y PROPÓSITO (resultados) D I M E N S I O N E S EFICACIA EFICIENCIA ECONOMÍA CALIDAD

21 INDICADORES EN LA MATRIZ DE INDICADORES RESUMEN NARRATIVO INDICADORES MEDIOS DE VERIFICACIÓN SUPUESTOS FIN PROPÓSITO COMPONENTES ACTIVIDADES

22 INDICADORES EN LA MATRIZ DE INDICADORES Indicadores Estratégicos: De resultado final o impacto (Fin) De resultado intermedio (Propósito) Indicadores de Gestión (responsabilidad directa del Programa): Asociados a Componentes Asociados a Actividades

23 PASOS PARA LA CONSTRUCCIÓN Y USO DE INDICADORES DE DESEMPEÑO

24 1. Revisar el Resumen Narrativo de la MI 2. Establecer los Factores Relevantes a medir 3. Proponer Indicadores para cada factor relevante 4. Validar técnicamente de indicadores propuestos 5. Construir las Fórmulas para cada indicador 6. Establecer Fuentes de Información, Medios de Verificación y definir Indicadores factibles de medir 7. Establecer Línea base, Metas y Supuestos 8. Establecer Frecuencia de medición (seguimiento)

25 PASO 1: Revisar el Resumen Narrativo de la MI

26 La Matriz de Indicadores es el referente para la medición del desempeño Cimientos de un sistema de información de gestión Fin Propósito Componentes Actividades

27 LÓGICA VERTICAL DEL PROGRAMA Si el programa está bien diseñado se pueden examinar los vínculos causales desde abajo hacia arriba: FIN PROPÓSITO COMPONENTES Si se logra el Propósito, el programa contribuirá al Fin Los Componentes son los necesarios y suficientes para el logro del Propósito ACTIVIDADES Las actividades son las necesarias y suficientes para producir o entregar los bienes y servicios del programa

28 PASO 2: Establecer los Factores Relevantes a medir

29 De la Matriz de Indicadores extraer los Factores Relevantes que deben ser medidos para el Programa. Nos hacemos las siguientes preguntas: Con qué objetivos del PND, Plan Estatal, Plan Sectorial y de la Entidad está alineado el programa? Con cuáles tiene más relación el programa? Cuáles de estos objetivos se quieren medir? Cuáles son los principales aspectos del Programa que deben ser medidos? Qué ámbitos deben ser medidos? Qué dimensiones deben ser medidos? Quién utilizará la información? Qué decisiones tomará?

30 Ejemplo: Fin: Contribuir a superar la marginación educativa de las niñas y niños de los grupos sociales vulnerables México en contexto de migración

31 Fin: Contribuir a superar la marginación educativa de las niñas y niños de los grupos sociales vulnerables México en contexto de migración

32 INDICADORES OBJETIVO ENUNCIADO FORMULA META Aumentar nivel de escolaridad % de alumnos egresados de 4 medio (n alumnos egresados 4 medio año 1/n total de Alumnos en 4 medio año 1)x de 100 alumnos terminan 4 medio OBJETIVO Factores Relevantes INDICADORES Microempresas del sector rural con capacidades técnicas y emprendedoras consolidadas - Capacidades técnicas y emprededoras -Costo del subsidio % de incremento de Microemp participantes del programa que mejoran sus capacidades técnicas y emprendedoras, según índice de capacidades Costo promedio de asesoría a Microempresas

33 LISTA DE FACTORES RELEVANTES MI Factores relevantes Fin Propósito Componentes Actividades

34 PASO 3: Proponer Indicadores para cada factor relevante

35 Para cada factor relevante se deben definir los indicadores claves en relación con los objetivos de la MI MI Factores relevantes Indicadores Fin Propósito Componentes Actividades

36 PASO 4: Validar técnicamente los Indicadores propuestos

37 Cada indicador propuesto debe ser validado técnicamente, según los siguientes criterios: Claridad: debe ser preciso e inequívoco No hay dudas respecto de qué se está midiendo? Relevancia: debe reflejar una dimensión importante del logro del objetivo Permite verificar el logro del objetivo en un aspecto sustantivo? Economía: la información necesaria para generar el indicador debe estar disponible a un costo razonable El beneficio de la información es mayor que el costo de obtenerla?

38 Monitoreable: debe poder sujetarse a una verificación independiente Cualquier persona puede comprobar los resultados del indicador? Adecuado: debe aportar una base suficiente para evaluar el desempeño Es suficiente para emitir un juicio respecto del desempeño? Aporte marginal: si hay más de un indicador para medir el desempeño de un objetivo, debe proveer información adicional en comparación con los otros indicadores propuestos Mide aspectos no considerados en los demás indicadores?

39 Paso 4: Validar los Indicadores Indicadores Claridad Relevancia Economía Monitoreable Adecuado Aporte Marginal Valida? 1. Sí Sí Sí Sí Sí Sí Sí 2. Sí Sí No Sí Sí Sí No

40 PASO 5: Construir las Fórmulas para cada indicador

41 Para cada indicador validado se debe definir la fórmula de cálculo Factores críticos Indicadores Fórmulas Fin Propósito Componentes Actividades

42 Construcción de Fórmulas Nombre del indicador Variables que intervienen Fórmula del indicador

43 Nombre del Indicador El nombre del indicador debe ser: Autoexplicativo Contextualizado Por ejemplo: Porcentaje de solicitudes respondidas Es autoexplicativo y contextualizado?

44 Nombre del Indicador Porcentaje de solicitudes respondidas En la Oficina Principal de la institución En el país En un mes En un año Respecto de las solicitudes presentadas Etc

45 Nombre del Indicador Nombre del indicador Qué o cuál es la medición.universo a considerar (contexto) % de solicitudes respecto de las respondidas solicitudes ingresadas

46 Nombre del Indicador Indica la relación Porcentaje de solicitudes respondidas respecto de las solicitudes ingresadas Variables Variable 1: solicitudes respondidas Variable 2: solicitudes ingresadas Numerador Denominador Ingresadas Respondidas

47 Fórmula de cálculo Fórmula: Numerador Denominador * 100 Total de solicitudes respondidas en el año t Total de solicitudes ingresadas en el año t *

48 Fórmula de cálculo Tipos de fórmulas más usadas Porcentaje (proporciones) Tasa de variación Razón o promedio Índices

49 1. Porcentajes (cobertura, focalización, etc.) Razón entre dos variables con una misma unidad de medida numerador denominador * 100 = X por ciento Igual unidad de medida (personas, Km., solicitudes, etc

50 Cobertura: Porcentaje de cobertura en la atención de adultos mayores (Total de adultos mayores atendidos / Total de adultos mayores del país)*100 COBERTURA Adultos Mayores del país Adultos Mayores atendidos

51 Focalización: Porcentaje de adultos mayores atendidos que se encuentran en situación de extrema pobreza (Total de adultos mayores atendidos que se encuentran en situación de extrema pobreza / Total de adultos mayores atendidos)*100 FOCALIZACIÓN Adultos Mayores del país Adultos Mayores pobres Adultos Mayores atendidos

52 2. Tasa de variación Razón entre una misma variable pero en periodos diferentes variable año t variable año t variable año t-1-1 * 100 = * 100 Variable año t-1 variable año t-1 = X por ciento

53 2. Tasa de variación Ejemplo: Tasa de variación de las exportaciones del país {(Total exportaciones año t / Total exportaciones año t-1) 1*100}*

54 3. Razón o Promedio (tiempos promedio, costos promedio, etc) Relación entre dos variables con distinta unidad de medida numerador denominador = unidades promedio del numerador por cada unidad del denominador

55 3. Razón o Promedio (tiempos promedio, costos promedio, etc) Ejemplo: Tiempo promedio de tramitación de solicitudes Tpo. Solicitud 1 + Tpo. Solicitud Tpo. Solicitud n Total de solicitudes tramitadas Sumatoria de tiempos de tramitación de cada solicitud / Total de solicitudes tramitadas = tiempo promedio por solicitud

56 3. Razón o Promedio (tiempos promedio, costos promedio, etc) Ejemplo: Promedio de alumnos por profesor de educación media Total de alumnos de educación media en el año Total de profesores de educación media en el año t = Alumnos promedio por profesor

57 4. Índices Permiten medir la evolución de una variable en el tiempo, a partir de un valor base. Ejemplo, Índice de Remuneraciones Promedio anual de remuneraciones año base: Promedio anual de remuneraciones año t: Índice año base: (Valor año base / valor año base)*100 = (5.000 / 5.000)*100 = 100 Índice año t: (Valor año t/ valor año base)*100 = (5.350 / 5.000)*100 =

58 4. Índices Promedio anual de remuneraciones año t+1: Índice año t+1: (Valor año t+1/ valor año base)*100 = (5.885 / 5.000)*100 = 117,7 Valor índice: Año t+1 = 117,7 Año t = 107,0 Año base = 100,

59 4. Índices Promedio anual de remuneraciones año n: Índice año n = (Valor año n / valor año base)*

60 Ejemplo de indicadores de Actividades Porcentaje de cumplimiento del plazo normativo para la atención de las solicitudes dictaminadas de los Fondos de Aseguramiento Programa deapoyo a los Fondos deaseguramiento Agropecuario Fórmula de cálculo: (Total de solicitudes dictaminadas dentro del plazo en el año t / Total de solicitudes dictaminadas en el año t) * 100 Unidad de medida: porcentaje Sentido de medición: ascendente Dimensión: eficacia

61 Ejemplo de indicadores de Actividades Porcentaje de proyectos validados con relación al total de proyectos recibidos completos Programa de Coinversión Social Fórmula de cálculo: (Total de proyectos validados en el año t / Total de proyectos completos recibidos en el año t) * 100 Unidad de medida: porcentaje Sentido de medición: ascendente Dimensión: eficacia

62 Ejemplo de indicadores de Actividades Porcentaje de alumnos que cumplen requisitos Programa Nacional de Becas y Financiamiento Fórmula de cálculo: (Total de alumnos que cumplen requisitos en el año t / Total de alumnos que postulan en el año t) * 100 Unidad de medida: porcentaje Sentido de medición: ascendente Dimensión: eficacia

63 Ejemplo de indicadores de Componentes: Porcentaje de familias beneficiadas en la modalidad de ampliación y mejoramiento Programa de Ahorro y Subsidio para la Vivienda "Tu casa" Fórmula de cálculo: (Total de familias beneficiadas en la modalidad de ampliación y mejoramiento en el año t / Total de familias que cumplen requisitos en el año t) * 100 Unidad de medida: porcentajes Sentido de medición: ascendente Dimensión: eficacia

64 Ejemplo de indicadores de Componentes: Costo promedio del sistema pozo-equipo electromecánico de bombeo Programa de Uso Eficiente del Agua y la Energía Eléctrica Fórmula de cálculo: (Sumatoria del costo de cada sistema pozo-equipo electromecánico de bombeo instalado en el año t / Total de sistemas pozo-equipo electromecánico de bombeo instalados en el año t) * 100 Unidad de medida: pesos Sentido de medición: descendente Dimensión: eficiencia

65 Ejemplo de indicadores de Componentes: Porcentaje de IES que ejecutan proyectos financiados por el FOMES Programa Fondo de Modernización para la Educación Superior Fórmula de cálculo: (Total de IES que ejecutan proyectos financiados por el FOMES en el año t / Total de IES del país en el año t) * 100 Unidad de medida: porcentaje Sentido de medición: ascendente Dimensión: eficacia

66 Ejemplo de indicadores de Propósito: Porcentaje de la población que cuenta con agua desinfectada para su consumo Programa Agua Limpia Fórmula de cálculo: (Total de población que cuenta con agua desinfectada para su consumo en el año t / Total de población del país en el año t) * 100 Unidad de medida: porcentaje Sentido de medición: ascendente Dimensión: eficacia

67 Ejemplo de indicadores de Propósito: Sobrevivencia de las MIPYMES atendidas por el Fondo PYME para su creación Fondo de Apoyo para la Micro, Pequeña y Mediana Empresa (Fondo PYME) Fórmula de cálculo: (Total de MIPYMES atendidas por el Fondo PYME que se consolidan / Total de MIPYMES atendidas por el Fondo PYME) * 100 Unidad de medida: porcentaje Sentido de medición: ascendente Dimensión: eficacia

68 Ejemplo de indicadores de Propósito: Porcentaje de IES Públicas con programas educativos acreditados Fondo de Inversión de Universidades Públicas Estatales con Evaluación de la ANUIES Fórmula de cálculo: (Total de IES Públicas con programas educativos acreditados en el año t / Total de IES Públicas del país en el año t) * 100 Unidad de medida: porcentaje Sentido de medición: ascendente Dimensión: eficacia

69 Ejemplos de indicadores de Fin: Cambio porcentual en el impacto en la calidad de vida del grupo tratamiento ( beneficiarios) respecto al grupo control (no beneficiarios) Programa de Ahorro y Subsidio para la Vivienda "Tu casa" Fórmula de cálculo: (Variación del Índice de calidad de vida de beneficiarios del programa en el año t / Variación del Índice de calidad de vida del grupo de control en el año t) *100 Unidad de medida: porcentaje Sentido de medición: ascendente Dimensión: eficacia

70 Porcentaje de proyectos que contribuyen a la construción de capital social con relación al total de proyectos apoyados por el Programa de Coinversión Social Programa de Coinversión Social Ejemplos de indicadores de Fin: Fórmula de cálculo: (Total de proyectos que contribuyen a la construción de capital social en el año t / total de proyectos apoyados por el programa en el año t) * 100 Unidad de medida: porcentaje Sentido de medición: ascendente Dimensión: eficacia

71 Ejemplos de indicadores de Fin: Impacto del Programa en el salario de las trabajadoras y los trabajadores capacitados Programa de Apoyo a la Capacitación (PAC) Fórmula de cálculo: {(Índice de remuneraciones en el año t de trabajadore(a)s capacitados por programa en el año t-1 / Índice de remuneraciones en el año t-1 de trabajadore(a)s capacitados por el programa en el año t-1) -1}*100 Unidad de medida: porcentaje Sentido de medición: ascendente Dimensión: eficacia

72 Desagregación por Sexo Porcentaje de personas pobres del país Distribución de pobreza por sexo: (Total hombres pobres / Total personas pobres)*100 (Total mujeres pobres / Total personas pobres)*100 Porcentaje de pobreza según sexo: (Hombres pobres / Total hombres)*100 (Mujeres pobres / Total mujeres)*

73 Principales Indicadores de Gestión para Programas Cobertura Focalización Tiempo promedio de respuesta a usuarios Costo promedio Gastos de administración Adicionalmente para Programas encargados de Regulación: Cobertura de fiscalización Reincidencia

74 PASO 6: Establecer Fuentes de Información, Medios de Verificación y definir Indicadores Factibles de medir

75 Fuentes de Información Para cada indicador, está disponible la información en mi programa? SÍ No está en otra Entidad? Sí No Se mide el beneficio > costo de obtenerla? Sí No Se busca una proxy

76 Fuentes de Información Información contable-presupuestaria Estadísticas de producción física, cargas de trabajo del personal Encuestas, estudios especiales Benchmarking, etc

77 Medios de Verificación Para posteriormente verificar el cumplimiento de las metas Registros de la institución Estadísticas oficiales Encuestas (externas)

78 Esta presentación fue elaborada en base a cursos de indicadores de desempeño, elaborados por: Marianela Armijo Consultora ILPES / CEPAL Marianela.Armijo@cepal.org Rosario Bello Consultora ILPES / CEPAL Rosario.Bello@cepal.org Roberto Jiménez Montecinos Consultor ILPES / CEPAL rjimenez@dipres.cl