Indicadores de Desempeño en el Sector Público

Transcripción

1 Indicadores de Desempeño en el Sector Público Juan Cristóbal Bonnefoy Curso-Seminario Políticas Presupuestarias y Gestión por Resultados República Dominicana, marzo de 2006

2 Estructura de la Presentación 1. Qué son los indicadores de desempeño? 2. Por qué necesitamos indicadores de desempeño? 3. Dimensiones de los indicadores de desempeño 4. Ciclo básico para construir los indicadores de desempeño 5. Validación de los indicadores de desempeño

3 La medición del desempeño es parte de un largo proceso de planificación Quiénes somos o Qué hacemos Misión y Objetivos Análisis Interno y de Contexto Cómo sabemos que hemos llegado Dónde queremos ir Medidasde Desempeño Cómo podemos llegar Estrategias

4 Indicadores de Desempeño Grupo OECD/DAC Desempeño: El grado al cual una intervención pública o un actor del desarrollo opera de acuerdo a ciertos criterios/estándares/ pautas de acción o logra resultados de acuerdo a los planes establecidos. Indicadores de Desempeño: Una variable cuantitativa o cualitativa que permite verificar los cambios generados por una intervención pública, relativo a lo que estaba planeado inicialmente. Fuente: OECD/CAD Glosario de los principales términos sobre evaluación y gestión basada en resultados. Evaluation and Aid Effectiveness N º6. OECD. Paris.

5 Indicadores de Desempeño - Perú Los indicadores de desempeño son instrumentos de medición de las principales variables asociadas al cumplimiento de los objetivos, que a su vez constituyen una expresión cualitativa o cuantitativa concreta de lo que se pretende alcanzar con un objetivo específico establecido. (...) Busca responder interrogantes claves sobre cómo se ha realizado la intervención, si se han cumplido los objetivos (concretamente, la medida en que éstos han sido cumplidos), el nivel de satisfacción de la población objetivo, entre otras. En suma, se busca evaluar cuán bien o cuán aceptable ha sido el desempeño de determinado organismo público con el objetivo de tomar las acciones necesarias para perfeccionar la gestión.

6 Indicadores de Desempeño - España Los indicadores de desempeño son medidas que describen cuan bien se están desarrollando los objetivos de un programa, un proyecto y/o la gestión de una institución. Un indicador es una unidad de medida que permite el seguimiento y evaluación periódica de las variables clave de una organización, mediante su comparación en el tiempo con los correspondientes referentes externos o internos

7 Indicadores de Desempeño - Chile Los indicadores de desempeño son una herramienta que entrega información cuantitativa respecto al logro o resultado en la entrega de los productos (bienes o servicios) generados por la institución, pudiendo cubrir aspectos cuantitativos o cualitativos de este logro. Es una expresión que establece una relación entre dos o más variables, la que comparada con períodos anteriores, productos similares o una meta o compromiso, permite evaluar desempeño.

9 Beneficios de la evaluación a través de indicadores de gestión 1. Apoya el proceso de planificación (definición de objetivos y metas) y de formulación de políticas de mediano y largo plazo. 2. Posibilita la detección de procesos o áreas de la institución en las cuales existen problemas de gestión tales como: uso ineficiente de los recursos, demoras excesivas en la entrega de productos, asignación del personal a las diferentes tareas,etc.

10 Beneficios de la evaluación a través de indicadores de gestión 3. Posibilita a partir del análisis de la información entre el desempeño efectuado y el programado, realizar ajustes en los procesos internos y readecuar cursos de acción eliminando inconsistencias entre el quehacer de la institución y sus objetivos prioritarios: eliminar tareas innecesarias o repetitivas, tramites excesivos, o se definan los antecedentes para reformulaciones organizacionales.

11 Beneficios de la evaluación a través de indicadores de gestión 4. Aun cuando no es posible establecer una relación automática entre resultados obtenidos y la asignación de presupuesto, contar con indicadores de desempeño sienta las bases para una asignación más fundamentada de los recursos públicos. 5. Establece mayores niveles de transparencia respecto del uso de los recursos públicos y sienta las bases para un mayor compromiso con los resultados por parte de los directivos y los niveles medios de la dirección.

12 No todo lo que pueda ser contado cuenta... y no todo lo que cuenta puede ser contado...

14 Cuáles son las Dimensiones del Desempeño? Eficiencia Relación entre dos magnitudes físicas: producción de un bien o servicio y los insumos que se utilizaron para alcanzar ese nivel de producto. Ejs: Costo unitario de producción o costo promedio. Eficacia El grado de cumplimiento de los objetivos planteados. En qué medida la institución está cumpliendo con sus objetivos fundamentales? Economía Capacidad de la institución para generar y movilizar adecuadamente los recursos financieros en pos de su misión institucional. Ejs: Capacidad de autofinanciamiento, ejecución del presupuesto y recuperación de préstamos. Calidad del Servicio Capacidad de la institución para responder en forma rápida y directa a las necesidades de sus usuarios. Son atributos de la calidad: oportunidad, accesibili-dad, precisión y continuidad, comodidad y cortesía en la atención.

15 Indicadores de Eficacia Miden el nivel de cumplimiento de los objetivos: 1. Resultado (% resultado logrado exitosamente respecto realizado-solicitado) 2. Focalización (logrado respecto del universo) 3. Cobertura ( logrado respecto de la demanda posible) 4. Impacto (logrado respecto del problema que se quiere atacar)

16 Indicadores de Eficacia EFICACIA Resultados Delitos aclarados / delitos denunciados MANTENIMIENTO DEL ORDEN INTERNO Mediaciones exitosas / mediaciones realizadas DIRECCION GENERAL DE COMERCIO (Area Defensa del Consumidor) Conflictos colectivos solucionados / conflictos colectivos planteados DIRECCIÓN NACIONAL DEL TRABAJO

17 Indicadores de Eficacia EFICACIA Impacto % de incremento de recaudación tributaria asociado a la acción del Servicio de Impuestos Internos SERVICIO DE IMPUESTOS INTERNOS.CHILE % de colocación de empleo juvenil. PROGRAMA DE CAPACITACIÓN DE JÓVENES. MINISTERIO DEL TRABAJO Accidentes laborales marítimos por trabajadores marítimos U.S.Coast Guard.

18 Indicadores de Eficacia EFICACIA - Cobertura Franquicia utilizada/franquicia potencial SERVICIO DE CAPACITACON Y EMPLEO. CHILE Padrones reaforados urbanos y suburbanos del Interior / total de padrones DIRECCION NACIONAL DEL CATASTRO Area de cultivo incluida en programa / área total de cultivo DIRECCION GENERAL DE SERVICIOS AGRICOLAS Controles de buses interurbanos/parque de buses intgerurbanos SUBSECRETARIA DE TRANSPORTES. CHILE Reclusos que desarrollan actividad industrial / total de reclusión DIRECCION NACIONAL DE CARCELES

19 Indicadores de Eficiencia Describe la relación entre dos magnitudes: La producción física de un producto (bien o servicio) y Los insumos o recursos que se utilizaron para alcanzar ese nivel de producción Mayor cantidad de servicios dado el mismo nivel de recursos Alcanzar un determinado nivel de servicios utilizando la menor cantidad de recursos posible

20 Indicadores de Eficiencia EFICIENCIA Costo Medio Gastos administrativos programa becas/becas entregadas Gasto total programa certificación/total cajas inspeccionadas Gastos asociados a intervenciones quirurgicas/n de intervenciones Costo total de unidades Viviendas contratadas/unidades contratadas

21 Indicadores de Eficiencia EFICIENCIA Producto Medio N de inspecciones / número de inspectores DIRECCIÓN GENERAL IMPOSITIVA N de expedientes resueltos por semestre / dotación de personal en la tarea CONTADURIA GENERAL DE LA NACION N de inspecciones al transporte de pasajeros / personal afectado a la tarea DIRECCION NACIONAL DE TRANSPORTE Nº de padrones reaforados / funcionarios afectados a la tarea DIRECCION NACIONAL DEL CATASTRO N de consultas / número de médicos UNIDAD DE ATENCIÓN AMBULATORIA EXTRA-HOSPITALARIA

22 Indicadores de Economía Reflejan capacidad para generar y movilizar recursos financieros en el cumplimiento de sus objetivos: 1. Eficiencia manejo de recursos 2. Uso actual de recursos en relación a lo 3. planeado 4. Autosuficiencia financiera en la capacidad de generar ahorros y en la existencia de equilibrio presupuestario

23 Indicadores de Economía ECONOMIA Porcentaje de recuperación de créditos de corto plazo Gasto de actividades de apoyo/gastos totales Aporte de beneficiarios a financiamiento/monto total inversión programa Gasto de funcionamiento ejecutado/gastos ejecutados totales Porcentaje de proyectos nuevos aprobados con razón beneficio costo de X % Recuperación de cobranza/ Facturación

24 Indicadores de Calidad Capacidad de la institución por responder en forma consistente, rápida y directa a las necesidades de los usuarios: 1. Mediciones Indirectas. Mejorar los atributos y características de los productos. 2. Mediciones Directas. Grado de satisfacción de los usuarios.

25 Indicadores de Calidad CALIDAD - Tiempos de Respuesta Tiempo de espera promedio para atención en consulta DIRECCION GENERAL DE SALUD Tiempo de tramitación promedio de solicitudes mineras DIRECCION NACIONAL DE GEOLOGIA Y MINERIA Tiempo promedio para el estudio de cada plan de forestación DIRECCION GENERAL DE RECURSOS NATURALES RENOVABLES Días de demora promedio de trámites de legalizaciones desde su iniciación DIRECCION GENERAL DE SECRETARIA, MINISTERIO DE RELACIONES EXTERIORES Demora promedio en la entrega del servicio DIRECCIÓN NACIONAL DE GEOLOGÍA Y MINERÍA

26 Indicadores de Calidad CALIDAD - Satisfacción del Usuario Porcentaje de aprobación: Encuesta de opinión a los usuarios. DIRECCION GENERAL DE REGISTROS Porcentaje de reclamos / casos atendidos DIRECCIÓN NACIONAL DE TOPOGRAFÍA N de reclamos / Asuntos resueltos DG SECRETARIA, MINISTERIO DE EDUCACION Y CULTURA Nº servicios reclamados/ Nº total de servicios HOSPITALES DE MONTEVIDEO

27 INDICADORES DE CALIDAD Oportunidad Accesibilidad Percepción de usuarios Precisión Porcentaje de respuestas a los Parlamentarios dentro de los límites acordados. Número de localidades cubiertas por atenciones móviles Porcentaje de aprobación excelente de los talleres de trabajo, por los participantes Porcentaje contratos terminados errores de por Porcentaje de reportes económicos entregados en tiempo acordado Nº de horas que la Biblioteca está abierta fuera de las horas de trabajo Porcentaje de usuarios satisfechos Nº de usuarios satisfechos/ Total usuarios encuestados Número de fallas reales/ Fallas programadas Número de intervenciones con retraso/ Número de intervenciones totales Porcentaje de Población con necesidades especiales que son miembros activos de la Biblioteca Nº de usuarios Satisfechos con el trato en la atención/ Total usuarios Porcentaje de contratos con uno o más errores encontrados por revisiones externas

28 Cómo integramos las distintas dimensiones del desempeño? 1. No existe una única manera de medir el desempeño institucional. 2. El desempeño global es producto de la interacción de los factores de eficiencia, eficacia, calidad y economía. 3. En ocasiones hay contradicciones entre las dimensiones: podemos mejorar la calidad pero a un mayor costo.

29 Integralidad de las Metas Aumentar la cobertura del programa de raciones a un 55% de la población escolar. Llegar a un costos promedio de $5 Alcanzar 1000 calorías por ración INDICADOR DE EFICACIA Población escolar en programa / población escolar total INDICADOR DE EFICIENCIA Costo promedio de las raciones: gasto total programa / número de raciones INDICADOR DE CALIDAD * Calorías por ración. * Porcentaje de aceptación de los escolares (encuesta)

31 Dónde empezamos para construir nuestros indicadores 1. La autoevaluación de la gestión es un proceso permanente. Su desarrollo permite medir la capacidad del logro de resultados, según parametros establecidos previamente y acordados al interior de la organización. 2. El primer requerimiento es que la institución haya sido capaz de definir sus objetivos de CP y MP que orientarán la acción y traducir esto en metas concretas de desempeño. 3. Los objetivos y metas deben estar en concordancia con el propósito para el cual la institución existe y con el mandato público al cual debe responder. 4. Una forma útil de vincular indicadores de desempeño con los propósitos esenciales de la organización es a través de la planificación estratégica.

32 Ciclo básico del proceso de construcción de indicadores de gestión 1.Identificación y/o Revisión de: Misión: Productos Clientes 2. Establecer las medidas de desempeño claves Objetivos Estratégicos Eficacia Eficiencia Economía Calidad Resultados Finales Intermedios Procesos Productos 9. Comunicar e Informar 8. Analizar e Interpretar los Resultados 7. Validar los indicadores 3. Asignar las responsabilidades 4. Establecer los indicadores en cada nivel de la organización 4. Establecer los referentes comparativos 5. Construir las fórmulas 6. Recolectar los datos y generar sistemas de información

33 PASOS BASICOS PARA LA CONSTRUCCION DE INDICADORES IDENTIFICAR y/o REVISAR PRODUCTOS Y OBJETIVOS Qué será medido? IDENTIFICAR LAS DIMENSIONES Y AMBITOS DE DESEMPEÑO Qué ámbitos y dimensiones del desempeño es conveniente medir? ESTABLECER RESPONSABILIDADES ORGANIZACIONALES Cuáles serán los Centros de Responsabilidad, o Áreas responsables por el desempeño logrado A quéniveles realizaremos la evaluación?

35 PASOS BASICOS PARA LA CONSTRUCCION DE INDICADORES CONSTRUIR LAS FORMULAS O ALGORITMOS Cómo relacionamos las variables de medición? ESTABLECER LAS METAS O REFERENTES PARA LA COMPARACION Sobre que comparamos los indicadores para saber si el desempeño es adecuado? RECOPILAR LA INFORMACION NECESARIA Qué datos y antecedentes me permitirán construir los indicadores?

36 DEFINIR LAS FORMULAS O ALGORITMOS A) BASES DE COMPARACIÓN Lo que se hace Lo que debe hacerse Nº de usuarios atendidos Nº de usuarios por atender Nº de certificados emitidos Nº Certificados solicitados Monto inversión ejecutada Monto asignado para inversión

37 FORMULAR ALGORITMOS b) Definición de ratios Costos medios: Costo total consultas/ consultas realizadas Producto medio:nºinspecciones realizadas/nºinspectores c) Definición de estándares % de recomendaciones aceptadas % de clientes satisfechos Nº de errores Tiempo promedio de tramitación

38 EJEMPLOS DE INDICADORES DE DESEMPEÑO Dimensión Nombre del Indicador Fórmula de Cálculo Ámbito de Control Eficacia Porcentaje de familias atendidas por el Programa que superan línea de pobreza (N de familias que superan la pobreza en año t / N total de familias en el Programa en año t )*100 Resultado Final Eficiencia Promedio de fiscalizaciones por fiscalizador N de acciones de fiscalización / N de fiscalizadores Resultado Intermedio Economía Porcentaje de ingresos propios de la institución (Ingresos generados por el servicio / Total de ingresos del servicio) * 100 Proceso Calidad Tiempo promedio de tramitación de solicitudes Sumatoria (Tiempo de procesamiento de solicitudes individuales)/ N de solicitudes tramitadas Producto

40 PASOS BASICOS PARA LA CONSTRUCCION DE INDICADORES VALIDAR: APLICAR CRITERIOS DE TECNICOS Y REQUISITOS Cómo sabemos que los indicadores construidos miden efectivamente la gestión y los resultados? ANALIZAR LOS RESULTADOS OBTENIDOS Por qué se produjeron los resultados? COMUNICAR E INFORMAR Quiénes tienen que conocer nuestros resultados? Organización, Usuarios, SHCP, Congreso, etc

41 Medios de Verificación Cómo obtenemos la evidencia? Son las fuentes de información que se pueden utilizar para verificar el logro de los objetivos (cálculo de los indicadores). Pueden incluir: Estadísticas Material publicado Inspección visual Encuestas Informes de auditoría Registros contables

42 Recomendaciones sobre Medios de Verificación Si falta información será necesario incluir actividades para obtenerla. Si no se puede conseguir la información, habrá que cambiar el indicador (usar proxy ). Si hay más de una fuente de información, verificar la consistencia de los datos. Medios de verificación deben ser acordados con los involucrados.

43

44 Problemas Frecuentes en la Construcción de Indicadores 1. Trampa de la medición: se muestra como resultados (y se hace) solo lo que se puede medir 2. Se tiende a medir de acuerdo a la información disponible, descuidando la medición de los aspectos mas relevantes 3. Subvaloración de las metas frente a un ambiente punitivo de la evaluación

45 Problemas Frecuentes en la Construcción de Indicadores 4. Tendencia a medirlo todo para no subrepresentar esfuerzos 5. Se desarrollan indicadores pero no se usan para la toma de decisiones.

47 Criterios de validación para la construcción de indicadores Criterio Relevancia Pertinencia Homogeneidad Descripción Debe referirse a los procesos y productos esenciales que desarrolla cada institución para reflejar el grado de cumplimiento de sus objetivos institucionales. La medición de todos los productos o actividades que realiza la institución genera una saturación de información, tanto al interior de la organización como fuera de ésta. Asegurarse que estoy midiendo los objetivos vinculados a lo estratégico. Cuando se trata de organizaciones que tienen más de un producto o servicio, es conveniente desarrollar un conjunto de indicadores globales que represente su accionar estratégico vinculado a su misión. Este criterio implica preguntarse cuál es la unidad de producto (atenciones médicas, asesorías legales, visitas inspectivas, etc.) y, más importante, procurar que dichas unidades de producto sean equivalentes entre sí en términos los recursos institucionales que consumen (horas hombre, cantidad de insumos materiales, etc.). Se debe procurar que sean de igual "costo" en un sentido amplio del término. Si no se da la equivalencia, para alcanzar las metas se tenderá a ejecutar sólo las acciones que demandan relativamente menos recursos.

48 Criterios de validación para la construcción de indicadores Criterio Confiabilidad Independencia Costo Simplicidad y Comprehensividad Descripción Los indicadores deben responder en lo fundamental a las acciones que desarrolla y controla la institución o a las variables del entorno que se vean afectadas directamente por esas acciones. No puede estar condicionado a factores externos, tales como la situación general del país, la labor legislativa del parlamento o la actividad conexa de terceros (públicos o privados). La obtención de la información para la elaboración del indicador debe ser a costos que tengan correlación con los recursos que se invierten en la actividad. Digno de confianza, independiente de quién realice la medición. En principio la base estadística de los indicadores debe estar en condiciones de ser auditada por las autoridades de la institución y examinada por observadores externos. Existe una tensión entre ambos criterios: se deben cubrir los aspectos más significativos del desempeño, pero la cantidad de indicadores no puede exceder la capacidad de análisis de los usuarios, tanto internos como externos. Los indicadores deben ser de fácil comprensión, libre de complejidades.

49 Criterios de validación para la construcción de indicadores Criterio No redundancia Oportunidad Focalizado en áreas controlables Partici- Pación Descripción Debe ser generado en el momento oportuno dependiendo del tipo de indicador y de la necesidad de su medición y difusión. Debe ser único y no repetitivo. Focalizado en áreas susceptibles de corregir en el desempeño de los organismos públicos generando a la vez responsabilidades directas en los funcionarios y el personal. Su elaboración debe involucrar en el proceso a todos los actores relevantes, con el fin de asegurar la legitimidad y reforzar el compromiso con los objetivos e indicadores resultantes. Esto implica además que el indicador y el objetivo que pretende evaluar sea lo más consensual posible al interior de la organización.

50 Cuestionario de validación de los indicadores Requisito a validar 1. El indicador tiene claramente un producto relevante o estratégico con el cual se vincula y un objetivo asociado SI/ NO 2. El indicador tiene claramente una meta o referente para ser medido su resultado 3. El resultado del indicador explica de forma precisa y clara el grado de cumplimiento de la meta o el resultado es ambiguo 4. Muestra o expresa el indicador de forma clara el resultado para poder ser analizado por el responsable

51 Cuestionario de validación de los indicadores Requisito a validar SI/ NO 5. Se ha definido la frecuencia de medición del indicador 6. La unidad de medición es adecuada para la meta que se espera medir 7. En la construcción del indicador han participado el jefe del área o Centro de Responsabilidad 8. Los indicadores han sido validados por la Unidad de Control de Gestión y por la Dirección para informarse del desempeño del Área o Centro

52 Ha llegado la indicadoritis? Chile Evolución Año No Indicadores No Instituciones Promedio por Institución Fuente: Dipres, Chile