LA EVALUACION JULIO CESAR OSORIO MENDOZA

Transcripción

1 LA EVALUACION ENDOZA CONSTRUCCION DE INDICADORES MagÍster en Planeación UNIJAVERIANA Esp Evaluación - UNIANDES

2 EVALUACION La evaluación nació el séptimo día de la Creación, cuando DIOS miró todo lo que había creado y declaró ES BUENO. Con esa sola frase, DIOS se convirtió en el primer evaluador del mundo. No obstante, la evaluación nacida en los cielos resultó insuficiente y demasiado subjetiva para algunos. Por lo tanto, al escuchar la evaluación de DIOS (autoevaluación, por cierto), el DIABLO objetó e insistió cómo sabe que es bueno? cómo lo midió? con qué indicador juzgó la bondad de su creación? con qué lo comparó?. Y, así, nace la evaluación como la conocemos hoy-- enlosfuegosdelinfierno! BID

3 EVALUACION No parece exagerado plantear que la evaluación ha sido percibida en los diferentes sectores de la economía como DIABLO o como MONSTRUO un deber gigantesco impuesto a gestores y ejecutores sin que ellos sientan ningún amor por el proceso ni perciban utilidad alguna para sus procesos gerenciales o decisorios. BID

4 EVALUACION La evaluación como MONSTRUO se ha considerado como tarea que debe llevarse a cabo para responder a alguna exigencia legislativa, por tecnócratas del gobierno central o de las agencias financiadoras o por los cuerpos legislativos. Los que ven rasgos de MONSTRUO en el proceso de evaluación, típicamente han sufrido evaluaciones sofisticadas, cuyos resultados plasmados en grandes informes que adornan la biblioteca de algún gerente o algún tecnócrata, sin hacer mayor aporte al diseño o la gestión de la iniciativa evaluada. BID

5 EVALUACION A pesar de la presencia continua de los procesos evaluativos en nuestra vida cotidiana, nos cuesta algún trabajo definir formalmente la evaluación. Y, a pesar de evaluar y de ser evaluados diariamente, en la esfera de nuestras gestiones públicas, la evaluación es frecuentemente percibida como una intervención no bienvenida. BID

6 EVALUACION La evaluación no propone necesariamente distinguir tajantemente lo bueno de lo malo ; o lo exitoso de lo no exitoso. Como proceso, se podría aprovechar mucho más si se conceptualizara como un proceso que apoya el aprendizaje continuo y que informa y educa la gestión y las decisiones.. BID

7 QUÉ CONSTRUCCION ES UN INDICADOR, DE PROPOSITO, INDICADORES SELECCIÓN Y CARACTERISTICAS

8 QUE ES UN INDICADOR? Por INDICADOR se entiende el conjunto de variables cuantitativas o cualitativas que se va a medir y monitorear Un INDICADOR es la expresión de medida de un atributo Se entiende por INDICADOR los criterios para evaluar el comportamiento de las variables de un objetivo

9 QUE ES UN INDICADOR? Es un número que establece una relación entre dos o más datos significativos de dominios semejantes o diversos y que proporciona información sobre el estado en que se encuentra un sistema.

10 PROPOSITO DE LOS INDICADORES 1. Motivación Organizacional Los indicadores funcionan como una herramienta para direccionar los esfuerzos hacia el comportamiento deseado. Los indicadores dan a los individuos dirección con respecto a lo que necesitan lograr para la estrategia organizacional.

11 PROPOSITO DE LOS INDICADORES 2. Evaluación de la Estrategia y Aprendizaje Estratégico Se fijan indicadores estratégicos para comprobar el progreso de la Institución en el cumplimiento de sus objetivos estratégicos Los indicadores muestran la relación entre objetivos y son una prueba constante sobre la validez de la estrategia

12 CRITERIOS PARA LA SELECCIÓN DE INDICADORES 1. Comunicación estratégica El indicador seleccionado se enfoca adecuadamente en la cuestión estratégica o diluye la atención, distorsiona el desempeño, subestima el comportamiento? 2. Repetible y Confiable Los indicadores son cuantificables, confiables y repetibles? 3. Permite fijar metas Se pueden establecer metas significativas?

13 REQUISITOS TECNICOS DE UN INDICADOR Que los datos utilizados en el Indicador sean válidos y confiables Que los datos contengan información relevante para la toma de decisiones Que los datos estén bien documentados Que se puedan actualizar periódicamente Que sean sencillos, fáciles de medir e interpretar Que se puedan utilizar con otros indicadores Que permitan obtener un valor de referencia contra el que se pueda comparar el indicador

14 REQUISITOS TECNICOS DE UN INDICADOR Que sean capaces de mostrar tendencias a través del tiempo Que sean aplicables a escala nacional, interinstitucional o institucional Que proporcionen una base para las comparaciones internacionales

15 CARACTERISTICAS DE LOS INDICADORES Los indicadores deben cumplir con las siguientes características: MEDIBLES: para poder verificar en la realidad su grado de cumplimiento. La medición puede ser cuantitativa o cualitativa. Siempre se encontrará alguna de forma de expresar en un dato una medida cualitativa. DISPONIBLES: deben encontrarse en algún sistema de información, o alguien debe asumir la responsabilidad de proveerlo con las características exigidas para utilizarlos como instrumento de medición. DETERMINANTES: es decir, seleccionado de manera que sean los que mejor expresen la naturaleza del resultado objeto de medida. Los indicadores deben ser pocos para facilitar su integración.

16 CRITERIOS PARA LA CONSTRUCCION DE INDICADORES Relevancia: Medir lo importante, en consenso con los actores relevantes, lo que brinda legitimidad. Pertinencia: Medir efectivamente las metas y objetivos de la Institución. Confiabilidad: Datos suficientes y demostrables. Desagregación: En lo posible, desagregar la información por sexo y otras variables relevantes (edad, grupo socioeconómico, pertenencia étnica) Comparabilidad: Comparables de un año a otro. Independencia: Medir lo controlable. Comprensibilidad: Deben ser fáciles de usar e interpretar. Costo Razonable: Su proceso de construcción, recolección y registro debe ser adecuado a las posibilidades financieras de las Instituciones Oportunidad: Sus resultados deben estar en forma oportuna, de manera que retroalimenten la gestión. Integración: Interconexión de unos con otros para medir integralmente el desempeño.

17 INDICADOR INTELIGENTE I N D I DEPENDIENTE MENSIONABLE C 4 A D O R CTUALIZABLE DETERMINANTE BJETIVAMENTE VERIFICABLE EALIZABLE

18 INDICADOR - META INDICADOR: Medición cuantitativa una situación y sus cambios en el tiempo. Puede ser simple o compuesto. META: Expresión cuantificable de los logros a alcanzar por parte de una organización en un horizonte de tiempo determinado.

19 METAS Fijan y comunican el nivel de desempeño esperado para la Institución. Dan a los individuos una meta y/o contribución definida con respecto a la estrategia general de la Institución. Enfocan la Institución hacia la mejora.

20 METAS Fijar solo una meta por indicador y por periodo Asegurarse que son cuantificables Asegurarse que comuniquen claramente el desempeño esperado Establecer metas realistas pero retadoras Basarlas en hechos y datos

21 CONSTRUCCION DE INDICADORES CÓMO CONSTRUIR INDICADORES?

22 QUÉ EVALUAR Y CÓMO? Qué Evaluar PROBLEMA OBJETIVO (PROPOSITO Y FIN) VARIABLE Cómo Evaluar INDICADOR De GESTION DEL PROCESO Actividades Recursos Tiempo De LOGRO Impacto Efecto Resultado

23 CONSTRUCCION DE OBJETIVOS OBJETIVO: es un enunciado claro y preciso de los propósitos, fines y logros a los cuales se aspira a llegar. OBJETIVO INSTITUCIONAL: constituye todo aquello que espera conseguir la INSTITUCION en desarrollo de su misión. La expresión de la razón de ser de la organización, la cual la personifica y la diferencia de los demás. OBJETIVO QUE (PROPOSITO, TENDENCIA, GESTION) PARA QUE (FIN, RESULTADO, IMPACTO

24 CONSTRUCCION DE OBJETIVOS Ejemplo GENERAR OPORTUNIDADES DE EMPLEO PARA DISMINUIR LA POBREZA EN COLOMBIA QUE (PROPOSITO) PARA QUE (FIN, RESULTADO)

25 IDENTIFICACION DE VARIABLES Se entiende por VARIABLES las características, cualidades, elementos o componentes de un OBJETIVO, las cuales se pueden modificar o variar en el tiempo. También las VARIABLES se define como la información básica y necesaria sin la cual no es posible construir el indicador. La variable debe determinar los parámetros o aspectos que intervienen en el logro del propósito del indicador y que son necesarios para su relación y composición

26 IDENTIFICACION DE VARIABLES Al desagregar el OBJETIVO, salen a relucir los temas relevantes que tienen importancia para la comprensión y transformación de hechos y realidades sociales. Para formular el indicador, se desglosa o desmenuza el OBJETIVO en VARIABLES; esto es, los componentes, elementos, atributos o temas relevantes que en su conjunto constituyen el objetivo para el cual queremos construir los INDICADORES.

27 IDENTIFICACION DE VARIABLES En el proceso de seleccionar las VARIABLES RELEVANTES, ser cuidadoso al escoger entre una amplia gama de variables posibles de analizar, un conjunto de características claves que personifiquen el OBJETIVO analizado. Mientras más concreta y menor el número de variables seleccionadas, mayor la posibilidad de profundizar en su análisis. Para identificar las VARIABLES es necesario definir el PROPOSITO y el FIN del objetivo a MEDIR.

28 VARIABLES CULTURA Oferta Consumo Formación ECONOMICO OTRAS VARIABLES Normas Valores Satisfacción Violencia Sanciones Empleo Flujo Turístico Producción Inversión

29 CLASIFICACION DE LOS INDICADORES 1. Indicadores de Logro (Eficacia) Foco en el Resultado. Las Medidas de Resultado Reflejan los éxitos del pasado, no las decisiones y actividades del hoy. Ejemplo: Indice de Satisfacción

30 CLASIFICACION DE LOS INDICADORES 2. Indicadores de Proceso (Eficiencia): Miden Procesos Intermedios, actividades y comportamientos. Permite a la Institución Ajustar su comportamiento por el desempeño. Ejemplo: Horas de Entrenamiento..

31 CONTROL DE GESTION Y EVALUACION DE RESULTADOS: DOS SUBSISTEMAS INTERDEPENDIENTES INSUMOS PROCESO PRODUCTO OBJETIVO: IMPACTO CAMBIO EN EL BIENESTAR RETROALIMENTACION CONTROL DE GESTION Sistema Interno: EFICIENCIA EVALUACION DE RESULTADOS Sistema Externo: Eficacia

32 TIPOLOGIA Y REPRESENTACION DE INDICADORES MAPAS Y GRAFICOS Ubicación Territorial Densidad Territorial Correlación Matrices Curvas de Desigualdad ANALISIS COMPLEJO RATIOS Número Media, Moda, Mínimo, Máximo Varianza o Desviación Estándar % Vertical o Horizontal Cuota de Mercado Tasa de Cobertura Indice de Crecimento Indice de Concentración Variaciones Cruzamiento de Variables Correlación Inferencia Estadística Análisis Factorial

33 CONSTRUCCION MATEMATICA DE LOS INDICADORES 1. INDICADORES EN TERMINOS ABSOLUTOS EJEMPLO: Número de Familias que viven en Hacinamiento 2. INDICADORES EN TERMINOS RELATIVOS (PORCENTAJE) EJEMPLO: Porcentaje Familias que viven en Hacinamiento % = Número de Familias que viven en Hacinamiento x 100 Total Familias

34 CONSTRUCCION MATEMATICA DE LOS INDICADORES 3. INDICADORES DE CALIDAD (SATISFACCION) SERVICIO La calidad o satisfacción se puede medir con las siguientes técnicas: Clisa (cliente satisfecho) Encuesta por Correo In Situ Entrevistas Personales No Estructurada - Husego Entrevista de Profundidad Libreta de Calificaciones Cliente Incógnito Entrevista on Line

35 CONSTRUCCION MATEMATICA DE LOS INDICADORES Se le práctica directamente al cliente en su lugar de trabajo o residencia. Encuesta Estructurada: a) Perfil del Encuestado b) Cuál es su nivel de satisfacción con el servicio de internet, en relación con: Facilidad para Comunicarse Facilidad de Manejo Tiempo de Funcionamiento MS S REG INS MS= muy satisfecho; S=satisfecho; REG=regular; INS=insatisfecho

36 4. INDICES CONSTRUCCION MATEMATICA DE LOS INDICADORES Un índice es la condensación de información en un sólo número. Un índice es la agregación de varios indicadores en un sólo número. Son tan sólo indicadores, señalando el sentido de evolución de la variable y no dan una medición precisa, como consecuencia de la cantidad de formulas que existen para su cálculo, de la composición de las canastas de variables. Un índice puede ser la agregación de varios índices en un sólo número.

37 CONSTRUCCION MATEMATICA DE LOS INDICADORES 4. INDICES Ejemplo: Indice de Nivel Educativo (INE) INE = 2/3( TA) + 1/3 ( TE) donde: TA = Tasa de Alfabetismo Total personas > 15 años con educación = o > a tercero de Primaria / Personas mayores de 15 años Total TE = Tasa de Escolaridad Total personas entre 7 y 24 años que asiste al Colegio / Total Personas entre 7 y 24 años Un Indice de Nivel Educativo (INE) cercano a cero (0) indica un menor logro educativo.

38 CONSTRUCCION MATEMATICA DE LOS INDICADORES 4. INDICES Ejemplo: Indice de Desarrollo Humano (IDH) IDH = ( (IEV) + ( INE) + (II) ) /3 donde: IEV = índice de esperanza de vida INE = índice de nivel educativo II = índice de ingreso Un Indice de Desarrollo Humano IDH igual a uno (1) significa un nivel de desarrollo superior (máximo).

39 EJEMPLOS DE INDICES DATOS E INDICADORES DEL INGRESO POBREZA (p) POBREZA EXTREMA (pe) DESCRIPION DEL INDICADOR SIMBOLO FORMULA VALOR FORMULA VALOR No de Personas con ingreso menor a LP o LI. qi qp 113 qpe 35 Linea de Pobreza. zi LP $ LI $ Sumatoria de (Zi -Yi); Yi: Ingreso per capita. Total (Zi - Yi) Total (Zi - Yi)p $ Total (Zi - Yi)pe $ Incidencia Hi Hp = qp / n 80,7% Hpe = qpe / n 25,0% (1/qp)*Total (Zi - Yi)p (1/qpe)*Total (Zi - Yi)pe Brecha de Ingresos Ii 8,6% 4,8% Ingreso promedio de toda la poblacion p o pe. µi µp = TotalYi/qp $ µpe = TotalYi/qpe $ Ingreso per capita ponderado de la pob. P o pe (y1+..+nyn)i Total (y1+..+nyn)i $ Total (y1+..+nyn)i $ Gpe = 1+(1/qp)-[(2/q2*µ)( Coeficiente Gini Gi 24,6% Zp Gp = 1+(1/qp)-[(2/q2*µ)( µ)(y1+..+nyn) Zpe µ)(y1+..+nyn) 11,8% Indice de Sen Pi Pp = Hp *( Ip + (1 - Ip) * Gp ) 25,1% Ppe = Hpe *( Ipe + (1 - Ipe) * Gpe ) 4,0%

40 CONSTRUCCION MATEMATICA DE LOS INDICADORES 5. VARIACIONES RELATIVAS V t, t -1 = ( ( X t / X t -1 ) -1 ) * 100 Ejemplo: Total Ventas Libros Escolares (OCRP) 2004, 2003 OCRP 2004, 2003 = ( ( 100 / 75) 1 ) * 100 = 33% Interpretación: las ventas de Libros Escolares en el 2004 aumentaron un 33% con relación a las del 2003.

41 CONSTRUCCION MATEMATICA DE LOS INDICADORES Número Total de niñas con problemas de nutrición Porcentaje Porcentaje de adolescentes embarazadas incorporadas al programa de retención escolar Porcentaje de cobertura escolar pre-básica para menores de 5 años (26,5%, año 2000) Promedio Años de escolaridad promedio por sexo Puntaje promedio en la prueba SIMCE de matemáticas por sexo Tasa Tasa de retención escolar, por sexo (la suma de la matrícula que es evaluada en el último grado sobre la matrícula inicial de la cohorte) Tasa de mortalidad infantil masculina año 2000 (9,4/1000 nacidos vivos) Relación Relación niñas / niños en la educación básica (0,94, año 2000) Brecha brecha entre ingreso promedio de la ocupación principal de mujeres y hombres (35,7, año 2000).

42 VARIABLE - INDICADOR CULTURA INDICADORES Consumo Cultural Número a. Asistencia Valor Per Cápita b. Costo Tasa de Crecimiento Distribución Porcentual Formación Artística Varianza, Desviación a. Oferta Indices b. Calidad Ubicación (mapas) c. Ubicación

43 OBJETIVO VARIABLE - INDICADOR Ejemplo GENERAR OPORTUNIDADES DE EMPLEO PARA DISMINUIR LA POBREZA EN COLOMBIA Si busco evaluar el FIN: 1.Defino QUE ES POBREZA 2.Según la definición identifico las VARIABLES PARA QUE (FIN, RESULTADO) 3. Con cada variable construyo INDICADOR

44 OBJETIVO VARIABLE - INDICADOR DEFINICION DE POBREZA: La pobreza se define como una situación que impide al individuo, a la familia o al grupo social, satisfacer una o más necesidades básicas y participar plenamente en la vida social SI aceptamos esta definición, las VARIABLES estarán relacionadas con realidades como: Hacinamiento Deserción Escolar Alimentación Construyo Indicador Construyo Indicador Construyo Indicador

45 SISTEMA DE INDICADORES La planeación y la evaluación de la gestión organizacional no se agotan con el desarrollo de un indicador, se requiere un sistema de indicadores que en conjunción con información básica permitan la interpretación adecuada de la realidad.

46 Gestión de la Organización y Sistema de Información ORGANIZACIÓN CONTEXTO Insumos Humanos Tecnológicos Económicos Infraestruc. Procesos Productos Bienes y Servicios Usuarios Beneficiario s Objetivos Metas de Gestión Metas de Resultado Metas de Efecto Metas de Impacto Contexto Insumos Procesos Resultado Efecto Impacto Diseño Implementación Evaluación Información y Análisis (INDICADORES)