Evaluación de políticas públicas. Prof. Tamyko Ysa Institut de Direcció i Gestió Pública (ESADE)

Transcripción

1 Evaluación de políticas públicas Prof. Tamyko Ysa Institut de Direcció i Gestió Pública (ESADE) Tamyko.ysa@esade.edu

2 Definición evaluación Joint Committee Standard Education Recoger y analizar sistemáticamente una información para poder determinar el valor o mérito de una intervención

3 Definición evaluación Xavier Ballart Producción de información que sirva a los gestores públicos para tener una idea sobre la calidad de los servicios que están produciendo, en función de lo que se estime como valor. Evaluación como técnica que busca producir información útil a las Administraciones públicas para mejorar: Los procesos de decisión y planificación El funcionamiento y la gestión de las operaciones diarias Los resultados finales en relación a los recursos invertidos

4 Propósitos de la evaluación Comprensión, ilustración (enlightenment) Rendimiento de de cuentas (accountability) Mejora (improvement) Aceptación por la institución de la responsabilidad de evaluarse a sí misma Garantía y comprobación de seriedad y eficacia en la utilización de fondos públicos Cómo se gasta+ justificación en términos de resultados obtenidos= costo/eficacia Exigencia de responsabilidades (y sanciones) Comparar programas (assessment)

5 Propósitos de la evaluación Ilustración, comprensión (enlightenment) Ilustrar, aclarar, dar luz, comprender qué está pasando y cómo funciona el programa. La evaluación suele producir un cambio, dota de nuevos significado sobre la realidad del programa y de su intervención. La retroalimentación o mejora (improvement) Es una manera de recibir feedback sobre las acciones, intervenciones o programas que se llevan a cabo, un modo de mejorar y progresar. La evaluación puede ser un proceso de aprendizaje de la propia intervención. El control de responsabilidades y rendimiento de cuentas (accountability) Rendir cuentas en la acepción más flexible del término, no se restringe exclusivamente a los aspectos económicos sino también a la responsabilidad social y política, especialmente si las actividades llevadas a cabo se financian con fondos públicos ya que el contribuyente tienen derecho a saber en qué y cómo se está empleando el dinero público.

6 El cliente público: el ciudadano CONTRIBUYENTE ELECTOR CIUDADANO CIUDADANIA USUARIO SÚBDITO Serra

7 Autoavaluació organitzativa Model conceptual de la qualitat del servei Servei esperat Avaluació de la satisfacció Queixes i suggeriments Biaix 5 Servei percebut Cartes de serveis Biaix 1 Biaix 3 Prestació del servei Biaix 4 Comunicació externa als usuaris Anàlisi de les expectatives Autoavaluació organitzativa Biaix 2 Especificacions de la qualitat del servei Percepcions dels directius sobre les expectatives dels usuaris

8 Modelo para la evaluación Fines y objetivos Gestión del programa Distribución de servicios Clientes (principio) Cambio Decisiones políticas EVALUACIÓN Clientes (final)

9 Mejora continua Bucle de la calidad (Edward Deming) BUCLE DE LA MEJORA MEJORA Y APRENDIZAJE Mejora Planificación Medición Acción EXCELENCIA

10 Análisis de causalidad La intervención procura conseguir cambios PROGRAMA, SERVICIO CAMBIOS EN LA REALIDAD EVALUACIÓN

11 Razones para evaluar 1. Los procesos sociales sobre los que se quiere influir se conocen sólo parcialmente 2. La información es imperfecta: base de la definición de problemas y elección de alternativas 3. Condicionamientos políticos= búsqueda de consenso y soluciones de compromiso 4. Desviación de objetivos (ie conocimientos y habilidades de la organización) 5. Impactos imprevistos de las políticas

12 Cómo capacidad para evaluar Objetivos claros Objetivos poco claros Medios conocidos Medios no conocidos

13 Los objetivos en el ámbito público OBJETIVOS ECONOMIA EFICIENCIA IMPACTO EFICACIA RECURSOS INPUT PROCESOS PRODUCTOS OUTPUT RESULTADO OUTCOME BENEFICIO EFECTIVIDAD VALOR PÚBLICO Serra

14 Diferencia entre OUTCOMES y OUTPUTS Mejora sociosanitaria de la población Toma de conciencia Riesgo Habilidades para la vida Atención primaria Control de epidemias

15 Fases de la evaluación: proceso sistemático 1. MOTIVACIÓN PARA EVALUAR 2. DEFINCIÓN DE UNIDAD Y ANÁLISIS DE CONTEXTO 3. NECESIDADES INFORMATIVAS 4. CRITERIOS DE VALOR, PREGUNTAS RELEVANTES 5. OPERACIONALIZACIÓN DE CRITERIOS A INDICADORES 6. DISEÑO METODOLÓGICO 7. BÚSQUEDA DE FUENTES Y DISEÑO DE TÉCNICAS 8. TRABAJO DE CAMPO 9. DATOS 10. INTERPRETACIONES 11. JUICIOS 12. RECOMENDACIONES 13. COMUNICACIÓN DE RESULTADOS

16 Esquema sintético de efectos de una intervención Al menos un objetivo intermedio (output) negativo

17 Esquema sintético de efectos de una intervención Objetivo final (outcome) negativo y objetivos intermedios (outputs) positivos

18 Esquema sintético de efectos de una intervención Objetivo final (outcome) positivo y objetivos intermedios (outputs) negativos

19 Esquema sintético de efectos de una intervención Todos los objetivos (outcome y outputs) positivos

20 Esquema sintético de efectos de una intervención Todos los objetivos (outcome y outputs) negativos

21 Análisis posibles con la evaluación Se ajusta el programa o dispositivo a las necesidades prioritarias de la población. Si no es así cuáles son las dificultades con las que se encuentra Se explicita el análisis de causalidad que sustenta la intervención que a veces está implícito. El programa contribuye a lograr los cambios deseados. Se constata la congruencia del modelo, es lógico? Análisis de la coherencia interna. Revisión de sus componentes: son necesarios? son suficientes? Implementación correcta? Recursos adecuados? Cambio de política policy shift?

22 Policy shift? Revisión del estado del problema: Nueva política Continuación de política existente Revisión de política Terminación de la política

23 5 tradiciones en evaluación (X. Ballart) 1-Tradición filosófica Idea del juicio de valor Evaluador-juez finalista Evaluar en base a necesidades sociales y no en función de los objetivos de la Administración, ( Goal-Free Scriven) efectos reales y no supuestos: intencionados o no Nivel operativo: identificación efectos, determinación criterios, qué necesidades valorar Imposición encubierta preferencias evaluador

24 5 tradiciones en evaluación (X. Ballart) 2-Tradición positivista Evaluación como técnica para el análisis de causalidad básica Evaluador-metodólogo Evaluar efectos/objetivos para los financiadores (en base a diseños que incluyen series temporales antes/después de la intervención - y grupos de comparación).

25 5 tradiciones en evaluación (X. Ballart) 3- Tradición del control de gestión Idea de gestionar por resultados Evaluador controller interno Evaluar es contar actividad, producto, y su relación con recursos (en base a indicadores y sistemas de control de gestión)

26 5 tradiciones en evaluación (X. Ballart) 4- Tradición constructivista Idea de prestar un servicio a los principales actores implicados en un programa o política Evaluador consultor - mediador animador relator Evaluar es compromiso: Mediar entre las distintas visiones que puedan tener sobre un mismo programa o política distintos actores Fortalecer la capacidad de autoevalaución de los participantes Proporcionar asistencia técnica Impulsar la capacidad de relaciones públicas

27 5 tradiciones en evaluación (X. Ballart) 5- Tradición de la evaluación basada en la teoría del programa Tradición de la evaluación basada en la teoría del programa Idea de avanzar más allá del positivismo y de los indicadores Evaluador analista Evaluar es comprobar que la teoría del programa se realiza en la práctica (en base a recoger datos a lo largo del curso de un programa con el propósito de responder a distintas cuestiones sobre la medida en que se van cumpliendo los pasos necesarios hasta alcanzar el resultado previsto).

28 S Supervisión Cumplimiento e de objetivos g u i m Control Seguimiento del uso de recursos Seguimiento Acompañamiento Asesoramiento Procesos de evaluación Calidad de la política