ANÁLISIS Y DISEÑO DE POLÍTICAS PÚBLICAS Tema 8: Evaluación de Políticas

Transcripción

1 ANÁLISIS Y DISEÑO DE POLÍTICAS PÚBLICAS Tema 8: Evaluación de Políticas Cristina Moreno Martínez Antonia González Salcedo Francisco Parra Barbosa Antonio Garrido Rubia

2 1. CONCEPTO, TIPOS Y FINES DE EVALUACION DE POLITICAS CONCEPTO RESTRINGIDO: Análisis de resultados e impactos de una política pública CONCEPTO AMPLIO: Evaluación no sólo de resultados o impactos sino de todas las fases Dye: Examen objetivo, sistemático y empírico de los efectos de políticas en términos de sus objetivos Rossi y Freeman: Aplicación de procedimientos de investigación social para valorar la conceptualización y diseño, implementación y utilidad de los programas de intervención social CONCEPTO 1 1. Determinar el éxito de una política: Intento de medir los resultados de la política 2. Identificar si la adecuación de medios a fines ha sido correcta: Intento de relacionar los resultados con los recursos y medios usados para alcanzarlos 3. Extraer conclusiones y enseñanzas útiles para el diseño de nuevos programas y políticas públicas ************************************************************************************************************************* ************ Diferencias EVALUACION FORMATIVA (formative evaluation) EVALUACION SUMATIVA (summative evaluation) FINES 2 Objetivos y momento de realización Destinatarios Papel del evaluador Información y Datos Formato Requisitos de la evaluación En función del proceso, supone una valoración de las diferentes fases del desarrollo de una política y se realiza mientras ésta se lleva a la práctica (diseño y especialmente implementación de la Gestores y ejecutores de las políticas, interesados en estudiar la forma en que está siendo aplicada la política, así como detectar posibles problemas que puedan impedir la consecución de los objetivos previstos Interacción del evaluador con las personas a cargo de la implementación de la política Búsqueda continua de la información, a medida que se van poniendo en práctica las políticas. Predomina la información Informes y comunicación de los resultados de la evaluación mediante reuniones formales o informales con los diferentes equipos encargados de la ejecución o implementación de una Enfasis en el conocimiento del programa por parte de los evaluadores y en las relaciones e interacciones con sus gestores e implementadores Evaluación de resultados concretos (outputs) y del impacto que la política ha producido en la sociedad (outcomes). Se realiza una vez que concluye la implementación del programa o política Políticos y altos cargos (policymakers) que usan esta evaluación para tomar decisiones sobre futuras políticas Posición independiente e incluso puede no interactuar de ninguna manera con las personas que han elaborado e implementado la Los datos (tanto cuantitativos como cualitativos) se recaban tras la finalización del programa o política. Principalmente a través de informes escritos Enfasis en el rigor científico, la objetividad y la imparcialidad TIPOS PRINCIPALES DE EVALUACION 3

3 2. EVALUACION SUMATIVA 1 IDENTIFICACION DE OBJETIVOS 2 BUSQUEDA DE INDICADORES Problemas en la identificación de los objetivos 1- Objetivos de qué actores? los de quienes diseñan el programa? los de los grupos de afectados? 2- Objetivos explícitos y manifiestos (en el propio programa) o implícitos u ocultos. A veces los objetivos no son planteados y hay que contactar con los creadores del programa para averiguarlos 3- Objetivos generales y abstractos (ej. mejorar la calidad de la enseñanza o la asistencia sanitaria ) frente a objetivos específicos 4- Objetivos referidos a outputs o a outcomes 5- Jerarquización de objetivos (primarios, secundarios) y consideración de plazo de tiempo considerado para obtener resultados, magnitud de los resultados esperados, duración de los efectos previstos, etc. ANALISIS DE DATOS ANALISIS DESCRIPTIVO: Identificación de objetivos de una política y diseño y aplicación de una batería de indicadores para analizar después la información que proporcionan los indicadores respecto a la consecución de objetivos ANALISIS EXPLICATIVO: Análisis de causalidad entre la aplicación de un programa y la obtención de unos resultados controlando otros factores. Diseño experimental: Introduciendo un grupo experimental y un grupo de control para controlar o neutralizar el efecto de otras variables o factores Análisis de series temporales: comparar los datos de una población antes, durante y después de la realización de un plan o programa controlando la influencia de otros factores ajenos al programa que se hayan modificado a lo largo del tiempo y puedan afectar a los datos Análisis estadístico multivariable: técnicas de proceso de datos cuantitativos que permiten introducir controles para neutralizar el efecto de algunas variables y conocer el peso explicativo de la aplicación de un programa en el cambio de la situación 4 F A S E S 3 Diseño de indicadores empíricos para medir el grado de cumplimiento de los objetivos previamente identificados. VALIDEZ.Grado en que nuestros indicadores reflejan los conceptos que queremos medir. Ej. TV como indicador de bienestar económico? FIABILIDAD. Grado en que un indicador proporciona los mismos resultados si se repite su aplicación en diferentes ocasiones. Ej. termómetro REUNION Y ACOPIO DE DATOS DATOS SECUNDARIOS: Uso de información ya disponible. Es menos costoso. Fuentes: documentos e informes públicos (anuarios o informes estadísticos), sondeos de institutos de opinión... DATOS PRIMARIOS: El evaluador genera directamente la información. Más costoso pero la información obtenida nos es más útil. Observación directa: Diario de ampo con información sistemática y estructurada. Tiene un gran componente subjetivo y la presencia del observador modifica la conducta de los observados Entrevistas en profundidad: riqueza de datos obtenidos de participantes, pero requiere mucho tiempo y la información es difícil de sistematizar. Grupo de discusión: confrontación discursiva de participantes. Hay que diseñarlo bien: número de participantes (5-10), criterios de selección (perfiles representativos, estructura del debate (moderador), espacio físico ( neutro ) Encuesta por cuestionario: a una muestra o universo de la población. Buen equilibrio entre costes y resultados. Importancia del diseño del cuestionario: preguntas limitadas, cerradas, sencillas, formulación neutral

4 3. OTROS TIPOS DE EVALUACION DE POLITICAS PUBLICAS IDENTIFICACION DEL PROBLEMA Y FORMACION DE LA AGENDA FORMULACION DE POLITICA Y TOMA DE DECISIONES IMPLEMENTACION O IMPLANTACION DE LA POLITICA EVALUACION EVALUACION ANTICIPATIVA EVALUABILIDAD S NECESIDADES TEORIA Y DEL DISEÑO VIABILIDAD POLITICA EVALUACION DE PROCESOS O DE LA IMPLANTACION ESTUDIOS DE SEGUIMIENTO DE PROGRAMAS EVALUACION DE EFICACIA O IMPACTO CALIDAD Análisis sobre las conexiones entre la política pública y los factores críticos del entorno en el que debe desarrollarse. Evaluación de las relaciones entre la política y el problema Análisis de la filosofía, elementos e instrumentos de la política para descubrir puntos débiles del diseño de la misma. Evaluación del diseño de la política. Delimitar bien el problema que la política pretende eliminar o mitigar (gravedad, evolución, grupos afectados, volumen...) y sus conexiones con otros problemas. Evaluación del problema. Dilucidar si hay una correcta conexión entre la teoría que sustenta la política y los instrumentos de intervención. Evaluación de la teoría. Identificación de los actores con intereses en el problema, elaboración de un mapa de apoyos y resistencias que deberá afrontar la política en sus diferentes fases. Evaluación de los actores o la red de actores. Determinar el grado de cumplimiento de los mandatos incluidos en la política comparando el diseño inicial de la intervención con el funcionamiento real en la aplicación de la misma. Evaluación del grado de cumplimiento. Información en tiempo real suministrada a los responsables de las distintas fases del proceso para que introduzcan las correcciones oportunas. Se construye una bateria de indicadores (rendimiento, cobertura, uso de los servicios, etc.) que se aplican sistemáticamente mientras se desarrolla la implementación. Ev. mid-course. Información sobre los efectos o impactos de las políticas y de la medida en que los efectos se deben a la política en sí y no a otras causas como variaciones en el problema, el impacto de otras políticas o cambios sociales. Evaluación de la eficacia, comparando los impactos previstos con los observados, de la eficiencia, comparando los beneficios producidos por la política y sus costes Evaluación o medición de la satisfacción de las expectativas de los usuarios y clientes de la política. El criterio para valorar la política son los objetivos y valores de los usuarios y no sus objetivos o fines iniciales (como en el caso de la evaluación de la eficacia) o sus costes (evaluación de la eficiencia)

5 EVALUACION DE POLITICAS PUBLICAS (IV): EL MODELO PLURALISTA INTERACTIVO Crítica de la perspectiva científica de la evaluación: Objetividad imposible de conseguir CRITICAS AL MODELO RACIONAL RETROSPECTIVO Reconocimiento de la pluralidad de criterios posibles a la hora de evaluar una política o programa. CRITICAS AL MODELO PLURALISTA Separación de los preceptos de la evaluación basada en la imparcialidad y el rigor científico Necesidad de diálogo y complementariedad entre diferentes enfoques MODELO PLURALISTA Rechazo de la idea de evaluación imparcial y objetiva y énfasis en la importancia de los valores y opiniones de la pluralidad de actores participantes en un programa: los actores tienen visiones distintas de los criterios de evaluación que se deben adoptar Evaluación realizada no exclusivamente por técnicos sino con la participación de otros actores Puede aplicarse tanto a la evaluación del diseño como a la implementación o la evaluación de resultados de una política