Ministerio de Desarrollo Social

Transcripción

1 Ministerio de Desarrollo Social Estrategias para la evaluación de políticas sociales en Uruguay. Experiencias y aprendizajes Dirección de Evaluación y Monitoreo 1

2 Índice de la presentación I. El Plan Nacional de Atención a la Emergencia social (PANES): características generales. II. III. IV. El diseño de evaluación del PANES: global y por componentes. La inserción de las actividades de evaluación en el diseño institucional del PANES. Los resultados del PANES V. Qué dejó la experiencia del PANES? Aprendizajes de cara al Plan de Equidad VI. El Plan de Equidad: características principales y propuestas de evaluación. 2

3 Parte I: El Plan Nacional de Atención a la emergencia social Población objetivo Objetivos Cobertura Focalización 3

4 Población Objetivo El PANES estuvo dirigido a personas u hogares en extrema pobreza. La población objetivo estuvo constituida por el primer quintil de hogares bajo la línea de pobreza. Éstos recibieron transferencias de dinero durante dos años aproximadamente ( ). 4

5 Objetivos del PANES OBJETIVO GENERAL: Proporcionar a los hogares participantes del PANES oportunidades y herramientas de mediano plazo para salir de su condición de pobreza extrema, exclusión social y económica. Implementar estrategias que contribuyan a que los hogares participantes no vuelvan a caer en situación de indigencia. OBJETIVOS A CORTO PLAZO: Asistencia contingente mediante (1) transferencias monetarias y alimentarias; y (2) intervenciones en educación, salud y estado de la vivienda. OBJETIVOS A LARGO PLAZO: Integración de los hogares en extrema pobreza a través de intervenciones de capacitación, (re) educación y (re) alfabetización. Integración de los participantes mediante experiencias de participación social (ciudadanía activa) y laboral. 5

6 El PANES como política social macro: componentes ( monetaria Ingreso ciudadano (transferencia ( CRS ) Construyendo Rutas de Salida ( TPU ) Trabajo por Uruguay ( PAN ) Programa de Asistencia Alimentaria Intervenciones específicas en educación ( PES ) Intervenciones en salud ( PAST ) Programa de Apoyo a los sin techo ( POP ) Proyectos de opciones productivas 6

7 Principales características de cobertura y focalización Puesta en marcha en poco tiempo: gran cobertura y esfuerzo institucional. Cantidad importante de inscriptos y visitas (próx. 20% del total de hogares del país). Creación de una base de datos de apróx personas. Buena focalización del Plan de Emergencia. Validación de instrumento de selección. Importancia de las transferencias: Ingreso Ciudadano y Tarjeta Alimentaria. Mayor proporción del presupuesto, mayor cobertura y mayor ejecución. Programas de promoción y desarrollo de capacidades: abarcan al 40% del total de hogares en dos años. Amplia cobertura del PANES en el Interior del país. Dificultades de ejecución fueron mejorando como producto de la práctica. 7

8 Parte II: El diseño de evaluación del PANES: Global y por componentes Modalidades Objetivos, estrategias, técnicas Dimensiones Metodología 8

9 Modalidades de evaluación La evaluación abarcó varias formas de resultado posibles. En algunas dimensiones se realizó medición de impacto (tanto en general como a nivel de componentes). En la mayoría de las dimensiones, se midieron resultados. Hubo evaluación de procesos. A) mediante el monitoreo de programas y componentes. B) Entrevistando a participantes sobre su percepción del funcionamiento. Finalmente, tanto el programa como sus componentes evaluaron satisfacción de los participantes. 9

10 Dimensiones de la evaluación del PANES Resultados Impacto Satisfacción Sostenibilidad Expectativas 10

11 Estrategias del diseño de Evaluación del PANES Cuantitativa Estrategia ( II ) Cuantitativa (I) y General ( PANES ) Estrategia ( I ) Cualitativa Particular (Por ( Componente Evaluación de Impacto, satisfacción y resultados mediante encuesta de seguimiento Evaluación de resultados, satisfacción y expectativas: aplicación de formularios de ingreso y egreso para participantes Cualitativa Evaluación de satisfacción, expectativas y resultados mediante entrevistas y grupos focos para participantes 11

12 Estrategia Cuantitativa Evaluación por componentes Principales componentes a evaluar ( TPU ) Trabajo por Uruguay ( CRS ) Construyendo Rutas de Salida Mejoramiento del Hábitat ( PAST ) Programa de apoyo a los sin techo ( POP ) Proyectos de opción productiva Programa de alfabetización de adultos (Yo sí puedo). 12

13 Estrategia Cuantitativa para componentes: Énfasis principales: Evaluar resultados del programa. Relevar expectativas de los protagonistas. Evaluar satisfacción del beneficiario con el programa. Principales objetivos: Describir situación social de hogares y personas participantes de los componentes. Medir cambios en dicha situación social. Identificar resultados y tendencias de los programas. Insumos para corregir defectos de la intervención de cada programa. Impacto: en el caso de Trabajo por Uruguay, se midió impacto en ingresos de los hogares y conocimiento de derechos. 13

14 Estrategia Cuantitativa (componentes): Encuesta de seguimiento longitudinal panel Se aplican formularios en dos momentos: al ingreso del participante al programa y al egreso del mismo Permite comparar indicadores y características sociales de las personas y hogares antes y después de su desempeño en el programa 14

15 Metodología de la evaluación cuantitativa global Evaluación de Impacto: Diseño cuasi experimental de corte longitudinal panel con dos mediciones ( ). El diseño se conforma por un grupo tratado (los participantes del programa) y un grupo testigo o de control (no participantes). Encuesta de seguimiento a nivel nacional, realizada entre octubre 2006 marzo 2007 (primera onda) marzo mayo 2008 (segunda onda). Representativa a nivel nacional. La sub muestra de beneficiarios fue de 2363 casos, ponderados según su peso en el conjunto de hogares del PANES. La muestra de seguimiento es 3300 casos incluyendo beneficiarios y no beneficiarios del PANES. 15

16 Evaluación de impacto La asignación al programa no aleatoria, sino dependiente del ICC, y para muchas variables no se contó con información para la línea de base. Por ello se optó por el diseño discontinuo. Se seleccionó una muestra de hogares en torno al puntaje de corte del ICC (2%). Se realizó una encuesta de seguimiento que recoge información sobre las distintas dimensiones a evaluar. Para las dimensiones para las que se poseía información en la línea de base, se aplicó además el método de diferencias en diferencias. 16

17 Variables objetivo para la evaluación de impacto Ingresos de los hogares Desempeños en salud Desempeños educativos Transferencias alimentarias Acceso a servicios públicos 17

18 Dimensiones donde hubo medición de impacto en encuesta de seguimiento Dimensiones y variables co nsideradas en la evaluación de impacto Dimensión Variable Inserción laboral de los adultos Actividad / Empleo /Desempleo / Formalidad / Horas trabajadas ( 6 17 ) Desempeño escolar Tasa de asistencia escolar ( 13 Trabajo infantil (6 a Porcentaje de niños que trabajan ( 17 Trabajo adolescente (14 a Condiciones habitacionales y acceso a bienes durables Porcentaje de jóvenes que trabajan Hacinamiento Calidad de la vivienda Indice de riqueza Conocimiento de derechos Indice combinado de conocimiento de derecho s civiles Indice combinado de conocimiento de derechos laborales Indice combinado de conocimiento de derechos penales Participación ciudadana Indice combinado de acciones de participación Porcentaje de personas que realizó alguna acción participativa 18

19 Estrategia complementaria para la Evaluación Unificar base de datos con variables sociales existentes en el Estado, con el fin de ampliar las bases informacionales para la evaluación del PANES. Recurrir a datos provenientes de registros administrativos, que al unirse a la base de datos del PANES, permitirá observar otras características y comportamientos de los hogares, tanto en el pasado como en el futuro, (aspectos que sólo pueden evaluarse al contar con dicha información). 19

20 Principales bases a utilizar: ( INE ) Conteo de población, 2004 ( INE ) ECH, 1982 ( INE ) EGIH, 2006 y 2007 Bases de BPS ( MSP ) Bases de nacimientos y defunciones ( ANEP ) Registros de primaria, secundaria Bases de usuarios de servicios públicos (OSE, UTE, ( ANTEL ( PIAI ) Bases de asentamientos ( MIDES ) Programa de infancia y familia, CAIF 20

21 ( I ) Estrategia cualitativa Elaboración de un diseño preliminar de evaluación Fase 0 o exploratoria: Ratificar / Rectificar / Contempler nuevas dimensiones o criterios. Actividades: Seminario de Expertos. Entrevistas a informantes calificados: Responsables de los programas. Participación en Seminario con OSC. Coordinadores territoriales. Visita a grupos de los programas. Realización de pilotos de las técnicas 21

22 ( II ) Estrategia Cualitativa Diseño (I): Evaluación cualitativa de satisfacción, resultados, y expectativas (SRE). Técnica: Grupo foco. Criterios de muestreo: Sexo, edad y región. Describir expectativas de los protagonistas en relación a la participación en el Programa. Profundizar en resultados percibidos por los protagonistas. Identificar vínculos sociales generados a partir del programa, y cambios en las relaciones al interior del hogar (género y generaciones). Profundizar en conocimiento y cultura de derechos de los protagonistas. 22

23 ( III ) Estrategia cualitativa Diseño (II): Seguimiento de trayectorias Satisfacción, resultados, y expectativas a partir del egreso del programa. Técnica: Entrevista semi estructurada en dos ondas. Criterios: Región, Sexo, Evaluación del programa por parte del participante, Búsqueda de trabajo al egreso del programa. Dimensiones: Capacitación y competencias laborales y sociales. Formación de capital social de vínculo familiar y redes sociales. Formación ciudadana y cultura de derechos. Acceso a servicios de salud y valoración de los mismos. Relaciones de género: en los programas y al interior de los hogares PANES. 23

24 ( IV ) Estrategia cualitativa Diseño III (ad hoc): Complementar la visión de los protagonistas con la de otros actores de los componentes. Actores: OSC (Directivos / Equipos Técnicos). Participantes que no completaron el programa ( Desertores / Exitosos ). Responsables técnicos y políticos de los programas. 24

25 Diseño y estrategia global de evaluación Resumen Estrategia evaluación global Cuantitativa Cualitativa Encuesta seguimiento Encuesta Impacto y Resultados Grupos Focales Entrevistas Profundidad TPU PANES TPU TPU CRS CRS CRS PAST YSP HÁBITAT 25

26 Parte III: Los resultados del PANES 26

27 Los resultados del PANES en Resultados: perspectiva general La evidencia disponible hasta ahora indica que se obtienen resultados en dimensiones vinculadas a la subjetividad: conocimiento de derechos, autoestima, autonomía. No se observan resultados en indicadores más duros: inserción en el mercado laboral o calidad del trabajo. Puntualizaciones: Todavía no puede afirmarse que no se observen estos resultados a medida que se tenga información de más largo plazo. También puede suceder que los logros obtenidos en dimensiones subjetivas se pierdan ante la dificultad de concretarlas en mejoras concretas de calidad de vida. 27

28 ( a ) Detalle de Resultados Se encuentran indicios de efectos positivos del programa sobre la asistencia escolar. No se encuentran efectos claros para el caso de los adolescentes Existen efectos positivos sobre el conocimiento de derechos laborales y penales. En promedio, no se encuentra efectos sobre inserción laboral de adultos Existen algunos indicios de efectos negativos sobre al formalidad laboral que requerirán estudiarse más en profundidad (historias ( BPS laborales El tiempo de exposición al programa puede ser todavía limitado para encontrar efectos 28

29 ( b ) Detalle de Resultados Los protagonistas perciben una falta de cobertura del PANES hacia otros hogares con carencias críticas y cuestionan la adecuada focalización del Plan. (Más allá de esta percepción informes técnicos validan la focalización del Plan). Se manifiestan una alta disposición a que la transferencia sea más en alimentos que en dinero. Más de la mitad de los protagonistas está satisfecho o muy satisfecho con el monto del Ingreso Ciudadano. El importe del primer Ingreso Ciudadano fue destinado a la mejora del hogar y en la atención a las prioridades alimenticias y de vestimenta. El gasto habitual de este ingreso está orientado a comida, vestimenta y servicios (agua, luz, teléfono). Más de la mitad de los protagonistas (56%) considera la opción laboral como alternativa una vez que finalice el cobro del Ingreso Ciudadano. No obstante, es inquietante el porcentaje de encuestados (34%) que declaran que no harán nada o que no saben. 29

30 Parte IV: El diseño institucional del Panes 30

31 Los orígenes del PANES La idea surge en la crisis del 2002 y forma parte de las propuestas del partido que asume en marzo del Se lo considera buque insignia de las políticas del nuevo gobierno. Como consecuencia, se comienza a implementar el plan sin haber planificado su evaluación. Por tanto, el dispositivo institucional debe generar por sí mismo la organización que realice el seguimiento y evaluación. En el inicio, no hay presupuesto proyectado específicamente para evaluación. 31

32 Esa situación es solucionada mediante: Convenios con la Universidad de la República para la realización de la encuesta de seguimiento y estudios de impacto. Acuerdos con las organizaciones de la sociedad civil que son contraparte en la implementación de componentes: esto permitió la aplicación de formularios de ingreso y salida con mínimo costo. Acuerdos con organismos del estado (principalmente: BPS) para compartir bases de datos y coordinar relevamientos. Convenios con organismos internacionales para obtener apoyo técnico y financiero para la evaluación. 32

33 Parte V: Dificultades y aprendizajes 33

34 Dificultades, errores, limitaciones El hecho de incluir la dirección de evaluación dentro del organismo que ejecuta las políticas tiene efectos que deben ser considerados: se generan tensiones entre quienes ejecutan y quienes evalúan las políticas. se acelera la generación de cultura de evaluación entre los planificadores y ejecutores, siempre que se puedan resolver adecuadamente esas tensiones. 34

35 ( I ) Aprendizajes Un aprendizaje importante es que no siempre el diseño de evaluación más acabado desde el punto de vista académico es el más productivo para quienes diseñan las políticas. Por ejemplo, la velocidad en la producción de insumos. Es importante generar productos de evaluación que permitan reflexionar sobre los programas mientras éstos aún están en ejecución. 35

36 ( II ) Aprendizajes La parte crucial del éxito en las políticas sociales no está únicamente en el diseño. Es importante la solución de los innumerables problemas de implementación que surgen a diario. Esto lleva a tomar en cuenta a quienes tienen a cargo las pequeñas rutinas cotidianas de los programas, y no sólo a los grandes decisores. Una carencia del diseño de evaluación del PANES fue la insuficiente consideración de los equipos técnicos (OSC) que implementaron componentes importantes como TxU o Rutas. 36

37 ( III ) Aprendizajes Elevada no concordancia entre objetivos de los programas y las expectativas de los beneficiarios. Esto es particularmente relevante dado que se trató de una intervención a gran escala. Sin embargo, no fue previsto en el diseño del programa ni en el de evaluación. Esta discordancia se traduce en los resultados de la evaluación. Esto fue descubierto tardíamente como un resultado no esperado de la estrategia cualitativa. 37

38 En función de lo anterior: qu qué características debe tener un diseño o que tome en cuenta estos aprendizajes? 38

39 Parte VI: El Plan de Equidad. Propuestas de diseño de evaluación 39

40 Características El plan de equidad se ha definido como una iniciativa de mediano y largo plazo que (...) pretende revisar y adecuar el esquema de protección vigente a los nuevos problemas sociales. Se distinguen dos tipos de componentes: estructurales (reformas de alcance amplio, tales como la reforma tributaria, de la salud, educación y otros) y específicos. Los componentes específicos apuntan a conformar una Red de asistencia e integración social. 40

41 Los componentes específicos (Red de asistencia e integración) son: Transferencias monetarias (asignaciones familiares ( vejez y asistencia a la ( magnética Seguridad alimentaria (tarjeta Políticas de educación para la infancia y la adolescencia Políticas asociadas al trabajo protegido Promoción de cooperativas sociales y emprendimientos productivos Políticas de promoción e inclusión social Políticas de atención a la discapacidad 41

42 El diseño de evaluación El diseño de evaluación del Plan de Equidad está en desarrollo. Algunos componentes están en proceso de evaluación, mientras que otros están siendo diseñados, propuestos y negociados. 42

43 Evaluación de componentes macro: acuerdos y propuestas Base AFAM a la que accederemos con periodicidad mensual..( INE ) Módulo en encuesta continua de hogares Encuesta panel para evaluación de transferencias y las reformas estructurales. 43

44 La evaluación de componentes. Programa Uruguay Trabaja Uruguay Trabaja es un programa de empleo asistido que procura la inserción laboral y el incremento de la empleabilidad, mediante la realización de obras de interés comunitario y la participación en instancias de capacitación a cambio de un salario. La población objetivo está compuesta por mayores de 18 años, desempleados crónicos, con menos de 9 años de escolaridad y pertenecientes a hogares vulnerables. 44

45 Diseño evaluación Uruguay Trabaja El diseño está pensado para lograr medición de impacto en varias dimensiones: ingresos, conocimiento de derechos, empleabilidad y accceso a servicios. Se trata de la realización de una encuesta a participantes y a un grupo de control comparable, en dos ondas: al comienzo del programa y una vez culminado el mismo. Uso de registros administrativos, para medir la inserción laboral formal de los participantes. Realización de entrevistas a participantes exitosos Se prevé incluir la perspectiva de otros actores vinculados al programa (OSC, instituciones públicas conveniantes y empleadores). El diseño se pìensa conjuntamente con el MTSS lo cual posibilita la evaluación comparativa de los dos componentes del TRABAJO PROMOVIDO (UT y Objetivo Empleo). 45

46 La evaluación de componentes. Programa Uruguay Integra Se trata de un programa de actividades socioeducativas (en modalidades de taller o similares) ofrecido a personas de hogares pobres y no pobres. Tiene como principal objetivo la promoción de la integración social. La población objetivo tiene una definición amplia, y sólo excluye explícitamente a la población analfabeta (que son objetos de un programa especialmente diseñado para la alfabetización de adultos). Se procura especialmente la integración de pobres y no pobres en las actividades. 46

47 Diseño evaluación Uruguay Integra El diseño intenta medir cambios en los participantes en el ingreso y la salida del programa, mediante la aplicación de una encuesta a una muestra representativa. También se incluye una estrategia de identificación precisa y seguimiento de los equipos técnicos a cargo de las actividades. 47

48 A partir de los aprendizajes obtenidos de la evaluación del PANES, se incorporan en los nuevos diseños (componentes específicos): La búsqueda de un mayor contacto y participación de la División de Evaluación en el diseño e implementación de los componentes. En el caso de Uruguay Integra, se inició una experiencia en la que la División pone a disposición del programa algunos de sus recursos (por ejemplo: para el registro electrónico de participantes y equipos técnicos), al tiempo que obtiene la información necesaria para la ejecución del diseño con celeridad y precisión. 48

49 A partir de los aprendizajes obtenidos de la evaluación del PANES, se incorporan en los nuevos diseños (componentes específicos): Se ha puesto énfasis en la incorporación de nuevos actores en la evaluación. Existe evidencia de que en muchos casos los resultados dependieron de la forma de trabajo de las OSC o de los equipos técnicos. Por tanto, se incorpora la posiblidad de diferenciar resultados según OSC. Se implementa el seguimiento a supervisores, coordinadores y demás actores vinculados a los programas (por ejemplo: empleadores). 49

50 Desafíos. Nuevas propuestas Finalidad Objetivos Instrumentos Estado de la instrumentación Medir el avance de la equidad en Uruguay Medir impacto y resultados de las reformas estructurales Medir impacto y resultado de las transferencias monetarias Encuesta de seguimiento panel Batería de Instrumentos (ENHA, Encuestas propias de ( MIDES Propuesta Acordado con INE y BPS. En proceso de implementación Medir resultado (impacto en ciertas dimensiones) de las intervenciones específicas Encuestas panel MIDES Implementado y en aplicación en algunos programas. 50

51 FIN Muchas gracias 51