Ciudad de Guatemala, 2013

Transcripción

1 Ciudad de Guatemala,

2 Sesión 2 Resultados, Indicadores y Midiendo Impacto M a g d a l e n a V a l d é s mvaldes@povertyactionlab.org J-PAL LAC 2

3 Clases (Profesores) H o r a r i o Actividades en Grupo (Todos) Trabajo en Grupo (Prof. Asistentes) Lunes 10 Martes 11 Miércoles 12 Jueves 13 Viernes 14 Introducción Proyecto en Grupo Ejercicio 1 Clase 7. Aspectos Operativos. Presentaciones Finales Clase 1. Qué es una evaluación? Caso de Estudio 2 Clase 5. Muestreo y tamaño de muestra.. Proyecto en Grupo Presentaciones Finales Caso de Estudio 1 Clase 2. Resultados, Indicadores y Midiendo Impacto. Clase 3. Por qué aleatorizar? Clase 4. Cómo aleatorizar? Ejercicio 2 Clase 8. Evaluación aleatoria de principio. a fin. Ceremonia de Clausura Caso de Estudio 3 Proyecto en Grupo Almuerzo cierre Proyecto en Grupo Proyecto en Grupo Clase 6. Amenazas y Análisis. Proyecto en Grupo Cóctel 3

4 Í n d i c e 1. Introducción 2. Evaluación de necesidades 3. Evaluación Teórica de Programas: Teoría de cambio Indicadores 4. Ejemplo República Dominicana 5. Datos 4

5 Introducción 5

6 L a p r e s e n t a c i ó n p a s a d a Se habló de: Cómo se decide qué programas se van a implementar? Qué tan riguroso es el proceso? Las razones por las cuales es importante una evaluación de impacto. Las razones de la importancia de aleatorizar para construir un CONTRAFACTUAL riguroso 6

7 Pero, antes de salir a terreno, es importante tener bien pensado lo que estamos evaluando y cómo medirlo. 7

8 C o m p o n e n t e s d e u n a e v a l u a c i ó n Evaluación de Necesidades Evaluación Teórica de Programas Evaluación de Procesos Evaluación de Impacto Análisis Costo- Efectividad Cuál es el problema? Los Resultados nos dan los OBJETIVOS de un programa Cómo, en teoría, podemos resolver el problema? Las METAS se cumplieron? El programa funciona como fue planificado? Los OBJETIVOS se cumplieron? En qué magnitud? Dadas la magnitud y el costo Cómo se compara este programa con otras alternativas?

9 Evaluación de Necesidades 9

10 E v a l u a c i ó n d e N e c e s i d a d e s : D i a g n o s t i c a r Evaluación de Necesidades Enfoque sistemático para: 1. Identificar la naturaleza y el alcance de un problema social. 2. Definir la población objetivo a ser atendida. 3. Determinar la atención que necesitan para hacer frente al problema. Puede ser conducida utilizando indicadores sociales, encuestas y censos, entrevistas, etc.

11 E v a l u a c i ó n d e N e c e s i d a d e s : D i a g n o s t i c a r Evaluación de Necesidades No es lo que sabes sino CÓMO lo sabes 4 tipo de necesidades: 1. Normativas 2. Relativas 3. Expresadas 4. Percibidas Debemos buscar todas estas respuestas, y esas necesidades se transformaran en el primer paso de nuestra teoría de cambio. Las necesidades son nuestros objetivos

12 E j e m p l o 1 : I n c r e m e n t a n d o e l a h o r r o Comprendiendo un poco más. Necesidad? Collins et al. (2009) demuestran que hogares en Sudáfrica en situación de pobreza en Sudáfrica ahorran de diversas manera informales, pero que estos métodos son usualmente costosos. Potencial Solución? Aportela (1999) sugiere a través de un estudio en México (exp. Natural) que banca formal incrementa ahorro, inversiones e ingresos.

13 C u á l e s e l p r i n c i p a l o b s t á c u l o a l a h o r r o f o r m a l? 1. No tienen ingresos suficientes 2. Falta de información sobre la banca formal 3. Distancia de bancos 4. Cobros de comisiones altos 39% 39% 10% 13%

14 E j e m p l o 1 : I n c r e m e n t a n d o e l a h o r r o Cuál es el obstáculo al ahorro formal? Altas comisiones de retiro hacen menos probable que las personas ahorren en el sector formal. >

15 E j e m p l o 1 : I n c r e m e n t a n d o e l a h o r r o Potencial solución? Reducir las tasas de transacción de retiro (comisión) que cobra el banco y dar tarjetas de débito gratis. Esto responde a la necesidad si logra hacer del ahorro formal más atractivo.

16 E j e m p l o 1 : I n c r e m e n t a n d o e l a h o r r o Componente Necesidad Problema Solución Solución Alternativa Diseño Descripción Incrementar el ahorro formal Costos de retiro de bancos son muy altos Reducir los costos de transacción de retiros Publicitar más las cuentas entre los más pobres Una cuenta bancaria con tarjeta de débito gratis que rebaja el costo de realizar retiros bancarios 16

17 A n a l i c e m o s e s t o s e j e m p l o s Ejemplo 2: Pobreza y salario mínimo? Componente Necesidad Problema Solución Solución Alternativa Diseño Descripción Disminuir los niveles de pobreza Salarios muy bajos Instaurar un salario mínimo más alto Incentivar la entrada al sector formal Aumentar el salario mínimo real

18 A n a l i c e m o s e s t o s e j e m p l o s Ejemplo 3: Embarazo Adolescente y Expectativas? Componente Necesidad Problema Solución Solución Alternativa Diseño Descripción Disminuir tasas de embarazo juvenil Baja expectativas profesionales Mejorar el acceso a la información sobre posibilidades y apoyo motivacional Información sobre soluciones anticonceptivas Programa de mentoría en los colegios Cómo?

19 Evaluación Teórica de Programas (TEORÍA DE CAMBIO) 19

20 E v a l u a c i ó n d e Te ó r i c a d e P r o g r a m a s : D i s e ñ a r Evaluación Teórica de Programas Modela la teoría que está detrás del programa, presentando un plan viable y factible para mejorar la condición social del objetivo. Las metodologías usadas en la evaluación teórica de programas incluyen la Teoría de Cambio.

21 Te o r í a d e C a m b i o : C a d e n a C a u s a l d e l p r o g r a m a Representa la cadena causal entre: Necesidades/Objetivos Insumos Productos Resultados intermedios Impactos (esperados y no deseados) Facilita definición de hipótesis a verificar. Facilita construcción de indicadores para medir distintas metas del programa.

22 Te o r í a d e C a m b i o : C a d e n a C a u s a l OBJETIVOS/ NECESIDADES INSUMOS PRODUCTOS RESULTADOS INTERMEDIOS IMPACTO

23 E j e m p l o 1 : I n c r e m e n t a n d o e l A h o r r o OBJETIVOS Aumentar el nivel de ahorro formal en las familias más pobres INSUMOS / PROGRAMA Cuenta bancaria con retiros gratis PRODUCTOS Clientes abren cuenta y reciben tarjeta de débito gratis RESULTADOS INTERMEDIOS Incrementa la cantidad de dinero que guardan en los bancos IMPACTOS Aumenta el ahorro (inversión, consumo durables, fluctuaciones etc.)

24 E j e m p l o 2 : E m b a r a z o A d o l e s c e n t e OBJETIVO Reducir tasa de embarazo Juvenil INSUMOS Sistema de Mentoría Juvenil en los Colegios PRODUCTOS Mentorías funcionando como estaban planeadas RESULTADOS INTERNEDIOS Mayores tasa s de inscripción en becas, actividades de capacitación, etc. IMPACTO Disminución tasa de embarazo juvenil

25 C u á l e s e l m e j o r m o m e n t o p a r a d e f i n i r l a t e o r í a d e c a m b i o? 1. Antes de la evaluación, para que todas las partes tengan claros los objetivos del programa y cómo se alzan. 2. Después de la evaluación, para entender lo que pasó a lo largo de la cadena causal. 96% 4%

26 INDICADORES 26

27 I n d i c a d o r e s Una definición objetiva del éxito de un programa tiene que estar basado en resultados tangibles. Para esto necesitamos desarrollar indicadores que nos permitan: Cuantificar los insumos en la intervención Evaluar la implementación de la intervención Cuantificar los resultados e impactos Registrar las percepciones de la intervención. 27

28 I n d i c a d o r e s En algunos casos el desafío está en definir indicadores. Programa de capacitación para micro-emprendedores y su efecto en empoderamiento femenino. Buenos indicadores deben ser: Claros: precisos y sin ambigüedad Relevantes: apropiados para la medición en cuestión Económicos: fáciles de medir y recolectar Adecuados: suficientes para detectar impactos en hipótesis claves 28

29 I n d i c a d o r e s En otros casos el desafío está en la medición. Por ejemplo: Corrupción: Los actos de corrupción son difíciles de medir porque por definición quienes comenten estos actos tienden a esconderlos. Ahorro: El ahorro es difícil de medir: Problemas de agregado: existen diferentes fuentes de ahorro, incluyendo formales e informales. Problemas de medición a través de tiempo: El momento de la medición (justo antes o después de un retiro) puede afectar en gran medida los resultados. 29

30 I n d i c a d o r e s : E j e m p l o INSUMOS Cuenta bancaria que incentiva los retiros PRODUCTOS Clientes abren cuenta y reciben tarjeta de débito gratis RESULTADOS INTERMEDIOS Incrementa la cantidad de dinero que los ahorrantes están dispuestos a poner en cuentas IMPACTOS Aumenta el ahorro (inversión, consumo durables, fluctuaciones etc) Indicadores INSUMOS Número de cuentas bancarias abiertas PRODUCTOS Número de Cuentas bancarias en operación de acuerdo a su diseño original RESULTADOS INTERMEDIOS Número de retiro de efectivos y montos IMPACTOS Saldos de ahorro Inversiones en Bienes durables Inversiones en Negocios

31 Ejemplo: República Dominicana 31

32 A n t e c e d e n t e s En República Dominicana, la tasa de desempleo juvenil era de 34% en el año 2011 Problema de desempleo entre los jóvenes, atribuible a falta de habilidades. Además de una falta de habilidades, que más podría explicar el problema de desempleo juvenil?

33 P r o g r a m a El gobierno de la República Dominicana implementó un programa de capacitación entre los años 2001 y 2006 que le ofrecía a jóvenes vulnerables en zonas urbanas una combinación de orientación laboral y pasantías que duraban dos meses.

34 E s t r u c t u r a El gobierno subcontrató a instituciones privadas para impartir clases. Estas instituciones tenían que constatar que habían empresas dispuestas a ofrecer pasantías de dos meses para los participantes. Después de una campaña de comunicación aquellos interesados en el programa postularon en la oficina local de empleo del gobierno.

35 Te o r í a d e c a m b i o NECESIDADES Alta tasa de desempleo entre los jóvenes de bajos recursos INSUMOS Programa de capacitación Jóvenes y empleo PRODUCTOS Jóvenes terminan capacitación como estaba planeado. RESULTADOS INTERMEDIOS Jóvenes adquieren habilidades valoradas por el mercado laboral IMPACTO Jóvenes encuentran más y mejores trabajos

36 Te o r í a d e c a m b i o Cuáles son los supuestos necesarios para esta cadena causal? Qué tiene que ocurrir para que esta cadena causal funcione?

37 Te o r í a d e c a m b i o NECESIDADES Alta tasa de desempleo entre los jóvenes de bajos recursos INSUMOS Programa de capacitación Jóvenes y empleo PRODUCTOS Jóvenes capacitados RESULTADOS INTERMEDIOS Jóvenes con habilidades buscadas por el mercado laboral IMPACTO Jóvenes encuentran más y mejores trabajos Indicadores Tasa de desempleo del público objetivo Encuestas Certificado Examen de habilidades Encuesta Registros de Seguridad Social

38 Datos 38

39 D ó n d e c o n s e g u i r d a t o s Datos Secundarios Datos Primarios

40 D ó n d e c o n s e g u i r d a t o s : D a t a P r i m a r i a Datos primarios: Datos que fueron levantados para el propósito de la investigación Encuestas Exámenes, tests, etc. Experimentos: Ej: Juegos para notar preferencias Observación Directa Cuáles podrían ser algunos problemas con estos recursos? La data primaria es confiable si quien la levanta es confiable

41 D ó n d e c o n s e g u i r d a t o s : D a t a S e c u n d a r i a Datos secundarios: Datos que fueron levantados de otras fuentes de información. Ej: Censo, datos administrativos de programas, etc

42 C o n c l u s i ó n La teoría de cambio nos ayuda a ordenar ideas y pensar bien sobre las preguntas que se están haciendo y cómo medir las respuestas. Una buena evaluación experimental depende en gran medida del trabajo que se haga con anterioridad.

43 GRACIAS! M a g d a l e n a V a l d é s mvaldes@povertyactionlab.org J-PAL LAC A 43