Clase de Métodos 1: Inferencia Causal y Métodos Cuasi-Experimentales. Sveta Milusheva DIME, World Bank

Transcripción

1 Clase de Métodos 1: Inferencia Causal y Métodos Cuasi-Experimentales Sveta Milusheva DIME, World Bank

2 Conceptos Importantes Indicadores de Resultados (Outcomes): Lo que observamos, medimos y queremos afectar Impacto: Cambio en los indicadores de resultado que es causado por el programa a ser evaluado

3 El objetivo de la evaluación de impacto es responder la siguiente pregunta Cuál es el impacto de <<intervención>> en <<resultado>> en <población objetivo>?

4 Estudio de Caso El mejoramiento de carreteras rurales promueve el desarrollo económico local? Problema: Los costos de transporte hacia y desde las zonas agrícolas secundarias son altos, y esto afecta negativamente el desarrollo económico local Intervención: Mejorar las carreteras rurales Indicador de Resultados: Consumo per cápita de los hogares

5 Pregunta Cuál es la pregunta básica que su evaluación de impacto debe ser capaz de responder?

6 Pregunta Cuál es la pregunta básica que su evaluación de impacto debe ser capaz de responder? Cuál es el impacto de las mejoras de infraestructura en el desarrollo económico local?

7 El Programa 2,000 pueblos con carreteras de alta prioridad son seleccionadas y están invitados a expresar su interés en el programa. De los 2,000, los 1,021 pueblos que solicitaron la intervención antes de marzo de 2015 tienen un camino mejorado como parte de la fase 1 del programa Se encuestan hogares en las 2,000 pueblos con carreteras de alta prioridad y se mide su consumo.

8 Cómo podemos evaluar este programa? Participantes vs No Participantes Idea: Comparar el consumo per cápita de los hogares en pueblos que reciben un mejor camino y de los hogares en pueblos que no reciben un mejor camino

9 Participantes vs No Participantes (O Diferencia Simple) Tratamiento Comparación Promedio consumo per cápita Fase 1 pueblos No Fase 1 pueblos Estimado Impacto *

10 Participantes vs No Participantes (O Diferencia Simple) Tratamiento Comparación Promedio consumo per cápita Fase 1 pueblos No Fase 1 pueblos Estimado Impacto * Problema: Sesgo de selección Por qué algunos pueblos son primeros? - La gente usa la carretera más (observable) - La gente está más motivada y emprendedora (inobservable)

11 Cómo podemos evaluar este programa? Antes vs Después Idea: Comparar el consumo per cápita de los hogares en pueblos que reciben un mejor camino (tratados) después de la mejora de la infraestructura con......el consumo per cápita de los mismos hogares antes (control) de la mejora de la infraestructura

12 Antes vs Después Tratamiento, 2014 Tratamiento, 2016 Promedio consumo per cápita Fase 1 pueblos Después (2016) Fase 1 pueblos Antes (2014) Estimado Impacto *

13 Antes vs Después Promedio consumo per cápita Tratamiento, 2014 Tratamiento, 2016 Fase 1 pueblos Después (2016) Fase 1 pueblos Antes (2014) Estimado Impacto * Problema: Tendencia en el tiempo Otras cosas pueden haber cambiado en ese periodo - Cambio en la economía general - Los pueblos que son parte de Fase 1 participan en otros programas

14 Estas dos opciones son incorrectas para la evaluación de los efectos causales Antes - Después Participantes No Participantes Comparación: mismos hogares antes y después de la intervención Problema: otras cosas pueden haber ocurrido durante ese periodo Comparación: pueblos que decidieron participar vs pueblos que decidieron no hacerlo Problema: Sesgo de selección. No sabemos por qué decidieron participar Ambos contrafactuales (grupos de control) pueden llevar a estimaciones sesgadas del impacto de la capacitación

15 Monitoreo vs evaluación de impacto Monitoreo: sigue indicadores a lo largo del tiempo para los tratados Análisis descriptivo tipo antes vs después Sirve para tener un indicio de si los resultados están cambiando en la dirección deseada Pero no nos dice por qué ocurre lo que observamos

16 Evaluación de Impacto Compara los resultados de: grupo de tratamiento grupo de control Contrafactual Qué pasó vs Qué hubiera pasado (si no hubiera habido el programa) Identifica causa-efecto

17 Métodos de evaluación del impacto Efectos causales Experimentos/ Experimentos Aleatorios Controlados Regresión discontinua (Dobles Diferencias) Emparejamiento por puntaje de propensión Diferencia-endiferencias Nonexperimentales

18 Métodos no experimentales Los experimentos no siempre son posibles Razones de implementación Razones políticas Sigue siendo posible estimar impactos de forma rigurosa cuando el tratamiento no se asigna aleatoriamente Enfoques no experimentales son válidos solo si se utiliza el método adecuado

19 Cómo podemos evaluar este programa? Sesgo de selección -> grupos no comparables Método 1: Diferencia simple Grupo de tratamiento Grupo de control Diferencia Número de usuarios * Densidad de población * Capital local [1 = Sí] Número de hijos por hogar * Diversificación (%) Tamaño de la muestra Nota: * indica estadísticamente significativo al nivel de 5%

20 Cómo podemos evaluar este programa? Emparejamiento Idea: emparejar pueblos basados en sus características observables Cómo? puntaje de propensión: probabilidad de participar en función de características de los pueblos Puntajes similares -> pueblos similares Emparejar pueblos del grupo de tratamiento con pueblos del grupo de control con puntaje similar

21 Cómo podemos evaluar este programa? Emparejamiento Después del emparejamiento Método 1: Diferencia simple Grupo de tratamiento Grupo de control Diferencia Método 2: Emparejamiento por puntaje de propensión Grupo de Grupo de Diferencia tratamiento control Número de usuarios * * Densidad de población * Capital local [1 = Sí] Número de hijos por hogar * * Diversificación (%) Tamaño de la muestra

22 Comparación de resultados Método 1: Diferencia simple Promedio consumo per cápita Fase 1 pueblos No Fase 1 pueblos Estimado Impacto * Método 2: Emparejamiento por puntaje de propensión Promedio consumo per cápita Fase 1 pueblos No Fase 1 pueblos Estimado Impacto *

23 Cómo podemos evaluar este programa? Emparejamiento Dos problemas - Algunos participantes no pueden ser emparejados - Variables no observadas pueden ser muy importantes

24 Cómo podemos evaluar este programa? Diferencia en Diferencias Idea: combinar la dimensión temporal (antes y después del tratamiento) con la selección de pueblos (participantes y no participantes) (bajo algunos supuestos) esto soluciona los problemas de arriba: Diferencias en el tiempo Sesgo de selección

25 Diferencia en Diferencias

26 Diferencia en Diferencias

27 Diferencia en Diferencias

28 Diferencia en Diferencias

29 Diferencia en Diferencias Después de la mejora de los caminos rurales Consumo per cápita 2016 Antes de la mejora de los caminos rurales Consumo per cápita 2014 Diferencia en el consumo per cápita entre 2016 y 2014 Fase 1 pueblos No Fase 1 pueblos Diferencia * * 27.2 ( ) 0.1 ( ) 27.1* ( )-( ) =(Diferenciaen-Diferencias)

30 Diferencia en Diferencias

31 Cómo podemos evaluar este programa? Diseño de Regresión Discontinua Los 1,021 pueblos que solicitaron la intervención antes de marzo de 2015 son parte de la fase 1 del programa Idea: comparar pueblos que solicitaron la intervención un poco después de marzo de 2015 (por lo tanto no elegibles).con pueblos que solicitaron la intervención un poco antes de marzo de 2015 (por lo tanto elegibles)

32 Regresión Discontinua

33 Regresión Discontinua

34 Regresión Discontinua Método correcto si: Elegibilidad basa en variable continua Con umbral claramente definido Interpretación causal ( pero local) Problema: Impacto solo válido para los pueblos que solicitaron la intervención cerca de marzo de 2015 No necesariamente el grupo más representativo

35 Gracias