Introducción a Metodologías Cuasi-Experimentales

Transcripción

1 Intrducción a Metdlgías Cuasi-Experimentales Sebastian Martinez Banc Inter-American de Desarrll Presentación pr Sebastian Martinez, basad en el libr Impact Evaluatin in Practice pr Gertler, Martinez, Premand, Rawlings y Vermeersch (2010). El cntenid de esta presentación representa la pinión del autr y n necesariamente del Banc Inter American de Desarrll. Esta versión: Abril 2012.

2 Objetiv de la Evaluación de Impact Estimar el efect causal (impact) de una intervención (P) en un resultad (Y). (P) = Prgrama Tratamient (Y) = Resultad, Medida de Exit Ejempl: Cual es el impact de un prgrama de transferencias mnetarias (P) sbre el cnsum del hgar (Y)? 2

3 Pregunta de Evaluación: Cual es el impact de (P) sbre (Y)? Respuesta: α= (Y P=1)-(Y P=0) 3

4 Prblema de Dats Incmplets α= (Y P=1)-(Y P=0) Para un Beneficiari de Prgrama: Observams (Y P=1): cnsum del hgar (Y) participand en el prgrama de transferencias mnetarias (P=1) 4 Per NO bservams (Y P=0): cnsum del hgar (Y) sin el prgrama de transferencias mnetarias (P=0)

5 Slución Estimams l que hubiese sucedid cn Y en la ausencia de P. Llamams est el.. Cntrafactual. 5

6 Estimand el impact de P sbre Y α= (Y P=1)-(Y P=0) Observams (Y P=1) Resultad baj Tratamient Estimams (Y P=0) El Cntrafactual IMPACTO = Resultad cn Tratamient - cntrafactual Usa grups de Cmparación Cntrl 6

7 Cas: Prgresa Prgrama nacinal cntra la pbreza en Méxic Objetivs: Rmper transmisión inter-generacinal de pbreza y reducir pbreza hy Cmienza millnes de beneficiaris hasta 2004 Elegibilidad en base a índice de pbreza Intervención: Transferencias Cndicinadas 7 Cndicinal en participación esclar y servicis de salud

8 Cas: Prgresa Evaluación de impact cn riqueza de infrmación: 506 cmunidades, 24,000 hgares Línea Base 1997, seguimient 2008 Muchs resultads de interés (educación, salud, etc) Aqui: Estándar de vida: Cnsum per cápita Cual es el impact de Prgresa (P) sbre Cnsum per cápita (Y)? 8 Si el impact es de $20 pess mas pr mes, expandims prgrama

9 Elegibilidad e Inscripción N elegible (N pbre) Elegible (Pbre) N Inscrit Inscrit

10 Cas 1: Pre-prgrama Cual es el impact de Prgresa (P) sbre Cnsum per cápita (Y)? Y (1) Observams cnsum antes (Abril 1997) y después (Nviembre 1998) del prgrama (2) α= (Y P=1)-(Y P=0) T=1997 T=1998 IMPACTO=A-B= $35 A B α = $35 Tiemp

11 Cas 1: Pre-prgrama Cnsum (Y) Resultad CON Tratamient (Pst) Cntrafactual (Pre) Impact (Y P=1) - (Y P=0) 35.3** Análisis de Regresión: Regresión Lineal 35.27** Regresión Lineal Multivariable 34.28** 11 Nta: **estadísticamente significativ al 1%

12 Cas 1: Cuál es el prblema? Bm Ecnómic: Impact real =A-C A-B es una sbreestimación Recesión: Impact real =A-D A-B es una subestimación Y A C? B D? Impact? α = $35 Impact? T=0 T=1 Tiemp 12

13 Cntrafactuales Cntrafactuales falss: Cndición pre-prgrama (pre-pst) Inferencia Aut-seleccinads (peras y manzanas) 13 Causal

14 Cntrles Aut-seleccinads Generalmente NO sn buens cntrles aquells que: Eligen NO participar Sn Inelegibles para participar (cn algunas excepcines imprtantes) Sesg de Selección: Características de la pblación están crrelacinads cn su cndición de participación en el prgrama y cn ls resultads (Y) de interés Pdems cntrlar pr bservables Per n pr inbservables! 14 El impact estimad se cnfunde cn estas características

15 Períd pst-tratamient (1998) N elegible (N pbre) Cas 2: Prgresa Elegible (Pbre) N inscrit Y=290 Inscrit Y=268 En que sentid pdrían ser diferentes ls Inscrits y N inscrits, además de su participación en el prgrama?

16 Cas 2: Cntrles Aut-seleccinads Cnsum (Y) Resultad CON Treatment (Inscrit) 268 Cunterfactual (N Inscrit) 290 Impact (Y P=1) - (Y P=0) -22** Análisis de Regresión: Regresión Lineal -22** Regresión Lineal Multivariable Nta: **estadísticamente significativ al 1%

17 Recmendación de Plítica Publica? Cas 1: Preprgrama Cas 2: Autseleccinads Impact en Cnsum (Y) Regresión Lineal 35.27** Regresión Lineal Multivariable 34.28** Regresión Lineal -22** Regresión Lineal Multivariable Recmendaría escalar Prgresa a nivel nacinal? Si el impact es de $20 pess mas pr mes, expandims el prgrama Pre-prgrama: N se cnsideran trs factres que varían en el tiemp Aut-seleccinads: Sesg de Selección: trs factres asciads a ls grups de tratamient y cmparación inciden en el resultad

18 Recuerda! Pre-prgrama Cmpara: Misma unidad de bservación antes y después de recibir P. Prblema: Otras csas pueden currir a l larg del tiemp que afectan el resultad Aut-seleccinads Cmpara: Grup que participa cn grup que elige n participar en P. Prblema: Sesg de Selección. 18 Ambs cntrafactuales pueden llevar a un estimad sesgad del impact

19 Asignación Aleatria Prmción Aleatria (Variables Instrumentales) Diseñ de Regresión Discntinua Diferencias en Diferencias (dif-en-dif) Pareamient Métds de Evaluación 19

20 20 Cas 3: Asignación Aleatria Prgresa: Unidad de aleatrización: cmunidad 506 cmunidades en la muestra de evaluación Aleatrización pr etapas: 320 cmunidades de tratamient (14,446 hgares): Primera transferencia Abril cmunidades de cntrl (9,630 hgares): Primera transferencia Nviembre 1999

21 Cas 3: Asignación Aleatria 320 Cmunidades Tratamient T=0 T=1 Tiemp 186 Cmunidades Cntrl 21 Perid de Cmparación

22 Cas 3: Asignación Aleatria Cm pdems cmprbar que tenems buens clnes? En la ausencia de P, ls grups de tratamient y cmparación deben ser estadísticamente idéntics Cmparems sus características de línea de base (T=0) 22

23 Cas 3: Balance (pre-prgrama) Cnsum ($ mensual per capita) 23 Nta: *estadísticamente significativ al 5% Cas 3: Asignación Aleatria Cntrl Tratamient Est.T Edad Jefe de Hgar (anis) Edad Espsa() del Jefe (añs) Educación Jefe (añs) * Educación Espsa() (añs)

24 Cas 3: Balance (pre-prgrama) Cas 3: Asignación Aleatria Cntrl Tratamient Est.T Jefe de hgar femenin= Indigena= Numer miembrs del hgar Tiene Bañ= Hecatrias de tierra Distancia a Hspital (km)

25 Cas 3: Asignación Aleatria Grup Tratamient (Aleatrizad a tratamient) Cntrafactual (Aleatrizad a cmparacin) Impact (Y P=1) - (Y P=0) Linea Base (T=0) Cnsum (Y) Seguimient (T=1) Cnsum (Y) ** Análisis de Regresión: Regresión Lineal 29.25** Regresión Lineal Multivariable 29.75** 25 Nta: **estadísticamente significativ al 1%

26 Recmendación de Plítica Publica? Impact de Prgresa en Cnsum (Y) Cas 1: Preprgrama Cas 2: Autseleccinads Regresión Lineal Multivariable 34.28** Regresión Lineal -22** Regresión Lineal Multivariable Cas 3: Asignación Aleatria Regresión Lineal Multivariable 29.75** 26 Nta: **estadísticamente significativ al 1%

27 Asignación Aleatria Prmción Aleatria (Variables Instrumentales) Métds de Evaluación 27

28 Y si TODOS pueden participar? Pr ejempl Prgramas nacinales cn elegibilidad universal? Prgramas cn participación vluntaria? Prgramas dnde n se puede excluir a nadie? Si n se inscriben tds, pdems cmparar participantes y n-participantes? Sesg de Selección! 28

29 Ofrecer prmcinar prgrama a un sub-grup aleatri Si la inscripción es vluntaria: Ofrecer prgrama a una sub-muestra aleatria Alguns aceptan Otrs n aceptan Oferta aleatria y n se puede excluir la ferta a nadie: Ofrecer prgrama a tds Ofrecer prmción, estimul incentivs a una sub-muestra aleatria: Infrmación Premi Transprte Prmción aleatria 29

30 Oferta y Prmción Aleatria Cndicines necesarias: 1. Grup fertad/prmcinad y n-fertads/nprmcinads sn cmparables: 30 Cndición de prmción del grup (cn/sin) NO esta crrelacinad cn las características de la pblación Garantizad pr la aleatrización 2. Grup fertad/prmcinad tiene mayr tasa de participación en el prgrama Es decir, la prmción funcina! Pdems cmprbar empíricamente 3. La ferta/prmción n afecta ls resultads directamente Usams tería e intuición para asegurar esta cndición

31 Oferta y Prmción Aleatria 3 grups de unidades individus NUNCA se inscribe Sl se inscribe cn prmción SIEMPRE se inscribe CON prmción SIN prmción 31

32 Oferta y Prmción Aleatria 1.Pblación Elegible 2.Aleatriza Oferta/Prmción SIN Oferta/Prmción 3. Inscripción CON Oferta/Prmción 0 Eligible Inscrit Nunca Prmción Siempre

33 Ejercici: estimar el impact de Grup A: CON Oferta/Prmció n Inscrit=80% Y Prmedi para grup A=100 Grup B: SIN Oferta/Prmció n Inscrit = 30% Y Prmedi para grup B=80 Impact 50% Inscrits=.. Y=.. 20 Impact= 20/(1/2)=40 Nunca Participa X Participa cn Prmción Siempre participa X 33

34 Cas 4: Oferta Aleatria Oferta aleatria es una Variable Instrumental Prgresa se frece a ls hgares Oferta a hgares en un grup aleatri de 320 cmunidades 92% de hgares l tman, 8% l rechaza Si hay mens de 100% de inscripción en el prgrama Intención al tratamient: Impact de frecer el prgrama Tratamient sbre l Tratads: Impact de tmar el prgrama Utilizams la asignación aleatria de la ferta cm variable instrumental 34

35 Cas 4: Oferta Aleatria CON Oferta (320 Cmunidades) Inscrit=92% Cnsum Prmedi= 268 SIN Oferta (186 Cmunidades) Inscrit=0% Cnsum Prmedi= 239 Impact Tratamient sbre Tratads Inscrit=0.92 Y=29 Impact= 29/0.92 =31 Nunca Participa X Participa cn Oferta Siempre participa X 35

36 Cas 4: Oferta Aleatria Impact del Tratamient sbre el cnsum de ls Tratads Regresión Variables Instrumentales 30.4** 36 Nta: **estadísticamente significativ al 1%

37 Recuerda! Oferta/Prmción Aleatria Oferta/Prmción debe ser efectiv en incrementar participación! Asignams aleatriamente la ferta/prmción (evaluación experimental) cn el prpósit de evaluar el impact del prgrama de interés N excluims a nadie, per Estrategia depende de la validez de la ferta/prmción Estimams un impact lcal, n necesariamente generalizable para tda la pblación 37

38 Asignación Aleatria Prmción Aleatria (Variables Instrumentales) Diseñ de Regresión Discntinua Métds de Evaluación 38

39 Diseñ de Regresión Discntinua Muchs prgramas fcalizan mediante un índice puntaje cntinu que determina elegibilidad: Prgramas anti-pbreza Pensines Educación Agricultura Fcaliza hgares debaj ciert nivel de ingres índice de pbreza Fcaliza pblación mayr de edad Becas para ls mejres estudiantes en base a una prueba estandarizada Fertilizante para pequeñs prductres (hectáreas de tierra) 39

40 40 Ejempl: Prgrama Agrícla Objetiv: Mejrar prductividad para pequeñs prductres Intervención: Subsidi para cmprar fertilizantes Fcalización: Prductres cn 50 hectáreas sn elegibles Prductres cn >50 hectáreas sn inelegibles

41 Pre-Intervención (línea Base) Elegible N Elegible

42 Pst-Intervención IMPACTO

43 Diseñ de Regresión Discntinua Necesitams un índice de elegibilidad cntinu cn un punt de crte de elegibilidad definid Intuición: Unidades alrededr del punt de crte sn parecids el grup n-elegible prduce un buen cntrafactual Impact estimad es valid en un vecindari alrededr del punt de crte 43

44 Cas 5: Diseñ de Regresión Discntinua Elegibilidad para PROGRESA en base a un índice de pbreza (prueba de medias) Hgar pbre si puntaje 750 Elegibilidad: Elegible=1 si puntaje 750 Elegible=0 si puntaje >

45 Cnsum Fitted values Cas 5: Diseñ de Regresión Discntinua: Pre- intervención puntaje estimad en fcalizacin Índice de Pbreza

46 Cnsum Cas 5: Diseñ de Regresión Discntinua: Pst-Intervención Fitted values ** Impact sbre Cnsum (Y) Regresión Lineal Multivariable puntaje estimad en fcalizacin Indice de Pbreza

47 Recuerda! Diseñ de Regresión Discntinua Requiere un índice de elegibilidad cntinu cn punt de crte definid Intuición: bservacines just al tr lad del punt de crte de elegibilidad sn buens cntrles. N es necesari excluir un grup de unidades elegibles del prgrama Muchas veces se puede aplicar en evaluacines retrspectivas que cumplen las cndicines necesarias 47

48 Recuerda! Diseñ de Regresión Discntinua Prduce un estimad de impact lcal: Efect del prgrama alrededr del punt de crte Imprtante para decidir si expandir reducir cbertura del prgrama N es necesariamente generalizable a tras pblacines Ptencia: Necesitams muchas bservacines alrededr del punt de crte. Cuidad cn el mdel: A veces l que parece una discntinuidad en la grafica es tra csa (cm una relación n-lineal). 48

49 Asignación Aleatria Prmción Aleatria (Variables Instrumentales) Diseñ de Regresión Discntinua Diferencias en Diferencias (dif-en-dif) Métds de Evaluación 49

50 Diferencias en Diferencias (dif-en-dif) Y= Inscripción Esclar P= Prgrama de Tutría Cn Prgrama Pst Pre Sin Prgrama = Diferencia Dif-en-Dif: Impact=(Y t1 -Y t0 )-(Y c1 -Y c0 ) 50

51 Diferencias en Diferencias (dif-en-dif) Y= Inscripción Esclar P= Prgrama de Tutría Cn Prgrama Pst Pre Sin Prgrama Diferencia = 0.11 Dif-en-Dif: Impact=(Y t1 -Y c1 )-(Y t0 -Y c0 ) 51

52 Inscripción Esclar Impact =(A-B)-(C-D)=(A-C)-(B-D) Sin Prgrama C=0.81 Cn Prgrama D=0.78 B=0.60 A=0.74 Impact=0.1 1 T=0 T=1 Tiemp

53 Inscripción Esclar Impact =(A-B)-(C-D)=(A-C)-(B-D) Sin Prgrama C=0.81 Cn Prgrama D=0.78 B=0.60 A=0.74 Impact<0.11 T=0 T=1 Tiemp

54 Cas 6: Dif en Dif cn Prgresa Inscrits N Inscrits Diferencia Pre-prgrama (T=0) Cnsum (Y) Pst-prgrama (T=1) Cnsum (Y) Diferencia Análisis de Regresión: Regresión Lineal 27.06** Regresión Lineal Multivariable 25.53** 54 Nta: **estadísticamente significativ al 1%

55 Recuerda! Diferencias-en-Diferencias Dif-en-Dif: cambi pre-pst entre un grup participante y tr n-participante Cntrafactual para la tendencia cambi en el indicadr Para cmprbar igualdad de tendencias, necesitams al mens: 2 bservacines antes Asume que en la ausencia de prgrama, tendencias entre participantes y n-participantes serian iguales 55

56 Asignación Aleatria Prmción Aleatria (Variables Instrumentales) Diseñ de Regresión Discntinua Diferencias en Diferencias (dif-en-dif) Pareamient Métds de Evaluación 56

57 Pareamient Idea Para cada unidad de tratamient escgems el mejr par de tra pblación sin tratamient. Cm? Ls pares se seleccinan sbre similitudes en características bservadas. Riesg? Si existen tras características n-bservadas que afectan la participación: Sesg de selección! 57

58 Pareamient pr Prpensión a Participar: Prpensity-Scre Matching (PSM) Grup de cmparación: n-participantes cn las mismas características bservables que participantes Pueden existir muchas características imprtantes Pareamient en base a puntaje de prpensión, (prpuest pr Rsenbaum y Rubin): 58 Para cada unidad, cmputar la prbabilidad de participar en base a características bservables: puntaje de prpensión Escger pares que tienen puntajes de prpensión cercans Ver apéndice 2.

59 Densidad de puntajes de prpensión Densidad N-Participantes Participantes Sprte Cmún 0 Puntaje de Prpensión 1

60 Cas 7: Pareamient en Prgresa Caracteristicas preprgrama Ceficiente Estimad Regresión Prbit, Prb Inscrit=1 Edad jefe de hgar (anis) ** Edad esps(a) del jefe (anis) ** Educacin del Jefe (years) ** Educacin de Espsa (years) -0.03** Jefe femenin= Indigena= ** Numer de miembrs del hgar 0.216** Pis de tierra= ** Bañ= ** Hectarias de tierra ** Distancia al hspital (km) 0.001* Cnstante 0.664** Nta: **estadísticamente significativ al 1%, * estadísticamente significativ al 5%,

61 Densidad Cas 7: Sprte Cmun en Prgresa N Inscrit Inscrit Pr (Inscrit)

62 Cas 7: Pareamient Impact sbre cnsum (Y) Regresión Lineal Multivariable Nta: + estadísticamente significativ al 10%

63 Recuerda! Pareamient Requiere línea de base cn gran numer de bservacines en pblación beneficiaria y n-beneficiaria Usand el métd: 63 Optim si cncems la regla de asignación de beneficis y la utilizams para encntrar pares En cmbinación cn trs métds cm dif-en-dif Pareamient sin línea de base es muy riesgs: Pareamient en base a variables endógenas que han sid afectadas pr el prgrama genera cntrafactual sesgad

64 Recmendación de Plítica Publica? Impact de Prgresa en Cnsum (Y) Cas 1: Pre-prgrama 34.28** Cas 2: Aut-seleccinads Cas 3: Asignación Aleatria 29.75** Cas 4: Tratamient sbre ls Tratads 30.4** Cas5: Diseñ de Regresión Discntinua 30.58** Cas 6: Diferencias-en-Diferencias 25.53** Cas 7: Pareamient Nta: **estadísticamente significativ al 1%

65 Recmendación de Plítica Publica? Impact de Prgresa en Cnsum (Y) Cas 1: Pre-prgrama 34.28** Cas 2: Aut-seleccinads Cas 3: Asignación Aleatria 29.75** Cas 4: Tratamient sbre ls Tratads Cas5: Diseñ de Regresión Discntinua 30.4** 30.58** Cas 6: Diferencias-en-Diferencias 25.53** Cas 7: Pareamient Nta: **estadísticamente significativ al 1%

66 Asignación Aleatria Prmción Aleatria (Variables Instrumentales) Diseñ de Regresión Discntinua Diferencias en Diferencias (dif-en-dif) Pareamient Métds de Evaluación 66

67 Escgiend un Métd Infrmación clave para escger el métd de evaluación: 1. Prspectiv retrspectiv? 2. Criteris de elegibilidad? 3. Implementación inmediat en fases? 4. Recurss limitads para atender demanda ptencial? 67 Fcalización? Variación gegráfic? Limitacines de presupuest capacidad de implementación? Exces de demanda para el prgrama

68 Escgiend un Métd Escge el mejr diseñ dad el cntext perativ: Mejr Diseñ Cntrafactual mas rbust + mínim riesg perativ Cntrlams pr td? Validez interna Buen grup de cmparación El resultad es valid para tda la pblación de interés? 68 Validez externa Impact lcal glbal Resultads de impact aplican a tras pblacines relevantes

69 Tiemp Usand las reglas de peración para seleccinar el métd Exces de demanda para prgrama (recurss limitads) Índice cntinu de fcalización y umbral Recurss Sin exces de demanda para el prgrama (recurss suficientes) Sin Índice Fcalización Índice cntinu cntinu de fcalización y de fcalización umbral y umbral Sin Índice cntinu de fcalización y umbral Expansión en fases a l larg del tiemp Asignación Aleatria DRD Asignación Aleatria VI DD cn Pareamient Asignación Aleatria en fases DRD Asignación Aleatria en fases VI DD cn Pareamient Implementación Inmediata Asignación Aleatria DRD Asignación Aleatria VI DD cn Pareamient DRD Si la participación n es plena: VI DD cn Pareamient 69 Fuente: Gertler et al. Impact Evaluatin in Practice (2010)

70 Recuerda! El bjetiv de la evaluación de impact es estimar el efect causal de un prgrama sbre ls resultads de interés. 70

71 Recuerda! Para medir el impact, necesitams estimar el cntrafactual. L que hubiese sucedid en la ausencia del prgrama Para est usams grups de cmparación 71

72 Recuerda! Nuestra caja de herramientas para evaluar impact frece 5 métds para generar grups de cmparación. 72

73 Recuerda! Escge el mejr métd viable en el cntext perativ del prgrama 73

74 Gracias!

75 Apéndice 1: Mínims Cuadrads en Ds Etapas (2SLS, pr su sigla en inglés) Mdel cn Tratamient endógen (T): y T x 1 2 Etapa 1: Realizar la regresión de la variable endógena sbre la Variable Instrumental (Z) y trs regresres exógens : T x Z Calcular el valr previst para cada bservación: T grr 75

76 Apéndice 1: Mínims Cuadrads en Ds Etapas (2SLS) Etapa 2: Realizar la regresión de resultad Y sbre la variable prevista (y tras variables exógenas) : y ( T) x ^ 1 2 Es necesari crregir Errres Estándar (se basan en T grr más que en T) En la práctica se utiliza STATA - ivreg 76 Intuición: T ha quedad limpia de su crrelación cn ε.

77 Apéndice 2 Pass para Pareamient pr Prpensión Necesitams encuestas representativs y altamente cmparables de participantes y n-participantes. 2. Junta las ds muestras y estima una regresión lgit ( prbit) sbre una variable dictómica de participación en prgrama. 3. Restringe la muestra al sprte cmún. 4. Para cada participante, busca ls n-participantes cn puntaje de prpensión similar. 5. Tma la diferencia en el resultad entre cada participante y su par pares. La diferencia es el estimad de impact del prgrama para esa bservación. 6. Calcula el prmedi de ls impacts individuales para estimar el impact prmedi del prgrama.

78