Métodos de Apareamiento (Matching)

Transcripción

1 Impact Evaluaton Sesón n Técnca T VI: Métodos de Apareamento (Matchng) Lma, 2009 Departamento de Desarrollo Humano Fondo Español para Evaluacón de Impacto En el caso de asgnacón aleatora Supuesto asgnacón aleatora al tratamento: ambos resultados potencals son ndependentes del tratamento: Y, Y D 1 0 En ese caso, no mporta que no podamos observar el contrafactual: { 0 ( ) =0 } = E{ Y0( u) D = 1} = E{ Y0( u) } { 1( ) =0 } = { 1( ) = 1} = { 1( )} E Y u D E Y u D E Y u D E Y u Entonces δ = Efecto promedo de tratamento en los tratados = E Δ { D = 1 } { 1( )- 0( ) = 1} E { Y1 ( u) D 1 } - E{ Y0 ( u) D = 1} = E Y u Y u D = = se puede medr en el análogo muestral no se puede medr en el análogo muestral { Y1 ( u) D 1 } - E { Y0 ( u ) D 0} = E = = se puede medr en el análogo muestral 2 1

2 Cuándo utlzamos métodos de apareamento? La aleatorzacón asegura que el sesgo de seleccón sea zero: { 0( ) } { 0( ) } E Y u D = 1 E Y u D = 0 = 0 Ahora, que pasa s la aleatorzacón no es factble y la seleccón se hace en base a (un conjunto de) varables observables? Ahí es cuando utlzamos los métodos de pareo: Los métodos de pareo son técncas para construr grupos de comparacón cuando la asgnacón al tratamento no es aleatora pero se hace en base a los observables Cudado: los métodos de paro NO dejan construr grupos de comparacón cuando la asgnacón al tratamento se hace en base a los no-observables!!! Intucón: El grupo de comparacón debe ser lo mas smlar posble al grupo de tratamento en térmno de los elementos observables antes de que el tratamento se desarrolle (asumendo no hay dferencas en los no observables). 3 Pregunta clave. Cual es el efecto de tratamento en los tratados, cuando la seleccón al tratamento está basada en observables? 4 2

3 Unconfoundedness y seleccón en base a observables Suponemos que X denota una matrz en la cual cada fla es un vector de varables observables pre-tratamento, para cada ndvduo. Defncón Unconfoundedness La asgnacón al tratamento es nconfundda dadas las varables pre-tratamento X s Y 1, Y 0 D X Note: unconfoundedness es equvalente a: Dentro de cada celda de observacones defndo por X: la asngacón al tratamento es aleatora. La asgnacón al tratamento depende solamente de las varables observables X. 5 Cual es el efecto de tratamento en los tratados, bajo seleccón en observables? Asumendo "unconfoundedness": { 0( ) =0, } = { 0( ) = 1, } = { 0( ) } { 1( ) =0, } = { 1( ) = 1, } = { 1( ) } E Y u D X E Y u D X E Y u X E Y u D X E Y u D X E Y u X Ahora, para cada celda defnda por X, podemos defnr δ X =efecto promedo de tratamento en los tratados de la celda defnda por X = E{ Δ D = 1, X} = E{ Y1( u) Y0( u) D = 1, X} = E{ Y1 ( u) D = 1, X} E{ Y0 ( u) D = 1, X} se puede medr en el análogo muestra no se puede medr en el análogo muestra { 1 ( ) D = 1, } { 0 ( ) D = 0, } = E Y u X E Y u X se puede medr en el análogo muestra 6 3

4 Efecto promedo de tratamento en los tratados bajo unconfoundedness Ahora cuál es la relacón entre... δ "efecto promedo de tratamento en los tratados"... y... δ "efecto promedo de tratam. en los tratados en la celda defnda por X "? X δ = efecto promedo de tratamento en los tratados = E Δ = { D 1} por la ley de las expectatvas teradas { [ =1, ]} X { [ =1, ]} { δ } = E E Δ D X X = E E Δ D X = EX X = E {efecto promedo de tratam. en los tratados, en la celda defnda por X} X 7 Estratega de estmacón del efecto promedo del tratamento en los tratados seleccón en observables Eso sugere la estratega sguente para estmar el efecto promedo de tratamento en los tratados δ : Estratfcar los datos dentro de cada celda defnda para cada valor de X Dentro de cada celda (.e. condconado en X) calcular la dferenca en la varable de resultado promedo entre el grupo de tratamento y el de control; El promedo de estas dferencas con respecto a la dstrbucón de X, en la poblacón de undades tratadas Preguntas: Es factble esa estratega? Esa estratega es dferente de una regresón lnear de Y en D, controlando de manera no-paramétrca por el conjunto completo de efectos prncpales y nteraccones entre los covarados? 8 4

5 Es factble el pareo? El problema de la dmensonaldad En la regresón, tenemos que nclur un conjunto completo de nteraccones nonparametrcas entre todos las varables observables. Puede ser que eso no sea factble cuando La muestra es pequeña, Hay muchos covarados / varables observables Los covarados / varables observables tenen varos valores, o son contnuos Eso es lo que se llama el problema de la dmensonaldad 9 El problema de la dmensonaldad Ejemplos: Cuantas celdas tenemos cuando hay 2 varables X que son bnaras ( dummes )? Y con 3 varables X bnaras? Y con K varables X bnaras? Y cuantas celdas tenemos cuando hay 2 varables que pueden tomar 7 valores cada una? A medda que crece el número de celdas, vamos a encontrar una falta de soporte común, es decr Celdas que contenen solo tratamentos Celdas que contenen solo controles 10 5

6 Una alternatva para soluconar el problema de la dmensonaldad Rosenbaum y Rubn (1983) proponen una estratega alternatva equvalente pero factble basada en el propensty score. El propensty score converte el problema multdmensonal en un problema un-dmensonal Y así reduce el problema de la mult-dmensonaldad 11 Una alternatva para soluconar el problema de la dmensonaldad Defncón: El propensty score es la probabldad condconal de recbr el tratamento dadas las varables observadas X antes del tratamento: p(x) =Pr{D = 1 X} = E X {D X} Lema 1: S p(x) es el propensty score, => D X p(x) Dado el propensty score, las varables observables pretratamento X están balanceadas entre los benefcaros y los nobenefcaros. Lema 2 : Y 1, Y 0 D X => Y 1, Y 0 D p(x) Suponendo que exste ndependenca condconal entre el resultado y la asgnacón al tratamento, condconal en X, entonces exste tamben ndependenca condconal en p(x). 12 6

7 El propensty score solucona el problema de mult-dmensonaldad? S! El propensty score tene la propedad de balancear característcas: (Lemma 1) asegura que: Observacones con el msmo propensty score tenen la msma dstrbucón de covarados observables, ndependentemente que sean tratamentos o controles. Para un propensty score dado: la asgnacón al tratamento es aleatora. Por eso, en promedo, los tratamentos y los controles son déntcos del punto de vsta observaconal. 13 Efecto del tratamento promedo en los tratados usando Propensty Score Ahora podemos parear los tratamentos y los controles en base al propensty score px ( ) en vez de X. E Y u D p X E Y u D p X E Y u p X { 0( ) =0, ( )} = { 0( ) = 1, ( )} = { 0( ) ( )} { 1( ) =0, ( )} = { 1( ) = 1, ( )} = { 1( ) ( )} E Y u D p X E Y u D p X E Y u p X δ Usando estas expresones, podemos defnr para cada celda defnda por p( X) ( ) =efecto promedo de tratamento en los tratados en la celda defnda por p ( X ) = E{ Δ D = 1, p( X) } = E{ Y1( u) Y0( u) D = 1, p( X) } = E{ Y1 ( u) D = 1, p( X) } E{ Y0 ( u) D = 1, p( X) } p X se puede medr en el análogo muestral no se puede medr en el análogo muestral { 1( ) D = 1, ( )} { Y0( u ) D = 0, p ( X) } = E Y u p X E se puede medr en el análogo muestral 14 7

8 Average effects of treatment and the propensty score Ahora cuál es la relacón entre δ δ "efecto promedo de tratamento en los tratados"... y... "efecto promedo de tratamento en los tratados dentro de la celda defnda por "? ( ) p( X) p X δ = efecto promedo de tratamento en los tratados { D 1} = E Δ = por la ley de las expectatvas teradas { ( ) =1, p X ( ) } ( ) =1, p X ( ) = E E Δ D p X { } { δ p X } = E E Δ D p X = E p( X) ( ) = E {efecto promedo de tratamento en los tratados en la celda defnda por p( X )} p( X ) 15 Implementacón de la estratega de estmacón Eso sugere que sgamos la estratega sguente para estmar el efecto promedo del tratamento en los tratados δ:. Prmera etapa: estmar el propensty score. Segunda etapa: estmar el efecto promedo de tratamento dado el propensty score 16 8

9 Prmera etapa: Estmacón del propensty score Los modelos probablstcos estándares pueden ser utlzados para estmar el propensty score. Por ejemplo, un modelo logt sería: λh( X ) e Pr{ D X} = λh( X ) 1+ e donde h(x ) es una funcón de los covarados X con térmnos lneares, nteraccones y potencas. Cuales son las nteraccones y potencas que tenemos que nclur en h(x )? Eso está determnado solamente por la necesdad de obtener un estmado del propensty score que satsfaga la propedad de balance. 17 Prmera etapa: Estmacón del propensty score Recuerda: Pr{ D e X} = 1+ e λh( X ) λh( X ) La especfcacón de h(x ) Es más parsmona que el conjunto completo de nteraccones entre los observables X. Pero no puede ser demasodo parmona: porque tene que satsfacer la propedad de balance. Nota: la estmacón del propensty score no requere nnguna nterpretacón relaconada con la conducta de los benefcaros. 18 9

10 Prmera etapa: Un algortmo para estmar el propensty score 1. Empece con un modelo logt o probt parsmono para estmar el propensty score. 2. Ordene los datos según su propensty score estmado (del más bajo al más alto). 3. Estratfque todas los observacones en bloques, de tal manera que, dentro de cada bloque, el propensty score no sea estadístcamente dferente entre los tratamentos y los controles: a. Empece con cnco bloques de magntud gual, por ejemplo {0 hasta 0.2,0.2 hasta 0.4, 0.4 hasta 0.6, 0.6 hasta 0.8, 0.8 hasta 1} b. Dentro de cada uno de esos bloques, compruebe que los promedos de los scores para los tratamentos y los controles son estadístcamente dferentes. c. En caso que sí, aumente el número de bloques, retere paso b. d. En caso que no, pase al paso sguente. 19 Prmera etapa: Un algortmo para estmar el propensty score (contnuacón) 4. Compruebe que la propedad de balance esté satsfecha en cada uno de los bloques, para cada uno de los covarantes en X: a) Para cada covarante, compruebe que los promedos (y posblemente los otros momentos) para los tratamentos y los controles son estadístcamente dferentes. Haga eso en cada bloque. b) En caso que uno de los covarados no sea balanceado en uno de los bloques, dvda el bloque en dos partes, y compruebe de nuevo en esos bloques más pequeños. c) En caso que uno de los covarados no sea balanceado en una mayoría de los bloques, retome el modelo logt y añada más nteraccones y potencas. Retere las pruebas. Utlce el programa STATA pscore.ado Descargable en

11 Cuando está apropado el método de propensty score? Los métodos de propensty score están basados en la dea que la estmacón de los efectos de tratamento requeren un apareamento cudadoso entre los tratamentos y los controles. En caso que los tratamentos y los controles sean muy dferentes en térmnos de característcas observables, ese apareamento no estará lo sufcentemente dependable, hasta puede ser mposble de realzar. La comparacón de los propensty score entre los tratamentos y los controles puede ser una herramento de dagnóstco útl cuando uno quere evaluar que tanto smlares son los tratamentos y los controles, y que tan confable es la estratega de estmacón. 21 Lo que quere usted es que los propensty scores de los tratamentos y los controles sean smlares Pero que es smlar??? El rango de varacón del propensty score debería ser lo msmo para los tratamentos y los controles. Cuente cuantos controles tenen un p.s. que sea abajo del mmno, o arrba del máxmo de los p.s. de los tratamentos. Y vce versa. La frecuenca de los propensty scores debería ser la msma para los tratamentos y los controles. Traze hstogramas de los p.s. para los tratamentos y los controles. Las celdas de los hstogramas corresponden la los bloques utlzados en la estmacón de los propensty scores

12 Un ejemplo de problema con el soporte común Fgure A1: Propensty Scores For EC 0 Phase 1 and non-ec schools 1 Densty Lnear predcton Graphs by treated Source Machn, McNally, Meghr, EXCELLENCE IN CITIES: EVALUATION OF AN EDUCATION POLICY IN DISADVANTAGED AREAS 23 Implementacón de la estratega de estmacón Acuerdense que estamos dscutendo de la estratega fa utlzar para estmar el efecto promedo del tratamento en los tratados, o sea δ Prmera etapa: estmamos el propensty score (hecho!) Segunda etapa: estmamos el efecto promedo del tratamento en los tratados, dado el propensty score. Aparee los tratamentos y los controles que tenen exactamente el mmo p.s. estmado Compute el efecto del tratamento para cada uno de los valores estmados del p.s. Compute el promedo de esos efectos condconados

13 Segunda etapa: estmamos el efecto promedo del tratamento, dado el propensty score En la práctca, eso es mposble porque es poco común de encontrar dos observa cones con exactamente el msmo p.s. La solucón práctca es de aparear cada undad tratada, a la undad control más cercana, en cuanto a su p.s. Más cercana se puede defnr de varas maneras en estadístca. Cada manera corresponde a una manera de hacer el apareamento. Por ejemplo. Estratfcacón Vecno mas cercano (pareo uno a uno o mas de uno) con o sn reemplazo; Apareamento por Radus Apareamento kernel Weghtng on the bass of the Score. Apareamento por Rado (Splnes) con o sn reemplazo 25 Referencas Deheja, R.H. and S. Wahba (1999), Causal Effects n Nonexpermental Studes: Reevaluatng the Evaluaton of Tranng Programs, Journal of the Amercan Statstcal Assocaton, 94, 448, Deheja, R.H. and S. Wahba (1996), Causal Effects n Nonexpermental Studes: Reevaluatng the Evaluaton of Tranng Programs, Harvard Unversty, Mmeo. Hahn, Jnyong (1998), ON the role of the propensty score n effcent semparamentrc estmaton of average treatment effects, Econometrca, 66,2, Heckman, James J. H. Ichmura, and P. Todd (1998), Matchng as an econometrc evaluaton estmator, Revew of Economc Studes, 65, Hrano, K., G.W. Imbens and G. Rdder (2000), Effcent Estmaton of Average Treatment Effects usng the Estmated Propensty Score, mmeo. Machn, McNally, Meghr. Excellence n ctes: Evaluaton of an educaton polcy n dsavantaged areas Rosenbaum, P.R. and D.B. Rubn (1983), The Central Role of the Propensty Score n Observatonal Studes for Causal Effects, Bometrka 70, 1, Vnha, K. (2006) A prmer on Propensty Score Matchng Estmators Documento CEDE , Unversdad de los Andes 26 13