J. Ignacio García Pérez Curso EVALUACIÓN MICROECONOMÉTRICA DE POLÍTICAS PÚBLICAS

Transcripción

1 EVALUACIÓN MICROECONOMÉTRICA DE POLÍTICAS PÚBLICAS J. IGNACIO GARCÍA PÉREZ U. Pablo de Olavide CURSO INDICE DEL CURSO 1. Descripción del problema de evaluación causal 2. Estudios experimentales 3. Métodos No experimentales 4. Diferencias en Diferencias (experimento natural) 5. Selección en base a observables (Matching) 6. Variables Instrumentales 7. Discontinuity Design 8. Función de Control (Switching) Master de Economía y Evaluación 1

2 1. El problema de evaluación causal Dadas las crecientes limitaciones en la disponibilidad de recursos públicos, y las tendencias a reconsiderar la eficiencia del gasto público en cuestiones sociales, es cada vez más importante una evaluación de los efectos de las políticas públicas. El análisis empírico es cada vez más común en el trabajo de investigación económica dada la creciente disponibilidad de bases de datos microeconómicas adecuadas. 1. El problema de evaluación causal De hecho, el trabajo empírico que realizan los economistas puede ser dividido en dos grandes grupos: análisis descriptivo e inferencia causal. El análisis descriptivo trata de establecer y documentar hechos sobre los mercados y/o los individuos analizados que necesitan, para su total comprensión, del uso del razonamiento teórico y que, una vez interpretados correctamente, ofrecen información muy valiosa sobre el funcionamiento de la economía. Por otra parte, el análisis de inferencia causal trata de determinar los efectos de una determinada intervención o política pública, de cara a confirmar las predicciones teóricas sobre el comportamiento individual o de los mercados. Master de Economía y Evaluación 2

3 1. El problema de evaluación causal Una de las estrategias tradicionales del análisis económico para la evaluación cuantitativa del efecto de una determinada política publica ha sido el Enfoque Estructural : En el marco de un modelo teórico de elección individual y dados unos datos que permiten su estimación empírica, se realiza la evaluación de una determinada política o un cambio de ésta en base a la simulación de sus efectos sobre los parámetros de decisión antes estimados. En los últimos quince años, el Enfoque Causal se ha convertido en un complemento sustancial al anterior al ofrecer una estrategia de identificación de los efectos causales de una política pública basado sobre todo en la disponibilidad de datos adecuados para contestar a cada pregunta concreta, más que en el soporte estricto de un determinado modelo económico. 1. El problema de evaluación causal Este enfoque ha ofrecido grandes éxitos en la evaluación de políticas tan relevantes actualmente como la formación, subsidios a la contratación, efectos de cambios fiscales sobre la oferta de trabajo o la inversión, etc. Otros ejemplos de evaluaciones recientes que han ofrecido respuestas cuantitativas a cuestiones cuantitativas son: Afecta el salario mínimo al salario de todos los trabajadores? Mejora la calidad de la educación si se reduce el tamaño de las clases? Se logra reducir el consumo de tabaco al elevar sus impuestos? Etc Master de Economía y Evaluación 3

4 1. El problema de evaluación causal La típica pregunta en este tipo de evaluaciones es parecida a la siguiente: Mejora la participación en un programa específico los resultados de los individuos que participan en dicho programa en relación n con los resultados que se hubieran observado en esos mismos individuos si no hubiesen participado en dicho programa? En el contexto de la evaluación de políticas públicas, las cuestiones a responder requieren que identifiquemos la existencia de una relación de causalidad entre dos variables el programa implementado y el objetivo perseguido. 1. El problema de evaluación causal El objetivo es estimar el efecto causal de una variable sobre otra. Esto implica estimar cuál habría sido la situación de los individuos o entidades afectadas por el programa que interesa evaluar en ausencia del mismo. Qué entendemos por causalidad? Efecto de una variación n en el tratamiento manteniendo lo demás s constante. El problema fundamental con el que nos encontramos es un problema de identificación y de falta de observación de uno de los elementos del problema (el contrafactual). Master de Economía y Evaluación 4

5 1. El problema de evaluación causal Para ilustrar dicho problema, definamos la variable Y como el resultado de interés (por ejemplo, el salario). A su vez, definamos dos resultados potenciales : Y 1 es el resultado de interés que tendría un individuo expuesto al tratamiento; Y 0 es el resultado de interés que tendría el mismo individuo si no se expusiera al tratamiento. Parece natural en este contexto definir el efecto causal del tratamiento para el individuo en cuestión como la diferencia entre los dos resultados potenciales: Y 1 - Y 0. El problema es que para el mismo individuo no observamos ambas variables, sino únicamente una de ellas (Y 1 ó Y 0 ). 1. El problema de evaluación causal El objetivo de las técnicas de evaluación es identificar un contrafactual creíble: construir una estimación de cuál habría sido la situación de los individuos afectados por la política si no hubieran participado en el programa. Además, a veces la simple comparación entre individuos sometidos al tratamiento ( grupo de tratamiento ) e individuos no sometidos a él ( grupo de control ) está generalmente sesgada por problemas de selección n endógena: Ejemplo: el efecto Mozart (Nature, 1993) Master de Economía y Evaluación 5

6 1. El problema de evaluación causal Las respuestas potenciales no son iguales para los participantes y los no participantes, porque éstos normalmente difieren de forma sistemática, por motivos diversos: Porque características observables (edad, nivel de educación, situación económica) de los individuos afectan a si se les ofrece la posibilidad de participar o no. Porque los individuos deciden participar o no en el programa que les ofrecen dependiendo de características individuales no observables por el analista (motivación, perspectivas, etc.). 1. El problema de evaluación causal Sea Y la variable a estudiar y D un indicador de tratamiento. Podemos definir Y 1 como el resultado para los individuos tratados (D=1) e Y 0 el resultado para los individuos no tratados (D=0). Nuestro objetivo, por tanto, es estudiar: EY D 1 EY D 0 EY 1 D 1 EY 0 D 0 # EY 1 Y 0 D 1 EY 0 D 1 EY 0 D 0. El problema es que el término entre corchetes (el sesgo de selección) normalmente no es igual a cero. Master de Economía y Evaluación 6

7 1. El problema de evaluación causal Un ejemplo del sesgo de selección: ayudan los hospitales a elevar el estado de salud de la gente? Si comparamos el estado de salud de los que acuden al hospital con los que no acuden concluimos que el estado de salud de los que acuden al hospital es un 22% peor de los que no acuden a él (según la NHIS, 2005). Podemos concluir que los hospitales causan una caída en el estado de salud del 22% en la población? NO: la gente que va a los hospitales tiene, a priori, peor estado de salud que los que no van. Incluso después de salir, su estado de salud puede ser todavía peor que el de los que no van a ellos. Por tanto, lo que está ocurriendo es que el sesgo de selección no es cero: EY 0 D 1 EY 0 D El problema de evaluación causal Soluciones Dos grandes tipos de estudios: Experimentos controlados Estudios observacionales La estimación de los efectos causales de un tratamiento suele empezar por entender e identificar el posible problema de selección y posteriormente, se deberá seleccionar las técnicas de estimación adecuadas. Master de Economía y Evaluación 7

8 1. El problema de evaluación causal La elección del método de evaluación depende de: La naturaleza del problema a estudiar, El tipo y la calidad de los datos disponibles, El mecanismo por el cual los individuos se asignan o no al tratamiento. 1. El problema de evaluación causal Existen seis métodos distintos: 1. Experimento Social. 2. Experimento Natural: diferencias en diferencias 3. Métodos de emparejamiento (matching) 4. Variables instrumentales 5. Diseño con discontinuidades (discontinuity design) 6. Función de control (switching regression) Master de Economía y Evaluación 8

9 2. Estudios experimentales Si los individuos que son candidatos a participar en un programa pueden ser asignados aleatoriamente al programa (grupo tratamiento) o no (grupo control), los posibles resultados del programa son independientes del mecanismo de asignación, lo que nos permite identificar el efecto promedio del tratamiento. La asignación aleatoria asegura que el tratamiento es independiente de otros determinantes del objetivo perseguido. En psicología o medicina, estos experimentos son frecuentes, para evaluar por ejemplo la eficacia de un nuevo medicamento. Ahora bien, los datos experimentales son costosos, no siempre se pueden implementar (por ejemplo en caso de que el programa sea un derecho universal como recibir el subsidio de paro), o no siempre se pueden diseñar correctamente. Una alternativa a los análisis experimentales es la utilización de métodos no-experimentales u observacionales. 2. Estudios experimentales Master de Economía y Evaluación 9

10 2. Estudios experimentales 2. Estudios experimentales Problemas Son las inferencias válidas para el grupo analizado? Fallos en el mecanismo de asignación aleatorio Fallos en la aplicación del protocolo de tratamiento Abandono del programa por parte de los participantes Muestras pequeñas Podemos generalizar las conclusiones? No representatividad de las muestras No representatividad del programa o política Efectos de equilibrio general La participación es voluntaria Altos costes En algunos casos, problemas éticos Master de Economía y Evaluación 10

11 3. Métodos no experimentales Por eso, la mayoría de estudios económicos usan métodos no experimentales (observacionales) para evaluar el impacto de una determinada política. El objetivo será, por tanto, identificar un grupo de comparación que sea tan similar a los participantes en dicha política como sea posible, pero que no participe en ella. El resultado obtenido por los individuos pertenecientes a este grupo de control es usado como medida de lo que habría ocurrido a los participantes en ausencia de política. Para controlar adecuadamente las diferencias preexistentes entre el grupo de control y el de tratamiento, se utilizan normalmente modelos estadísticos. Podemos interpretar la evaluación n de políticas cuando existe selección n en base a observables en términos t de un modelo de regresión 3. Métodos no experimentales Una regresión de Y sobre X y sobre D tendrá una interpretación causal si el tratamiento es exógeno una vez que se condiciona en las variables X. En este caso, una regresión por Mínimos Cuadrados Ordinarios (MCO) proporciona una buena aproximación a la función de respuesta causal media. En concreto, si especificamos la esperanza condicional de Y dado X y D como una regresión lineal, tenemos: es decir: Y por tanto: EY D,X D X D X EY D 1, X EY D 0,X X SATE E( X D 1) Master de Economía y Evaluación 11

12 3. Métodos no experimentales El principal problema de estos métodos es que solo pueden controlar por las características observables. Sin embargo hay un importante número de inobservables (motivación, habilidad, etc.) que pueden afectar a los resultados de la evaluación si afectan de manera distinta a los individuos tratados y a los no tratados. Por eso, existen dos grandes grupos de técnicas de análisis causal, dependiendo del mecanismo de asignación al programa: Basadas en características observables Basadas en características no observables 3. Métodos no experimentales En este tipo de estudios, los individuos tratados y no tratados difieren en características que afectan a la variable de interés, además de en su exposición o no al tratamiento. Si dichas características son observables, es posible tenerlas en cuenta de forma relativamente sencilla. Esta situación se conoce como selección en observables y da lugar a estimadores tipo matching y a estimadores basados en métodos de regresión. No obstante, en muchas ocasiones tenemos buenas razones para pensar que los individuos tratados y no tratados son diferentes también en características inobservables para el económetra. Dicha situación también puede solventarse si, por ejemplo, observamos a los individuos tratados antes y después del tratamiento. Master de Economía y Evaluación 12

13 3. Métodos no experimentales En estas circunstancias, podríamos utilizar a los individuos tratados antes del tratamiento como individuos de control para ellos mismos después del tratamiento. El problema es que dicha comparación puede estar de nuevo contaminada por el efecto de determinados acontecimientos que se produzcan entre los dos periodos, antes y después de que se lleve a cabo el tratamiento. No obstante, se podría utilizar el grupo de individuos no sometidos al tratamiento para identificar la variación temporal en el resultado de interés que no es debida al tratamiento. El estimador de diferencias-en-diferencias se basa en esta idea. 3. Métodos no experimentales En otras circunstancias, es posible identificar el efecto causal del tratamiento utilizando alguna variable determinada exógenamente (llamada normalmente instrumento) que no está directamente relacionada con el resultado potencial, pero sí con la probabilidad de ser tratado. Los métodos de Variables Instrumentales utilizan esta idea para identificar el efecto del tratamiento para una determinada subpoblación de individuos. Master de Economía y Evaluación 13

14 4. EXPERIMENTO NATURAL: El Estimador de Diferencias-en-Diferencias Veamos en primer lugar, que ocurre cuando las diferencias entre los individuos tratados y no tratados pueden controlarse a través de un fenómeno natural que genera cierta asignación aleatoria en el proceso de elegibilidad al tratamiento. Por ejemplo, una determinada política se implementa solo para cierto grupo de la población en un momento concreto del tiempo. Podemos aprovechar este fenómeno para hacer comparaciones entre individuos tratados y no tratados, aprovechando que ambos pueden ser observados antes y después de implementado el tratamiento. De esta forma, podemos comparar los resultados de los individuos tratados una vez recibido el tratamiento con los resultados de estos mismos individuos antes de recibir el tratamiento necesitamos, por tanto, datos longitudinales 4. EXPERIMENTO NATURAL: El Estimador de Diferencias-en-Diferencias El problema de esta comparación es que puede estar contaminada por tendencias temporales en la variable de interés o por el efecto de otro tipo de circunstancias que hayan ocurrido entre ambos periodos. No obstante, si existen individuos no tratados, éstos pueden utilizarse para identificar aquella variación temporal en la variable de interés que no es debida a la exposición al tratamiento. Ahora, por tanto, tenemos una dimensión temporal en nuestros datos, por lo que el efecto causal del tratamiento para el individuo i en el momento t quedará definido como: Y 1i t Y 0i t. El caso ideal para aplicar este método es el que corresponde a una reforma no anticipada (es decir, un experimento natural) que discrimina a unos colectivos frente a otros, es decir, que la reforma afecta a subgrupos de la población objeto de estudio mientras que el resto de dicha población no se ve afectada. Master de Economía y Evaluación 14

15 4. EXPERIMENTO NATURAL: El Estimador de Diferencias-en-Diferencias En el caso más simple, supongamos que hay dos períodos de tiempo y dos grupos, un grupo 0 de control compuesto por aquellos a los que no afecta el cambio de política y un grupo 1 de tratamiento (o experimental), que contiene a aquéllos que sí se ven afectados. Sean Y 1 0 e Y 1 1las medias de Y para el grupo de tratamiento en los períodos anterior y posterior a la aplicación del tratamiento, Y 0 0 e Y 0 1 los análogos para el grupo de control. La medida apropiada para capturar el efecto del tratamiento (esto es, del cambio de política económica) consiste en comparar los cambios acaecidos en los grupos de tratamiento y de control: Y 1 (1) Y 1 (0) Y 0 (1) Y 0 (0) 4. EXPERIMENTO NATURAL: El Estimador de Diferencias-en-Diferencias SUPUESTO BÁSICO: Evolución paralela de la variable dependiente para tratados y no tratados en ausencia de tratamiento Master de Economía y Evaluación 15

16 4. EXPERIMENTO NATURAL: El Estimador de Diferencias-en-Diferencias En su versión más simple, la ecuación para analizar el impacto de un cambio de política es Y 0 0 S 1 D 1 S D u, # El coeficiente de interés está asociado a la interacción entre ambas variables binarias, D y S (cuyo producto no es más que una nueva variable binaria): Y 1 Y 1 Y 0 Y 0 1 (1) (0) (1) (0) Para que este estimador evalúe consistentemente el efecto del cambio de política, es necesario que dicho cambio de política no esté sistemáticamente relacionado con otros factores inobservables (contenidos en u) que afecten a Y. 4. EXPERIMENTO NATURAL: El Estimador de Diferencias-en-Diferencias PROBLEMAS CON ESTE ESTIMADOR: No controla por efectos inobservados a nivel individual que puedan cambiar a lo largo del tiempo y que afecten al resultado. Ej: si la participación en un programa de formación es más probable si el individuo a sufrido una caída en sus ingresos el hecho de participar ayudará a que estos crezcan de manera más rápida tras el tratamiento, frente a lo que ocurre para individuos no tratados. Se está suponiendo que la tendencia temporal es similar para individuos tratados y no tratados (ambos están sujetos a los mismos efectos cíclicos) Ej: si estamos comparando jovenes y viejos, los primeros suelen estar sujetos a mayores cambios cíclicos o estacionales. Master de Economía y Evaluación 16

17 4. EXPERIMENTO NATURAL: El Estimador de Diferencias-en-Diferencias 4. EXPERIMENTO NATURAL: El Estimador de Diferencias-en-Diferencias Master de Economía y Evaluación 17

18 4. EXPERIMENTO NATURAL: El Estimador de Diferencias-en-Diferencias Encontraron que el aumento del salario mínimo aumentó el empleo 4. EXPERIMENTO NATURAL: El Estimador de Diferencias-en-Diferencias Master de Economía y Evaluación 18

19 4. EXPERIMENTO NATURAL: El Estimador de Diferencias-en-Diferencias Veamos un ejemplo concreto de cómo puede ser la evaluación de un determinado curso de FPO. En base a los datos del fichero de contratos del SAE, se puede construir la duración media, o mediana, del último empleo tanto de los individuos que toman el curso como la de los que compongan el grupo de control y compararla con la duración del siguiente empleo obtenido, una vez que el curso ha terminado. Así podemos construir el siguiente indicador, I E (Y), basado en la medida estadística E (que puede ser la media o cualquier percentil de la distribución), computada sobre la variable que mide el resultado, Y (que puede ser el salario, la duración del contrato, etc.): I E ( Y ) E[ Y T 1, D 1] E[ Y T 0, D 1] E[ Y T 1, D 0] E[ Y T 0, D 0] Este indicador sería conveniente construirlo para distintos grupos poblacionales como pueden ser hombres y mujeres por separado, o para distintos grupos de edad por separado. 4. EXPERIMENTO NATURAL: El Estimador de Diferencias-en-Diferencias DURACIONES TRATADOS NO TRATADOS ANTES CURSO DESPUES CURSO ANTES CURSO DESPUES CURSO did&dif TODOS HOMBRES =2 3-2=1 2-1=1 MUJERES =4 2-2=0 3-3=0 Master de Economía y Evaluación 19

20 6. OTRAS TÉCNICAS PARA CONTROLAR POR VARIABLES NO OBSERVABLES 1. VARIABLES INSTRUMENTALES Si existen efectos inobservables correlacionados con la variable dependiente y con el tratamiento podemos buscar un INSTRUMENTO (z) Este instrumento debe estar correlacionado con la decisión de participar en el tratamiento pero no con la variable dependiente (restricción de exclusión). Usaremos esta fuente de variación exógena para garantizar la aleatoriedad de la asignación al tratamiento. Dificultades: encontrar instrumentos: Relevantes (tienen suficiente variabilidad en la predicción de la asignación al tratamiento) Exógenos (no tienen ninguna relación con la var. Dependiente). EJEMPLO: efecto de la fertilidad sobre la participación laboral de la mujer (INSTRUMENTO: Tener dos hijos del mismo sexo) 6. OTRAS TÉCNICAS PARA CONTROLAR POR VARIABLES NO OBSERVABLES 2. DATOS DE PANEL Si existen diferencias inobservables entre tratados y no tratados que afectan tanto a la variable dependiente como a la probabilidad de ser tratado El uso de observaciones repetidas a lo largo del tiempo sobre los mismos individuos puede ayudarnos a controlar dichos efectos individuales inobservables. Las técnicas de datos de panel (estimador intragrupos, entregrupos, etc.) sirven para estimar consistentemente estos modelos. Ejemplo: datos sobre las 17 CCAA y a lo largo de la última década controlar el efecto fijo de comunidad autonoma y de año puede ayudarnos a identificar el efecto causal de la última reforma laboral sobre la tasa de contratación indefinida en cada región. Master de Economía y Evaluación 20

21 6. OTRAS TÉCNICAS PARA CONTROLAR POR VARIABLES NO OBSERVABLES 3. DISCONTINUITY DESIGN Cuando la probabilidad de participación en un tratamiento cambia de manera discontinua con una variable continua z. Se puede usar la dependencia discontinua de d sobre z para identificar el efecto del tratamiento local, aun cuando z no pueda ser considerado un instrumento (z puede influir en y, por ejemplo). Este procedimiento de estimación del tratamiento puede basarse en un diseño sharp o fuzzy (fuerte o débil): 6. OTRAS TÉCNICAS PARA CONTROLAR POR VARIABLES NO OBSERVABLES 3. DISCONTINUITY DESIGN: Sharp Cuando la probabilidad de participación en el tratamiento cambia de 0 a 1, en un determinado punto z* de la variable z decimos que el cambio es determinístico. La asignación al tratamiento se basa solo en observables pero no podemos hacer matching porque no hay individuos tratados y no tratados si consideramos z como un regresor más. La estimación aquí se basa, simplemente en comparar y en el entorno de z*. Ej: elegibilidad basada en la edad de las subvenciones a la contratación indefinida. E * * y z E y z Master de Economía y Evaluación 21

22 6. OTRAS TÉCNICAS PARA CONTROLAR POR VARIABLES NO OBSERVABLES 3. DISCONTINUITY DESIGN: Fuzzy Cuando la probabilidad de participación en el tratamiento es discontinua en z* pero el cambio no es de 0 a 1. Ej: la participación no es obligatoria pero se requiere una edad superior a 25 años. Esto ocurre cuando hay otras variables, además de z, que también afectan a la probabilidad de ser tratado. Por tanto existen tratados y no tratados a la derecha de z*. Debe existir continuidad del efecto del resto de variables sobre la var. Independiente, tanto para y 0 como para y 1. Ahora la selección de los que cambian al pasar por z* puede estar relacionado con el efecto del tratamiento. El efecto medio del tratamiento será: E * * y z Ey z P * * z Pz 6. OTRAS TÉCNICAS PARA CONTROLAR POR VARIABLES NO OBSERVABLES 4. FUNCIÓN DE CONTROL Tomamos en consideración la regla de selección estimándola directamente como un proceso accesorio al de influencia en la variable dependiente. Estimamos usando el procedimiento en 2 etapas de Heckman. Existen dos procesos: y d u d 1 Z v 0 Y se puede demostrar que: y con : u, v N 0, ATT ucorr u. v ( z ˆ) ( z ˆ) 1( z ˆ), 0 ( z ˆ) ( z ˆ) 1 ( z ˆ) d d ( z ˆ) (1 d) ( z ˆ) 1 0 Master de Economía y Evaluación 22

23 6. OTRAS TÉCNICAS PARA CONTROLAR POR VARIABLES NO OBSERVABLES 4. FUNCIÓN DE CONTROL Un modelo más general que parte del mismo supuesto es el MODELO DE REGRESIONES ALTERNANTES y se u1, v 1 0 corr u0, v El modelo a estimar será: y 1 0 se Existe observa observa si d 0 si d 0 correlación entre los inobservables : corr d y0 0 0x0 u0 u1, u0, v N0, Y lo estimaremos por Máxima verosimilitud (movestay) 1 Z v 0 y x u Selección con observables: MATCHING El principal problema de los estudios observacionales es que la selección de los individuos que van a ser sometidos al tratamiento no es aleatoria. Por tanto, los individuos tratados y no tratados pueden diferir en otras características, diferentes de la asignación o no al tratamiento. Si no se tienen en cuenta dichas características, se podría estar atribuyendo de forma espurea al tratamiento un efecto sobre la variable de interés que realmente es debido a la influencia de otras características. Por tanto, para poder obtener efectos causales es necesario controlar por las diferencias entre individuos tratados y no tratados. El objetivo con el matching es el de emparejar cada participante con aquellos no participantes similares a él es como si construyéramos un experimento con datos no experimentales. Master de Economía y Evaluación 23

24 5. Selección con observables: MATCHING Decimos que hay selección en base a observables si existe un vector de variables x tal que el tratamiento es independiente de los resultados potenciales condicionando en dichas variables. Las únicas diferencias, bajo este supuesto, se deben al tratamiento. En este caso, de forma análoga a lo que ocurría en el caso de un experimento aleatorio, por independencia condicional entre el tratamiento y los resultados potenciales tendremos que: E[ Y Y X ] E[ Y Y X, D 1] E[ Y X, D 1] E[ Y X, D 0] Ya que suponemos, igual que en un experimento aleatorio: E[ Y X, D 1] E[ Y X, D 0], 0 0 Este es el supuesto de independencia condicional los individuos son comparables respecto a Y 0, condicional en X. Otro supuesto muy importante es que el soporte de X debe ser común para tratados y no tratados: Pr[ D 1 X ] Selección con observables: MATCHING Por tanto, el efecto medio del tratamiento sobre los tratados será: E[ Y Y D 1] ( E[ Y X, D 1] E[ Y X, D 0]) dp( X D 1). 1 0 Cuando X es una única variable y toma un número pequeño de valores discretos, es sencillo construir estimadores de los efectos medios del tratamiento. Simplemente, habría que calcular medias muestrales por celdas definidas en términos de los valores que tome la variable X: J j SATE Y 1 Y j 0 n j 1 n 1 Subclasificación j1 Por ejemplo, si la selección para un programa de formación se hace únicamente de acuerdo a la edad de los participantes, compararíamos los ingresos de los participantes con los no participantes dentro de cada grupo de edad. Master de Economía y Evaluación 24

25 5. Selección con observables: MATCHING Ejemplo: TRATADOS NO TRATADOS peso del grupo Diferencia Efecto Media no tratados HOMBRES % 4 0,8 1, % 2 0,5 3, % 1 0,15 2,25 MUJERES % 5 0,9 1, % 1 0,12 1, % 2 0,2 1,2 Efecto medio del tratamiento: 2,67 10,88 24,54% 5. Selección con observables: MATCHING Sin embargo, cuando X es continua, la estrategia de estimación es algo más complicada. Una posibilidad es utilizar el llamado método de matching o emparejamiento. Dicho método consiste en emparejar el resultado de cada individuo tratado con el resultado de un individuo no tratado que tenga valores de la variable X cercanos a los valores que dicha variable toma para el individuo sometido al tratamiento. Por ejemplo, cuando X es continua podemos estimar: SATE n 1 1 Y i Y mi, D1 donde Y m(i) es el resultado de un individuo no tratado que tiene valores de las variables X cercanos a los de un individuo tratado, Master de Economía y Evaluación 25

26 5. Selección con observables: MATCHING Los métodos de matching son sencillos de aplicar cuando X contiene sólo una o dos variables. Sin embargo, si la dimensionalidad del vector X es grande, estos métodos no se pueden aplicar. En esos casos, es difícil encontrar para cada individuo tratado un individuo no tratado con valores de X similares. El método del propensity score trata de reducir la dimensionalidad de las variables contenidas en X a una única dimensión. Bajo selección en observables, llamamos propensity score a la probabilidad de recibir tratamiento, condicional a ciertas variables observables X tales que, condicionando en ellas, el tratamiento es independiente de los resultados potenciales: Pr[ D 1 X ] F( X ). 5. Selección con observables: MATCHING El propensity score puede estimarse por medio de un modelo logit u otro modelo de elección binaria. Este método se basa en un procedimiento en dos etapas para estimar los efectos causales bajo selección en observables. En una primera etapa se estimará el propensity score que caracteriza la probabilidad de participar en el programa mientras que en una segunda se realizará el matching en función de los valores del propensity score. Por tanto, la comparación ahora se hará entre tratados y no tratados, seleccionados en función de los valores del propensity score más cercanos a los de los tratados. Master de Economía y Evaluación 26

27 5. Selección con observables: MATCHING La especificación del modelo de elección binaria, que es generalmente un polinomio en las variables observables, descansa en la independencia entre las variables que afectan al propensity score y la asignación o no al tratamiento, Por tanto es vital que la distribución de dichas variables debe ser la misma para los individuos tratados que para los no tratados. El procedimiento de estimación es: 1. Se estima una especificación funcional sencilla para las variables (generalmente, la lineal), 2. se dividen los valores ajustados del propensity score en estratos, 3. y se contrasta si existen diferencias entre los grupos de tratamiento y de control dentro de cada estrato mediante contrastes de igualdad de distribuciones. 5. Selección con observables: MATCHING 4. En caso de no existir diferencias significativas, se acepta la especificación. 5. De lo contrario, se añaden potencias de orden superior en las variables e interacciones entre éstas hasta que no se rechaza que las distribuciones entre ambos grupos son iguales. 6. Una vez determinada la especificación, las observaciones se ordenan en orden ascendente de acuerdo con el valor estimado del propensity score, descartándose aquellas observaciones de no tratados con valores estimados del propensity score demasiado extremos. 7. Con las observaciones que quedan, se procede a emparejar (con o sin reemplazamiento) a cada individuo tratado con aquel individuo no tratado cuyo valor estimado del propensity score esté más próximo, descartándose las observaciones de no tratados que queden sin emparejar. Master de Economía y Evaluación 27

28 5. Selección con observables: MATCHING EXISTEN VARIOS METODOS DE EMPAREJAMIENTO: NEAREST NEIGHBOR MATCHING: Asigna un peso de 1 al no-tratado más cercano al tratado en cuestión y cero al resto de no-tratados. También suele usarse este método de manera menos restrictiva, usando los 2-10 vecinos más cercanos. KERNEL MATCHING: Usa todos los no-tratados de un entorno cercano al tratado para construir la comparación Asigna pesos diferentes a cada observación dentro del entorno, siendo aquéllos menores a mayor distancia del tratado en cuestión. 5. Selección con observables: MATCHING PROBLEMAS: Los errores estándar de estas estimaciones se tienen que construir haciendo bootstrapping dado que el procedimiento de selección de los no-tratados de comparación no es estándar (depende de si se hace con o sin reemplazamiento). La especificación del propensity score debe ser lo suficientemente flexible para que la distribución de los observables sea idéntica entre tratados y no tratados. Se suele testar si esta distribución es semejante o no (si la diferencia en medias del propensity score entre tratados y no tratados es muy alta se rechaza la propiedad de balanceo de muestras ). Si para alguno de los tratados no encontramos no-tratados para comparar, la medida del efecto medio del tratamiento no es correcta. Si no se tiene información sobre todas las variables que determinan el tratamiento, incluir información adicional puede perjudicar el emparejamiento. Master de Economía y Evaluación 28

29 5. Selección con observables: MATCHING UN EJEMPLO La tasa de escolaridad de los jóvenes de más de 16 años en el Reino Unido es de las más bajas de los países desarrollados. Es la concesión de becas a estudiantes de secundaria un medio efectivo para incrementar la tasa de escolarización? El programa piloto de Education Maintenance Allowance (EMA) comenzó en Septiembre de 1999: Beca semanal de a jóvenes de edades comprendidas entre los 16 y 18 años que continuaran con su educación a tiempo completo tras completar su educación obligatoria. Bonus de hasta 140 en función de los resultados académicos obtenidos. Sólo determinados hogares eran candidatos a recibir estas ayudas: aquellos con ingresos menores de podían recibir los pagos completos, los de ingresos por encima de , no podían recibirlos. 5. Selección con observables: MATCHING UN EJEMPLO La aplicación de este programa piloto comenzó en 4 áreas urbanas. La elección de las mismas no fue aleatoria, pero se seleccionaron áreas de control similares en base a multitud de características. Dearden, Emmerson, Frayne & Meghir (2002) participaron en el diseño del programa y en su evaluación. Para ello, emplean métodos basados en el propensity score: Se estima la probabilidad de participación en el programa de cada individuo de acuerdo a características familiares, de la zona de residencia y de su centro educativo. Para cada individuo participante en el programa piloto, se construye un contrafactual con otro individuo con la misma probabilidad de participación, pero procedente de un área de control y que, por tanto no recibió el subsidio. Master de Economía y Evaluación 29

30 5. Selección con observables: MATCHING UN EJEMPLO 5. Selección con observables: MATCHING VEAMOS UN EJEMPLO EN STATA Las ordenes a utilizar son dos: PSCORE: Pscore treatment varlist, pscore(newvar) blockid(newvar) cumsup level(x) ATT: Atts: stratification matching (se construyen intervalos de tratados y no tratados con igual pscore medio) Attnd: nearest neighbor (selecciona al no-tratado más cercano a cada tratado) Attr: radius matching (selecciona a todos los no-tratados dentro de un entorno) Attk: kernel matching (compara al tratado con todos los no-tratados dandoles a estos una ponderación inversamente proporcional a la distancia) Master de Economía y Evaluación 30

31 0. Modelos de elección discreta Tratamos de estudiar una variable dependiente que toma un número finito de valores. El individuo elige dentro de un conjunto discreto de alternativas. Ejemplos: Participación en el mercado de trabajo Elección medio de transporte CLASIFICACIÓN: BINOMIALES: Sólo dos alternativas (1 y 0) MULTINOMIALES: Tres o más alternativas ORDENADOS. Puede establecerse un ranking Ej: grado de adhesión a una política NO ORDENADOS. Elecciones cualitativas Ej: Participación mercado de trabajo (depende esencialmente de las características del individuo) 0. Modelos de elección discreta MODELOS BINOMIALES 1. Modelo lineal de probabilidad y Pr( Y 1) x u Coeficientes β reflejan la variación en la probabilidad de un cambio unitario en X. Inconvenientes: Probabilidad no está acotada entre 0 y 1 Las perturbaciones son heteroscedásticas El impacto de un aumento unitario de x en la probabilidad es constante Master de Economía y Evaluación 31

32 0. Modelos de elección discreta 2. Modelos índice: logit y probit y Pr( Y 1) G x u Seleccionar G de tal manera que G(.) tome valores en el intervalo abierto (0,1): En la mayor parte de aplicaciones, G es una función de distribución acumulada. Modelo probit: asume una función de distribución normal z G( z) ( v) dv Modelo logit: asume una función de distribución logística G( z) exp( z) 1 exp( z) 0. Modelos de elección discreta 2. Modelos índice: logit y probit (INTERPRETACIÓN) Estos modelos se pueden justificar teóricamente en base a una variable latente: Con y=1 si y*>0 y=0 si y*<0 x donde ε tiene media cero y varianza constante. Si ε se distribuye de acuerdo con una función de distribución G simétrica: P( y 1 x) P( y * y * 0 x) P( x x) P( x x) G( x ) Master de Economía y Evaluación 32

33 0. Modelos de elección discreta 2. Modelos índice: logit y probit ESTIMACIÓN Estimamos por máxima verosimilitud. En base a N observaciones independientes que siguen una distribución: La densidad de y i dado x i puede escribirse como: El logaritmo de L para cada observación i G( x ) (1 y ) log1 G( x ) l ( ) y log i i i Y para la totalidad de la muestra: VEAMOS UN EJEMPLO... i yi G x 1 Gx f ( y / x ) i P( y 1 X ) G( X ) i i 1 y N i li L( ) ( ) 1 i Master de Economía y Evaluación 33