ANEXO METODOLOGÍA EVALUACIÓN DE IMPACTO

Transcripción

1 GOBIERNO DE CHILE MINISTERIO DE HACIENDA Dreccón de Presupuestos ANEXO METODOLOGÍA EVALUACIÓN DE IMPACTO Dvsón de Control de Gestón Santago, Mayo 2009 CHILE

2 PRESENTACIÓN * El anexo que a contnuacón se presenta tene por objeto descrbr aspectos metodológcos necesaros de consderar en el desarrollo de Evaluacones de Impacto de programas públcos. El documento se centra en los ámbtos de resultados de efcaca, en sus dferentes nveles, y en los aspectos de efcenca y economía. Se trata de un documento de carácter referencal. Su elaboracón ha tendo como base dferentes documentos preparados con anterordad en la Dvsón de Control de Gestón, los que se han sdo complementados con elementos conceptuales y metodológcos extraídos de la lteratura especalzada. Hed Berner H. Jefa de la Dvsón de Control de Gestón Dreccón de Presupuestos * Este trabajo ha sdo elaborado y actualzado por la Dvsón de Control de Gestón de la Dreccón de Presupuestos del Mnstero de Hacenda. Partcparon en su elaboracón Hed Berner, Paula Darvlle, Nelson Guzmán, Ana María Montoya y Sebastán Izquerdo. 1

3 METODOLOGÍA EVALUACIÓN DE IMPACTO ASPECTOS RELEVANTES 1. Qué es la Evaluacón de Impacto? Dependendo de los ámbtos a evaluar la línea de Evaluacón de Impacto (EI) en aplcacón en la Dreccón de Presupuesto comprende dos modaldades; las Evaluacones Módulo de Impacto y las Evaluacones en Profunddad. Las Evaluacones Módulo de Impacto ntegran la evaluacón de los resultados de corto, medano y largo plazo de los programas (efcaca), con los prncpales aspectos de la efcenca y economía en el uso de los recursos. Las Evaluacones en Profunddad, además de las dmensones revsadas por la modaldad de Módulo de Impacto, realzan un análss de los aspectos relatvos a la gestón de los procesos nternos de los programas. La evaluacón de los resultados de un programa públco requere desarrollar un proceso de trabajo sstemátco e ndependente orentado a responder preguntas tales como: Se ha contrbudo sgnfcatvamente a resolver el problema que do orgen al programa? Los receptores de los benes y servcos que genera el programa han resultado realmente benefcados? Los benefcos recbdos por los partcpantes son los que se había propuesto lograr el programa o son otros no prevstos? Los benefcos están llegando a la poblacón que se pretende atender? Los usuaros del programa están satsfechos con los benes y servcos recbdos? Los benefcaros han expermentado un mejoramento sgnfcatvo en su condcón-problema ncal, como consecuenca de su partcpacón en el programa? De las preguntas anterores se desprende que la evaluacón de mpacto comprende la efectvdad de las meddas tomadas o los servcos entregados por el programa. Por otra parte, sí se consdera que los recursos necesaros para la ejecucón de un programa son escasos y de uso alternatvo, los msmos benefcos no pueden ser logrados a cualquer costo, entonces la efcenca tambén es una dmensón a abordar en una evaluacón de mpacto. Hacer una evaluacón de efcenca mplca responder entre otras las sguentes preguntas: Los recursos que se han nvertdo han sdo socalmente rentables?, es decr, el conjunto de benefcos generados por el programa, valorados socalmente, es mayor que los gastos fnanceros y no fnanceros de éste? La undad ejecutora del programa conoce y está consderando todos los gastos relevantes? Los componentes del programa están sendo producdos al mínmo costo posble? Cuál es el costo real de produccón de dchos componentes? Por su parte, la evaluacón de la economía de un programa públco debe responder nterrogantes como las sguentes: Está el programa admnstrando adecuadamente los recursos fnanceros que recbe del Estado? La gerenca del programa ha mostrado capacdad para atraer recursos de otras fuentes? El programa está utlzando algún mecansmo que le permta recuperar parte 2

4 de los costos de produccón de sus componentes?, de no ser así, es vable plantear este tpo de mecansmos a futuro? Fnalmente, para el caso de la Evaluacón en Profunddad, evaluar la gestón nterna del programa consste en analzar y emtr jucos evaluatvos acerca de aspectos tales como: proceso de toma de decsones del programa, su estructura organzaconal, asgnacón de responsabldades, uso de mecansmos de evaluacón y montoreo, mecansmos utlzados para generar los componentes, crteros de focalzacón y seleccón de los benefcaros, etc. Esta etapa de la evaluacón en profunddad debe expresarse en una revsón y análss detallado del proceso de produccón de cada uno de los componentes del programa, sus etapas o sub-componentes, sus productos ntermedos, los plazos y responsabldades nvolucrados, así como la deteccón de actvdades posbles de ser elmnadas. Dcha nformacón servrá de nsumo para analzar los resultados que posterormente se obtengan al evaluar el mpacto de los programas. 2. Los Resultados Aspectos cuanttatvos y cualtatvos versus medcones cuanttatvas. Una evaluacón de resultados debe abarcar tanto los aspectos cuanttatvos como cualtatvos de un programa. Tomando como ejemplo un programa de asstenca técnca para famlas campesnas, los aspectos cuanttatvos se relaconarán con varables tales como productvdad de los cultvos, preco de venta de los productos, nversón predal, ngreso promedo de las famlas, etc; por su parte los aspectos cualtatvos se relaconarán con temas tales como la acttud de los campesnos frente a la nnovacón, grado de aprobacón o satsfaccón con la asstenca recbda, percepcón optmsta (o pesmsta) respecto a su stuacón futura, etc. Las dmensones cuanttatvas de la evaluacón se expresan a través de varables cuanttatvas (quntales de trgo por hectárea, mles de pesos reales mensuales, etc.). No obstante, los aspectos cualtatvos tambén son susceptbles de medcones cuanttatvas. Por ejemplo sí el grado de aceptacón de la asstenca técnca por parte de los campesnos es sstematzado por medo de una encuesta, el aspecto cualtatvo aceptacón tendrá una medcón y expresón cuanttatva, por ejemplo: porcentaje de campesnos que calfcan la asstenca técnca como MUY BUENA Hpótess causales. La evaluacón de mpacto debe dentfcar las relacones de causa-efecto entre los componentes que produce el programa y los resultados esperados. Los benes y servcos que entrega el programa contrbuyen a lograr los benefcos esperados en la poblacón usuara? Con relacón a este punto se debe consderar que al evaluar un programa que 3

5 ya está en marcha, el equpo evaluador se encontrará con que los benes y servcos que se producen son justfcados por la gerenca del programa sobre la base de que contrbuyen a lograr el resultado deseado, es decr, la gerenca del programa maneja explícta o mplíctamente certas hpótess de causaefecto 1. El rol del equpo evaluador es dentfcar con precsón estas hpótess e ndagar sobre la real exstenca de las relacones causa-efecto en la aplcacón del programa, valdarlas sí corresponde o rechazarlas. En este últmo caso el resultado de la evaluacón será negatvo puesto que el equpo evaluador habrá demostrado empírcamente que las relacones causa-efecto supuestas por la gerenca no se han cumpldo y, por lo tanto, no se han alcanzado los benefcos esperados. De lo anteror se desprende que, en cualquera de los dos casos, tanto sí el resultado de la evaluacón es postvo como negatvo, el juco evaluatvo debe fundamentarse en la medcón objetva de los benefcos esperados. Asmsmo, el equpo consultor deberá corroborar la causaldad sobre posbles externaldades que generen los dstntos componentes del programa a evaluar. Se debe defnr la hpótess de causaldad en base a nformacón otorgada por el programa en cuestón o por nformacón levantada medante encuestas a los benefcaros. 2.3 La dmensón temporal de los resultados (horzonte de evaluacón). Muchas veces la relacón causa-efecto entre los componentes del programa y los benefcos esperados puede ser dstnta dependendo del período que se estude. Es por esto que se reconoce la exstenca de resultados de corto, medano y largo plazo. El proceso de evaluacón debe nclur estos dstntos tpos de resultados e dentfcar y justfcar el momento en que corresponde que éstos sean meddos y analzados. Resultados a nvel de producto Los productos se referen a resultados del programa a nvel de componentes y responden a preguntas como: Tuveron las actvdades realzadas los productos esperados, benefcando al grupo objetvo predefndo?, en qué magntud?. Es decr, en una línea de tempo corresponden al prmer tpo de resultados que debe generar un programa y al efecto más nmedato que tene la produccón de los componentes sobre la poblacón benefcara: famlas subsdadas, urgencas atenddas, textos escolares entregados, trabajadores capactados, etc. La caldad de los benes y servcos entregados por el programa tambén puede consderarse como un resultado a nvel de producto. En este punto convene dstngur, para fnes evaluatvos, entre la caldad objetva y la caldad subjetva. La prmera se refere a la caldad técnca de los benes y servcos entregados; por ejemplo: caldad pedagógca de los textos escolares, aporte calórco de las racones, tempo promedo y máxmo para la entrega de un servco, etc.; en 1 Por lo general las hpótess causa-efecto que maneja la gerenca son declaradas o se puede deducr de los objetvos del programa. 4

6 tanto que, la segunda dce relacón con la percepcón que tenen los usuaros respecto al ben o servco recbdo; por ejemplo: porcentaje de aceptacón de las racones, grado de satsfaccón de los usuaros, etc. Resultados Intermedos Los resultados ntermedos corresponden al segundo tpo de resultados que se produce en una secuenca de tempo. Se referen a cambos en el comportamento o acttud de los benefcaros o certfcacón o cambo en el estado de éstos, una vez que han recbdo los benes y servcos que entrega el programa. Ejemplos de este tpo de resultados son: porcentaje de jóvenes con acttud crítca frente a las drogas después de partcpar en talleres de sensblzacón, nnovacones organzaconales después de un programa de capactacón, agrcultores que están desarrollando nuevos cultvos después de acceder a transferenca tecnológca, alumnos egresados, medacones laborales extosas, etc. Resultados Fnales Los resultados fnales (mpacto) son resultados a nvel de propósto o fn del programa. Implcan un mejoramento sgnfcatvo y, en algunos casos, perdurable o sustentable en el tempo, en alguna de las condcones o característcas de la poblacón objetvo que se plantearon como esencales en la defncón del problema que do orgen al programa. Un resultado fnal suele expresarse como un benefco de medano y largo plazo obtendo por la poblacón atendda. En el caso en que la ntervencón del programa es una categoría de nversón en captal (físco, humano o socal 2 ), su benefco no debería desaparecer, al menos en el corto o medano plazo, s se deja de ejecutar o partcpar en el programa; por ejemplo: aumento en el nvel de remuneracones de los jóvenes capactados, aumento en la productvdad promedo de las terras manejadas y/o aumento en el nvel soco-económco de las famlas en un programa de asstenca técnca, reduccón de la tasa de rencdenca de jóvenes con problemas delctuales, etc La nfluenca de factores externos. Los resultados ntermedos son eventos, comportamentos y cambos en las condcones que ocurren como consecuenca drecta de la accón del programa y, por esa razón, su logro depende prncpalmente de factores nternos al programa, debdo a que las varables nvolucradas están por lo general bajo el control de la gerenca. Lo msmo puede afrmarse respecto de los resultados a nvel de producto. 2 En captal socal lo consttuyen las nsttucones, set de relacones, acttudes y valores que determnan las nterrelacones entre las personas, que contrbuyen al desarrollo económco y socal. El captal socal emerge cuando hay valores socales compartdos que sustentan relacones cotdanas, generando sentmentos de dentfcacón y pertenenca. 3 Para mayor nformacón respecto de la sustentabldad de los resultados del un programa ver documento Notas Técncas. Evaluacón de Programas. XI. Resultados Fnales o Impacto en sto web de la Dreccón de Presupuestos, Control de Gestón, publcacones. 5

7 Los resultados a nvel de productos e ntermedos tenen dos ventajas desde el punto de vsta de la gestón del programa: generalmente ocurren antes que los resultados fnales y además son más vsbles y, por consguente más fácl su medcón y evaluacón. Por lo anteror, los resultados a nvel de productos e ntermedos consttuyen una mportante fuente de retroalmentacón sobre el desempeño del programa. Los resultados fnales en cambo, están más sujetos a la nfluenca de varables externas, es decr, es más probable encontrar que este tpo de resultados además responden a varables que escapan al control de la gerenca del programa, tales como: comportamento general de la economía, cambos culturales, stuacones clmátcas o medoambentales, stuacón de los mercados nternos o externos, etc. No obstante, lo anteror no sgnfca que la nfluenca de los factores externos no pueda ser consderada en una evaluacón, puesto que exsten varas técncas que permten aslar y medr este tpo de efectos (ver punto 3.3. de este documento). Es mportante dstngur sn embargo, entre aquellos factores externos al programa que realmente están fuera del control de la gerenca y aquellos que medante la accón del programa pueden hacerse más controlables. Por ejemplo, el efecto sobre los resultados fnales de un programa que pueda tener la labor de otra agenca o programa públco, no podría consderarse un factor externo ncontrolable, puesto que bastaría generar los mecansmos de coordnacón necesaros con esas nsttucones para compatblzar o complementar el efecto sobre los resultados fnales. 3. Medcón y evaluacón de Resultados (Efcaca). 3.1 Medcón de los resultados a nvel de producto. La medcón y evaluacón de los resultados a nvel de producto se lleva a cabo prncpalmente medante técncas cuanttatvas 4. Lo más común es el uso de ndcadores de gestón o ndcadores de desempeño 5, que mden la evolucón de los nveles de produccón y/o de los atrbutos o característcas más relevantes de los benes o servcos entregados por el programa. La evaluacón de este tpo de resultados debe realzarse a partr de una defncón ampla de producto. Lo anteror mplca no lmtarse a lo netamente físco o productvo, sno que nclur dentro del concepto de ben o servco sus característcas o atrbutos más relevantes, por ejemplo: grado de aceptacón por parte de los benefcaros, satsfaccón de los usuaros, oportundad en la entrega, cobertura de la demanda potencal, grado de focalzacón efectva, etc. Para cada uno de los atrbutos o característcas del producto se debe generar 4 Aunque las varables nvolucradas sean de tpo cualtatvo. Ver punto Para mayor detalle ver Notas Técncas Evaluacón de Programas, en sto web de la Dreccón de Presupuestos, Sstema de Evaluacón y Control de Gestón, publcacones. 6

8 nformacón que permta construr los ndcadores y evaluar los resultados a este nvel. Una vez que se cuenta con la base de ndcadores exsten varas posbldades de análss. La prmera alternatva es comparar el desempeño de la nsttucón respecto a sí msma. Una segunda posbldad es evaluar los resultados en funcón de las metas que se ha planteado el programa. Este tpo de análss, debe tener en cuenta que la caldad de las conclusones y jucos evaluatvos que se puedan realzar, dependerá drectamente de la exstenca y pertnenca de dchas metas 6. Fnalmente, se pueden comparar los resultados del programa con estándares técncos o de caldad preestablecdos. Por ejemplo, en varas áreas del quehacer de los programas públcos, exsten estándares nternaconales para certos tpos de servcos (estándares de la OPS, normas ISO 9000, etc.). Por otra parte, un programa públco puede auto-mponerse estándares de caldad en funcón de las expectatvas de sus usuaros o benefcaros; para este fn, exsten mecansmos como la carta cudadana y otros smlares, medante los cuales el prestador garantza a sus usuaros certos nveles mínmos de caldad en los servcos entregados Medcón de los resultados ntermedos. La medcón de resultados ntermedos apunta a evaluar los cambos en el comportamento de los benefcaros que se producen una vez que estos han utlzado y asmlado los componentes del programa. No mde los benefcos fnales alcanzados, puesto que éstos requeren un período de tempo mayor para ser logrados (resultados fnales), sno que más ben analza la adquscón de certas conductas, habldades o capacdades que presumblemente facltarán la generacón de los benefcos de largo plazo. No todos los programas públcos deben presentar resultados ntermedos. Es probable que exstan ncatvas que, por su naturaleza, solamente exhban resultados fnales y a nvel de productos, por ejemplo los proyectos de nfraestructura val, las campañas de vacunacón, etc. En térmnos generales, se esperan resultados ntermedos en los programas que mplcan la formacón de algún tpo de captal humano o socal, por ejemplo: los benefcaros de una obra de regadío están admnstrando adecuadamente las nuevas nstalacones?, los profesores están utlzando adecuadamente en sus clases los textos de estudo entregados a los estudantes?, los benefcaros de un programa de transferenca tecnológca están aplcando los conocmentos y las técncas adqurdas?, etc. 6 La pertnenca de las metas se refere a que éstas, para que sean buenos referentes en el proceso de evaluacón, deben ser un fel reflejo de los objetvos que persgue el programa. Además, deben ser exgentes en el sentdo de representar mejoramentos sgnfcatvos en los factores evaluados y, a la vez, ser lo sufcentemente realstas como para que puedan ser logradas con los recursos con que cuenta el programa. 7

9 La medcón de los resultados ntermedos mplca necesaramente ndagar, a nvel de los benefcaros efectvos, sí se han producdo los cambos de comportamento deseados, por esta razón generalmente se requere utlzar técncas de nvestgacón de campo, tales como encuestas o nspeccones en terreno. Lo anteror no sgnfca que para la medcón de los resultados ntermedos no sea necesara la construccón de ndcadores de desempeño. La dferenca radca en que en el caso de los resultados a nvel de producto los ndcadores serán cuantfcados prncpalmente en base a nformacón exstente en el programa, mentras que en caso de los resultados ntermedos, en algunos casos se requerrá del uso de nstrumentos de recoleccón de nformacón que no forman parte del proceso regular de recoleccón de nformacón que maneja el programa Medcón de resultados fnales 8. La medcón de resultados fnales o mpacto debe establecer en prmer lugar cuales son los efectos de medano y largo plazo sobre la poblacón benefcara que espera obtener el programa. Cuáles son los benefcos con que quedará la poblacón benefcara una vez que concluya su partcpacón en el programa?, por ejemplo: ncremento en el nvel de remuneracones de trabajadores capactados, reduccón de la tasa de morbldad de menores benefcados con un programa de vacunacón, aumento del rendmento escolar de los alumnos de escuelas partcpantes en un programa de reforzamento educatvo, etc. Lo anteror mplca dentfcar y separar los benefcos logrados como consecuenca de la ntervencón del programa, de aquellos que de todas maneras huberan ocurrdo sn la ejecucón de éste, por efecto de la evolucón normal de las condcones del entorno o la accón de otros programas públcos o prvados. Para ello, en prmer lugar, corresponderá dentfcar la(s) varable(s) que deben ser meddas para determnar sí el programa ha generado realmente los benefcos o resultados fnales o mpacto esperados. Cabe destacar que esta msma metodología debe ser aplcada para evaluar los resultados ntermedos y externaldades del programa en cuestón. De este modo, el mpacto del programa corresponde a la dferenca en la varable resultado (Y) que regstra el ndvduo con y sn la ntervencón del programa. 7 Para mayor nformacón respecto de la construccón y uso de ndcadores de desempeño ver documento Notas Técncas. Evaluacón de Programas. XII. Indcadores de Desempeño en sto web de la Dreccón de Presupuestos, Sstema de Evaluacón y Control de Gestón, publcacones. 8 Las metodologías de estmacón de resultados fnales aquí descrtas pueden ser tambén váldas para la estmacón de los resultados ntermedos o externaldades de un programa, s corresponde al tpo de resultados ntermedos esperados que permte aplcar estas herramentas. 8

10 Y 1 = resultado potencal del ndvduo con tratamento (resultado que el ndvduo obtendría s se le expusera al tratamento). Y 0 = resultado potencal del ndvduo sn tratamento (resultado que el ndvduo obtendría s no se le expusera al tratamento). α = Y Y 1 0 (1) Donde embargo, no es posble observar α es el mpacto del programa (tratamento) sobre la persona. Sn Y 0 e Y 1 para un msmo ndvduo en un momento del tempo, es decr, un ndvduo puede presentar sólo uno de los dos estados posbles, ntervencón en el programa (tratamento) o no ntervencón en el programa. Esto es conocdo como el problema fundamental de dentfcacón. Una solucón a este problema sería medr el mpacto esperado o promedo del programa sobre el conjunto de los ndvduos: [ ] α = E Y 1 Y 0 (2) Donde α es el mpacto promedo del programa (Average Treatment Effect (ATE)), Y1 es el resultado potencal, con posterordad a la ntervencón del programa, de los ndvduos que han partcpado en dcho programa; e Y0 es la varable resultado, con posterordad a la ntervencón del programa, de los ndvduos que no han partcpado en el programa, es decr [ D = 1] E[ Y D = 0] = E[ Y D = 1] E[ Y D = 0] = E[ Y Y ] + { E[ Y D = 1] E[ Y D 0]} E Y = Donde, D = 1 s el ndvduo ha partcpado en el programa (es decr, recbe tratamento), y D = 0 de lo contraro. El últmo térmno de la ecuacón anteror probablemente no será gual a cero debdo a la exstenca de sesgo de seleccón, es decr, la seleccón de ndvduos que partcpan en el programa responde a certos crteros de focalzacón u otros. Por ejemplo, en general los benefcaros de un programa de capactacón poseen ngresos menores antes de la capactacón que aquellos ndvduos que no partcpan del programa. Lo anteror posblemente mplca que, en ausenca del programa, los ngresos potencales de los benefcaros serían menores a los de los no benefcaros en el msmo período, por lo tanto, en este ejemplo, s se utlza la dferenca de medas como el mpacto del programa este resultado estaría sub estmado. ( [ Y D = 1] E[ Y D 0] E < 0). 0 1 = Para resolver el problema ocasonado por la exstenca de sesgo de seleccón, y por ende, aslar los efectos que sobre la varable resultado (Y) tenen factores (3) 9

11 externos al programa, se requere que la seleccón de ndvduos benefcaros del programa sea ndependente de sus resultados potencales. El cumplmento de esta condcón mplca que E [ Y0 D = 1] = E[ Y0 D = 0], y por lo tanto, el resultado promedo o mpacto esperado del programa (tratamento) será: [ Y Y ] = E[ Y Y D = 1] = E[ Y D = 1] E[ Y D 0] E (4) = Para que se cumpla la condcón de ndependenca, se requere que el tratamento sea asgnado aleatoramente, es decr, que los ndvduos que se benefcen del programa sean selecconados de forma aleatora, lo cual se conoce como dseño expermental o aleatoro Dseño expermental o aleatoro Es consderada la metodología de evaluacón técncamente más robusta y consste en la seleccón aleatora de los benefcaros dentro de un grupo de ndvduos elegbles, el proceso de asgnacón aleatora de las ntervencones o servcos del programa crea dos grupos estadístcamente déntcos entre sí, uno que partcpa en el programa (grupo de tratamento, D = 1) y otro que, cumplendo todas las condcones para partcpar, está fuera de él (grupo de control 9, D = 0). La medcón de mpacto consste entonces en cuantfcar, una vez transcurrdo el tempo pertnente de ntervencón del programa, la(s) varable(s) de mpacto, tanto para el grupo de tratamento como para el grupo de control en ambos smultáneamente y para el msmo período de tempo para luego analzar las dferencas que exsten entre ambos. En térmnos operatvos, esta medcón se debe hacer sobre muestras 10 estadístcamente representatvas de ambos grupos, y calcular el mpacto promedo del programa sobre una varable resultado (Y). La asgnacón aleatora de los benefcos es la prncpal ventaja de este método, debdo a su fortaleza estadístca. En dcho caso, un mecansmo aleatoro dvde a los ndvduos en dos grupos: un grupo de TRATAMIENTO y un grupo de CONTROL. Es este mecansmo al azar es el que permte estmar el efecto promedo. Lo anteror mplca una gran facldad para nterpretar los resultados de las evaluacones, puesto que se puede estmar el mpacto de un programa medante una smple dferenca de medas (para la o las varables de resultado relevantes) entre el grupo de control y el grupo de tratamento. 9 Un grupo de control es báscamente un segmento de no benefcaros que son parte de la poblacón objetvo, es decr, un grupo que comparte las característcas socales, económcas, educaconales, etc. del grupo benefcaro. La únca dferenca entre los ndvduos del grupo de control y los benefcaros efectvos es su partcpacón en el programa. 10 Para mayor detalle ver Protocolo de Levantamento de Informacón en Terreno en Sstema de Evaluacón y Control de Gestón, publcacones. (revsar s corresponde al número del capítulo de la últma versón de Notas Técncas) 10

12 1 1 α ˆ = Y Y (5) n D = 1 n 0 D = 0 1 Donde, n 1 es el número de ndvduos en el grupo tratamento y n 0 el número de ndvduos en el grupo control. Basados en el teorema del límte central, se puede mostrar que el anteror es un estmador nsesgado y consstente, es decr, asntótcamente 11 : ˆ α α (6) El estmador del efecto promedo del tratamento tambén puede ser obtendo a través de la estmacón vía Mínmos Cuadrados Ordnaros de la sguente expresón: Y = β 0 + β1 * Z + υ (7) En efecto: β ˆ ˆ1 = α (8) La prncpal desventaja del dseño expermental es de orden práctco y no metodológco, y se refere a la vabldad polítca de exclur de la cobertura de un programa, aleatoramente, a un grupo de benefcaros elegbles y, que como tales, necestan los servcos del programa. Por lo tanto muchas veces se cuestona la asgnacón aleatora desde el punto de vsta públco en base a razones étcas 12. En la práctca, muchos programas entregan los servcos del programa dferdos en el tempo a dstntos grupos de benefcaros selecconados aleatoramente. En este caso el grupo de control es el grupo de benefcaros que aún no ha partcpado en el programa y el grupo de tratamento es el grupo que ha recbdo los benefcos, sempre y cuando, la dferenca de tempo en la entrega de estos servcos entre ambos grupos sea sufcente para poder medr los resultados fnales o de mpacto en el momento correspondente. Este caso se puede dar cuando hay lsta de espera en la postulacón a un benefco, cuando hay restrccones presupuestaras que establecen la entrada en vgenca del tratamento de manera gradual en el tempo y en el contexto de un programa ploto. Por últmo, se debe tener presente que un dseño expermental es una técnca muy ntensva en tempo. La postergacón de los resultados de la evaluacón dependerá del tempo que se estme pertnente para que un programa produzca mpactos en la poblacón benefcara, lo que en general sgnfca 11 Para conocer la sgnfcanca estadístca se utlza un smple test t, comúnmente usado para evaluar las dferencas entre dos muestras. 12 Ver Heckman y Smth (1995) y Burtless (1995) para mayor dscusón al respecto. 11

13 planfcar una evaluacón con varos años de antcpacón. Desde el punto de vsta metodológco, los prncpales problemas asocados a un dseño no expermental provenen de los posbles cambos que puede sufrr el grupo de control o tratamento durante el período de evaluacón. Por ejemplo: ) algunos de los membros del grupo de control pueden abandonar el área geográfca durante la evaluacón, lo que mpedría contar con nformacón de éstos sesgando, de esta forma, los resultados, ya que el grupo de control no será comparable con el grupo de tratados; ) los ndvduos del grupo de tratamento no contnúan con la ntervencón, en este caso tan sólo se podría evaluar el mpacto de una oferta de determnado benefco, más que de recbr el tratamento, en caso de hacer esta nferenca, los resultados estarán sesgados. Ambos problemas se denomnan desgaste o atrcón de la muestra y condconan la valdez nterna de los resultados, es decr, ponen en duda su valor. Lo msmo puede ocurrr s los ndvduos del grupo de control o tratamento han recbdo otro tpo de ntervencones con smlares objetvos al programa a evaluar, durante el período de evaluacón que no están sendo controladas, lo cual sesgaría los resultados y condconaría la valdez nterna de éstos. Otro problema que se puede presentar con esta metodología es el de valdez externa, que se refere a la mposbldad de generalzar los resultados de la evaluacón para la poblacón objetvo en su conjunto. Por ejemplo, cuando las muestras no son representatvas 13, o los programas no son representatvos, ya sea por un efecto de escala o s el tratamento dfere de la mplementacón planfcada Métodos Cuas-Expermental Por lo general la seleccón de los benefcaros de un programa no es aleatora, es decr, no es posble tener una aleatorzacón de la asgnacón del tratamento. Por el contraro, su seleccón se basa en la aplcacón de crteros de elegbldad y focalzacón que establecen dferencas, tanto observables 14 como no observables, entre éstos (grupo de tratamento) y los nobenefcaros (grupo control). Esto sgnfca que el mpacto del programa no podrá ser estmado a través de la 13 Al plantear un estudo expermental, lo prmero que se debe evaluar es s el tamaño muestral a consderar permtrá detectar el efecto esperado del tratamento al nvel que se desea obtener nferenca causal, por ejemplo: a nvel de benefcaros a nvel naconal, regonal por género, entre otros. 14 Las dferencas observables provene de la aplcacón de los propos crteros de seleccón y focalzacón aplcados por el programa, puesto que al concentrar las ntervencones sobre la poblacón que presenta en mayor magntud el problema o es de más alto resgo, se dstorsona cualquer comparacón posteror entre los grupos de benefcaros y no benefcaros. Las dferencas no observables son todas aquellas característcas de la poblacón que afectan su partcpacón en el programa, pero para las cuales no se cuenta con nformacón (habldad ndvdual, voluntad de partcpar y en general procesos subjetvos y no formales que determnan que una persona acceda a los benefcos del programa). 12

14 smple dferenca de medas entre la varable resultado del grupo de tratamento y el grupo control (ecuacón 5), ya que las dferentes característcas observables y no observables de los benefcaros y no benefcaros mplcará la exstenca de sesgo de seleccón y por ende, E [ Y0 D = 1] E[ Y0 D = 0], la medcón del mpacto del programa resultará sesgada. Dependendo de la magntud y el sgno del sesgo, se puede llegar a subestmar o sobrestmar el mpacto de un programa. En el extremo, se pueden evaluar postvamente los resultados fnales de una ntervencón cuando éstos son negatvos o vceversa. Insprados en el modelo expermental, se han desarrollado dversos métodos, los cuales se denomnan métodos cuas-expermentales, estos son: ) método de expermentos naturales, ) construccón de grupos artfcales de control vía procedmentos de matchng, ) dentfcacón de efectos causales por medo de varables nstrumentales y v) regresson dscontnuty desgn. Estos permten controlar por las dstntas característcas que posee el grupo de benefcaros del programa (tratamento) respecto de los no benefcaros (grupo control) que pudesen afectar el resultado o mpacto del programa. Las dversas alternatvas metodológcas, concden en ntentar smular las condcones de un dseño expermental a partr de bases de datos de benefcaros y no-benefcaros y usando avanzadas técncas estadístcas. Se aplcan una vez que la ntervencón del programa ya tuvo lugar, es decr, una vez que ya se selecconaron los benefcaros del programa a través de sus propos crteros sn consderar métodos aleatoros. Por esta razón, en un dseño cuas-expermental los grupos de control y tratamento no son guales entre sí y, por lo tanto, el corazón de esta metodología de evaluacón consste en aplcar sofstcados controles estadístcos para elmnar o mnmzar estas dferencas. Lo anteror mplca la construccón de dos escenaros. Un escenaro sn programa o contrafactual y un escenaro con programa. La construccón del contrafactual se logra a través de un grupo de control formado por ndvduos, guales o muy parecdos a los benefcaros, y cuya únca dferenca con éstos sea no haber partcpado en el programa. De este modo se busca responder lo más certeramente posble a la pregunta: Cuál sería la stuacón actual de estos benefcaros s no huberan partcpado en el programa?, comparando los resultados fnales del programa en los benefcaros con respecto al grupo de control, de modo de calcular el efecto neto o mpacto atrbuble al programa, lmpo del efectos de otros factores externos al programa. Una condcón necesara para el desarrollo de un dseño cuas-expermental, es la exstenca de una base de datos (o varas bases que permtan formar una común) de benefcaros y no-benefcaros, que contenga para ambos grupos nformacón sobre los crteros de elegbldad del programa (por ejemplo: condcón socoeconómca, tamaño de la famla, escolardad, ubcacón geográfca o cualquer otra característca que se haya utlzado para selecconar 13

15 a los benefcaros) e nformacón sobre las varables que permtrán medr los resultados fnales o mpactos esperados de la ntervencón (por ejemplo: nvel de ngresos, condcón laboral, nvel de salud, etc.). Una vez construdos los grupos control y de tratamento, y tenendo observacones de las varables de resultados y las varables que caracterzan al ndvduo y su entorno en dos momentos del tempo (antes y después de la ntervencón del programa), por lo general se cuantfcará el mpacto del programa a través de la estmacón econométrca del sguente modelo. El estmador de Dferencas en Dferencas se puede obtener estmando la sguente ecuacón testeando las propedades de Mínmos Cuadrados Ordnaros, donde el estmador del parámetro α (αˆ ) corresponde al mpacto del programa: Y t = β * β 2DG + β 3DT + α( DGt * DTt ) + X t γ ε t (9) Donde, Y t = varable resultado para el ndvduo en el período t. DG = varable gual a 1 s ndvduo pertenece al grupo de tratamento y 0 s pertenece al grupo control. DT = varable gual a 1 s el dato de la varable resultado para el ndvduo pertenece al período post-programa y 0 de lo contraro. X t = conjunto de varables que caracterzan la ndvduo y su entorno. ε = térmno de error aleatoro t La estmacón de modelo de la ecuacón (6) es lo que se conoce como método de doble dferenca, donde el mpacto promedo del programa (ATE) se estma prmero mdendo el cambo en las varables de resultado expermentado por cada grupo, o más precsamente por sus muestras, entre la línea base y la encuesta de segumento (prmera dferenca), y luego comparando el cambo mostrado por el grupo de benefcaros con el regstrado en el grupo de nobenefcaros (segunda dferenca). Este es el método técncamente más robusto puesto que elmna el efecto de característcas no observables que afectan la seleccón de los benefcaros (por ejemplo habldad, motvacón, etc) y por lo tanto, es la mejor forma de tratar el sesgo de seleccón, dado que se puede comparar el cambo regstrado en el grupo de tratamento con el cambo exhbdo por el grupo de control. Esto permte elmnar los efectos generados por factores exógenos (efectos de ncremento en desempleo, crss económca, factores de la naturaleza) en la varable de resultado, que mpactan en gual magntud al grupo de control y 15 tratamento en el período evaluado. No obstante, es el más exgente en térmnos de nformacón puesto que los estudos de línea de base no son muy comunes y los estudos de segumento, por lo general, enfrentan el problema 15 En un dseño expermental el estmador de dferencas en dferencas, debese ser smlar al de una dferenca, en el caso de no presentarse nngún problema de valdez nterna. 14

16 de que es dfícl localzar a los ndvduos de la muestra orgnal, especalmente en el caso de los no benefcaros. La ventaja de la formulacón anteror es que se puede agregar un vector de varables explcatvas que permte controlar por dferencas observables exstente entre el grupo de tratamento y el de control antes del programa, que aún persstan (partcularmente relevante cuando el grupo de control no vene de una asgnacón aleatora). Sn embargo, s el coefcente de la varable nteractva varía enormemente una vez que se controla por nuevas varables puede ser ndcatvo de que se tene un defcente grupo de control. En algunos estudos es mposble poder construr grupos de control de caldad, lo cual ha llevado a los nvestgadores a proponer un grupo de control adconal para verfcar los resultados obtendos, es decr, contar con dos grupos de control en la msma estmacón. Esto da lugar a lo que se ha denomnado método de dferencas en dferencas en dferencas 16 (D-D-D). Por ejemplo, cuando un programa se aplca en una determnada área (área 1) y no en otra área (área 2), este método (D-D-D) consstría en calcular un estmador de dferencas en dferencas (DD) entre el grupo que obtuvo tratamento del área 1 y el grupo de control del área 1 y adconalmente en utlzar el estmador de DD para la segunda área entre el grupo tratamento, que en realdad no ha recbdo tratamento pero posee las msmas característcas observables que el grupo de tratamento del área 1, y el grupo de control del área 2 como un segundo contrafactual, es decr, con las msmas característcas observables que el grupo de control del área 1. Esta estmacón se obtene de la sguente forma: T β = [[ Y t Y ˆ8 T t C 1] [ Y t Y C t E1 T 1]] [[ Y t Y T t C 1] [ Y t Y C t E2 1]] Yt = β 1 + β 2 DG et + β 3 DT et + β 4 DE et + β5 DG et DT et + β 6 DG et DE et + β7 DT et DE et + β 8 ( DG et * DT et * DE et ) + εt (10) d d d α = ˆβ 8 DE et = 1 s la observacón corresponde al área E1 0 s la observacón corresponde al área E2 DG et = 1 s el ndvduo pertenece al grupo que recbe tratamento 0 s el ndvduo no pertenece al grupo que recbe tratamento DT et = 1 s la observacón corresponde al perodo T después del tratamento 0 s la observacón corresponde al perodo T-1 antes del tratamento 16 Para mayor detalle sobre esta metodología ver, Gruber, J (1994) The Incdence of Mandated Maternty Benefts, The Amercan Economc Revew. 15

17 Expermentos Naturales. La metodología de estmacón de expermentos naturales, es decr, cuando la asgnacón del tratamento está dada por varacones exógenas producdas por cambos legales, fenómenos naturales u otras, puede ser obtenda a partr de una estmacón de dferencas en dferencas con controles tal como está explctado en los modelos anterores Método de Matchng. Consste en una construccón de grupos de control medante procedmentos estadístcos de matchng. Esta metodología corrge las dferencas observables entre el grupo de tratamento (benefcaros del programa) y el grupo de control (no benefcaros), buscando para cada ndvduo de la muestra del grupo de tratamento a la undad muestral más parecda de la muestra de no benefcaros, los cuales fnalmente conformarán el grupo de control. El prncpal supuesto de esta metodología es que la seleccón se basa en elementos observables. S este no es el caso los resultados obtendos a través de esta metodología estarán sesgados. El sesgo se orgna de la correlacón entre las varables no-observables que afectan la seleccón para el programa y que afectan la varable de nterés de la evaluacón. En el caso en que la heterogenedad no varíe en el tempo, la estmacón en doble dferenca puede elmnar esta lmtacón. La aplcacón de este método requere nformacón de corte transversal para ambos grupos, que ncluya las varables que se utlzaron para selecconar a los partcpantes del programa, las que deben ser varables de pretratamento, con el fn de garantzar que no han sdo afectadas por este, y las varables de resultado relevantes. Se necesta por lo general una base de datos ampla como la obtenda de una encuesta de carácter naconal (CASEN, Censo Agropecuaro, Encuesta de Ingresos Famlares, etc.). El más conocdo de estos métodos es el Propensty Score Matchng, que consste en modelar estadístcamente la partcpacón en el programa (varable P en la ecuacón 11) y luego calcular para los ndvduos de ambas muestras, tanto la de del grupo de tratamento como la del grupo de comparacón, la probabldad de partcpar en el programa dadas sus característcas de elegbldad (pobreza, educacón, tamaño de la famla y cualquer otro crtero de seleccón del programa para el cual se cuente con nformacón). P = φ + δ + υ (11) X Donde: P : es gual a 1 s el ndvduo partcpa en el programa y 0 de lo contraro. X : son las varables pre-tratamento afectan la partcpacón en el programa. υ : es un térmno de error aleatoro 16

18 Al estmar el modelo de la ecuacón 11 medante una modelo probt o logt, se obtene para cada ndvduo de la muestra un score que refleja su probabldad condconal de partcpar en el programa. Luego, se debe verfcar que se cumpla la condcón de "soporte común", vale decr, que exsta un rango común para los p-score de ambos grupos que permta la comparacón. Posterormente, para cada uno de los benefcaros se busca al o los no-benefcaros con un score más cercano, se calculan para ambos el valor esperado de las varables de resultado (valor esperado de Y) esto se hace medante las técncas de matchng exstentes: vecno más cercano, kernel, y metodología de rados. Una vez obtendo un grupo de comparacón se puede estmar el mpacto del tratamento vía Dferencas-en-Dferencas, lo que requerría contar con datos de panel, y s esto no es posble la estmacón se deberá hacer sólo con una dferenca. La prncpal ventaja de este método es que permte hacer evaluacones de mpacto una vez que el programa ya está en marcha y usando nformacón de corte transversal (sngle cross secton data), por lo cual, s se cuenta con la nformacón apropada, se pueden obtener medcones de mpacto en tempos relatvamente cortos. Metodológcamente es robusta puesto que permte elmnar el sesgo causado por las dferencas observables, aunque no solucona el sesgo de seleccón causado por las dferencas no observables, las cuales debesen ser controladas para obtener resultados nsesgados y consstentes Método de Varables Instrumentales. Para abordar el sesgo dervado de las característcas no observables, aun habendo controlado por todas las característcas pre-exstentes observables entre partcpantes y no partcpantes consderadas en el proceso de seleccón, es probable que atrbutos no observados lleven a que el grupo de partcpantes y no partcpantes en el programa dferan antes de que se aplque el tratamento, lo cual llevaría a obtener una estmacón del mpacto sesgada. Para soluconar este problema generalmente se utlzan varables nstrumentales (VI). Este sesgo se derva de la exstenca de factores que afectan la partcpacón en el programa (P ) y que el nvestgador desconoce, por ejemplo dsposcón a partcpar en el programa de capactacón por parte de ndvduos de mayor habldad. En térmnos estadístcos lo anteror mplca que en la ecuacón: Y = λ * + µ 1 + λ2dg + X ϕ (12) El térmno de error µ contene varables no especfcadas en la matrz X que afectan la partcpacón en el programa (P ). Para corregr este sesgo se necesta utlzar el valor estmado de P= Pˆ, de acuerdo a la expresón 11, pero ncluyendo una varable Z que determne la partcpacón en el programa (condcón de relevanca), y que no tenga ncdenca en los resultados del msmo. Es decr, una varable que no esté en X y que no esté correlaconada con el térmno de error µ (condcón de 17

19 exogenedad), esta varable es la denomnada varable nstrumental. Luego el estmador de este nstrumento se reemplaza por DG en la ecuacón 12 y su efecto es el que permte obtener un estmador nsesgado 2 ˆλ del mpacto del programa. Y = λ + λ Pˆ + X * ϕ + µ 1 2 (13) Las ventajas de esta opcón son evdentes, s se cuenta con una buena varable nstrumental - y se aplcan paralelamente técncas que permtan elmnar el sesgo observable - se puede, a partr de nformacón de corte transversal, obtener una estmacón nsesgada del mpacto de un programa. Lamentablemente, en la práctca, los estudos de mpacto por lo general enfrentan restrccones de nformacón para obtener buenos nstrumentos Regresson-dscontnuty 17. La prncpal característca que debe presentar un programa para hacer uso de esta metodología es que se utlce una dscontnudad en la regla de asgnacón del tratamento al grupo de benefcaros, ya que ésta será utlzada como una asgnacón aleatora en un vecndaro para estmar el mpacto del programa. La ntucón que está detrás de esto es que los ndvduos que están justo arrba del corte utlzado para asgnar el tratamento, son muy parecdos a los ndvduos que han sdo clasfcados justo por debajo del corte. Por lo tanto, para la evaluacón de mpacto se compararán los resultados obtendos entre ambos grupos de ndvduos tratados y no tratados. Cabe destacar que para poder utlzar esta metodología de evaluacón debe ser posble ordenar a los benefcaros y no-benefcaros en base a un índce construdo a partr de varables objetvas y cuantfcables. La prncpal lmtacón de esta metodología es que entrega un estmador del mpacto del tratamento que es de carácter local, específcamente para los ndvduos que están en torno a los puntos de corte. La ecuacón a estmar debe ser: Y λ + λ D + ϕ Puntaje + µ (14) = 1 2 D= 1 s el postulante recbe tratamento. D= 0 s el postulante no recbe tratamento 17 Este dseño metodológco fue ntroducdo en la lteratura por Thstlewate y Campbell (1960). 18

20 S el parámetro λ 2 es sgnfcatvo y postvo, personas por debajo del puntaje de corte presentan un resultado menor que las personas que se ubcan por encma (y cerca) de éste, es decr, el programa tuvo un mpacto postvo. En el caso en que el tratamento dependa tambén de otras varables endógenas y la dscontnudad esté altamente correlaconada con el tratamento, se debe utlzar el índce como una Varable Instrumental para la asgnacón al tratamento, ya que al ser una varable endógena los parámetros estmados serán sesgados e nconsstentes 18. Estmacón por varable nstrumental Prmera etapa: D λ + ε (15) = 1 + λ2dp 19 : DP = 1 s el ndvduo posee un puntaje mayor que el corte 0 s el ndvduo posee un puntaje menor que el corte Segunda etapa: Y = λ + λ Dˆ ϕ Puntaje + µ (16) Fnalmente, cabe destacar que ndependente del método que se utlce, la valdez de los resultados obtendos por medo de herramentas cuanttatvas dependerá de la caldad de la nformacón con que se cuente. Heterogenedad en el Impacto de un programa La generacón de un grupo de control (escenaro contrafactual) y de un grupo de tratamento generalmente se utlza para estmar el mpacto promedo sobre la poblacón de benefcaros, sn embargo tambén pueden ser utlzados para ndagar respecto de la heterogenedad de efectos causales del programa para dstntos sub-grupos de la muestra. 18 Un buen nstrumento debe estar correlaconado con la varable endógena, en este caso, la varable endógena es s el postulante partcpa o no del programa que será evaluado (condcón de relevanca, se debe testear medante medante el test F (sgnfcanca global) del modelo de la prmera etapa). Asmsmo el nstrumento que se seleccone debe ser exógeno, es decr, no debe estar correlaconado con el térmno de error (condcón de exogenedad, se debe testear con Test de sobrendentfcacón). Medante esta forma de estmacón se elmna la correlacón que exste entre la partcpacón en programa y el térmno de error. 19 Un ejemplo de esto se puede encontrar en Efecto del tamaño de clases sobre el rendmento escolar (Angrst y Lavy, 1999). 19

21 La estmacón del mpacto promedo de un programa pudese sgnfcar promedar mpactos postvos y negatvos de sub-grupos de la poblacón benefcara, no permtendo, en ocasones, observar mpactos de dstnto sgnos para subgrupos de la muestra. Obvar la posble heterogenedad en resultados mpde conocer s exsten sub conjuntos de hogares o personas que pueden estar sendo perjudcados por el programa, cuando el resto de los benefcaros goza de los resultados postvos de éste. Las dos metodologías más utlzadas para evaluar la posble heterogenedad de resultados de un programa sobre una poblacón de benefcaros son el Quantl Treatment Effect (QTE) y el Margnal Treatment Effect (MTE). Quantl Treatment Effect (QTE): El QTE para un percentl p se estma como la dferenca sobre la condcón de tratamento entre el percentl p de la dstrbucón de tratados con el msmo percentl de aquellos no tratados. Por ejemplo, s se toma la medana de la dstrbucón del grupo tratado y se le resta la medana de la dstrbucón del grupo de control, se tene el QTE en el percentl 0.5. Los demás QTE para otros percentles se estman análogamente. Los QTE son característcas de las dstrbucones de probabldades margnales F 0 ( y) y F 1( y ). Para la asgnacón de tratamento t, el percentl p de la dstrbucón F t está defndo como y p ( t) nf{ y : Ft ( y) p}. El efecto causal para el percentl p es de p = y p ( 1) y p (0). En térmnos ntutvos, la técnca de QTE es equvalente a una estmacón ATE para cada uno de los percentles de la dstrbucón, pero estmada a través de una funcón no paramétrca. S ben la estmacón del efecto causal QTE es bastante smple, no es posble decr lo msmo con respecto a la estmacón de la matrz de varanzacovaranza de los parámetros estmados. Por el hecho de que se estman efectos causales para pequeños grupos de la muestra total, el número de datos de la estmacón se reduce especalmente en las colas de la dstrbucón. Además, producto de que es posble que hayan efectos con sgnos dferentes en dstntos tramos de la dstrbucón de la varable evaluada, tambén es posble que exstan cambos en el rankng de ndvduos tratados. Esto se traduce en que la estmacón puede estar computando resultados de percentles con característcas dferentes entre grupo de control y de tratamento, ndependentemente de que las muestras totales de grupo de control y tratamento sea estadístcamente comparables 20. Estos dos fenómenos se traducen en la necesdad de estmar errores estándar medante métodos de smulacón numérca, tales como bootstrap. El método de bootstrap asume que la muestra observada es la poblaconal y medante una teracón de muestreo aproxma las propedades de muestras 20 La asgnacón del tratamento haya sdo aleatora. 20