ANEXO METODOLOGÍA EVALUACIÓN DE IMPACTO

Transcripción

1 GOBIERNO DE CHILE MINISTERIO DE HACIENDA Dreccón de Presupuestos ANEXO METODOLOGÍA EVALUACIÓN DE IMPACTO Dvsón de Control de Gestón Santago, Abrl 2007 CHILE

2 PRESENTACIÓN * El anexo que ha contnuacón se presenta tene por objeto descrbr aspectos metodológcos necesaros de consderar en el desarrollo de Evaluacones de Impacto de programas públcos. El documento se centra en los ámbtos de resultados de efcaca, en sus dferentes nveles, y en los aspectos de efcenca y economía. Es un documento de carácter referencal. Su elaboracón ha tendo como base dferentes documentos preparados con anterordad en la Dvsón de Control de Gestón, los que se han complementado con elementos conceptuales y metodológcos extraídos de la lteratura especalzada. Hed Berner. Jefa de la Dvsón de Control de Gestón Dreccón de Presupuestos * Este trabajo fue desarrollado en la Dvsón de Control de Gestón de la Dreccón de Presupuestos del Mnstero de Hacenda. Partcparon en su elaboracón Hed Berner, Ryan Cooper, Marcela Guzmán y Nelson Guzmán. 1

3 METODOLOGÍA EVALUACIÓN DE IMPACTO ASPECTOS A TENER PRESENTE 1. Qué es la Evaluacón de Impacto? Dependendo de los ámbtos a evaluar la línea de Evaluacón de Impacto (EI) en aplcacón en la Dreccón de Presupuesto comprende dos modaldades; las Evaluacones Módulo de Impacto y las Evaluacones en Profunddad. Las Evaluacones Módulo de Impacto ntegran la evaluacón de los resultados de corto, medano y largo plazo de los programas (efcaca), con los prncpales aspectos de la efcenca y economía en el uso de los recursos. Las Evaluacones en Profunddad, además de las dmensones revsadas por la modaldad de Módulo de Impacto, realzan un análss de los aspectos relatvos a la gestón de los procesos nternos de los programas. La evaluacón de los resultados de un programa públco requere desarrollar un proceso de trabajo sstemátco e ndependente orentado a responder preguntas tales como: Se ha contrbudo sgnfcatvamente a resolver el problema que do orgen al programa? Los receptores de los benes y servcos que genera el programa han resultado realmente benefcados? Los benefcos recbdos por los partcpantes son los que se había propuesto lograr el programa o son otros no prevstos? Los benefcos están llegando a la poblacón que se pretende atender? Los usuaros del programa están satsfechos con los benes y servcos recbdos? Los benefcaros han expermentado un mejoramento sgnfcatvo en su condcón-problema ncal, como consecuenca de su partcpacón en el programa? De las preguntas anterores se desprende que la evaluacón de mpacto comprende la efectvdad de las meddas tomadas o los servcos entregados por el programa. Por otra parte, sí se consdera que los recursos necesaros para la ejecucón de un programa son escasos y de uso alternatvo, los msmos benefcos no pueden ser logrados a cualquer costo, entonces la efcenca tambén es una dmensón a abordar en una evaluacón de mpacto. Hacer una evaluacón de efcenca mplca responder entre otras las sguentes preguntas: Los recursos que se han nvertdo han sdo socalmente rentables?, es decr, el conjunto de benefcos generados por el programa, valorados socalmente, es mayor que los gastos fnanceros y no fnanceros de éste? La undad ejecutora del programa conoce y está consderando todos los gastos relevantes? Los componentes del programa están sendo producdos al mínmo costo posble? Cuál es el costo real de produccón de dchos componentes? Por su parte, la evaluacón de la economía de un programa públco debe responder nterrogantes como las sguentes: Está el programa admnstrando adecuadamente los recursos fnanceros que recbe del Estado? La gerenca del programa ha mostrado capacdad para atraer recursos de otras fuentes? El programa está utlzando algún mecansmo que le permta recuperar parte 2

4 de los costos de produccón de sus componentes?, de no ser así, es vable plantear este tpo de mecansmos a futuro? Fnalmente, para el caso de la Evaluacón en Profunddad, evaluar la gestón nterna del programa consste en analzar y emtr jucos evaluatvos acerca de aspectos tales como: proceso de toma de decsones del programa, su estructura organzaconal, asgnacón de responsabldades, uso de mecansmos de evaluacón y montoreo, mecansmos utlzados para generar los componentes, crteros de focalzacón y seleccón de los benefcaros, etc. Esta etapa de la evaluacón en profunddad debe expresarse en una revsón y análss detallado del proceso de produccón de cada uno de los componentes del programa, sus etapas o sub-componentes, sus productos ntermedos, los plazos y responsabldades nvolucrados, así como la deteccón de actvdades posbles de ser elmnadas. 2. Los Resultados Aspectos cuanttatvos y cualtatvos versus medcones cuanttatvas. Una evaluacón de resultados debe abarcar tanto los aspectos cuanttatvos como cualtatvos de un programa. Tomando como ejemplo un programa de asstenca técnca para famlas campesnas, los aspectos cuanttatvos se relaconarán con varables tales como productvdad de los cultvos, preco de venta de los productos, nversón predal, ngreso promedo de las famlas, etc; por su parte los aspectos cualtatvos se relaconarán con temas tales como la acttud de los campesnos frente a la nnovacón, grado de aprobacón o satsfaccón con la asstenca recbda, percepcón optmsta (o pesmsta) respecto a su stuacón futura, etc. Los dmensones cuanttatvas de la evaluacón se expresan a través de varables cuanttatvas (quntales de trgo por hectárea, mles de pesos reales mensuales, etc). No obstante, los aspectos cualtatvos tambén son susceptbles de medcones cuanttatvas. Por ejemplo sí el grado de aceptacón de la asstenca técnca por parte de los campesnos es sstematzado por medo de una encuesta, el aspecto cualtatvo aceptacón tendrá una medcón y expresón cuanttatva, por ejemplo: porcentaje de campesnos que calfcan la asstenca técnca como MUY BUENA Hpótess causales. La evaluacón en profunddad debe dentfcar las relacones de causa-efecto entre los componentes que produce el programa y los resultados esperados. Los benes y servcos que entrega el programa contrbuyen a lograr los benefcos esperados en la poblacón usuara? Con relacón a este punto se debe consderar que al evaluar un programa que ya esta en marcha, el equpo evaluador se encontrará con que los benes y servcos que se producen son justfcados por la gerenca del programa sobre 3

5 la base de que contrbuyen a lograr el resultado deseado, es decr, la gerenca del programa maneja explcta o mplíctamente certas hpótess de causaefecto 1. El rol del equpo evaluador es dentfcar con precsón estas hpótess e ndagar sobre la real exstenca de las relacones causa-efecto en la aplcacón del programa, valdarlas sí corresponde o rechazarlas. En este últmo caso el resultado de la evaluacón será negatvo puesto que el equpo evaluador habrá demostrado empírcamente que las relacones causa-efecto supuestas por la gerenca no se han cumpldo y, por lo tanto, no se han alcanzado los benefcos esperados. De lo anteror se desprende que, en cualquera de los dos casos, tanto sí el resultado de la evaluacón es postvo como negatvo, el juco evaluatvo debe fundamentarse en la medcón objetva de los benefcos esperados. 2.3 La dmensón temporal de los resultados (horzonte de evaluacón). Muchas veces la relacón causa-efecto entre los componentes del programa y los benefcos esperados puede ser dstnta dependendo del período que se estude. Es por esto que se reconoce la exstenca de resultados de corto, medano y largo plazo. El proceso de evaluacón debe nclur estos dstntos tpos de resultados e dentfcar el momento en que corresponde que éstos sean meddos y analzados. Resultados a nvel de producto Los productos se referen a resultados del programa a nvel de componentes y responden a preguntas como: Tuveron las actvdades realzadas los productos esperados, benefcando al grupo objetvo predefndo?, en qué magntud?. Es decr, en una línea de tempo corresponden al prmer tpo de resultados que debe generar un programa y al efecto más nmedato que tene la produccón de los componentes sobre la poblacón benefcara: famlas subsdadas, urgencas atenddas, textos escolares entregados, trabajadores capactados, etc. La caldad de los benes y servcos entregados por el programa tambén puede consderarse como un resultado a nvel de producto. En este punto convene dstngur, para fnes evaluatvos, entre la caldad objetva y la caldad subjetva. La prmera se refere a la caldad técnca de los benes y servcos entregados; por ejemplo: caldad pedagógca de los textos escolares, aporte calórco de las racones, tempo promedo y máxmo para la entrega de un servco, etc.; en tanto que, la segunda dce relacón con la percepcón que tenen los usuaros respecto al ben o servco recbdo; por ejemplo: porcentaje de aceptacón de las racones, grado de satsfaccón de los usuaros, etc. Resultados Intermedos Los resultados ntermedos corresponden al segundo tpo de resultados que se produce en una secuenca de tempo. Se referen a cambos en el 1 Por lo general las hpótess causa-efecto que maneja la gerenca son declaradas o se puede deducr de los objetvos del programa. 4

6 comportamento o acttud de los benefcaros o certfcacón o cambo en el estado de éstos, una vez que han recbdo los benes y servcos que entrega el programa. Ejemplos de este tpo de resultados son: porcentaje de jóvenes con acttud crítca frente a las drogas después de partcpar en talleres de sensblzacón, nnovacones organzaconales después de un programa de capactacón, agrcultores que están desarrollando nuevos cultvos después de acceder a transferenca tecnológca, alumnos egresados, medacones laborales extosas, etc. Resultados Fnales Los resultados fnales (mpacto) son resultados a nvel de propósto o fn del programa. Implcan un mejoramento sgnfcatvo y, en algunos casos, perdurable o sustentable en el tempo, en alguna de las condcones o característcas de la poblacón objetvo que se plantearon como esencales en la defncón del problema que do orgen al programa. Un resultado fnal suele expresarse como un benefco de medano y largo plazo obtendo por la poblacón atendda. En el caso en que la ntervencón del programa es una categoría de nversón en captal (físco, humano o socal 2 ), su benefco no debería desaparecer, al menos en el corto o medano plazo, s se deja de ejecutar o partcpar en el programa; por ejemplo: aumento en el nvel de remuneracones de los jóvenes capactados, aumento en la productvdad promedo de las terras manejadas y/o aumento en el nvel soco-económco de las famlas en un programa de asstenca técnca, reduccón de la tasa de rencdenca de jóvenes con problemas delctuales, etc La nfluenca de factores externos. Los resultados ntermedos son eventos, comportamentos y cambos en las condcones que ocurren como consecuenca drecta de la accón del programa y, por esa razón, su logro depende prncpalmente de factores nternos al programa, debdo a que las varables nvolucradas están por lo general bajo el control de la gerenca. Lo msmo puede afrmarse respecto de los resultados a nvel de producto. Los resultados a nvel de productos e ntermedos tenen dos ventajas desde el punto de vsta de la gestón del programa: generalmente ocurren antes que los resultados fnales y además son más vsbles y, por consguente más fácl su medcón y evaluacón. Por lo anteror, los resultados a nvel de productos e ntermedos consttuyen una mportante fuente de retroalmentacón sobre el desempeño del programa. Los resultados fnales en cambo, están más sujetos a la nfluenca de varables 2 En captal socal lo consttuyen las nsttucones, set de relacones, acttudes y valores que determnan las nterrelacones entre las personas, que contrbuyen al desarrollo económco y socal. El captal socal emerge cuando hay valores socales compartdos que sustentan relacones cotdanas, generando sentmentos de dentfcacón y pertenenca. 3 Para mayor nformacón respecto de la sustentabldad de los resultados del un programa ver documento Notas Técncas. Evaluacón de Programas. XII. Resultados Fnales o Impacto en sto web de la Dreccón de Presupuestos, Control de Gestón, publcacones. 5

7 externas, es decr, es más probable encontrar que este tpo de resultados además responden a varables que escapan al control de la gerenca del programa, tales como: comportamento general de la economía, cambos culturales, stuacones clmátcas o medoambentales, stuacón de los mercados nternos o externos, etc. No obstante, lo anteror no sgnfca que la nfluenca de los factores externos no pueda ser consderada en una evaluacón, puesto que exsten varas técncas que permten aslar y medr este tpo de efectos (ver punto 3.3. de este documento). Es mportante dstngur sn embargo, entre aquellos factores externos al programa que realmente están fuera del control de la gerenca y aquellos que medante la accón del programa pueden hacerse más controlables. Por ejemplo, el efecto sobre los resultados fnales de un programa que pueda tener la labor de otra agenca o programa públco, no podría consderarse un factor externo ncontrolable, puesto que bastaría generar los mecansmos de coordnacón necesaros con esas nsttucones para compatblzar o complementar el efecto sobre los resultados fnales. 3. Medcón y evaluacón de Resultados. 3.1 Medcón de los resultados a nvel de producto. La medcón y evaluacón de los resultados a nvel de producto se lleva a cabo prncpalmente medante técncas cuanttatvas 4. Lo más común es el uso de ndcadores de gestón o ndcadores de desempeño, que mden la evolucón de los nveles de produccón y/o de los atrbutos o característcas más relevantes de los benes o servcos entregados por el programa. La evaluacón de este tpo de resultados debe realzarse a partr de una defncón ampla de producto. Lo anteror mplca no lmtarse a lo netamente físco o productvo, sno que nclur dentro del concepto de ben o servco sus característcas o atrbutos más relevantes, por ejemplo: grado de aceptacón por parte de los benefcaros, satsfaccón de los usuaros, oportundad en la entrega, cobertura de la demanda potencal, grado de focalzacón efectva, etc. Para cada uno de los atrbutos o característcas del producto se debe generar nformacón que permta construr los ndcadores y evaluar los resultados a este nvel. Una vez que se cuenta con la base de ndcadores exsten varas posbldades de análss. La prmera alternatva es comparar el desempeño de la nsttucón respecto a sí msma. Una segunda posbldad es evaluar los resultados en funcón de las metas que se ha planteado el programa. Este tpo de análss, debe tener en cuenta que la 4 Aunque las varables nvolucradas sean de tpo cualtatvo. Ver punto

8 caldad de las conclusones y jucos evaluatvos que se puedan realzar, dependerá drectamente de la exstenca y pertnenca de dchas metas 5. Fnalmente, se pueden comparar los resultados del programa con estándares técncos o de caldad preestablecdos. Por ejemplo, en varas áreas del quehacer de los programas públcos, exsten estándares nternaconales para certos tpos de servcos (estándares de la OPS, normas ISO 9000, etc.). Por otra parte, un programa públco puede auto-mponerse estándares de caldad en funcón de las expectatvas de sus usuaros o benefcaros; para este fn, exsten mecansmos como la carta cudadana y otros smlares, medante los cuales el prestador garantza a sus usuaros certos nveles mínmos de caldad en los servcos entregados Medcón de los resultados ntermedos La medcón de resultados ntermedos apunta a evaluar los cambos en el comportamento de los benefcaros que se producen una vez que estos han utlzado y asmlado los componentes del programa. No mde los benefcos fnales alcanzados, puesto que éstos requeren un período de tempo mayor para ser logrados (resultados fnales), sno que más ben analza la adquscón de certas conductas, habldades o capacdades que presumblemente facltarán la generacón de los benefcos de largo plazo. No todos los programas públcos deben presentar resultados ntermedos. Es probable que exstan ncatvas que, por su naturaleza, solamente exhban resultados fnales y a nvel de productos, por ejemplo los proyectos de nfraestructura val, las campañas de vacunacón, etc. En térmnos generales, se esperan resultados ntermedos en los programas que mplcan la formacón de algún tpo de captal humano o socal, por ejemplo: los benefcaros de una obra de regadío están admnstrando adecuadamente las nuevas nstalacones?, los profesores están utlzando adecuadamente en sus clases los textos de estudo entregados a los estudantes?, los benefcaros de un programa de transferenca tecnológca están aplcando los conocmentos y las técncas adqurdas?, etc. La medcón de los resultados ntermedos mplca necesaramente ndagar, a nvel de los benefcaros efectvos, sí se han producdo los cambos de comportamento deseados, por está razón generalmente se requere utlzar técncas de nvestgacón de campo, tales como encuestas o nspeccones en terreno. Lo anteror no sgnfca que para la medcón de los resultados ntermedos no sea necesara la construccón de ndcadores de desempeño. La dferenca radca en que en el caso de los resultados a nvel de producto los ndcadores 5 La pertnenca de las metas se refere a que éstas, para que sean buenos referentes en el proceso de evaluacón, deben ser un fel reflejo de los objetvos que persgue el programa. Además, deben ser exgentes en el sentdo de representar mejoramentos sgnfcatvos en los factores evaluados y, a la vez, ser lo sufcentemente realstas como para que puedan ser logradas con los recursos con que cuenta el programa. 7

9 serán cuantfcados prncpalmente en base a nformacón exstente en el programa, mentras que en caso de los resultados ntermedos, en algunos casos se requerrá del uso de nstrumentos de recoleccón de nformacón que no forman parte del proceso regular de recoleccón de nformacón que maneja el programa Medcón de resultados fnales 7. La medcón de resultados fnales o mpacto debe establecer en prmer lugar cuales son los efectos de medano y largo plazo sobre la poblacón benefcara que espera obtener el programa. Cuáles son los benefcos con que quedará la poblacón benefcara una vez que concluya su partcpacón en el programa?, por ejemplo: ncremento en el nvel de remuneracones de trabajadores capactados, reduccón de la tasa de morbldad de menores benefcados con un programa de vacunacón, aumento del rendmento escolar de los alumnos de escuelas partcpantes en un programa de reforzamento educatvo, etc. Lo anteror mplca dentfcar y separar los benefcos logrados como consecuenca de la ntervencón del programa, de aquellos que de todas maneras huberan ocurrdo sn la ejecucón de éste, por efecto de la evolucón normal de las condcones del entorno o la accón de otros programas públcos o prvados. Para ello, en prmer lugar, corresponderá dentfcar la(s) varable(s) que deben ser meddas para determnar sí el programa ha generado realmente los benefcos o resultados fnales o mpacto esperados. De este modo, el mpacto del programa corresponde a la dferenca en la varable resultado (Y) que regstra el ndvduo con y sn la ntervencón del programa. α = Y Y 1 0 (1) Donde α es el mpacto del programa (tratamento) sobre la persona, Y 0 es resultado potencal que regstraría el ndvduo sn el tratamento, e Y 1 es el resultado potencal que regstraría el ndvduo con el tratamento. Lamentablemente no es posble observar Y 0 e Y 1 para un msmo ndvduo en un momento del tempo, es decr, un ndvduo en un momento del tempo puede presentar sólo uno de los dos estados posbles, ntervencón en el programa (tratamento) o no ntervencón en el programa. Esto es conocdo como el problema fundamental de dentfcacón. Una solucón a este problema sería medr el mpacto esperado o promedo del 6 Para mayor nformacón respecto de la construccón y uso de ndcadores de desempeño ver documento Notas Técncas. Evaluacón de Programas. IX. Indcadores de Desempeño en sto web de la Dreccón de Presupuestos, Control de Gestón, publcacones. 7 Las metodologías de estmacón de resultados fnales aquí descrtas pueden ser tambén váldas para la estmacón de los resultados ntermedos de un programa, s corresponde al tpo de resultados ntermedos esperados que permte aplcar estas herramentas. 8

10 programa sobre el conjunto de los ndvduos: [ ] α = E Y 1 Y 0 (2) Donde α es el mpacto promedo del programa (Average Treatment Effect (ATE)), Y1 es el resultado potencal, con posterordad a la ntervencón del programa, de los ndvduos que han partcpado en dcho programa; e Y0 es la varable resultado, con posterordad a la ntervencón del programa, de los ndvduos que no han partcpado en el programa, es decr [ D = 1] E[ Y D = 0] = E[ Y D = 1] E[ Y D = 0] = E[ Y Y ] + { E[ Y D = 1] E[ Y D 0]} E Y = Donde, D = 1 s el ndvduo ha partcpado en el programa (es decr, recbe tratamento), y D = 0 de lo contraro. El últmo térmno de la ecuacón anteror probablemente no será gual a cero debdo a la exstenca de sesgo de seleccón, es decr, la seleccón de ndvduos que partcpan en el programa responde a certos crteros de focalzacón u otros. Por ejemplo, en general los benefcaros de un programa de capactacón poseen ngresos menores antes de la capactacón que aquellos ndvduos que no partcpan del programa. Lo anteror posblemente mplca que, en ausenca del programa, los ngresos potencales de los benefcaros serían menores a los de los no benefcaros en el msmo período E Y D = 1 E Y D 0 < 0). ( [ ] [ ] 0 1 = Para resolver el problema ocasonado por la exstenca de sesgo de seleccón, y por ende, aslar los efectos que sobre la varable resultado (Y) tenen factores externos al programa, se requere que la seleccón de ndvduos benefcaros del programa sea ndependente de sus resultados potencales. El cumplmento de esta condcón mplca que E [ Y0 D = 1] = E[ Y0 D = 0], y por lo tanto, el resultado promedo o mpacto esperado del programa (tratamento) será: [ Y Y ] = E[ Y Y D = 1] = E[ Y D = 1] E[ Y D 0] E (4) = Para que se cumpla la condcón de ndependenca, se requere de la seleccón aleatora de los ndvduos que se benefcen del programa, lo cual se conoce como dseño expermental o aleatoro. Dseño expermental o aleatoro Es consderada la metodología de evaluacón técncamente más robusta y consste en la seleccón aleatora de los benefcaros dentro de un grupo de ndvduos elegbles, el proceso de asgnacón aleatora de las ntervencones o servcos del programa crea dos grupos estadístcamente déntcos entre sí, uno que partcpa en el programa (grupo de tratamento, D = 1) y otro que, cumplendo todas las condcones para partcpar, está fuera de él (grupo de (3) 9

11 control 8, D = 0). La medcón de mpacto consste entonces en cuantfcar, una vez transcurrdo el tempo pertnente de ntervencón del programa, la(s) varable(s) de mpacto, tanto para el grupo de tratamento como para el grupo de control en ambos smultáneamente y para el msmo período de tempo para luego analzar las dferencas que exsten entre ambos. En térmnos operatvos, esta medcón se puede hacer sobre muestras estadístcamente representatvas de ambos grupos, y calcular el mpacto promedo del programa sobre una varable resultado (Y). La asgnacón aleatora de los benefcos es la prncpal ventaja de este método, debdo a su fortaleza estadístca. Esta se derva de la asgnacón, que reparte entre ambos grupos el posble efecto que puderan tener sobre los resultados del programa las varables externas y las característcas de los benefcaros. Lo anteror mplca una gran facldad para nterpretar los resultados de las evaluacones, puesto que se puede estmar el mpacto de un programa medante una smple dferenca de medas (para la o las varables de resultado relevantes) entre el grupo de control y el grupo de tratamento. 1 1 α ˆ = Y Y (5) n 1 D = 1 n 0 D= 0 Donde, n 1 es el número de ndvduos en el grupo tratamento y n 0 el número de ndvduos en el grupo control. Desde el punto de vsta metodológco, la prncpal dstorsón provene de los posbles cambos que expermente el grupo de control durante el período de evaluacón. Por ejemplo, algunos de sus membros pueden abandonar el área geográfca durante ese lapso; en este caso y smlares, se habla de grupos de control contamnados, lo cual no nvalda la metodología. La prncpal desventaja del dseño expermental es de orden práctco y no metodológco, y se refere a la vabldad polítca de exclur de la cobertura de un programa, aleatoramente, a un grupo de benefcaros elegbles y, que como tales, necestan los servcos del programa. En la práctca, muchos programas entregan los servcos del programa dferdos en el tempo a dstntos grupos de benefcaros selecconados aleatoramente. En este caso el grupo de control es el grupo de benefcaros que aún no ha partcpado en el programa y el grupo de tratamento es el grupo que ha recbdo los benefcos. 8 Un grupo de control es báscamente un segmento de no benefcaros que son parte de la poblacón objetvo, es decr, un grupo que comparte las característcas socales, económcas, educaconales, etc. del grupo benefcaro. La únca dferenca entre los ndvduos del grupo de control y los benefcaros efectvos es su partcpacón en el programa. 10

12 Por últmo, se debe tener presente que un dseño expermental es una técnca muy ntensva en tempo. La postergacón de los resultados de la evaluacón dependerá del tempo que se estme pertnente para que un programa produzca mpactos en la poblacón benefcara, lo que en general sgnfca planfcar una evaluacón con varos años de antcpacón. Dseño Cuas-Expermental Por lo general la seleccón de los benefcaros de un programa no es aleatora. Por el contraro, su seleccón se basa en la aplcacón de crteros de elegbldad y focalzacón que establecen dferencas, tanto observables como no observables 9, entre éstos (grupo de tratamento) y los no-benefcaros (grupo control). Esto sgnfca que el mpacto del programa no podrá ser estmado a través de la smple dferenca de medas entre la varable resultado del grupo de tratamento y el grupo control (ecuacón 5), ya que las dferentes característcas observables y no observables de los benefcaros y no benefcaros mplcará la exstenca de sesgo de seleccón y por ende, E [ Y0 D = 1] E[ Y0 D = 0], la medcón del mpacto del programa resultará sesgada. Dependendo de la magntud y el sgno del sesgo, se puede llegar a subestmar o sobrestmar el mpacto de un programa. En el extremo, se pueden evaluar postvamente los resultados fnales de una ntervencón cuando éstos son negatvos o vceversa. Lo anteror puede ser soluconado a través de un dseño cuas-expermental, que permta controlar por las dstntas característcas que posee el grupo de benefcaros del programa (tratamento) respecto de los no benefcaros (grupo control) que pudesen afectar el resultado o mpacto del programa. Exsten varas alternatvas metodológcas, pero todas concden en ntentar smular las condcones de un dseño expermental a partr de bases de datos de benefcaros y no-benefcaros y usando avanzadas técncas estadístcas. Se aplcan una vez que la ntervencón del programa ya tuvo lugar, es decr una vez que se selecconaron los benefcaros del programa usando métodos no aleatoros. Por esta razón, en un dseño cuas-expermental los grupos de control y tratamento no son guales entre sí y, por lo tanto, el corazón de esta metodología de evaluacón consste en aplcar sofstcados controles estadístcos para elmnar o mnmzar estas dferencas. 9 Las dferencas observables provene de la aplcacón de los propos crteros de seleccón y focalzacón aplcados por el programa, puesto que al concentrar las ntervencones sobre la poblacón que presenta en mayor magntud el problema o es de más alto resgo, se dstorsona cualquer comparacón posteror entre los grupos de benefcaros y no benefcaros. Las dferencas no observables son todas aquellas característcas de la poblacón que afectan su partcpacón en el programa, pero para las cuales no se cuenta con nformacón (habldad ndvdual, voluntad de partcpar y en general procesos subjetvos y no formales que determnan que una persona acceda a los benefcos del programa). 11

13 Lo anteror mplca la construccón de dos escenaros. Un escenaro sn programa o contrafactual y un escenaro con programa. La construccón del contrafactual se logra a través de un grupo de control formado por ndvduos, guales o muy parecdos a los benefcaros, y cuya únca dferenca con éstos sea no haber partcpado en el programa. De este modo se busca responder lo más certeramente posble a la pregunta: Cuál sería la stuacón actual de estos benefcaros s no huberan partcpado en el programa?, comparando los resultados fnales del programa en los benefcaros con respecto al grupo de control, de modo de calcular el efecto neto o mpacto atrbuble al programa, lmpo del efectos de otros factores externos al programa. Una condcón necesara para el desarrollo de un dseño cuas-expermental, es la exstenca de una base de datos (o varas bases que permtan formar una común) de benefcaros y no-benefcaros, que contenga para ambos grupos nformacón sobre los crteros de elegbldad del programa (por ejemplo: condcón socoeconómca, tamaño de la famla, escolardad, ubcacón geográfca o cualquer otra característca que se haya utlzado para selecconar a los benefcaros) e nformacón sobre las varables que permtrán medr los resultados fnales o mpactos esperados de la ntervencón (por ejemplo: nvel de ngresos, condcón laboral, nvel de salud, etc.). Una vez construdos los grupos control y de tratamento, y tenendo observacones de las varables de resultados y las varables que caracterzan al ndvduo y su entorno en dos momentos del tempo (antes y después de la ntervencón del programa), por lo general se cuantfcará el mpacto del programa a través de la estmacón econométrca del sguente modelo, donde el estmador del parámetro α ( αˆ ) corresponde al mpacto del programa: Y t β1 + β2tr + β3pe + α(tr * Pe ) + X t * = γ + ε (6) t Donde, Y t = varable resultado para el ndvduo en el período t. TR = varable gual a 1 s ndvduo pertenece al grupo de tratamento y 0 s pertenece al grupo control. Pe = varable gual a 1 s el dato de la varable resultado para el ndvduo pertenece al período post-programa y 0 de lo contraro. X = conjunto de varables que caracterzan la ndvduo y su entorno. t ε = térmno de error aleatoro t La estmacón de modelo de la ecuacón (6) es lo que se conoce como método de doble dferenca, donde el mpacto promedo del programa (ATE) se estma prmero mdendo el cambo en las varables de resultado expermentado por cada grupo, o más precsamente por sus muestras, entre la línea base y la encuesta de segumento (prmera dferenca), y luego comparando el cambo 12

14 mostrado por el grupo de benefcaros con el regstrado en el grupo de nobenefcaros (segunda dferenca). Este es el método técncamente más robusto puesto que elmna el efecto de característcas no observables que afectan la seleccón de los benefcaros (por ejemplo habldad, motvacón, etc) y, por lo tanto es una forma más robusta de tratar el sesgo de seleccón 10. No obstante, es el más exgente en térmnos de nformacón puesto que los estudos de línea de base no son muy comunes y los estudos de segumento, por lo general, enfrentan el problema de que es dfícl localzar a los ndvduos de la muestra orgnal, especalmente en el caso de los no benefcaros. Otro método utlzado para la medcón de mpacto de un programa, es el método de matchng de datos, que corrge las dferencas observables entre el grupo de tratamento (benefcaros del programa) y el grupo de control (no benefcaros), buscando para cada ndvduo de la muestra del grupo de tratamento el más parecdo de la muestra del grupo de control. La aplcacón de este método requere nformacón de corte transversal para ambos grupos, que ncluya las varables que se utlzaron para selecconar a los partcpantes del programa y las varables de resultado relevantes. Se necesta por general una base de datos ampla como la obtenda de una encuesta de carácter naconal (CASEN, Censo Agropecuaro, Encuesta de Ingresos Famlares, etc.). El más conocdo de estos métodos es el Propensty Score Matchng, que consste en modelar estadístcamente la partcpacón en el programa (varable P en la ecuacón 7) y luego calcular para los ndvduos de ambas muestras, tanto la de del grupo de tratamento como la del grupo de comparacón, la probabldad de partcpar en el programa dadas sus característcas de elegbldad (pobreza, educacón, tamaño de la famla y cualquer otro crtero de seleccón del programa para el cual se cuente con nformacón). P = φ + δ + υ (7) X Donde: P : es gual a 1 s el ndvduo partcpa en el programa y 0 de lo contraro. X : son las varables afectan la partcpacón en el programa. υ : es un térmno de error aleatoro Al estmar el modelo de la ecuacón 7 se obtene para cada ndvduo de la muestra un score que refleja su probabldad condconal de partcpar en el programa. Luego para cada uno de los benefcaros se busca al o los nobenefcaros con un score más cercano, se calculan para ambos el valor 10 El supuesto básco aquí es que las varables para las cuales no se cuenta con nformacón no han cambado su patrón de comportamento durante el período bajo estudo (antes y después de la ntervencón del programa). 13

15 esperado de las varables de resultado (valor esperado de Y) y se utlza la dferenca entre ambos valores como una estmacón del mpacto del programa. La prncpal ventaja de este método es que permte hacer evaluacones de mpacto una vez que el programa ya está en marcha y usando nformacón de corte transversal (sngle cross secton data), por lo cual, s se cuenta con la nformacón apropada, se pueden obtener medcones de mpacto en tempos relatvamente cortos. Metodológcamente es robusta puesto que permte elmnar el sesgo causado por las dferencas observables, aunque no solucona el sesgo de seleccón causado por las dferencas no observables. Para abordar el sesgo dervado de las característcas no observables, en estudos que cuentan con nformacón de corte transversal, generalmente se utlzan varables nstrumentales. Antes de explcar esta técnca, convene entender las mplcancas estadístcas del sesgo no observable. Como se planteó anterormente, este sesgo se derva de la exstenca de factores que afectan la partcpacón en el programa (P ) y que el nvestgador desconoce, por ejemplo dsposcón a partcpar en el programa de capactacón por parte de ndvduos de mayor habldad. En térmnos estadístcos lo anteror mplca que en la ecuacón: Y = ϕ + µ (8) λ1 + λ 2TR + X * El térmno de error µ contene varables no especfcadas en la matrz X que afectan la partcpacón en el programa (P ). Para corregr este sesgo se necesta utlzar el valor estmado de P, de acuerdo a la expresón 7, pero ncluyendo una varable Z que determne la partcpacón en el programa, pero que no tenga ncdenca en los resultados del msmo. Es decr, una varable que no este en X y que no este correlaconada con el térmno de error µ. Esta varable es la denomnada varable nstrumental y su efecto es que permte a P varar ndependentemente de µ, elmnando la causa del sesgo. Las ventajas de esta opcón son evdentes, sí se cuenta con una buena varable nstrumental y se aplcan paralelamente técncas que permtan elmnar el sesgo observable - se puede, a partr de nformacón de corte transversal, obtener una estmacón nsesgada del mpacto de un programa. Lamentablemente, en la práctca, los estudos de mpacto por lo general enfrentan restrccones de nformacón. Fnalmente, cabe destacar que ndependentemente del método que se utlce, la valdez de los resultados obtendos por medo de herramentas cuanttatvas dependerá de la caldad de la nformacón con que se cuente. 14

16 Heterogenedad en el Impacto de un programa La generacón de un grupo de control (escenaro contrafactual) y de un grupo de tratamento generalmente se utlza para estmar el mpacto promedo sobre la poblacón de benefcaros, sn embargo tambén pueden ser utlzados para ndagar respecto de la heterogenedad de efectos causales del programa para dstntos sub-grupos de la muestra. La estmacón del mpacto promedo de un programa pudese sgnfcar promedar mpactos postvos y negatvos de sub-grupos de la poblacón benefcara, no permtendo, en ocasones, observar mpactos de dstnto sgnos para subgrupos de la muestra. Obvar la posble heterogenedad en resultados mpde conocer s exsten sub conjuntos de hogares o personas que pueden estar sendo perjudcados por el programa, cuando el resto de los benefcaros goza de los resultados postvos de éste. Las dos metodologías más utlzadas para evaluar la posble heterogenedad de resultados de un programa sobre una poblacón de benefcaros son el Quantl Treatment Effect (QTE) y el Margnal Treatment Effect (MTE). Quantl Treatment Effect (QTE): El QTE para un percentl p se estma como la dferenca sobre la condcón de tratamento entre el percentl p de la dstrbucón de tratados con el msmo percentl de aquellos no tratados. Por ejemplo, s se toma la medana de la dstrbucón del grupo tratado y se le resta la medana de la dstrbucón del grupo de control, se tene el QTE en el percentl 0.5. Los demás QTE para otros percentles se estman análogamente. Los QTE son característcas de las dstrbucones de probabldades margnales F 0 ( y) y F 1( y ). Para la asgnacón de tratamento t, el percentl p de la dstrbucón F t está defndo como y p ( t) nf{ y : Ft ( y) p}. El efecto causal para el percentl p es de p = y p ( 1) y p (0). En térmnos ntutvos, la técnca de QTE es equvalente a una estmacón ATE para cada uno de los percentles de la dstrbucón, pero estmada a través de una funcón no paramétrca. S ben la estmacón del efecto causal QTE es bastante smple, no es posble decr lo msmo con respecto a la estmacón de la matrz de varanzacovaranza de los parámetros estmados. Por el hecho de que se estman efectos causales para pequeños grupos de la muestra total, el número de datos de la estmacón se reduce especalmente en las colas de la dstrbucón. Además, producto de que es posble que hayan efectos con sgnos dferentes en dstntos tramos de la dstrbucón de la varable evaluada, tambén es posble que exstan cambos en el rankng de ndvduos tratados. Esto se traduce en que la estmacón puede estar computando resultados de percentles con característcas dferentes entre grupo de control y de tratamento, ndependentemente de que las muestras 15

17 totales de grupo de control y tratamento sea estadístcamente comparables 11. Estos dos fenómenos se traducen en la necesdad de estmar errores estándar medante métodos de smulacón numérca, tales como bootstrap. El método de bootstrap asume que la muestra observada es la poblaconal y medante una teracón de muestreo aproxma las propedades de muestras pequeñas de cada percentl, permtendo realzar nferenca estadístca confable a través del uso de ntervalos de confanza. Es mportante consderar que el nvel de desagregacón (subgrupos) de los benefcaros para la estmacón del efecto causal dependerá de la cantdad de datos de la muestra orgnal. Mentras menos datos exstan, menor es el grado de heterogenedad posble de analzar, dado los requstos mínmos de grados de lbertad necesaros para la obtencón de estmacones mínmamente precsas. En el caso de muestras pequeñas, puede que solamente sea posble estmar por decles o quntles. Margnal Treatment Effect (MTE): Otra forma de medr la heterogenedad del efecto causal de un programa es medante la estmacón Margnal Treatment Effect. A dferenca del QTE, esta metodología no estma una funcón para toda la dstrbucón sno que estma parámetros para percentles. Consderando el modelo de potencales resultados: Y = Xβ U, Y = Xβ U, * D = Zθ + U D, sendo las dos prmeras especfcacones ecuacones de resultado en dos posbles estados 12, y donde la tercera especfcacón es la regla de decsón 13, el parámetro MTE mde el efecto causal para ndvduos con un valor dado de D U, D D MTE ( x, u ) = E( / X = x, U = u 1 2 = x( β β ) + E( U 1 2 = x( β β ) + E( U 1 1 U U 0 0 / U / U D D = u = u D D ) D, X ) = x) 11 La asgnacón del tratamento haya sdo aleatora. 12 Superíndce 1 representa el estado tratamento y 0 representa el estado sn tratamento. 13 D ( Z ) denota la decsón observable de tratamento, donde D ( Z ) = 1 denota el estado de * tratamento y D ( Z ) = 0 denota la stuacón sn tratamento. La varable D es una varable latente que genera D ( Z ) de acuerdo a la sguente regla: D D D( Z ) = 1[ D * ( Z ) 0] = 1[ Zθ + U 0] donde U es el determnante no observable de la decsón. 16

18 D La evaluacón del parámetro MTE a valores bajos de u 14 entrega el mpacto promedo para aquellos con valores de no observables que los hacen poco probables de recbr el tratamento, mentras que la evaluacón del parámetro MTE a valores altos de u D es la gananca para aquellos ndvduos con no observables que les dan la mayor probabldad de partcpar Uso de Instrumentos Cualtatvos. Las herramentas cualtatvas en una evaluacón de mpacto se utlzan prncpalmente para entender e ncorporar la vsón de los benefcaros en la evaluacón, partendo de la base de que un msmo servco puede ser valorado de manera dstnta dependendo de la percepcón que de este tengan los benefcaros. Las herramentas cualtatvas son más apropadas para entender y evaluar los procesos socales que rodean la mplementacón de un programa (conflctos susctados en torno al programa, razones por las cuales los benefcaros no usan los servcos ofrecdos) o comportamentos organzaconales (cultura, clma organzaconal). Ejemplos de herramentas cualtatvas son métodos tales como la evaluacón partcpatva técnca en la que se ncorpora a los benefcaros en el dseño, la ejecucón y la evaluacón de un programa -, los focus group y las entrevstas a nformantes clave. Las prncpales ventajas de las técncas cualtatvas son su flexbldad, su rapdez en la recoleccón y procesamento de la nformacón y su capacdad para mejorar las conclusones de una evaluacón medante el aporte de un conocmento más precso de las prordades y las percepcones del usuaro. Sus prncpales desventajas son la subjetvdad envuelta en la recoleccón de nformacón y su carenca de representatvdad estadístca, la cual se traduce en una lmtacón para generalzar las conclusones de este tpo de análss a toda la poblacón benefcara Integrando herramentas cuanttatvas y cualtatvas en una evaluacón de mpacto. Del análss de las característcas de las herramentas cualtatvas se deduce que estas, por s solas, no permten obtener conclusones sobre los mpactos del programa. No obstante, su ntegracón con herramentas cuanttatvas 14 D Los valores de u son teórcos dado que por defncón el térmno de error es no observado por el nvestgacón. En la práctca la estmacón margnal se realza para sub grupos de la dstrbucón ordenados según su probabldad de partcpar (equvalente al propensty score). Se asume que el grupo margnal es aquel que está ndferente entre partcpar y no partcpar condconal a su u D, es decr, en el margen se cumple que u D = Zθ, donde Zθ es el propensty score del grupo margnal. Para una revsón más detallada de la metodología MTE ver Heckman, Tobías y Vytlacl

19 puede enrquecer de manera mportante los resultados de una evaluacón de mpacto. Una prmera manera de ntegrar estas herramentas en una evaluacón es en la etapa de dseño de los cuestonaros, puesto que un estudo cualtatvo, por ejemplo un focus group, puede ayudar a precsar las preguntas relevantes. Una segunda forma de ntegracón es en la etapa fnal del estudo, cuando hay resultados del análss estadístco que necestan ser nterpretados o chequeados por el nvestgador. En este caso volver a terreno y llevar a cabo entrevstas más focalzadas a los benefcaros puede aportar mportante nformacón nterpretatva. 4. Medcón de la efcenca y economía de un programa. Evaluar la efcenca de un programa consste en realzar un juco técncamente váldo acerca de sí los recursos que dcho programa tene a su dsposcón están sendo maxmzados: Se está alcanzando el nvel actual de produccón de los componentes al mínmo gasto posble o utlzando la menor cantdad de nsumos posble (físcos o humanos)?, o alternatvamente, Con el presupuesto vgente se está logrando el máxmo nvel de produccón de los componentes? Por otra parte, se requere analzar la economía en el manejo de los recursos del programa, es decr, la capacdad de la gerenca para admnstrar adecuadamente los recursos presupuestaros, para atraer recursos de otras fuentes y para abordar una eventual recuperacón de costos del programa, s corresponde. 4.1 Cuantfcacón de los gastos y costos 15 relevantes 16. El prmer paso en esta dreccón consste en la dentfcacón y cuantfcacón de todos los gastos y costos relevantes del programas. a) Costos de Produccón de Componentes Corresponden a los gastos drectamente asocados a la produccón de los componentes (benes y/o servcos) que entrega el programa a sus usuaros o benefcaros (gasto becas, monto subsdos, preco de racones almentcas, remuneracones del personal que labora drectamente en la entrega de los servcos, etc.). Costos Fnanceros Corresponden a los gastos del programa que tenen una expresón monetara. En este sentdo, se solcta calcular el gasto devengado 17 más los desembolsos 15 Los térmnos costo y gasto se usan ndstntamente. 16 Para mayor nformacón respecto de la cuantfcacón de costos del programa ver documento Notas Técncas. Evaluacón de Programas. Capítulo VII. Conceptualzacón de Antecedentes Presupuestaros y de Costos, en sto web de la Dreccón de Presupuestos, Control de Gestón, publcacones; y Anexo Informacón Fnancera. 18

20 no contemplados en la Ley de Presupuestos devengados por otras nsttucones públcas, prvadas, o los msmos benefcaros. Se debe tener cudado en computar todos los costos fnanceros que afectan el presupuesto públco, puesto que en muchos casos parte de los gastos de un programa no aparecen en su asgnacón presupuestara sno en otros concepto de gasto de la nsttucón responsable de su admnstracón 18. Ejemplo de esto son programas que son co-ejecutados por más de una nsttucón públca, o en programas que son admnstrados por el nvel central pero devengados por nstancas regonales o locales, las que por lo general absorben parte de los gastos de funconamento. Lo msmo puede aplcarse respecto de aquellos gastos en que deben ncurrr los benefcaros para acceder a los benes y servcos que genera el programa. Por ejemplo, un programa de capactacón de trabajadores, debera consderar entre sus costos fnanceros, el gasto en movlzacón que realzan los benefcaros para llegar al lugar donde se mparte la capactacón 19. Costos no fnanceros Los costos no fnanceros son gastos que no tenen una expresón monetara, debdo a que no representan desembolsos y por ende no afectan el flujo de caja del programa, tal es el caso de la deprecacón de los vehículos, de las ofcnas y del resto de las nstalacones, y el valor del tempo que los trabajadores ocupan en trasladarse al lugar donde se mparte la capactacón. Otro ejemplo en este tpo de costos, dce relacón con el costo de oportundad del patrmono fscal. Por lo general los análss de efcenca que se realzan en el sector públco no toman en cuenta que los fondos fscales tenen un costo de oportundad fnancero (la tasa de nterés que podrían estar ganando s se mantuveran en algún nstrumento del mercado de captales) o que los benes nmuebles fscales que se traspasan a partculares tenen un costo alternatvo, puesto que podrían ser tasados y venddos como cualquer otro nmueble. b) Gastos de Admnstracón del Programa 20 Los gastos de admnstracón de un programa pueden defnrse como todos aquellos desembolsos fnanceros que están relaconados con la generacón de los servcos de apoyo a la produccón de los componentes del programa. Los gastos de admnstracón de un programa pueden tener un componente fjo y otro varable. Ejemplo de los prmeros son las nversones necesaras para el 17 Gasto devengado corresponde a todas las oblgacones en el momento que se generen, ndependentemente de que éstas hayan sdo o no pagadas (Fuente: Normatva del Sstema de Contabldad General de la Nacón - Ofco C.G.R. N , de 2005). 18 Otro concepto de gasto de acuerdo con la clasfcacón presupuestara. 20 Para mayor nformacón respecto de los costos admnstratvos del programa ver documento Notas Técncas. Evaluacón de Programas. Capítulo IX. Conceptualzacón de los Costos de Admnstracón del Programa, en sto web de la Dreccón de Presupuestos, Control de Gestón, publcacones; y Anexo Informacón Fnancera. 19

21 funconamento del programa: vehículos, ofcnas, computadores, moblaro y, en general, todos aquellos gastos que, en el corto plazo, ocurrrán ndependentemente del nvel de produccón de los componentes. El componente varable de los gastos de admnstracón puede estar asocado a la ejecucón de actvdades de supervsón (vátcos, pasajes), dfusón y promocón, seleccón de benefcaros y, en general, todos aquellos gastos que aumentan cuando se ncrementa el nvel de produccón de los componentes o vceversa. En general dentro de un programa es más fácl dentfcar y calcular los gastos drectamente asocados a la generacón de los componentes. Una manera práctca de aproxmarse a estmar los gastos admnstratvos consste en hacer una buena estmacón del costo de produccón de los componentes y consderar el gasto admnstratvo como el complemento del prmero (el monto que falta para llegar a los costos totales). Los gastos admnstratvos por lo general tenen una expresón fnancera, es decr, se materalzan en un desembolso de carácter monetaro. Lo mportante es tener en cuenta que no necesaramente todos los gastos admnstratvos de un programa están ncludos en su presupuesto. Es común, por ejemplo, que parte de los gastos de admnstracón se realcen con cargo a clasfcacones presupuestaras más amplas y dstntas a la del programa. Tambén es frecuente que se traspase una parte mportante de los gastos de admnstracón a las nstancas locales y/o regonales, según la modaldad de ejecucón. Ante stuacones como las descrtas anterormente, se vuelve necesaro realzar estmacones de los gastos admnstratvos en base a nformacón entregada por la gerenca del programa. Lo anteror no sempre es fácl de realzar, en ocasones, por ejemplo, el personal admnstratvo presta apoyo a más de un programa de la nsttucón responsable. En tal caso, una estmacón adecuada debe apuntar a determnar el porcentaje de la jornada que este personal destna al programa, y ponderar las remuneracones respectvas para obtener una buena aproxmacón a los gastos en personal. c) Externaldades. La ejecucón de algunos programas genera lo que en térmnos económcos se conoce como externaldades. Estas externaldades pueden ser postvas (benefcos) o negatvas (costos), y afectan a personas o grupos que no están nvolucrados en el programa, es decr, al resto de la socedad. Por ejemplo: un programa destnado a reducr la prevalenca de una enfermedad contagosa, representa una externaldad postva para toda la poblacón, puesto que reduce el resgo de contraer la enfermedad; mentras que un programa que fomenta el desarrollo forestal sobre la base de la plantacón de las especes más rentables, puede mplcar una externaldad negatva s es que se traduce en una reduccón de la superfce de bosque natvo. Una evaluacón en profunddad debe dentfcar, y sí es del caso ncorporar, las externaldades negatvas más relevantes en el análss de los costos del programa y las externaldades postvas por el lado de los benefcos. 20