EVALUACIÓN EN COOPERACIÓN INTERNACIONAL UNA PROPUESTA METODOLÓGICA PARA UNA COOPERACIÓN TRANSFORMADORA

Transcripción

1 EVALUACIÓN EN COOPERACIÓN INTERNACIONAL UNA PROPUESTA METODOLÓGICA PARA UNA COOPERACIÓN TRANSFORMADORA Jrdi Gascón y Girgi Msangini Cl lectiu d'estudis sbre Cperació i Desenvlupament Barcelna

2 Índice INTRODUCCION 1. ELEMENTOS METODOLÓGICOS 1.1 La Evaluación: Cncept y funcines 1.2 Criteris de evaluación Pertinencia Eficacia Eficiencia Viabilidad Impact Cbertura Y la innvación? Ls criteris de evaluación en intervencines experimentales cn cmpnentes experimentales 1.3 Enfque de evaluación Factres cnsiderads para establecer el enfque de evaluación Tips de evaluación más adecuads atendiend a la fase del cicl del pryect en que se realiza Tips de evaluación más adecuads atendiend el element a evaluar 2. GESTION DE LA EVALUACIÓN 2.1 El cicl de la evaluación Fases del cicl de evaluación Actres invlucrads en el cicl de evaluación 2.2 Términs de referencia 2.3 Infrme final y resumen ejecutiv de la evaluación 3. ANEXO: El criteri de cbertura en el mdel de evaluación del EML BIBLIOGRAFÍA 2

3 INTRODUCCIÓN La Evaluación es un instrument fundamental en las plíticas de cperación. Establecer una Metdlgía para el us de este instrument asegura que el trabaj de ls/las evaluadres/as está crdinad y se adecua a las características y bjetivs de la institución u rganización que l utiliza. Sin este marc de referencia, existe el riesg de que las evaluacines se hagan sin criteris cmunes y bjetivs clars, y resultad de ell, pierdan parte de su efectividad e interés. Es pr ell que el Cl lectiu d'estudis sbre Cperació i Desenvlupament se planteó cm una necesidad marcar uns principis rectres a las evaluacines que realiza pueda realizar en el ámbit de la cperación internacinal. Este marc de referencia que es la presente metdlgía tiene ds bjetivs: a. cnvertirse en una herramienta útil en favr de una cperación transfrmadra, entendiend ésta cm la cperación centrada en el acmpañamient de prpuestas endógenas, el frtalecimient de la sciedad civil, la demcratización participativa de las institucines públicas y la defensa de ls derechs humans 1 para cmbatir las estructuras generadras de desigualdades b. ser una herramienta de aprendizaje que favrezca la mejra de la calidad de la cperación pública y n gubernamental Buscand ests bjetivs, la presente metdlgía presenta algunas especificidades en alguns elements que es precis cnsiderar: En relación al enfque de evaluación N cualquier enfque tip de evaluación es el más aprpiad a las líneas de trabaj de cada entidad u rganism. Depende de ls bjetivs prgramátics, sectres pririzads instruments de cperación de ls que se dte esa entidad u rganism, entre trs psibles factres. Per además, hay que cnsiderar un prblema que surge pr la acumulación de evaluacines realizadas. La elección de enfques de evaluación de carácter cmparativ puede facilitar la gestión de tda esta infrmación, cm verems más adelante. En relación al mdel de evaluación El mdel de evaluación prpuest pr la Organización para la Cperación y el Desarrll Ecnómic (OCDE) a través de su Cmité de Ayuda al Desarrll (CAD), basad en una serie de cmpnentes agrupads cm Criteris, es el más generalizad entre ls rganisms públics y entidades privadas que se dedican a la cperación para el desarrll. Sin embarg, es un mdel ampli de referencia 1 Se entiende pr derechs humans un td indivisible e interdependiente que cmprende ls derechs civiles y plítics (primera generación), ls ecnómics, sciales y culturales (segunda generación) y ls de tercera generación. 3

4 que es precis adecuar a las características, priridades y bjetivs de cada entidad y evaluación. Pr tra parte, al mdel del CAD se le retrae que, si bien permite evaluar crrectamente aquells elements que cnsidera, hay trs que n valra suficientemente que pueden quedar sin ser evaluads. Éste es el cas de la distribución de ls beneficis entre la pblación destinataria. Exceptuand el element de géner, señalad pr el CAD cm un factr de desarrll y cnsiderad cm priritari pr la mayr parte de ls actres de la cperación, el mdel tiende a tratar la pblación destinataria cm un td hmgéne, sin valrar ls diferentes factres de diferenciación que pueden afectar en la distribución de ls beneficis de la intervención. La presente Metdlgía cnsidera este element añadiend a ls criteris tradicinales establecid pr el CAD el criteri de cbertura, al que se define cm aquél que evalúa si una intervención ha llegad a tda la pblación meta y, si n ha sid así, analiza qué sectres han quedad excluíds y pr qué. Otr element que se le retrae al mdel del CAD es que castiga la innvación y premia el cnservadurism. Al valrar las intervencines a partir de criteris cm viabilidad, eficacia eficiencia, es fácil que el agente de desarrll pte pr mdels de cperación tradicinales, que frecen resultads más mens previsibles, y huya de prpuestas más experimentales, que investiguen nuevas estrategias y herramientas dirigidas a fmentar una cperación más eficaz y transfrmadra, per que sn más arriesgadas. Si se quiere una cperación transfrmadra, tenems que buscar nuevs mdels y herramientas de cperación que la hagan psible. Si querems que la evaluación sea una herramienta de aprendizaje, también parece lógic que se valre la capacidad de innvación de la intervención, aunque ell supnga asumir riesgs. La scialización de ls resultads Pr tra parte, si se pretende que la evaluación sea una herramienta de aprendizaje, tma especial imprtancia el prces de scialización y difusión de las evaluacines. Así, la Metdlgía cnsiderará que la evaluación n finaliza cn la presentación del dcument final de evaluación. El element de scialización se incrpra en el cicl de la evaluación cm una fase más. La Metdlgía se estructura en ds seccines. La primera cnsidera ls elements metdlógics de la evaluación. Tmand cm marc de referencia el mdel del CAD, en esta sección se afina y ajustan ls instruments de la evaluación a ls bjetivs prpuests. La segunda presenta una prpuesta de instruments para la gestión de la evaluación. 4

5 1. ELEMENTOS METODOLOGICOS 5

6 1.1 LA EVALUACIÓN: CONCEPTO Y FUNCIONES El cncept de evaluación La cperación internacinal se ha dtad de una herramienta, la evaluación, destinada a realizar apreciacines sistemáticas de una serie de elements cmpnentes de las intervencines para elevar cnclusines sbre su calidad y cnsecuencias. En l referente a la calidad, la finalidad de la evaluación es valrar si el diseñ y el prces de ejecución de la intervención fuern ls óptims para alcanzar ls resultads prpuests. En l referente a las cnsecuencias, la finalidad de la evaluación es indagar qué cambis se han prducid que puedan ser atribuids ttal parcialmente a la intervención, y valrarls. A la evaluación se le slicita bjetividad en la medida de l psible, si bien est es difícil de cnseguir. La cperación es una actividad dirigida a intervenir en la realidad scial para cambiarla; es, pr tant, una actividad plítica. Decidir si una intervención ha sid crrecta n dependerá en casines de la csmvisión y del psicinamient idelógic de ls agentes que participan en la evaluación. Pr es preferims el cncept legitimidad al de bjetividad. La utilización de una serie de instruments validads y recncids internacinalmente para la evaluación, así cm su realización pr parte de especialistas que saben manejar ests instruments y cncen el sectr de intervención, es l que legitima esa apreciación sistemática que es la evaluación. Esta cnsideración plítica de la evaluación es la que permite que actúe cm un instrument a favr de una cperación transfrmadra. La función de la evaluación Además de permitir presentar resultads cualitativs a la ciudadanía y entes públics (transparencia), la evaluacin tiene cm bjetiv mejrar la calidad de la cperación. La presente Metdlgía cnsidera que la estrategia más prtuna para mejrar la cperación internacinal es la de pririzar la vcación de aprendizaje de la evaluación, así cm su capacidad de ptimizar nuevas fases en intervencines de larga duración. La función de la evaluación es un element esencial a la hra de determinar ls tips de evaluación más aprpiads para cada institución u rganism.... La cncepción de evaluación adptada (que incide en sus cualidades más plíticas en ps de una cperación transfrmadra) y la función pririzada (el aprendizaje cm estrategia para mejrar la calidad) sn ls elements que caracterizan la finalidad que para El Cl lectiu tiene este instrument, y sn ls elements rectres de la presente Metdlgía. 6

7 1.2 CRITERIOS DE EVALUACIÓN La evaluación es un instrument que busca respnder unas preguntas establecidas sistemáticamente para valrar la calidad y cnsecuencias de una intervención y frecer, llegad el cas, una serie de recmendacines. Esas preguntas guían td el prces de evaluación. Se reflejan en ls términs de referencia y cndicinan el tip de evaluación que se llevará a cab, así cm la cnfrmación del equip encargad de realizarla. Para rganizar las preguntas y cntestarlas se han definid criteris aplicables a cualquier tip de evaluación. Ls criteris de evaluación cnstituyen las diferentes dimensines de la calidad cmúnmente aceptadas en el ámbit de la cperación internacinal. Sn cncepts que sistematizan ls elements esenciales a tener en cuenta para emitir un juici sbre el valr de una intervención. Ls criteris sn un de ls elements que distinguen la evaluación de una mera pinión. A diferencia de ésta, la evaluación se sustenta en la reclección y análisis de dats de acuerd a metdlgías y herramientas validadas. Ls criteris de evaluación sistematizan ls elements claves que hay que discernir para determinar si una intervención puede cnsiderarse n exitsa. Su carácter metódic hace que deban tenerse en cuenta en cualquier evaluación. Aprtan credibilidad, legitimidad y ayudan a rdenar el juici. Sbre la base de las cnclusines a las que ns remiten ls criteris pdrems fundamentar las recmendacines de una evaluación. Ls criteris: Sn cmplementaris. Al tratar distintas dimensines de la calidad, tienen que cntemplarse cm un cnjunt. Un criteri pr sí sl n permite dilucidar si una intervención ha sid exitsa n. Para fundamentar la pinión, habrá que pnderar ls distints criteris. Además interactúan entre sí: el análisis de un criteri puede cndicinar la valración de tr. N bstante, n siempre presentan límites nítids. Pueden slaparse. Al evaluar una intervención a menud ns encntrarems que el análisis de un fenómen puede remitirns a distints criteris. Esta situación n ha de cnstituir ningún prblema. Hay que tener presente que ls criteris sn una herramienta que ns ayuda a sistematizar las preguntas de la evaluación. El prpósit esencial n es rdenar el análisis de acuerd a ls criteris, sin frmular y cntestar adecuadamente las preguntas prtunas para la evaluación de la intervención. N tienen jerarquías. N hay criteris más imprtantes que trs. Cada un aprta elements de análisis específics, punts de vista que n se pueden dejar de lad. Est n quiere decir que, de acuerd al tip de intervención a ls intereses de ls agentes participantes, la evaluación n pueda enfcar su interés en determinads criteris sbre trs. N sn exhaustivs. Ls criteris recgids en la presente Metdlgía n tienen que cnsiderarse cm categrías abslutas que abarcan el cnjunt de ls aspects necesaris para valrar la calidad de una intervención. Se trata de dimensines esenciales, sistematizadas de acuerd a la práctica y al análisis en el 7

8 ámbit de la cperación. Sin embarg, se pueden incrprar trs criteris para evaluar una intervención, de acuerd a sus características específicas a ls intereses de ls actres invlucrads en su ejecución. La evaluación en el ámbit de la acción humanitaria, pr ejempl, incrpra criteris adicinales específics cm la cherencia la crdinación. Aunque n hay que perder de vista que añadir criteris sin una necesidad claramente identificada y ligada a las preguntas de la evaluación puede perjudicar el análisis, al añadir elements insustanciales. Se incrpren n criteris adicinales, cualquier evaluación deberá cntemplar cm mínim el cnjunt de ls criteris definids en esta Metdlgía. La evaluación de cada criteri en una determinada intervención puede llegar a resultads distints; un pryect puede tener una buena valración en eficacia, prque se han alcanzad ls fines prpuests, per negativa en eficiencia, prque ls recurss invertids han sid excesivs. Pr tant, n hay que perder de vista la imprtancia del efect de cmpensación entre criteris en la valración final de la intervención; habrá que pnderar el equilibri de cnjunt. Ls criteris de evaluación recgids pr esta metdlgía sn aquells definids pr el CAD de la OCDE y adptads cm estándar internacinal de evaluación en la cperación internacinal para el desarrll. A ls cinc criteris básics del CAD, hems añadid un sext, el de cbertura, al cnsiderar que permite analizar aspects de interés para la cperación internacinal que n quedan suficientemente tratads pr ls cinc primers: el criteri de cbertura permite refrzar el enfque transfrmadr, pririzand el punt de vista de ls clectivs que cnfrman a la pblación lcal. a. Pertinencia Definición La pertinencia cnsidera la prtunidad de la intervención en base a las necesidades, capacidades y priridades de ls actres lcales, así cm a las plíticas de ls dnantes. Preguntas clave La intervención respnde a las necesidades y priridades lcales? Respnde a las priridades de ls dnantes? Si ha habid cambis en las priridades y necesidades iniciales, se ha adaptad la intervención a ells? Cóm? Las slucines técnicas prpuestas, sn adecuadas a ls prblemas identificads y a las capacidades de ls ejecutantes? Explicación del criteri Una intervención n cnstituye alg aislad independiente de su cntext. Ls pryects y prgramas actúan en entrns dónde existe una gran diversidad de actres, necesidades, plíticas y accines. Td ell influye en la pblación meta y en las prblemáticas bjet de la intervención. 8

9 La pertinencia analiza el sentid y la utilidad de una intervención en función del cntext. Busca medir su calidad en términs de adecuación y de utilidad de sus accines respect a ls principales actres invlucrads (pblación meta, actres institucinales lcales, dnantes, etc.). Desde este punt de vista, la tarea de evaluación suele cmenzar pr el criteri de pertinencia, pues se entiende cm un criteri básic: si una intervención n tiene sentid y n es útil n se debería llevar a cab. Para discernir su sentid y utilidad, el criteri de pertinencia relacina la intervención cn: 1. Las necesidades y priridades de la pblación meta. Se trata de valrar si la intervención respnde a las priridades de la cmunidad lcal y a sus necesidades. Si la intervención n respnde significativamente a las necesidades de la cmunidad lcal n puede cnsiderarse pertinente. Las necesidades tienen que ser analizadas de acuerd a la percepción de la prpia pblación meta. Asimism, se trata de evaluar si las accines se adecuan a las frmas de vida y a las cndicines sciecnómicas y plíticas de la cmunidad lcal. 2. Las necesidades y priridades en el ámbit plític lcal y/ estatal. Se analiza la adecuación de la intervención cn las plíticas en el país de intervención. Se ha de valrar si las accines tman en cuenta adecuadamente las plíticas y estrategias existentes en el ámbit nacinal, reginal y lcal que afectan a la pblación meta al sectr de intervención. 3. Las plíticas de ls dnantes. Se analiza la adecuación de la intervención respect a la plítica de cperación internacinal de la entidad entidades ejecutantes. La pertinencia de las intervencines n depende necesariamente de que sean siempre cngruentes cn las plíticas públicas de ls dnantes internacinales, sin de que estas plíticas se hayan cnsiderad al planificar la acción. Así, pdems imaginar un pryect de prmción de la sberanía alimentaria, cuya lógica n sól n es cngruente, sin que puede ser cntrapuesta a tratads internacinales de libre cmerci firmads pr el país dónde se ejecuta la intervención. Igualmente, hay pryects cuy prpósit es precisamente frtalecer mvimients sciales en su trabaj de incidencia y presión para el cambi de determinadas plíticas. En ests cass, la pertinencia n radica tant en la cngruencia de la intervención cn las plíticas de ls agentes participantes, sin en valrar si el diseñ de la intervención ha tenid en cuenta la divergencia y si ha establecid una estrategia adecuada para enfrentar esta situación. 4. Ls cmpnentes técnics establecids. Cnsiste en preguntarse si ls cmpnentes técnics prpuests sn adecuads para enfrentar ls prblemas identificads y si se adaptan a las capacidades de ls agentes que participan en la ejecución de la intervención Finalmente, es imprtante tener presente que aplicar el criteri n implica slamente analizar si la intervención ha sid pertinente n, sin también valrar el pr qué, para pder llegar a frmular recmendacines. 9

10 Otrs elements a cnsiderar Fases del cicl del pryect Respect a las fases del cicl de una intervención, el criteri de pertinencia es esencial para valrar la calidad de la planificación, identificación y frmulación de la misma, al analizar en qué medida se han tenid en cuenta adecuadamente el cntext y las necesidades y priridades de ls agentes participantes. Pblación meta Hems cmentad que la pertinencia analiza la adecuación de las intervencines a las necesidades tal y cm las percibe la pblación meta. Así, es el mment para analizar ls mecanisms de participación de la cmunidad lcal, en qué medida se han incrprad sus valracines a la hra de identificar y frmular la intervención así cm a l larg de su ejecución. En este sentid, es imprtante también n perder nunca de vista ls elements de diferenciación existentes en la cmunidad. La presente Metdlgía n trata en prfundidad ests aspects en el apartad de pertinencia ya que cnsidera un criteri específic para ell: el de cbertura. Dimensines de la pertinencia En la evaluación de la calidad de una intervención, n hay que perder de vista que diferentes dimensines y aspects de la pertinencia pueden n cincidir ser cntradictrias. Pr ejempl, una intervención puede respnder muy adecuadamente a las priridades del dnante per n adecuarse a las plíticas de ámbit lcal y a la realidad de la pblación. Evaluar el criteri de pertinencia implica estudiar ests fenómens, analizand cóm se han incrprad y tratad en la frmulación y ejecución de la intervención. Carácter dinámic de la pertinencia El cntext cambia cntinuamente. Pr ell, la pertinencia de una intervención también cambia cnstantemente. Una de las tareas de la evaluación será cnsiderar cóm ha cambiad la pertinencia de una intervención desde la identificación hasta las distintas etapas de ejecución. La pertinencia frente a prpuestas asistencialistas Otr element que hay que cnsiderar al utilizar el criteri es en qué medida la intervención se centra en las causas de ls prblemas identificads y n en sus efects. Una intervención de desarrll que actúa exclusivamente sbre las cnsecuencias de ls prblemas n se puede cnsiderar pertinente desde el punt de vista de una cperación transfrmadra. b. Eficacia Definición La eficacia cnsidera en qué medida la intervención ha alcanzad su bjetiv cm cnsecuencia de ls resultads alcanzads. 10

11 Preguntas clave Se han alcanzad ls resultads prevists? Se ha lgrad el bjetiv específic previst? Explicación del criteri Pr un lad, la evaluación de la eficacia trata de medir el lgr del bjetiv específic, para l que se requiere previamente analizar el cumplimient de ls resultads esperads. Pr tr, cnsiste en determinar las causas y el pr qué. Para valrar adecuadamente la eficacia, deberems discriminar entre las causas internas y externas que han influid en resultads y bjetivs. De esa manera, pdrems justificar el grad de cntribución de la intervención a la cnsecución del bjetiv específic. Habrá que cnsiderar ls cambis en las causas a l larg del tiemp. Elements que influyen en la valración de la eficacia de una intervención sn la fase del cicl del pryect en que se realiza la evaluación, la pblación meta y ls mecanisms de ejecución. Respect al tiemp de ejecución, la evaluación de la eficacia tendrá diverss sentids de acuerd a la etapa en la que se realiza. Inclus antes de cmenzar la ejecución de una intervención se puede valrar su eficacia, analizand la calidad de su lógica de intervención. Si la evaluación se sitúa en un mment tempral en el que aún n se ha alcanzad el bjetiv específic, pdrems estudiar la eficacia analizand ls resultads alcanzads hasta el mment y esperads, valrand si ns permiten esperar cnseguir el bjetiv específic. Finalmente, en un hriznte tempral más de medi y larg plaz, se tratará de medir directamente la cnsecución del bjetiv. La pblación meta es tr element a cnsiderar, y de la manera más disgregada psible, analizand el acces a ls beneficis prprcinads pr el bjetiv específic pr sex, cndición sciecnómica, edad grup étnic de pertenencia. La implicación de la pblación meta en tdas las fases del cicl del pryect es un factr que cndicina fuertemente la eficacia. Finalmente, el análisis de ls mecanisms de ejecución de la intervención suele prprcinar infrmación acerca de las raznes que explican pr qué ha sid eficaz n. En definitiva, la evaluación de la eficacia cnsisten en: 1. medir el cumplimient de resultads y del bjetiv específic 2. analizar las causas que explican la cnsecución n de ls misms La evaluación de la eficiencia depende en gran medida de la calidad del diseñ de la intervención. Una de las preguntas básicas que deberá plantearse es en qué medida la lógica de intervención era crrecta. La calidad de la frmulación de la intervención afecta ds dimensines centrales de la evaluación de la eficacia: la definición de ls resultads y del bjetiv específic así cm su medición. 11

12 La definición clara y precisa de ls resultads y del bjetiv específic es una cndición básica para aplicar el criteri. Si n queda clar l que se pretendía alcanzar si las actividades y resultads n se crrespnden de manera cherente cn el lgr de bjetivs, difícilmente se pdrá evaluar la eficacia. Elements que pueden afectar la calidad de la frmulación pueden ser, entre trs, la aplicación inadecuada n utilización de herramientas de planificación pr bjetivs (esencialmente el Enfque del Marc Lógic) el hech de n haber incrprad satisfactriamente a la pblación meta en la definición de necesidades y prblemas. Si ls resultads y el bjetiv específic sn muy ambigus y n caracterizan claramente l que se quería cnseguir, el equip evaluadr puede verse frzad a refrmularls para pder llevar a cab las tareas de evaluación. La medición de resultads y bjetivs requiere de instruments de medición de calidad: diagnóstics y líneas de base, e indicadres y fuentes de verificación. Indicadres mal definids, ambigus y/ n verificables, así cm fuentes de verificación inexistentes inaccesibles, pueden cmplicar la tarea del equip evaluadr. La existencia de diagnóstics y líneas de base que prprcinan una ftgrafía de la situación de la pblación meta antes de la ejecución de una intervención cnstituyen también unas herramientas muy útiles para medir la eficacia. Sin embarg, es muy frecuente que infrmacines sistematizadas de este tip n estén dispnibles y que ls equips evaluadres tengan que cnstruirlas a psteriri. Evidentemente, la calidad de la infrmación sistematizada recnstruida suele ser menr que la de infrmación reunida cn anteriridad a la ejecución de la intervención. Otrs elements a cnsiderar Lógica de la intervención La eficacia en el alcance de ls resultads n garantiza la eficacia en el lgr del bjetiv específic. Puede que se hayan btenid ls resultads per que la lógica de intervención n era adecuada para cumplir el bjetiv específic. Elements del cntext también pueden influir en esa descnexin entre resultads y bjetiv. La tendencia a la vaguedad a medida que subims verticalmente en la matriz del marc lógic dificulta much alcanzar medir la eficacia. Eficacia y Eficiencia La evaluación de la eficacia valra el cumplimient de ls resultads y del bjetiv específic independientemente de ls cstes mvilizads para alcanzarls. Así, el criteri es cieg a la eficiencia, element que tiene que valrarse independientemente. Eficacia e Impact Medir la eficacia también implica pder discernir entre ls efects causads directamente pr la intervención de ls efects que se explican pr causas externas. Al analizar ests fenómens, entrams en ámbits cmunes cn el criteri impact. La atribución de vínculs causales a factres externs interns es un tema cmplej que tiene que manejar el criteri de eficacia, y este ámbit de análisis es el que abrda más específicamente el criteri de impact. 12

13 c. Eficiencia Definición La eficiencia relacina ls recurss invertids (ecnómics, humans, técnics, materiales y temprales) cn ls resultads btenids. Preguntas clave Se pdrían haber alcanzad ls resultads utilizand mens recurss? En mens tiemp? Ls recurss utilizads pdrían haber alcanzad mayres y/ mejres resultads? En el prces de elección de la pción más eficiente, se cnsiderarn factres plítics además de ls técnics y presupuestaris? Cuáles y pr qué? Explicación del criteri El criteri de eficiencia mide el grad de ptimización de ls recurss. Relacina, pr tant, medis y fines de la intervención, analizand cóm se transfrman ls recurss en resultads. Hay ds maneras de enfcar la eficiencia: centrand la atención en ls resultads en ls recurss. En el primer cas, se trata de evaluar si se pdrían haber lgrad ls misms resultads cn mens recurss. En el segund, es cuestión de evaluar si cn ls recurss dispnibles se pdría haber alcanzad resultads más ambiciss. De manera general, una intervención alcanza la eficiencia máxima si el valr de sus resultads es mayr a cualquier us alternativ de ls recurss mvilizads para su realización. Al hablar de recurss se entienden tds ls insums mvilizads pr la intervención: financiers, materiales, naturales, técnics y humans, así cm el tiemp invertid en la ejecución. Se trata de un ejercici de valración de carácter esencialmente ecnómic. Al analizar la lógica de la intervención, el criteri de eficiencia ns llevará a centrar la atención en ls resultads, las actividades y ls recurss. Respect a las actividades, un element básic cnsiste en cmprbar si tdas las actividades cntribuyen a alcanzar resultads. La existencia de presupuests detallads y desglsads pr actividades facilitará la tarea de valración de la eficiencia. Finalmente, el crngrama de ejecución también aprtará elements de valración, al prprcinar infrmación acerca de la eficiencia en términs de tiemp emplead. Es imprtante destacar que la eficiencia n es un criteri abslut sin de tip cmparativ. Se es n se es eficiente cn respect a tra psible prpuesta de asignación de recurss. 13

14 El ejercici de cmparación puede realizarse cnsiderand tras intervencines parecidas sustentándse en una intervención teórica (frmulada de acuerd a ls criteris de ptimización de la eficiencia). La cmparación permite analizar alguns elements básics que afectan a la eficiencia, cm la prcedencia de ls recurss ( ls materiales y equips se han adquirid lcalmente imprtad? Ls recurss humans han sid persnal lcal expatriad? Pr qué?) ls aspects técnics de la intervención ( existía una slución técnica más adecuada y que requería mens recurss?). Debid a que el criteri de eficiencia se sustenta en la valración esencialmente ecnómica de recurss y resultads para pder cnfrntarls, plantea la dificultad de valrar en unidad mnetaria tds ls cmpnentes de una intervención. Del lad de ls recurss, en principi n hay prblemas sustanciales. Tds se pueden traducir en unidad mnetaria (aunque puede haber prblemas en valrar ecnómicamente de frma adecuada el us de recurss naturales, pr ejempl). Respect a ls resultads, en cambi, la cuestión de la valración es extremadamente cmplicada. Cóm cuantificar en términs ecnómics cambis sciales? Respect a las herramientas existentes para evaluar la eficiencia, existe una amplia batería de instruments prcedentes de las ciencias ecnómicas. Entre trs, cabe mencinar el análisis cste-benefici, el análisis cste-efectividad, el análisis csteutilidad el análisis cste-impact. Estas herramientas se distinguen pr las frmas de cuantificación empleadas. Si bien ls recurss y cstes siempre se miden pr unidad mnetaria, ls resultads pueden expresarse pr unidad mnetaria, pr unidad de resultads (pr ejempl el númer de persnas frmadas), de acuerd a una función de utilidad (calculand valres subjetivs y n mnetaris), en función del cnsum de bienes servicis respectivamente (Gnzález Gómez 2005). Las herramientas de evaluación ecnómicas más aprpiadas para cada evaluación dependerán de las características de la intervención y de las preguntas que guían la evaluación establecidas en ls términs de referencia. Si la eficiencia es un criteri central para una evaluación dada, n habrá que perder de vista que se requerirá la presencia en el equip evaluadr de un/a ecnmista especializad/a para aplicarlas e interpretar adecuadamente ls resultads. Otrs elements a cnsiderar Eficacia y eficiencia Si bien n se puede establecer una jerarquía en ls criteris, la eficiencia depende del criteri de eficacia. Discutir valrar la eficiencia independientemente de la eficacia puede carecer de sentid. L primrdial es ser eficaz, y lueg hay que serl de la manera más eficiente psible. Futuras generacines y sstenibilidad ambiental Al utilizar ls análisis cste-benefici n hay que perder de vista que su enfque y el cálcul de tasas de descuent suelen prducir resultads sesgads respect a las generacines futuras y a la sstenibilidad ambiental de las accines. Generalmente, este tip de análisis n incrpran adecuadamente ls intereses de las futuras generacines en ls cálculs ni las externalidades y cstes reales en términs eclógics. 14

15 Diferenciacines sciales y cnflicts distributivs Otra limitación de ls análisis cste-benefici es su dificultad en distinguir el resultad glbal de las implicacines relativas a la distribución entre grups sciales. Así, una intervención dada pdría mstrar una gran eficiencia debid al increment de un servici per n identificar ls prblemas generads en el acces al mism en términs de desigualdades entre sexs clases sciales pr ejempl. La valración de la eficiencia puede ser una decisión plítica Las características del criteri, así cm las herramientas que se suelen utilizar para su estudi, pueden dar la sensación que la evaluación de la eficiencia es exclusivamente técnica e imparcial. Per n siempre es así. A md de ejempl, supngams que la intervención requiere la adquisición de una determinada maquinaria. La empresa A, de capital fráne, puede suministrarla a un preci inferir que la cperativa B situada en una lcalidad vecina. La decisión de cmprar la maquinaria en la cperativa B, se pdrá entender cm una acción eficiente n dependiend de la cncepción de desarrll del evaluadr: n, si el interés se centra exclusivamente en la ejecución de la intervención; sí, si se mira más allá y se cnsidera el frtalecimient de un tejid prductiv lcal cm un element esencial para permitir el desarrll. d. Viabilidad Definición La viabilidad cnsidera el mantenimient de ls efects psitivs de una intervención una vez terminad el apy extern. Preguntas clave Qué estrategias de transferencia ha previst la intervención? Qué resultads y beneficis tienen ptencial para mantenerse a larg plaz una vez cncluida la intervención? Cuáles n? Pr qué? Explicación del criteri El criteri de viabilidad respnde al prpósit de mantener accines beneficis generads pr una intervención una vez terminad el apy extern. Analiza la sstenibilidad de ls efects psitivs del pryect. La cntinuidad de ls lgrs del bjetiv de la intervención se relacina cn la capacidad de la pblación meta de las institucines lcales de asumir de manera autónma su sstén. Pr un lad, la viabilidad tiene que cnsiderar las capacidades técnicas e institucinales lcales. Cnsiste en preguntarse si la intervención ha tenid en cuenta las capacidades lcales existentes para asumir su ejecución y gestión una vez finalizada la ayuda externa, si ha previst mecanisms para la btención de las capacidades que el pryect exige. Pr tr lad, la viabilidad ha de cnsiderar el derech de las cmunidades lcales a decidir sbre su mdel de desarrll. Muchs fracass en cuant a viabilidad de las intervencines se explican pr una falta de prtagnism e incrpración de la pblación meta desde la fase de identificación hasta la puesta en marcha de mecanisms de transferencia. 15

16 La viabilidad también se relacina cn el diseñ del pryect. Más alla de las capacidades lcales, el pryect puede tener prblemas de sstenibilidad una vez terminada la ayuda externa pr sustentarse en estrategias de actuación que n han pasad ls estudis de factibilidad pertinentes. Valrar la viabilidad depende de la naturaleza de cada intervención. Así, pr ejempl, una intervención de tip ecnómic-prductiv tendrá que garantizar la viabilidad a través de la generación de recurss el cmprmis de actres lcales para el mantenimient de las actividades iniciadas. En cambi, en una intervención cuy bjetiv sea el frtalecimient de rganizacines sciales lcales la viabilidad se medirá a través de la puesta en marcha de nuevas accines y de las dinámicas de ls actres invlucrads, y n en en base al mantenimient de las actividades resultads de la intervención. Para enfrentar el ret de la viabilidad, las intervencines requieren desde su diseñ de una estrategia de salida y de uns mecanisms de transferencia, establecida en clabración cn la pblación meta y ls actres lcales invlucrads. Más allá de la lógica de intervención, el criteri de viabilidad se ve afectad en gran medida pr el cntext. Para facilitar la evaluación, la cperación internacinal ha sistematizad en siete factres de desarrll ls elements cntextuales que pueden influir en la viabilidad de la intervención. Ests factres sn: Plíticas de apy Factres que inciden en el análisis de la relación de la intervención cn las plíticas y estrategias de trs actres. La cmpatibilidad de la misma cn las plíticas nacinales, reginales y municipales es un element central para su viabilidad. Si ls resultads de la intervención n sn respaldads pr priridades lcales, psiblemente tendrán prblemas de viabilidad. Aspects institucinales Factres que analizan la capacidad de la pblación meta y de ls actres lcales para asumir la cntinuidad de ls efects psitivs de una intervención. Para ser viable, un pryect tiene que ser cmpatible cn las priridades y capacidades de las institucines actres encargads de darle cntinuidad. Así, la intervención tiene que integrarse en el cntext institucinal lcal y adaptarse a la rganización cmunitaria existente, bien prever estrategias de capacitación. Factres sciculturales Factres relativs al análisis de la adecuación de la intervención al sistema scial lcal y a sus impacts sbre el mism. Ls pryects y prgramas tienen que diseñarse en función a las características culturales de las cmunidades lcales y de ls grups que la cmpnen. De l cntrari, es difícil garantizar su aprpiación de ls efects psitivs. Factres financiers y ecnómics Factres relevantes para el análisis de la viabilidad ecnómica de la intervención. Tal y cm hems señalad anterirmente, dependiend de la naturaleza de la intervención se requiere la generación de ingress para el mantenimient de sus efects psitivs. 16

17 Obtener recurss ecnómics necesaris para el mantenimient de ls prducts de una intervención suele ser una de las dificultades más cmunes para garantizar la viabilidad de las intervencines. Factres tecnlógics Factres que inciden en el análisis de la adecuación de la tecnlgía empleada al cntext lcal. Las tecnlgías aplicadas sn aprpiadas al entrn? Cóm afectan a la prducción y man de bra lcal? Qué impact tienen en las cndicines de vida de la gente? Generan dependencia? La tecnlgía empleada pr una intervención tiene que ajustarse a ls cncimients y capacidades lcales. Factres eclógics Factres que cnsidera el us de ls recurss naturales y cnsecuencias en el medi natural de la intervención. La sbrexpltación de ls recurss naturales puede permitir el desarrll de la intervención y su mantenimient terminada la ayuda externa a crtplaz, per a medi y larg plaz pndrá en riesg la viabilidad de la acción, así cm de tras actividades y la pérdida de calidad de vida de la pblación. Además, la csideración de la viabilidad mediambiental garantiza la equidad entre generacines. Géner Este factr de desarrll se refiere a las cnsecuencias de la intervención sbre las relacines de géner. La viabilidad depende de la cnsideración de las desigualdades entre sexs así cm de las estrategias cntempladas de redistribución de ls beneficis de la intervención y de pder entre mujeres y hmbres. Si se analiza la pblación meta cm un grup hmgéne, sin tener en cuenta las desigualdades de géner, difícilmente se pdrá valrar la viabilidad de la intervención. e. Impact Definición El impact es el cnjunt de ls efects (psitivs negativs, prevists n, a escala lcal reginal) prducids pr la intervención sbre la pblación y el cntext en general. Preguntas clave Qué efects ha tenid la intervención sbre la pblación y el cntext? Han sid psitivs negativs, prevists n? Ls efects se pueden atribuir a tras causas? Qué habría currid de n realizarse la intervención? Explicación del criteri El impact de una intervención es el criteri más cmplej de la evaluación, hasta el punt que experts hayan sugerid que evaluar el impact de una intervención n sól es muy difícil sin virtualmente impsible debid a la dificultad de distinguir ls efects 17

18 de la intervención de trs factres, endógens y exógens, que participan en el desarrll (Biekart 1999, Fwler & Biekart 1998). Cm se ha señalad, el criteri englba la ttalidad de ls efects de una intervención sbre la pblación y el cntext en general. Pr efects se entienden tds ls cambis prducids pr un pryect prgrama más allá de su bjetiv específic previst. La amplitud del criteri implica abrdar tdas las cnsecuencias psibles de la intervención: Efects prevists y n prevists. El impact n se limita a valrar ls resultads y bjetivs esperads pr la intervención sin que tiene que cnsiderar también ls aspects n cntemplads en la frmulación y planificación. Pr ell va más allá de la intencinalidad de la intervención, analizand tdas sus implicacines psibles. Efects psitivs y negativs. Analizar las cnsecuencias de la intervención más allá de su intencinalidad implica abrdar también psibles efects n deseads perverss que pueden haberse prducid. Identificar ls efects psitivs y negativs es una de las tareas básicas de la valración del impact de una intervención. Efects sbre la pblación. El criteri n se limita a evaluar las cnsecuencias de la intervención sbre la pblación meta, sin que abrda cualquier efect prducid sbre la pblación en general. Al analizar ls efects sbre la pblación, es necesari disgregarla en base a su cndición scial, géner, si se trata de pblación meta n, etc. Efects sbre el cntext. El impact también implicará identificar cualquier cnsecuencia de la intervención sbre el cntext en un sentid general, abrdand las institucines, el cntext plític, scial, ecnómic cultural. Efects a crt, medi y larg plaz. Aunque pr l general ls efects de una intervención se prducirán y apreciarán mayritariamente a medi larg plaz, el impact englba las cnsecuencias de un pryect en tdas sus escalas temprales. Efects directs indirects. El impact n sól se refiere a las relacines de causalidad más aparentes y bvias, sin también a psibles efects indirects secundaris que pueda haber generad una intervención. Efects a nivel lcal reginal. Finalmente, el criteri implica abrdar las cnsecuencias de una intervención en tdas sus psibles escalas territriales y en tds ls espacis en ls que pueda haber tenid algún tip de influencia. Tal y cm hems mencinad, el impact es el criteri más cmplej de valrar. La multiplicidad de fenómens que cntempla es una primera dificultad que plantea su valración. Cóm dispner del tiemp, de ls cncimients, de las metdlgías de ls recurss necesaris para llevar a cab un análisis exhaustiv del impact de una intervención? En este sentid, el criteri ilustra la relación entre la evaluación y la investigación scial. Aunque la primera adpte herramientas y enfques de la segunda, su intencinalidad es distinta. Nunca hay que perder de vista que la evaluación tiene que estar supeditada al bjetiv de aprendizaje y n derivar en un ejercici en el que el cncimient de la realidad sea un fin en sí mism. 18

19 El punt de partida es la identificación de ls cambis currids en la realidad estudiada. Para valrar cualquier transfrmación hay que cmparar ls fenómens estudiads cn respect a la situación previa a la intervención. Para ell, resulta útil dispner de una línea de base diagnóstic, es decir de infrmación sistematizada sbre la situación inicial. Tal y cm hems mencinad anterirmente, a menud n se dispne de ests dats y el equip evaluadr tendrá que diseñar la línea de base a psteriri, cn las dificultades que est cnlleva. También hay que tener en cuenta que cuand se dispne de líneas de base, suelen estar más enfcadas a medir ls cambis prevists per a menud carecen de infrmación que permita medir ls efects imprevists indeseads de la intervención. Una vez identificads ls cambis acaecids, la evaluación de impact ha de atribuir vínculs de causalidad cn la intervención. Determinar si un efect ha sid prducid pr la intervención es cmplicad, ya que ls fenómens sciales se ven afectads pr prcess de retralimentación y bedecen a un principi de multicausalidad; es decir, que sn prducts de una gran variedad de factres que se cruzan e influyen entre sí. Valrar el impact cnsiste, pr tant, en discernir entre las causas, cnsiderand slamente las que han sid cnsecuencia de la intervención y dejand a un lad las que han sid prducidas pr tras causas, endógenas prduct de trs factres externs. Evaluar el impact también implica una valración acerca de l deseable n deseable. En casines, la valración del impact será un ejercici plític, ya que dependerá de las visines de ls actres (desde la pblación al equip evaluadr) acerca de ls prcess sciales y de desarrll impulsads. La cmplejidad del criteri cmprta que sea excesivamente ambicis plantear una evaluación del impact general de una intervención, que abrde de manera exhaustiva el cnjunt de sus cnsecuencias. Suele ser más fructífer centrarse en una determinada categría de efects. Para ell, se valra la intervención de acuerd a un enfque específic de evaluación de impact. Así, pr ejempl, se puede realizar una evaluación del impact de géner de una intervención, centrand el análisis en cóm ha influid en las cndicines de vida de las mujeres, en su autnmía, su rganización, en qué medida ha afectad la equidad y la distribución de pder entre hmbres y mujeres en la cmunidad. Otrs ejempls de enfques específics serían evaluar el impact de una intervención sbre el medi ambiente en términs de municipalism. Las estrategias e intereses de ls actres invlucrads en la ejecución de la intervención marcarán entnces la definición del enfque de evaluación del impact que se quiere pririzar. Orientar el criteri de impact de una evaluación también es muy imprtante para facilitar que cumpla cn su bjetiv de generación de aprendizajes. Otrs elements a cnsiderar Evaluación ex pst Aunque en principi el impact se refiere a tds ls efects, a crt, medi y larg plaz, generalmente ls fenómens que estudia se perciben mayritariamente en el medi y larg plaz. Pr ell, es el criteri fundamental de las evaluacines ex pst. Hasta el punt de que a veces se habla de evaluación de impact cm sinónim de evaluación ex pst. 19

20 f. Cbertura Definición La cbertura evalúa si una intervención ha alcanzad a tda la pblación meta y, si n ha sid así, analiza qué sectres han quedad excluids y pr qué. Preguntas clave A qué prcentaje de la pblación meta han llegad ls beneficis de la intervención? Qué rles caracterizan a la pblación meta excluida de ls beneficis de la intervención? Presentaba la intervención mecanisms que favreciern dificultarn el acces de determinads sectres de la pblación meta a sus beneficis? Explicación del criteri Factres cm el estatus sci-ecnómic, el tip de actividad labral, el géner, la edad, la religión, el nivel de educación frmal las redes de relacines, pr señalar alguns de ls numerss rles que identifican a cualquier persna, pueden influir en la distribución de ls beneficis entre la pblación meta de una intervención. Así sucede en ls diseñs de pryects que cnsideran a la pblación cm un grup hmgéne, sin tener en cuenta ls elements de diferenciación que pueden favrecer una distribución de ls beneficis n prevista deseada. El criteri de cbertura intrduce la diversificación de la pblación en la evaluación. En este sentid, analiza si en el diseñ durante la ejecución de la intervención han quedad excluids sectres que, pr ls bjetivs del pryect, n l deberían haber sid, si se han incluid trs que n debían haber sid cnsiderads cm pblación meta. La evaluación del criteri de cbertura analiza, en cncret, tres factres. Pr un lad, calcula el númer prcentaje de la pblación meta que ha accedid a ls beneficis de la intervención y el númer prcentaje que ha quedad excluida de ls beneficis de la intervención (Tasa de Cbertura). Pr tr, estudia qué rasgs cmunes (culturales, ecnómics, educativs, de géner, etc.) caracterizan a la pblación excluida e incluida en ess beneficis (Sesg de Cbertura). Finalmente, discierne qué mecanisms del diseñ del pryect del cntext sn ls que ha llevad a este acces diferenciad a ls beneficis (Accesibilidad). En la cperación para el desarrll es cmún encntrar que las intervencines generan beneficis servicis de diferente naturaleza (frmación de líderes, capacitacines técnicas, dnación de equips suministrs, etc.) dirigids a pblación cn perfiles diferentes y de númer variable. El análisis requerirá establecer una clasificación previa de ests beneficis para su análisis diferenciad. Pr tra parte, el análisis n se debe centrar en tds aquells elements rles diferenciadres de la pblación meta, así cm en tds ls tips de beneficis que la intervención genera, sin en aquells susceptibles de favrecer un acces 20

21 diferenciad a ests beneficis, ya sea pr la naturaleza del pryect pr las características del cntext. Cm el criteri de cbertura n frma parte de ls criteris más cmúnmente utilizads, y sól recientemente se está planteand su utilización en la cperación al desarrll, cm anex a la presente sección de la Metdlgía se presenta una expsición más amplia de sus características y aplicación ( Anex: El criteri de cbertura en el mdel de evaluación del enfque de marc lógic ). Otrs elements a cnsiderar Pblación identificada versus Pblación meta El primer pas a analizar es si la pblación identificada cm meta en el análisis de participantes de la intervención cincide cn la pblación que ls bjetivs del pryect identifican cm la pblación meta. Tasa de Cbertura Ceficiente que permite establecer la prprción de la pblación meta que ha accedid a ls servicis beneficis de la intervención. Respnde a la pregunta del cuánts. Sesg de Cbertura Factr que permite averiguar si hay subgrups dentr de la pblación meta (pr raznes culturales, ecnómicas, educativas, de géner, etc.) y cuál ha sid el impact diferenciad de la intervención en ells. Respnde a la pregunta del quiénes. Accesibilidad Factr que descubre ls mecanisms que permiten a unas persnas grups acceder a ls beneficis de la intervención, y excluye a tras. Respnde a la pregunta del cóm. Selección del nivel de análisis N tds ls elements diferenciadres ls beneficis que genera una intervención sn susceptibles de ser analizads. El equip evaluadr tendrá que cnsiderar cuáles sn ls susceptibles de generar un acces diferenciad n previst. g. Y la innvación? Ls criteris de evaluación en intervencines experimentales cn cmpnentes experimentales La presente Metdlgía cnsidera que el bjetiv principal de ls planes de evaluación tiene que ser el aprendizaje para la mejra de la calidad de la cperación. Per pr tr lad, el mdel de evaluación CAD, cm la mayría de ls mdels de evaluación imperantes, tiene un sesg muy cnservadr que penaliza las accines más innvadras (Tnen & Pelje 2006). Y la innvación es un element esencial para la mejra de la calidad de la cperación, ya que mejra implica cambi. La innvación se mueve en el espaci de la incertidumbre, y ell cmprta riesg e impredecibilidad (Perrin 2001). Pr ell, el sesg cnservadr del mdel de evaluación hace que intervencines experimentales cn cmpnentes 21

22 experimentales tengan más psibilidades de ser evaluads negativamente al pasarlas pr el tamiz de ls criteris tradicinales. Un repas al cmprtamient de ls criteris cn ls que trabaja la presente metdlgía frente a la innvación ns puede permitir cmprender esta afirmación: Pertinencia. Pr parte de ls agentes que participan directa indirectamente en la intervención, siempre será más fácil asumir slucines predeterminadas e iterativas, que tienden al riesg cer, que tras que prmueven la innvación y que, pr tant, aparecen cm más arriesgadas. Obtener el refrend de tds ests agentes siempre será más cmplicad. Y aún si se btiene un alt grad de cnsens en el diseñ de la intervención, es psible que ls agentes n sean plenamente cnscientes de l que ell implica al n tener referentes histórics de accines similares. Durante la ejecución de la intervención, su visión y aceptación de la intervención puede variar más fácilmente. Además ya hems dich que la innvación es, pr su misma naturaleza, impredecible. Aún si ls agentes sn ttalmente cnscientes de las implicacines de la intervención diseñada, las psibilidades de que éste se desvíe pr derrters n prevists durante su ejecución sn mayres que en pryects de carácter más tradicinal, y es puede prvcar pérdida de cnsenss. Eficacia. La incertidumbre característica de cualquier intervención de carácter experimental hace que sea más difícil asegurar la relación entre ls resultads y el bjetiv específic previst que en el cas de intervencines más tradicinales, que utilizan recetas avaladas pr un históric de aplicación. Eficiencia. Una intervención de carácter tradicinal tiene más referentes dnde btener infrmación a la hra de hacer un cálcul óptim de ls recurss necesaris para su implementación que n tra de carácter experimental. Viabilidad. El requerimient de que la intervención se mantenga una vez terminada la ayuda externa favrece la aplicación de medidas refrendadas pr la histria y la práctica. Si, cm venims diciend, la innvación cmprta riesg, las psibilidades de que una intervención de carácter experimental fracase es mayr que en el cas de una intervención más tradicinal. Impact. La impredicibilidad que caracteriza la innvación hace que sea muy difícil cnjeturar a priri ls impacts que una intervención de carácter experimental puede tener. La innvación, pr tant, hace que aumente las psibilidades de que la intervención n tenga ls efects prevists, que inclus ests puedan ser n deseads. Cbertura. En una intervención de carácter experimental será también más difícil predecir a priri si se están implementand mecanisms y cndicines n explícitamente cntemplads que prvquen sesgs en la pblación meta; es decir, que aparten a un sectr de la pblación meta prevista de ls beneficis de la intervención. En resumidas cuentas: el mdel de evaluación CAD basad en criteris favrece la réplica de slucines predeterminadas a prblemas semejantes, ya que premia la certidumbre. Y a la vez, castiga las accines más innvadras que, pr definición, asumen un mayr nivel de riesg e impredecibilidad. La reflexión sbre la innvación en esta Metdlgía es imprtante ya que las intervencines de carácter experimental pueden frecer imprtantes insums para el 22