La evaluación de políticas públicas y sociales. Un análisis entorno a los actores. Ma. Jimena García Puente.

Transcripción

1 La evaluación de políticas públicas y sociales. Un análisis entorno a los actores. Ma. Jimena García Puente. Introducción: Los procesos de Reforma del Estado 1 desarrollados en la última década en Argentina modificaron la correlación de fuerzas, el alcance y el modo de intervención estatal, lo que implicó una redefinición de los roles y prioridades del Estado, y un cambio en la forma de relacionarse con la sociedad civil. Se configuró una nueva forma de relación y articulación del Estado con la sociedad civil en su triple relación, en la funcional o la división del trabajo (de qué debe ocuparse el Estado), en la material o de la distribución del excedente social (cuánto le cuesta a quién) y en la de la dominación o correlación de poder (quién decide de qué hay que ocuparse) (Oszlak, 2001). De ésta manera Oszlak señala que la antigua matriz estado-céntrica fue dando paso a un modelo de relación cuya característica central es la incorporación de las instancias subnacionales, de los demás actores que componen la sociedad y de los actores supranacionales 2. Tales cambios se evidencian en el diseño y la implementación de las políticas públicas y en las políticas sociales 3, puesto que influyen en los contenidos o las temáticas que ingresan a la agenda estatal (y cómo lo hacen), en las formas de resolución y en tipo de soluciones. Por ello una forma de visualizarlos es por medio del análisis de los objetivos, el diseño y las prácticas de gestión de las políticas públicas, asimismo se pueden visualizar por medio del análisis de los diversos actores que participan en dichos procesos y del modo que interactúan y se relacionan en esos marcos institucionales específicos. A modo de síntesis podemos señalar que los rasgos sobresalientes de las principales transformaciones de las políticas sociales se vinculan con la descentralización (el traslado de responsabilidades de gestión jurisdiccional a las provincias y a los municipios), la focalización (políticas orientadas a poblaciones claramente definidas), la privatización de 1 Por procesos de reforma del Estado nos referimos tanto a lo que se denominó primera reforma como segunda reforma del Estado. 2 Cabe aclara que Oszlak (2001) sostiene no se trata de una variación de las reglas fundamentales (es decir las que se fundan el sistema capitalista como modo de organización social) en que se basan los vínculos entre el Estado y la sociedad. Lo que ha cambiado son algunos actores, sus estrategias y resultados mismos del juego. 3 A los fines del presente trabajo, no nos centraremos en la distinción de políticas sociales respecto a las demás políticas públicas y abordamos su tratamiento en conjunto. No obstante ello se va a considerar a las políticas sociales como un subconjunto de políticas públicas, cuya finalidad es dar una respuesta a determinadas problemáticas sociales, es decir, modificar situaciones de exclusión, vulnerabilidad, desigualdad y pobreza, cuyos los principios rectores son la equidad, la inclusión y la seguridad social. 1

2 servicios públicos (ya sea en empresas privadas nacionales o internacionales) y la terciarización de ciertas actividades. Rasgos que marcan la presencia de nuevos actores en el proceso de diseño y de gestión de las políticas. Tales actores no se limitan al ámbito estatal (ya sea jurisdiccional o intrasectoriales) sino que incluyen actores sociales (organizaciones no gubernamentales y otras formas de acción y participación comunitaria) e internacionales (organismos multilaterales de crédito). Otro de los cambios que experimentaron se vincula con el mayor énfasis en el monitoreo y la evaluación (Repetto, 2003) de las diversas políticas sociales como de la gestión pública. Tales modificaciones afectaron tanto a los marcos institucionales como a la configuración del mapa de actores relevantes que interactúan alrededor de las políticas públicas. Por ello para analizar las políticas públicas es necesario considerar la presencia plural de actores políticos y sociales e internacionales. El presente trabajo se propone indagar sólo sobre uno de los rasgos de las políticas sociales señalados: la evaluación, con el propósito de vislumbrar el mapa de actores que interactúan en esa fase y el entramado institucional en el cual se desarrollan. Esto se realiza a partir del análisis de los actores en la fase evaluación de una política social particular, el Programa Trabajar, luego el foco de análisis se amplía con el fin de analizar algunos aspectos de la institucionalización de la evaluación de políticas sociales en un organismo estatal, el Sistema de Información, Monitoreo y Evaluación de Programas Sociales (SIEMPRO). Políticas públicas: una mirada en torno a los actores. Existen diversos modos de abordaje para analizar las políticas públicas, que implican diferencias en torno a su conceptualización y, en tanto marcos analíticos, formas diferentes de observar la relación entre el Estado y la sociedad civil 4. Puesto que el trabajo está enfocado en las políticas públicas creemos pertinente especificar en base a qué concepción teórica realizaremos el análisis. 4 Al respecto nos referimos, a riesgo excesiva simplificación, a los enfoques denominados socio-céntricos que explican a las políticas públicas en base a los intereses, relaciones y estructuras de la sociedad civil; a los estado-céntricos que postulan al Estado como autónomo en sus decisiones de las presiones de los actores de la sociedad, por lo tanto a las políticas públicas como expresión de los intereses y preferencias de los actores estatales, y por último al enfoque que analiza las políticas públicas como la expresión conflictiva de la interacción de actores estatales y sociales, mediados por entramados institucionales. 2

3 De acuerdo con Oszlak y O Donnell las políticas públicas 5 permiten una visión del Estado en acción, desagregado y descongelado como estructura global y puesto en un proceso social en el que se entrecruzan complejamente con otras fuerzas sociales, lo que permite analizar el proceso social tejido alrededor del surgimiento, tratamiento y resolución de cuestiones ante las que el Estado y otros actores adoptan políticas (1984: 99 y s). Entonces el análisis de las políticas públicas, en tanto que éstas expresan el accionar de los actores fundamentales, permite comprender la compleja relación entre el Estado y la sociedad y las reglas que juego que articulan la relación. En concordancia con ese enfoque, Fox sostiene que es necesario, además analizar los conflictos, contrastes, intereses e identidades de los diversos actores en el interior del Estado y en la sociedad, que pueden capturar los límites y las posibilidades de acción estatal (1994: 11). Las políticas públicas son, para éste autor, el resultado de una relación recíproca, causa y efecto entre los cambios en la balanza de poder dentro del Estado y dentro de la sociedad civil (Ibídem: 22). Tal perspectiva nos conduce a analizar y considerar a una política pública como el resultado de la forma en que se lleva adelante la disputa entre diversos actores en el marco de cierta distribución de poder y reglas de juego, en otras palabras explicar a las políticas en función del proceso que resulta del sistema de instituciones políticas que organizan el poder en la sociedad y el entramado de actores involucrados, sus capacidades y comportamientos (Acuña y Repetto, 2001: 15). Considerando, entonces a una política pública como el resultado de la interacción entre los actores relevantes del Estado y la sociedad civil, centraremos el análisis en los actores intervinientes en ellas. En el presente trabajo se analiza, en primer lugar, utilizando la perspectiva analítica que subdivide a una política pública en ciclos o fases y concentrándonos en una de ellas la evaluación, el mapa de actores que interactúan en una política social. En función de ello, en segundo lugar, se destacan algunos aspectos de la evaluación como una política pública, es decir evaluación de políticas sociales con el fin de observar la institucionalización en un organismo estatal de la función evaluación de políticas sociales. 5 Los autores definen a las políticas públicas como un conjunto de acciones y omisiones que manifiestan una determinada modalidad de intervención del Estado en relación a una cuestión que concita interés o movilización de otros actores de la sociedad civil (Oszlak y O Donnell, 1994: 112). 3

4 Porqué analizar la evaluación de las políticas públicas y sociales a partir de los actores? La evaluación de programas y proyectos sociales es una actividad programada de reflexión sobre la acción, basada en procedimientos sistemáticos de recolección, análisis e interpretación de información, con la finalidad de emitir juicios valorativos fundamentados y comunicables, sobre actividades, resultados e impactos de esos proyectos o programas y formular recomendaciones para tomar decisiones que permitan ajustar la acción presente y mejorar la acción futura (Nirenberg et. at., 2000: 32). La evaluación ha conformado históricamente un momento de análisis del proceso de las políticas, sin embargo, como se señaló en la introducción, tal preocupación ha adquirido mayor relevancia en la agenda de las reformas del Estado ligada al interés por la responsabilización y la rendición de cuentas en el ámbito público (Hintze, 2001) En el mismo sentido Ospina señala que el tema de la evaluación de proyectos y programas públicos no es nuevo, pero que la preocupación actual se enmarca dentro de una agenda más amplia de reforma del Estado y la modernización de sus instituciones (2001: 93). Tal preocupación se basa en la necesidad de reevaluar el papel del Estado y de mejorar la eficiencia, eficacia y calidad de los servicios públicos. La autora señala que el mejoramiento de la administración pública, a lo que podemos agregar, la formulación, el diseño y el desempeño de sus políticas en pos de una mayor equidad, es un pre-requisito para recuperar la legitimidad del Estado, en su papel, ahora más reducido pero igualmente crítico, como co-actor de la resolución de los problemas colectivos. La evaluación de políticas públicas está vinculada, entonces no sólo con la preocupación de lograr mayor transparencia del aparato estatal sino también con el fin de mejorar el desempeño administrativo y el accionar del Estado, lo que conduce a una revisión del modo de resolución de los problemas, (y de selección de los mismos) de su diseño, gestión y resultados. Por lo tanto qué actores interactúan, y cómo, en el proceso de la evaluación de una política pública se convierte en esencial para vislumbrar no sólo el enfoque de las evaluaciones, qué dimensiones analizan de la política pública, en función de sus intereses o los que representan, sino también los recursos y las capacidades con los que cuentan cada uno para convertirse en actores relevantes en dicho proceso. Por otro lado el análisis del mapa de actores y la institucionalidad resultante de la evaluación como política pública nos permite reflexionar y observar sobre las restricciones y oportunidades de los diversos actores para participar en tal proceso evaluativo. 4

5 La evaluación como una fase de la política pública La evaluación de las políticas públicas puede ser entendida como un ciclo o una etapa de la política o se la puede analizar como una política pública en sí misma 6. De acuerdo con el primer enfoque se puede analiza una política pública como un proceso que se desenvuelve por etapas, de las cuales, cada una posee sus actores, restricciones, decisiones, desarrollos y resultados propios, que influyen en las demás y son afectadas por lo que sucede en otras (Aguillar Villanueva, 1993: 15). Los autores que analizan las políticas públicas en tanto procesos o ciclos, realizan una operación analítica para dar cuenta de las diversas etapas por las que atraviesa una política pública. Dichas fases, pueden no corresponderse linealmente con la realidad, algunas no se cumplen o el orden de las mismas suele alterarse. Al margen de los distintos cortes y denominaciones, todos los autores que utilizan este marco de análisis se refieren a las siguientes etapas: estructuración del problema, su ingreso a las agendas pública y gubernamental, la generación de alternativas, la decisión, el diseño, la implementación y su evaluación 7. Utilizaremos la perspectiva del ciclo de la política pública puesto que es apropiado para abordar la evaluación de una política separada, por lo menos conceptualmente, de las demás fases con la finalidad de observar el modo en que los distintos actores interactúan en esa etapa. La fase evaluación, sin embargo, no se realiza sólo cuando finaliza una política pública, es un proceso transversal a toda la política. Por otro lado, la evaluación de una política implica una definición de objetivos, del carácter de la evaluación, de la metodología, su instrumentación y análisis de resultados, lo que permite también subdividir a ésta fase. Para Manuel Tamayo Sáez, la evaluación es la última fase del proceso de la política pública, y como éste es cíclico, es también la primera porque conduce a una revisión del estado del problema (1997: 288). El fin es, de acuerdo con el autor, producir información para orientar los nuevos procesos de decisión, introduciendo modificaciones a la política o la sucesión de ésta por una más adecuada (Ibídem: 306 y s). Meny y Thoenig sostienen, en 6 El análisis de la evaluación como una política pública se enfoca en examen de los sistemas de evaluación de las políticas públicas, que constituyen estructuras institucionales de evaluación de las acciones e intervenciones del Estado y de los respectivos aparatos administrativos estatales (Guerrero Amparán, 1995), un ejemplo de ello en el caso de Argentina respecto a las políticas sociales sería el SIEMPRO. 7 De acuerdo con Guerrero Amparán, todos los autores que han desarrollado la noción de política pública como proceso incluyen una fase de evaluación.(1995: 50). En el mismo sentido se puede ver en el análisis que realiza Aguilar Villanueva (1993: 16) de los diversos autores (tales como Peter DeLeon, Garry Brewer, May y Wildavky, Hogwood y Gunn, y Anderson) que señalan la evaluación como parte del proceso de toda política pública. 5

6 primer lugar, que evaluar es un gesto diario, que consiste en identificar y medir los efectos propios de la acción, es un juicio hecho sobre un dato de referencia a un valor. Pero agregan que evaluar una política pública es apreciar los efectos atribuibles a una intervención gubernamental en un campo específico de la vida social y del entorno físico (...) es la apreciación sistemática, sobre la base de métodos científicos, de la eficacia y de los efectos reales, previstos o no, buscados o no, de las políticas públicas (1992: 195), a lo que Sulbrandt incorpora que es un examen, a partir de criterios específicos, de los logros de una política en relación a las metas propuestas y a los efectos esperados en los grupos sociales beneficiarios (1994: 312). Por otro lado, dichos autores señalan que no sólo es un instrumento técnico. La evaluación puede ser considerara, también, como un mecanismo político cuya finalidad es el control parlamentario, la legitimación de acciones gubernamentales o un mecanismo de justificación de las mismas, el reforzamiento o la destrucción de una política, la legitimidad de un tipo de liderazgo (Tamayo Saéz, 1997: 306), desde una perspectiva, y desde otra, como una actividad política que se define en quién juzga la política y mediante qué procesos (Meny y Thoenig, 1992: 203), puesto que el contenido mismo de la evaluación, su juicio de valor final, forma parte de la atmósfera política de la toma de decisiones o del apoyo o crítica a una política. Por tal motivo Subirats, apelando a una construcción democrática y plural, propone un enfoque que la considere como un instrumento de política que busca construir consenso entre los distintos actores interesados respecto a los criterios para evaluar una política (1995: 5). Retomando todas las definiciones, vamos a entender a la evaluación de políticas sociales, como una actividad técnica y política, programada y sistematizada, cuyo fin es analizar los resultados de las políticas gubernamentales en base a juicios fundamentados, no la concebimos como un mero método técnico, sino por su propósito brindar información para la planificación y las decisiones políticas 8. Por otro lado el proceso de evaluación, como destaca Hintze (2001), es una fuente potencial de conflictos en el cual se pone en juego la posición de los actores institucionales que pueden vivirla como una amenaza para su poder y a la propia sobrevivencia como actores. Esta situación conflictiva, para Cohen y Franco, proviene de las diferentes racionalidades de los actores que intervienen en la evaluación: los políticos, burócratas, 8 Esta definición es pertinente tanto para la evaluación en el marco del ciclo de una política como para un sistema de evaluación de políticas públicas. 6

7 técnicos y la población objetivo, son conflictos vinculados con la diferencia entre los tiempos políticos y técnicos, (1992: 63 y s) a los se puede incorporar, también sociales 9. Ahora bien qué actores realizan la evaluación de una política pública? Se puede sostener que todos los ciudadanos emiten juicios sobre lo que hace el gobierno puesto que, de acuerdo con Subirats las personas directa o indirectamente interesadas en un programa de acción pública expresan sus opiniones críticas, sopesan y evalúan las políticas públicas en función de sus lógicas y perspectivas particulares (1995: 10). Pero dichas evaluaciones, para Guerrero Amparán son subjetivas y dependen de referencias heterogéneas, de acuerdo con la posición social, nivel de educación, experiencias personales e ideas políticas, su interés particular y cómo éste es afectado o satisfecho por la política (1995: 62). De acuerdo con las definiciones antes citadas la evaluación de una política pública como análisis científico se basa en procedimientos y técnicas, se intenta superar las evaluaciones subjetivas de los ciudadanos y, a pesar de ser un juicio, éste debe resultar de observaciones concretas en normas y valores lo más objetivos posibles 10, con el fin de acrecentar la consideración de los hechos concretos en detrimento de la influencia de los prejuicios. Pero las evaluaciones no son neutrales, son hechas por actores, ajenos o no a la política, que poseen ideologías, e intereses 11. En otras palabras, los criterios de la evaluación dependerán de quién los formula, de cuál es su intención y su visión del mundo, ya sean las realizadas por actores que participan en alguna fase de la política o por actores externos, ajenos a la misma. Análisis de los actores en la fase evaluación en una política pública, el Programa Trabajar. En el presente apartado se analiza el Programa Trabajar, en su fase de evaluación, con el propósito de examinar el mapa de actores, y el papel que juegan, en la fase de 9 En cambio la situación conflictiva que presenta la evaluación para Nirenberg et. al.(2000, 42 y s), se vincula con la resistencia al cambio, puesto que evaluar conlleva para las autores una transformación de por ejemplo la forma en que se trabaja, lo que genera oposición y renuencia. 10 Por valores objetivos, hacemos referencia a la corrección de la subjetividad individual que se encuentra en la intersubjetividad, lograda mediante la incorporación de diferentes actores lo cual genera espacios de confrontación y reflexión conjunta, para permitir acuerdos y consensos sobre distintos aspectos y sobre los juicios valorativos (Nirenberg et.at, 2000: 94). 11 Entendidos como intereses objetivos o subjetivos e ideología como mapas cognitivos. (Acuña y Repetto, 2001: 18 y s) 7

8 evaluación de dicha política pública 12. Para tal fin, y de acuerdo con el marco teórico adoptado, se emplea el enfoque relacional que interpreta el contenido y la dinámica de las políticas públicas como resultado de la interacción entre actores relevantes, sean éstos estatales, de la sociedad o del sistema internacional (Repetto, 2002:34). El Programa Trabajar, desde su primera versión hasta la tercera, ha tenido cambios en su diseño y en sus procedimientos operativos, de los cuales algunos son el resultado de los procesos de evaluación. A pesar que se realizaron diversas evaluaciones al Programa, las mismas no constituyen un proceso integrado y sistematizado, puesto que se efectuaron en diversos momentos, con distintos objetivos y sobretodo porque las llevaron adelante actores diferentes. Por ello se analizan las evaluaciones en función de dos grandes categorías, las internas del propio Programa y las externas. Las evaluaciones internas, a cargo de los ejecutores del Programa, se vinculan con las previstas en el diseño del mismo. La gran mayoría son evaluaciones de los proyectos de infraestructura con el objeto de determinar su viabilidad dentro de los parámetros establecidos en el programa para su aprobación (Res. S.E.yC.L. N 397/98). Por otro lado existen instancias de evaluación del desempeño y desarrollo del Programa, tarea que realizan las Unidades Regionales de Aprobación (Urat), a través de indicadores de monitoreo. Mediante éstos se pretende detectar oportunamente las deficiencias, obstáculos y/o necesidades de diseño y ejecución del Programa 13, son indicadores cuantitativos orientados a la comprobación periódica de la adecuación entre las metas y objetivos propuestos y los alcanzados. Sin embargo, los mismos se refieren al seguimiento estrictamente físico-financiero del Programa. Situación que dista de la propuesta de Nirenberg (2001) sobre las evaluaciones internas de programas nacionales que se concretan en proyectos que se ejecutan en diversas provincias y municipios, a cargo de organismos públicos y de ONGs, como es el caso del Trabajar. La autora propone un modelo evaluativo aplicado por diferentes actores ubicados en los distintos niveles de gestión. De esa forma participan en el mismo los actores locales, provinciales y nacionales, con las mismas dimensiones, variables e 12 Las fuentes que se utilizan en el presente apartado referidas al Programa Trabajar son diversos documentos del Banco Mundial y del Ministerio de Trabajo y Seguridad Social. Por otro lado, el análisis de la evaluación al Programa Trabajar se efectúa en conjunto, lo que incluye a sus tres versiones. 13 Dichos indicadores cuantitativos están relacionados con el ciclo de los proyectos, la información sobre los beneficiarios directos, sobre la ejecución del presupuesto, sobre la cobertura, los pagos a los beneficiarios, el resultado de los proyectos, el costo de los mismos, la extensión de los objetivos en áreas pobres y la asistencia técnica. Res. S.E.yC.L. 202/97. 8

9 indicadores, pero con diversas técnicas de acuerdo a los niveles y con un marco conceptual y metodológico compartido 14. Por otro lado el Ministerio de Trabajo (2000a), como responsable del Programa, realizó Diagnósticos de Base, que se centran en el análisis de la población beneficiaria, donde se exponen las características de la misma en tres aglomerados, se presentan datos respecto a la caracterización sociodemográfica, los antecedentes laborales, las particularidades de los hogares de la población objetivo, y las diversas formas de vinculación con el Programa. Tales estudios fueron completados por un segundo informe (Ministerio de Trabajo, 2000b) que analiza los mismos aspectos antes señalados, pero sin discriminar por lugar de residencia. De acuerdo con lo expuesto se puede concluir que desde la instancia interna, los encargados del Programa centran las evaluaciones en un control cuantitativo, basado en el monitoreo de la gestión y la implementación y en la presentación de informes diagnósticos enfocados en la caracterización de los destinatarios. Sin embargo, según la información relevada, es pertinente preguntarse por la existencia de evaluaciones a posteriori o estudios que analicen cualitativamente los datos. En otras palabras, que excedan los fines burocráticos y de control y se centren en análisis la gestión y de sus resultados, esto es en maximizar el impacto y la eficacia de los fondos a través del conocimiento y las acciones correctivas que de ellos derivan. 15 La evaluación interna del Programa Trabajar concuerda con el diagnóstico de Cohen sobre la tendencia dominante en la evaluación de políticas sociales en América Latina que utilizan como parámetros de medición indicadores de ejecución presupuestaria, cobertura y costos mínimos de prestación de servicios. Sin embargo ninguno de ellos da cuenta del impacto en función de los objetivos sociales que los justifican puesto la eficiencia del gasto no garantiza necesariamente su impacto (Cohen et al, 2001: 20). Respecto a las evaluaciones externas a la gestión e implementación del Programa, las realizaron dos actores. Uno fue el SIEMPRO 16 y el otro el Banco Mundial (BM). 14 Nirenberg (2001) asimismo destaca la importancia de la inclusión en el diseño del proceso evaluativo no sólo de los distintos niveles operativos, sino de los actores que programan y de los destinatarios de las acciones. 15 Al respecto cabe destacar que a pesar de no encontrar ningún informe de tales características, desde la Unidad Ejecutora Central y en las diversas instancias provinciales, funcionan instancias informales, que sirvieron de retroalimentación para mejorar el desempeño del programa. (esta afirmación se basa en una entrevista realizada a Sebastián Carrera, miembro de la UEC, el 20 de agosto de 2002 en Buenos Aires). 16 El SIEMPRO fue creado en el año 1995 por la resolución 2851/95 de la ex Secretaría de Desarrollo. Surgió en el marco de un préstamo del Banco Mundial y actualmente posee financiamiento de dicho organismo y del Banco Interamericano de Desarrollo. A partir de diciembre de 1999 pasa a depender de la Secretaría de Tercera Edad y Acción Social, la cual pertenece al Ministerio de Desarrollo Social y Medio Ambiente, y en 9

10 El SIEMPRO, entre sus diversas actividades, efectúa monitoreos y evaluaciones de programas sociales, para lo cual realizan distintos tipos de evaluaciones. En el caso del Trabajar el SIEMPRO realizó una evaluación diagnóstica (1997) 17 de la primera versión del Programa con el fin de realizar un análisis en profundidad de la ejecución. Es una evaluación de procesos que centra su atención en distintos aspectos del programa: las relaciones institucionales, la formulación de los proyectos y su ejecución, la focalización de los beneficiarios, el flujo de fondos, y en el perfil de los beneficiarios. Tal evaluación se realizó para obtener un diagnóstico de la implementación del Programa en su primera versión y sus conclusiones y recomendaciones fueron utilizadas para modificar y rediseñar el Programa en su segunda versión. Por su parte el BM, realizó una evaluación del Programa que denominaron de impacto y se basa en diversos estudios separados realizados por dicho organismo. El propósito de la evaluación efectuada por el BM es determinar si el programa está o no logrando alcanzar sus objetivos normativos, e indicar los campos en los cuales el programa necesita una reforma a fin de maximizar su eficacia. (Baker, s/f y BM, s/f). La misma consiste en diversos estudios, con objetivos distintos, que se realizaron para evaluar los siguientes aspectos del Programa: 1. los aumentos netos de ingresos que se acumulan para los participantes en el Programa, 2. la asignación de los recursos del programa en las diversas regiones (focalización) 3. la calidad de la infraestructura que los proyectos han financiado, y 4. el papel de la comunidad y las ONGs en los resultados de los proyectos. El primer aspecto lo analizaron en el estudio que se plantea evaluar de las ganancias netas en ingreso de los beneficiarios (Jalan y Ravallion, 1999). Tal objetivo no es ajeno al Trabajar, puesto que el Programa se propone reducir el impacto de la caída del nivel de ingresos de los hogares pobres por la pérdida de empleo, por lo que el BM está interesado en analizar las trasferencias netas de ingreso y ello realiza por medio del cálculo el costo de oportunidad, es decir los ingresos que el beneficiario deja de percibir por otros trabajos al incorporarse al programa. Los criterios y las técnicas que se utilizaron fueron una encuesta de niveles de vida (Encuesta de Desarrollo Social EDS) 18, otra encuesta realizada a los la actualidad se ejecuta dentro del Consejo Nacional de Coordinación de Políticas Sociales de la Presidencia de la Nación. 17 La evaluación fue realizada con colaboración de CRISOL Proyectos Sociales y CEDEI. 18 La EDS fue desarrollada por el Ministerio de Desarrollo Social y financiada por el BM bajo otro proyecto. La misma fue diseñada para mejorar la calidad de la información sobre el bienestar de las familias en Argentina, particularmente en el campo del acceso a los servicios sociales y los programas sociales. 10

11 fines de la evaluación a los participantes y un grupo de control como referencia comparativa para medir los efectos de la política 19. El estudio que analiza el segundo aspecto señalado, la focalización, (Ravallion, 1999) examina la asignación de recursos del Programa por regiones con la finalidad de verificar la orientación hacia los grupos beneficiarios específicos. Para realizar esta evaluación el BM se basó en datos del Ministerio de Trabajo respecto a asignación de fondos del Programa en las provincias y los comparó con índice de pobreza necesidades básicas insatisfechas establecido a partir del censo de Es un estudio centrado en el análisis de la focalización del programa en los sectores pobres, es decir si se seleccionan bien los destinatarios, pero no el impacto del programa en ellos, puesto que es un análisis del proceso de asignación de fondos, con el fin de aumentar la eficiencia operativa del programa. Se busca determinar la medida en que los componentes de un proyecto contribuyen o son disfuncionales a los fines perseguidos, es decir detectar las dificultades que se presentan en la programación y en la implementación, siendo su objetivo central medir la eficiencia con que opera el proyecto (Cohen y Franco, 1992: 110) por medio de observar, un aspecto del mismo, su focalización. El estudio destinado a evaluar la calidad de los proyectos de infraestructura que se financian, tercer aspecto del Programa que evalúa el BM, se realizó mediante el análisis de costos-beneficios 21. El análisis se centra en el producto del programa, es decir, en los resultados concretos de las actividades desarrolladas, en éste caso, las obras de infraestructura física. Al ser un análisis que se realizó una vez finalizada la obra debe brindar elementos para determinar la utilidad de la continuación del proyecto o para (...) establecer la conveniencia de realizar otros del mismo tipo (Cohen y Franco, 1992: 183). Para evaluar el cuarto aspecto el BM efectúo una evaluación social (Estebanez y Feliu, 1998) que se propone analizar ciertos aspectos de la implementación. Para realizar tal propósito realizaron una evaluación que se plantean indagar sobre la participación de 19 El grupo de control fue extraído de una muestra de la encuesta EDS y las comparaciones con los participantes del Programa se realizaron sobre la base de similitudes en las características observadas. 20 Para analizar la focalización la metodología consistió en la realización de regresiones de los datos sobre las asignaciones de fondos en las distintas áreas geográficas con los índices de pobreza geográfica. El coeficiente resultante estima un diferencial de focalización dado por la diferencia entre las asignaciones promedio del programa a pobres y no pobres. Se descompone el diferencial nacional de la focalización para evaluar la contribución del mecanismo de focalización del gobierno central con respecto a la focalización del gobierno local en el nivel provincial. 21 De acuerdo con el informe del BM realizó por medio de un muestreo y visitas al campo por parte ingenieros civiles que calificaban a los proyectos sobre la base a indicadores (agrupados en las siguientes categorías: técnicas, institucional, ambiental, socioeconómica). Éste último no se realizó para las escuelas y los centros de salud. 11

12 las ONGs en el Programa, de las mujeres como beneficiarias, el rol de los municipios y la percepción social de los diferentes actores involucrados. La denominan evaluación social puesto que la finalidad del estudio evaluativo es detectar los problemas o dificultades de la implementación a partir de la evaluación que realizan los diversos actores, es decir está enfocada en la perspectiva de los actores del programa desde sus diversos roles, ya sea como beneficiarios directos, indirectos, técnicos u organismos responsables 22. Por lo que podemos sostener que es una evaluación que pretende identificar los efectos del Programa desde la perspectiva de los propios intervinientes, y a partir de allí analizar el proceso de implementación. Al respecto cabe realizar una aclaración, el análisis que se realiza en éste tipo de evaluaciones, que incorporan las percepciones del programa de los diversos actores involucrados en el mismo está vinculado con el objeto de conocer el efecto del programa, como señalan Meny y Thoenig el efecto puede ser comprensible concreta y materialmente, pero también de forma simbólica y abstracta (...) los efectos se refieren a las opiniones y a las percepciones de la gente (...) puede tratarse de la satisfacción que experimentan, o no, los usuarios o los beneficiarios de una intervención (1992: 197). Sin embargo la evaluación social del BM no es una evaluación pluralista como la define Guerrero Amparán (1995) puesto que ésta no requiere sólo de los distintos puntos de vista de los interesados, es necesario una interpretación múltiple, dinámica y consensual de los efectos, para ello es necesario que sea un proceso colectivo del analista junto con los actores 23. Una vez descriptas brevemente las diversas las evaluaciones, la intención es considerar rol de éstos actores en el proceso mismo. Como se observó la fase evaluación en el Programa Trabajar, no constituyó un proceso integrado y continuo en el cual participaron los diversos actores, al margen de las diversas temporalidades que realizaron evaluaciones sobre el Programa, cada actor las realizó por separado y con diversos objetivos. 22 La misma fue realizada por sociólogos mediante entrevistas a grupos focales para los cuatro tipo de actores que intervinieron en el Programa (organismos responsables gubernamentales, ONGs, beneficiarios directos e indirectos), asimismo se realizaron entrevistas semiestructuradas a los miembros de la oficina central del Programa y a los responsables técnicos de las gerencias provinciales. 23 Por otro lado, tampoco es una evaluación plural como la conceptualiza Subirats puesto que, al igual que en el caso anterior, no es suficiente con incorporar la perspectiva de los beneficiarios y los actores interesados, se deben construir criterios de evaluación comunes con el fin de fomentar consenso mediante un proceso social de aprendizaje a través del cual es posible resolver en conjunto los problemas que afrontan las políticas públicas. (1995:10). 12

13 La evaluaciones internas pueden considerase como un monitoreo de la gestión e implementación del programa tanto las que realizaron los ejecutores como los responsables del Programa. La evaluación del SIEMPRO se realizó cuando el programa no poseía financiamiento externo y efectuó sólo una al Trabajar y como se destacó se centró en analizar el proceso y los aspectos de su implementación. A modo de hipótesis se podría considerar que al realizar el BM las evaluaciones centró su atención en otros programas sociales, pero también que la evaluación que realizó el SIEMPRO fue requerida por el BM para conocer el estado de la cuestión, puesto que sus recomendaciones fueron incorporadas en la segunda versión del Trabajar. A partir de la implementación del Trabajar II, observamos que el BM juega un papel central en el proceso de evaluación, los demás actores (tanto los beneficiarios, organismos participantes en las distintas etapas del programa, como los encargados de implementarlo) aparecen en ésta fase como informantes. Los datos de la Unidad Ejecutora Central, encargada procesar y elaborar de los indicadores de monitoreo, fueron utilizados en las evaluaciones que realizó el BM. Por otro lado, dicho organismo relevó otros datos, que no surgen de tales indicadores. El proceso de evaluación que realizó el BM fue diseñado por técnicos del organismo, e implementado conjuntamente con el equipo del proyecto de Argentina y del Banco, y se coordinó con el INDEC, el Ministerio de Trabajo y el departamento de políticas del Ministerio de Desarrollo Social. Esto nos confirma que el actor relevante en este proceso es el organismo co-financiador del programa, a pesar de la participación de otros actores. Por qué es el actor relevante? con qué recursos contó? 24 En primer lugar, el proceso de evaluación se inició durante la preparación del Trabajar II, que respecto a la primera versión posee modificaciones tendientes a mejorar la orientación de los proyectos hacia los grupos beneficiarios directos, por medio de una mayor influencia en el sistema de asignación presupuestaria del Gobierno Central de los indicadores de pobreza y desempeño provincial y una mayor atención en la evaluación de en la aprobación de los proyectos de infraestructura ponderando más altos los provenientes de áreas pobres (en el Trabajar I no se explicitaba ninguna metodología sobre la distribución). Por otro lado, se incorporan análisis de viabilidad (técnico, financiero, institucional, socioeconómica y ambiental) de los proyectos, entre otras modificaciones. Las reformas se realizaron para cumplir con los requisitos planteados por el BM, a pesar también se incorporaron las recomendaciones que realizó el SIEMPRO. Esto demuestra la 13

14 capacidad de negociación en las instancias de formulación y gestión del programa, por medio de la cual puede modificar el diseño del Programa de acuerdo a sus intereses 25. Específicamente respecto a la evaluación, al margen de lo ya señalado, el BM es quién la diseñó, estableció los objetivos, determinó qué dimensiones evaluar y la metodología. Asimismo coordinó a los colaboradores internos, contrató expertos y la financió. Situación que a partir del recurso económico y el peso político puede definir qué evaluar y cómo. Sin embargo ello no impide que otros actores realicen sus propias evaluaciones con otros objetivos e intereses. O bien que en el proceso de formulación y de diseño de la evaluación participen los demás actores involucrados en el Programa, los decisores políticos, los responsables máximos, los ejecutores, los miembros de las organizaciones intervinientes y por último, y no por ello menos importante la población beneficiaria. En segundo lugar, la posibilidad de acceder a la información durante el proceso de evaluación, es decir, la colaboración de las distintos participantes del programa, más la realizada por ellos mismos, fue la que les permitió realizar las diversas evaluaciones que componen el análisis de impacto. Este recurso que se cristaliza en la capacidad de descifrar el contexto, que le permite lograr definir un diagnóstico, el problema y la solución. La orientación en la definición de qué evaluar está vinculada con el concepto del problema y el interés del BM. Éste organismo se pregunta por el impacto del Programa en relación a los ingresos de los participantes, a la focalización (para evitar desviaciones) y a los proyectos de infraestructura, y por los problemas de la implementación y se asignación de recursos, por lo tanto se puede inferir que su interés está en el destino y la utilización de sus préstamos y es esos términos es entendida la eficiencia, por un lado. Por otro lado el Programa Trabajar, se presenta como un programa de empleo transitorio, donde el objetivo es brindar ocupación transitoria a desocupados en condiciones de pobreza, reduciendo el impacto de la caída del nivel de ingreso de los hogares pobres por la pérdida de empleo y mejorando la empleabilidad de dichos trabajadores. (Res. S.E.y C.L. n 240/97), para de esa manera disminuir la pobreza mediante la simultánea generación de oportunidades de empleo y de mejoramiento de la infraestructura social en las comunidades en condiciones de pobreza. 24 Para el análisis de los recursos de los actores nos basamos en lo propuesto por Acuña y Repetto (2001). 25 De acuerdo con Hintze (2000) los programas con financiamiento externo, cumpliendo con las etapas del ciclo proyecto, pasan por evaluaciones ex ante destinadas a establecer la factibilidad de proyecto y en la formulación incluyen sistemas de evaluación y monitoreo. 14

15 La evaluación del BM se pregunta por las ganancias netas en ingreso de los participantes, y pone el acento en la focalización, lo por tanto la problemática de la pobreza es entendida sólo como una disminución del ingreso. Esto de acuerdo con Lo Vuolo et. al. está vinculado con el concepto de pobreza del BM, que lo entiende no como un problema de redistribución de recursos sino principalmente uno de mejor utilización de recursos productivos (..) la salida que se ve para la pobreza es la fundamentalmente por la utilización de fuerzas productivas de los propios pobres (...) se trata de un problema de elecciones racionales entre actividades (1999: 112). Por ello uno de los criterios que utilizó el BM es el costo oportunidad de participar en el Programa en relación al ingreso sacrificado (el ingreso de los que no participan en el mismo) y en base a ello se centran las características de los beneficiarios y su distinta clasificación y la percepción que poseen de la política que los tiene como destinatarios. Al seleccionar solamente éste impacto (las transferencias netas de ingresos), se dejan de lado los demás contenidos en los objetivos del Programa, como por ejemplo la mejora de la empleabilidad de los beneficiarios 26. Considerar sólo un aspecto de los resultados del Programa, reduce el objetivo del mismo. En tercer lugar la capacidad de representación, podemos entenderla para éste actor, en ésta fase, al rol de los expertos y los consultores encargados de las evaluaciones, en un sentido particular, puesto que al presentarse como miembros del BM, están representando y cumpliendo la función que éste organismo les encomienda, por lo cual la actitud de los consultados, es brindar la información, puesto que están los que demandan los datos están aparados por el Banco y lo representan. A pesar que no poseen un respaldo legal que ampare su accionar (si fuera un actor estatal), ni liderazgo para expresar con legitimidad a su base (si fuera un actor social), al ser un actor que financia la mayor parte del programa, es considerada legítima su preocupación por la implementación del programa, por lo tanto sus miembros, representan esa inquietud. Por otro lado el BM se presenta ejerciendo el rol tradicional del evaluador, como depositario de saberes técnicos y responsable del rigor científico. El rol del experto se observa en los diversos estudios que elaboraron modelos teóricos, los instrumentos de recolección de información aisladamente. Asimismo sus conclusiones se presentan como 26 Sin lugar a dudas medir tal aspecto del objetivo del Programa es dificultoso y requiere de un estudio ex post más avanzado en el tiempo y la posibilidad de conformar grupos de participantes del Programa y de observarlos después de que hayan participado del mismo con el fin de determinar si aumentó o no su empleabilidad. No obstante ello los recursos económicos y técnicos que mostró tener el BM en las estudios analizados, tal complicación no parece ser un problema, siempre y cuando el BM tuviera interés en ello. 15

16 deducciones de la racionalidad de las técnicas empleadas, descontextualizadas de la realidad en que se desarrolló el Programa y neutralmente valorativas. Respecto a los demás parámetros que hace que determinados actores se constituyan en relevantes en un proceso de una política pública 27, el BM no los posee sin embargo ello no constituye un impedimento ni una limitación, puesto que en ésta fase no son determinantes para éste actor. En síntesis, durante el proceso de evaluación del Trabajar el BM demostró interés en conocer los resultados de la acción y de los fondos prestados. Respecto a los demás actores, vemos que durante esta etapa participan en función de tal demanda, tanto los beneficiarios al participar en la evaluación social, como los responsables de la gestión en cooperar con la evaluación. Nos preguntamos qué consecuencias trae aparejado que el BM sea el actor determinante en ésta fase del Programa Trabajar? qué sucede con los demás actores? cuál es el interés en la evaluación? qué recursos (y o capacidades) e intereses poseen para participar en la misma? En primer lugar que el BM sea el actor relevante en la fase evaluación, significa que las evaluaciones estarán orientadas a satisfacer los intereses de tal organismo. Pero tales intereses son los mismos que los que poseen los demás actores? Sin lugar a dudas no, por ejemplo el Estado, que a pesar sea un actor que también financia del Programa y que puede compartir la preocupación por el uso eficiente de los recursos con el BM, su interés está (o debería) enfocado, también, hacia el éxito o no de tal modalidad de intervención. Lo que conduce a indagaciones sobre el impacto de la política de acuerdo al objetivo de la misma, en el sentido si se logró o no subsanar el problema que dio origen a la política pública, al margen de que también tenga otros intereses respecto a las diversas dimensiones de la política pública. Hemos señalado que evaluar una política significa efectuar un juicio de valor sobre la misma, por ello que tal juicio sea determinado, o exclusivamente definido, por el BM, afecta, en primer lugar la representatividad de los demás actores intervinientes en todo el ciclo de la política pública. Ahora bien cabe indagar sobre la ausencia de los demás actores en ésta fase. A qué se debe? La respuesta a tal pregunta, nos conduce a analizar varios aspectos. En primer lugar nos preguntamos los demás actores no son relevantes en ésta etapa porque no 27 Nos referimos a los demás recursos que señalan Acuña y Repetto (2001) la capacidad de movilización social y de acción colectiva. 16

17 poseen los recursos necesarios, lo que impide constituirse como tales, o porque no poseen un interés en participar en la misma y sí en otras etapas de la política? Lo que nos lleva a analizar qué valor le asignan a la evaluación para que consideren importante participar en dicho proceso, y cuál es lugar que ocupa la evaluación al momento de definir y rediseñar las políticas públicas. Por otro lado también nos lleva a preguntarnos a cómo generar el marco institucional para lograr que el proceso de evaluación sea más democrático y pluralista, en el sentido que estén representados todos los actores. Para comenzar a delinear algunas posibles respuestas a tales preguntas nos alejaremos del caso presentado, considerando que el análisis de la fase de una política pública, intentó dar cuenta de qué actores y en base a qué recursos participaron en tal micro proceso (es decir en la evaluación, del macro proceso del ciclo completo del Programa Trabajar). Pero tal micro proceso en el que interactúan ciertos actores nos permite realizar otro corte analítico. Nos referimos a la fase evaluación en sí misma, a su aspecto institucional, es decir a la estructura de incentivos que moldean el comportamiento de los actores en ésta fase. Por ello podemos analizar a la evaluación no sólo en esa política pública, sino delinear algunas conclusiones sobre las reglas de juego y la estructura de incentivos y restricciones en esa fase. Para tal propósito nos centraremos en el análisis de la política del Estado frente a la evaluación, considerando la capacidad diferencial de actuación del Estado frente a otros actores, al momento definir y coordinar cómo, con qué objetivos y quiénes participan al momento de evaluar las políticas públicas. Algunas líneas sobre la evaluación de políticas como una política pública Para analizar los actores relevantes en el Programa Trabajar se consideró a la evaluación como una fase del ciclo de una política pública, sin embargo desde otra perspectiva, la función de la evaluación de políticas públicas puede ser, también, entendida como una política estatal en sí misma y con una finalidad precisa. Este segundo enfoque incluye y engloba en su análisis todos los ciclos de evaluación de las diversas políticas, por lo tanto a las observaciones ya señaladas. Ello no implica necesariamente que un organismo estatal lleve adelante las tareas de evaluación, éstas pueden ser delegadas a instancias no gubernamentales, pero sí indica una decisión estatal frente a la temática. En otras palabras, las consideraciones que se van a realizar se refieren a los sistemas de evaluación de las políticas públicas. Los sistemas de evaluación constituyen estructuras institucionales de evaluación de las acciones e intervenciones del Estado y de 17

18 los respectivos aparatos administrativos estatales (Guerrero Amparán, 1995) que requieren la definición de políticas de evaluación. Ospina propone una división analítica de los distintos niveles de evaluación, que en su conjunto conformarían un sistema de evaluación estatal. De acuerdo con el planteo de la autora en nivel más micro se desarrolla la evaluación de desempeño de los empleados que compete al área de gestión de recursos humanos y el nivel intermedio (nivel meso) corresponde a la evaluación de las organizaciones públicas encargadas de proveer servicios públicos e implementar políticas públicas. A un nivel más macro se encuentra la evaluación de programas que cruzan varias organizaciones, y en un cuarto nivel la evaluación del desempeño del gobierno, como un conjunto de instituciones que implementan políticas que se han gestado democráticamente y por lo tanto representan un pacto con los ciudadanos (2001: 104). Cada uno de los niveles requiere mediciones y evaluaciones de distinto tipo, pero para que integren un sistema deben estar interconectados y articulados. No nos centraremos en todos los niveles de evaluación, sino solamente en el que se refiere a la evaluación de las políticas sociales, que de acuerdo con la división propuesta por Ospina corresponden principalmente a los últimos tres niveles 28. En cuanto a la evaluación de políticas sociales, en los últimos años, se han desarrollado diversas instancias de evaluación al momento de formular las políticas sociales 29 y se introdujeron mecanismos de seguimiento y monitoreo que se implementan desde los ámbitos de gestión y de responsabilidad de cada una de ellas, sin embargo tales instancias se encuentran descentralizadas y desarticuladas entre sí. Por tal motivo nos centramos en el organismo del Estado nacional que realiza evaluaciones de los programas sociales, el SIEMPRO 30. Respecto al SIEMPRO queremos destacar sólo algunos aspectos respecto a qué programas se evalúan, cómo y quiénes llevan adelante el proceso (y qué sucede con las evaluaciones) 31. Por lo tanto no se analizan los avances ni las debilidades del organismo en 28 A pesar de ello no hacemos referencia, específicamente, a las evaluaciones organizaciones o institucionales sino a las políticas públicas que éstas implementan. Aunque ambas dimensiones están conectadas y son interdependientes. 29 A modo de ejemplo la definición del Marco Lógico del BID. (BID, 1997) 30 También en el Plan de Modernización del Estado posee como objetivo la mejora de la gestión pública por medio del seguimiento y la evaluación de las políticas públicas. Sin embargo debido al poco desarrollo y avance en las áreas sociales, no nos centraremos en su análisis. 31 Las consideraciones que se efectúan sobre el SIEMPRO, no forman parte de un trabajo de investigación en profundidad sobre el organismo, sino que se basa en un conjunto de reflexiones a partir de la lectura de cierta bibliografía. Por ello son breves y se refieren sólo a los aspectos señalados y se realizan con el fin de 18