Meta evaluación del Fondo Nacional para el Fomento de las Artesanías (FONART)

Transcripción

1 Meta evaluación del Fondo Nacional para el Fomento de las Artesanías (FONART) Octubre, 2012 Equipo Evaluador: Guillermo M. Cejudo (coordinador) Cynthia L. Michel Roberto Gerhard

2 Resumen Ejecutivo Este documento presenta los hallazgos de la Meta Evaluación del Fondo Nacional para el Fomento de las Artesanías (FONART). Esta meta evaluación tuvo por objeto analizar los avances y logros del programa en términos de evaluación y monitoreo, durante el periodo Asimismo, en la meta evaluación se buscó identificar las áreas de oportunidad del programa para mejorar su desempeño en lo referente al monitoreo y evaluación, en el periodo Según las Reglas de Operación (ROP) del FONART, el programa inició sus operaciones en 1995 en un esfuerzo por promover la actividad artesanal del país, y de esta forma contribuir al aumento en el ingreso familiar de los artesanos, a través de su desarrollo humano, social y económico (ROP FONART, 2012: 16). Así, el objetivo general del programa consiste en contribuir a mejorar las fuentes de ingreso de los artesanos cuyo ingreso es inferior a la línea de bienestar, mejorando sus condiciones productivas (ROP FONART, 2012: 16). Durante el periodo , el FONART fue evaluado de manera regular. Las evaluaciones muestran que existe un avance en las definiciones de las PP y PO, y que los indicadores siempre han superado sus metas, excepto por el indicador de Fin, para el cual no existe información. Aún cuando es necesario hacer explícitos los criterios que se utilizan para definir cada meta a fin de poder valorar adecuadamente el desempeño de los indicadores, los resultados del programa indican que 32% de los artesanos beneficiados por adquisición de artesanías y apoyos a la comercialización ampliaron mercado; 73% de los artesanos que participaron en los concursos de artes popular declararon mejoras en la calidad de su producción; todos los artesanos beneficiados con apoyos a la producción incrementaron su producción, y 76% de los artesanos capacitados aplican en su producción las técnicas enseñadas. Sin embargo, en algunas evaluaciones, también se indicó que los mecanismos de recolección de información no permiten obtener información objetiva y veraz, pues parten de la percepción de los beneficiarios. Además, las evaluaciones indican que los beneficiarios no siempre se sienten satisfechos por el beneficio que reciben del programa. En esta meta evaluación se revisaron las evaluaciones de seis programas similares al FONART en otros países, a partir de las cuales se identificó una gran variedad de particularidades en cuanto al diseño de los programas, que pueden ser útiles para mejorar el diseño del FONART, en específico en lo relativo a la impartición de talleres y cursos sobre temas 2

3 empresariales y administrativos, así como a la importancia de evaluar la sostenibilidad de los proyectos artesanales que se apoyan. Con base en este análisis, se recomienda una agenda de evaluación con la cual se busca identificar, de forma más clara, el problema público que el FONART busca atender, mediante la realización de un nuevo diagnóstico. Además, se propone la implementación de una evaluación de indicadores con el fin de verificar que los indicadores de la MIR del FONART en efecto estén capturando la información para la cual fueron diseñados. La evaluación complementaria propuesta busca generar evidencia empírica para conocer los atributos de diseño con los que debe contar el programa para ser más eficaz. Además, a partir de la implementación de la evaluación de procesos se busca conocer los aspectos que deben ser mejorados en la operación del programa. En la agenda de evaluación se incorporó también una evaluación de impacto con miras a conocer los efectos del programa en el ingreso de los beneficiarios, en el desarrollo de sus condiciones productivas y en la preservación de la actividad artesanal. En materia de Monitoreo, la meta evaluación identificó que la MIR redujo el número de indicadores a lo largo del periodo de análisis. En cuanto a los resúmenes narrativos de los niveles de Fin y Propósito, vale anotar que aunque ambos han transitado a definiciones cada vez más precisas. En el caso del Resumen Narrativo de Fin se identificó que el objetivo último al que el programa busca contribuir es ambiguo en tanto que no queda claro cómo es que el programa mejora las fuentes de ingreso. En todo caso, se considera que el fin último al que el programa contribuye es al bienestar económico 1, y se recomienda que así se exprese en el Resumen Narrativo correspondiente. Por otra parte, el Resumen Narrativo a nivel de Propósito fue valorado positivamente; sin embargo, los indicadores establecidos para este nivel reflejan los bienes y servicios que produce el programa en lugar de reflejar el resultado que se busca generar a partir de dichos bienes y servicios. En este sentido, en la meta evaluación se recomendó como indicador para el nivel de Propósito uno que indicara el incremento en el nivel de ventas, pues éstas son una expresión del aumento en las condiciones productivas de los beneficiarios. Para el nivel de Fin, se recomendó un indicador que midiera el número de proyectos que permanecen por más de dos años, a fin de conocer su sostenibilidad. 1 Por bienestar económico se hace referencia al ingreso del que disponen las personas para la adquisición de bienes y servicios en el mercado, específicamente, el ingreso corriente, el cual representa el flujo de entradas, no necesariamente monetarias (puede incluir los productos recibidos o disponibles en especie, entre otros), que le permiten a los hogares obtener los satisfactores que requieren, sin disminuir los bienes o activos que poseen (CONEVAL, 2009: 38-39). 3

4 En general, la meta evaluación encontró como principales fortalezas del programa que su Propósito esté alineado con la estrategia 1.4 del Programa Sectorial de Desarrollo, así como la correcta definición de dicho indicador. También es destacable el esfuerzo que el programa ha realizado para atender las recomendaciones hechas por los evaluadores externos, a fin de mejorar la operación y planeación del programa. Finalmente, en materia de evaluación se considera que es una fortaleza del programa la regularidad con la que éste se sujeta a evaluaciones. Sin embargo, en esta meta evaluación también se identificó una inadecuada definición del problema público que el FONART busca atender, pues éste ha sido definido de forma muy poco clara, por lo que existe una constante tensión en el diseño del programa que impide identificar en qué medida las acciones del mismo deben orientarse a la preservación de la actividad artesanal, y en qué medida deben hacerlo al bienestar económico. Se recomienda que una vez que el problema haya sido claramente definido en el diagnóstico, el FONART: (a) incorpore el elemento de sostenibilidad a las características que idealmente deben tener los proyectos artesanales, pues así contribuye a la preservación de las artesanías, (b) mejore las definiciones tanto de los resúmenes narrativos para los niveles de Fin y de Propósito, así como las de sus indicadores, de conformidad con lo propuesto en esta metaevaluación, (c) mejore los mecanismos de recolección de información a fin de asegurar la confiabilidad y objetividad de los resultados obtenidos, y (d) haga explícitos los criterios mediante los cuales se establecen las metas de los indicadores, con el fin de conocer si los resultados de éstos son producto de un buen desempeño del programa, o de metas muy laxas. En conclusión, el FONART es un programa que necesita contar con evidencia teórica y empírica que justifique su intervención, y que permita conocer si ésta tiene un efecto positivo en la población que atiende. El programa presenta problemas muy elementales que amenazan su eficacia: el problema público que busca atender no ha sido definido y la calidad de la información que se utiliza para alimentar los indicadores es cuestionable. 4

5 LISTA DE ACRÓNIMOS ADEX: Asociación de Exportadores de Perú ASM: Aspectos Susceptibles de Mejora ATA: Aid to Artisans ATAG: Aid to Artisans Ghana Coneval: Consejo Nacional de Evaluación de la Política de Desarrollo Social CUIS: Cuestionario Único de Información Socioeconómica DD: Método de Diferencia en Diferencias DGEMPS: Dirección General de Evaluación y Monitoreo de los Programas Sociales ECyR: Evaluación de Consistencia y Resultados EED: Evaluación Específica de Desempeño FONART: Fondo Nacional para el Fomento de las Artesanías HACER: Honduran Artisans Catalyzing Economic Revitalization IMSAB: Índice Mexicano de Satisfacción de los Beneficiarios de los Programas Sociales MIR: Matriz de Indicadores para Resultados MSP: Microentreprise and Small Producers Support Project OSC: Organizaciones de la Sociedad Civil PA: Población Atendida PASH: Portal Aplicativo de la Secretaría de Hacienda PO: Población Objetivo PP: Población Potencial ROP: Reglas de Operación del Programa SCC: Sharan Craft Center SEDESOL: Secretaría de Desarrollo Social URP: Unidad Responsable del Programa USAID: Agencia de los Estados Unidos para el Desarrollo Internacional 5

6 Tabla de contenido 1. INTRODUCCIÓN DESCRIPCIÓN DEL PROGRAMA Antecedentes Descripción de los objetivos del programa así como de los apoyos que ofrece Identificación y cuantificación de la población potencial (PP), objetivo (PO) y atendida (PA) SECCIÓN DE EVALUACIÓN Evaluaciones a las que ha estado sujeto el FONART Evaluación de Consistencia y Resultados 2007 (ECyR 07) Evaluación de Específica de Desempeño (EED 08-09) Evaluación de Específica de Desempeño (EED 09-10) Evaluación de Específica de Desempeño (EED10-11) Evaluación de Consistencia y Resultados ( ECyR 11-12) Evaluación de Satisfacción Conclusiones Evaluaciones de programas similares a FONART HACER: Honduran Artisans Catalyzing Economic Revitalization Microentreprise and Small Producers Support Project (MSP) Fostering Craft Enterprise and the Voluntary Business Assistance Sector in Russia Sharan Craft Center (SCC) Aid to Artisans Ghana (ATAG) Mpukunyoni Craft Market Project Hallazgos del análisis de las evaluaciones realizadas a programas similares al FONART Agenda de Evaluación SECCIÓN DE MONITOREO Análisis histórico de los principales cambios en la MIR del FONART Cambios en el Resumen Narrativo del nivel de Fin Cambios en el Resumen Narrativo del nivel de Propósito

7 4.4 Pertinencia del Resumen Narrativo 2012 ante los objetivos y actividades del FONART Análisis de los indicadores para los niveles de Fin y Propósito Conclusiones ANÁLISIS FODA CONCLUSIÓN GLOSARIO REFERENCIAS BIBLIOGRÁFICAS ANEXOS

8 1. INTRODUCCIÓN Este documento presenta los hallazgos de la Meta Evaluación del Fondo Nacional para el Fomento de las Artesanías (FONART). Esta meta evaluación tuvo por objeto analizar los avances y logros del programa en términos de evaluación y monitoreo, durante el periodo Asimismo, se buscó identificar las áreas de oportunidad del programa para mejorar su desempeño en lo referente al monitoreo y evaluación, en el periodo A continuación se presenta un apartado que brinda, a grandes rasgos, una descripción del programa, de sus objetivos y de su población potencial, objetivo y atendida. Posteriormente, en el apartado de Evaluación se realiza un análisis de las evaluaciones a las que ha estado sujeto el programa en el periodo En dicho apartado se presentan de forma sucinta los principales resultados y hallazgos derivados de cada una de ellas, y se emite una valoración sobre la mismas. Dentro de la sección de Evaluación también se presentan informes de evaluaciones de programas similares al FONART, que se llevaron a cabo en el ámbito nacional o internacional. Se realiza una síntesis de los principales resultados y se realiza una valoración técnica de la metodología empleada. A partir del estudio tanto de las evaluaciones realizadas al programa durante el periodo de análisis, como de las evaluaciones realizadas a programas similares al FONART, se detectaron los aspectos del programa que no habían sido evaluados, o que requerían ser evaluados en un nuevo contexto, tomando en cuenta las tendencias identificadas en las evaluaciones de programas internacionales que pudieren ser útiles para el caso del FONART. Así, se presenta una agenda de evaluación para el periodo en la cual se justifica técnica o empíricamente la importancia de cada una de las evaluaciones propuestas para el programa. Posteriormente se presenta el apartado de Monitoreo, en el cual se realiza un análisis histórico ( ) de los principales cambios que ha sufrido la Matriz de Indicadores para Resultados (MIR), y se identifica si dichos cambios obedecen a las 8

9 observaciones emitidas por los actores involucrados en su revisión, o si son producto de los hallazgos o resultados de evaluaciones externas. Adicionalmente, en el apartado de monitoreo se presenta un análisis sobre la pertinencia y congruencia tanto de los resúmenes narrativos de los Niveles de Fin y Propósito como de sus indicadores, a partir de los bienes y servicios que entrega el programa. Finalmente se presenta un Análisis FODA sobre el programa, y se realizan las recomendaciones detectadas. pertinentes para atender las debilidades y oportunidades 9

10 2. DESCRIPCIÓN DEL PROGRAMA El FONART es operado por la Secretaría de Desarrollo Social (SEDESOL). El FONART existe como fondo desde 1974 y comenzó a ser operado por la Secretaría de Desarrollo Social (SEDESOL) en 1995 (ECyR, 2007: 9). 2.1 Antecedentes El FONART surgió como una respuesta a la necesidad de promover la actividad artesanal del país y contribuir así a la generación de un mayor ingreso familiar de los artesanos; mediante su desarrollo humano, social y económico (ROP FONART, 2012: 16). De acuerdo con el Diagnóstico de la capacidad de los artesanos en pobreza para generar ingresos sostenibles, la calidad de vida del gremio de los artesanos se ha deteriorado con el paso del tiempo debido a que habitan en localidades poco vinculadas con el mercado nacional o internacional, porque sus proyectos no son rentables, porque existe una valoración insuficiente de las artesanías y porque el uso que hacen de los recursos naturales no siempre es sustentable, lo cual afecta su subsistencia y el equilibrio del medio ambiente. Estas condiciones han resultado en una pérdida del oficio del artesano, un deterioro de sus condiciones de salud, pérdida o deterioro de su patrimonio y de los recursos naturales así como una transmisión intergeneracional de la pobreza. En ese sentido, el problema central que busca atender el FONART es la falta de mecanismos que permitan a los artesanos en pobreza generar ingresos sostenibles y romper con el ciclo de transmisión intergeneracional de la pobreza (Nota sobre Población Potencial y Población Objetivo, 2011: 2). De tal forma, el FONART busca ser un vehículo para lograr la independencia económica de los artesanos mexicanos de acuerdo con una perspectiva multidimensional del fenómeno artesanal, es decir, que contempla su carácter social, económico y cultural, bajo criterios que definen los artesanos como generadores de su propio desarrollo. 10

11 2.2 Descripción de los objetivos del programa así como de los apoyos que ofrece El FONART tiene como objetivo general contribuir a mejorar las fuentes de ingreso de los artesanos cuyo ingreso es inferior a la línea de bienestar, mejorando sus condiciones productivas. El objetivo específico del programa es mejorar la condición productiva de los artesanos cuyo ingreso es inferior a la línea de bienestar. Como se puede apreciar en la Tabla 1, el FONART desempeña cuatro vertientes de actividades para apoyar la actividad artesanal: Capacitación Integral y Asistencia Técnica, Apoyos a la Producción, Adquisición de Artesanías y Apoyos a la Comercialización, y Concursos de Arte Popular, con el propósito de atenderlos de forma integral y complementaria. Además, FONART realiza actividades tales como compras a consignación; comercialización y apertura de mercados; ferias y exposiciones; organización de reuniones y foros nacionales de especialistas del sector; y realización y publicación de textos especializados en temas artesanales (ECyR, 2011: 2). De acuerdo con las ROP 2012, Con estas acciones el FONART busca ser la institución que coordine de forma dinámica y efectiva las distintas políticas y recursos entre los organismos públicos municipales, estatales y federales, sectores social y privado con el propósito fundamental de fomentar la actividad artesanal y proteger su desarrollo (2012: 2). 11

12 Tabla 1. Actividades del FONART y montos de apoyo. Vertientes Actividades Monto Capacitación Capacitación Integral Asistencia Técnica Transmisión de conocimientos en organización, materias primas, proceso productivo, comercialización, informática, administración y valoración cultural. Mejoramiento de la condición productiva de los artesanos. $12,000 por artesano. $6,000 por artesano Apoyos a la producción Individuales Grupales Para la adquisición de activo fijo y capital de trabajo destinado a la producción artesanal. $15,000 una sola vez al año. $225,000 sin rebasar $15,000 por persona. Adquisición de artesanías y apoyo a la comercializaci ón Concursos de Arte Popular Se compra la producción de un artesano. Apoyos a la comercializaci ón (renta de espacios, empaques, transportes, etc.) $15,000 al año. Individuales $ 15,000 Grupales $225,000 sin rebasar $15,000 por persona. Nacional $ 125,000 Estatal $ 15,000 Regional $ 10,000 Fuente: elaboración propia con base en las Reglas de Operación

13 2.3 Identificación y cuantificación de la población potencial (PP), objetivo (PO) y atendida (PA) De acuerdo con el documento Nota sobre Población Potencial y Población Objetivo, la PP está definida como el conjunto de artesanos cuyo ingreso es inferior a la Línea de Bienestar (2011: 8). 2 El mismo documento explica que [e]n el Diagnóstico 3 únicamente se definió y caracterizó a la población potencial. Ello debido a que el propio Diagnóstico señala que la población objetivo es un subgrupo de la potencial que se define en función del presupuesto asignado anualmente al Programa y al tipo de convocatorias que éste emita. (2011: 5). Es decir, que la población objetivo será cuantificada en función de los recursos presupuestales de cada año y su definición está delimitada a un subconjunto de la PP. No obstante, al revisar las ROP (2012: 17) resulta que la PO está definida como los artesanos cuyo ingreso es inferior a la línea de bienestar, esto indica que existe una falta de precisión entre las definiciones de las PP y PO. La PA, comprendida como los artesanos que fueron apoyados por el FONART durante 2011, fue de 17, 243. Como se puede apreciar en la gráfica 1, la PA siempre ha superado a la PO, para la cual no hay estimación en También se observa que la PA tuvo un pico en 2009 y a partir de entonces ha disminuido año tras año (pareciera que se dirige hacia una convergencia con la última estimación de PO). Por otro lado, se observa que el presupuesto aumentó hasta 2010 y en 2011 tuvo una disminución. En teoría, dada la definición de PO, se esperaría que su desarrollo 2 El cambio en la definición de la población potencial implica que la línea de referencia para identificar a los artesanos pobres, es decir la líneas de pobreza patrimonial, cede su lugar a la denominada Línea de Bienestar, cuyo valor en agosto de 2010, el mes de referencia para la medición oficial de la pobreza, fue de $2,114 en el ámbito urbano y $1,329 en el rural (Nota sobre Población Potencial y Población Objetivo, 2011: 8-9). 3 Diagnóstico de la capacidad de los artesanos en pobreza para generar ingresos sostenibles,

14 estuviera ligado a la par del presupuesto del FONART, sin embargo los picos en la gráfica de PO y presupuesto ejercido no coinciden. Gráfica 1. Evolución de la PO, PA y presupuesto ejercido. 30,000 $ 250,050,000 Número de beneficiarios 25,000 20,000 15,000 10,000 $ 200,050,000 $ 150,050,000 $ 100,050,000 $ 50,050,000 Presupuesto en pesos 5, $ 50,000 P. Objetivo P. Atendida Total de presupuesto ejercido Fuente: elaboración propia con base en Informes trimestrales a la cámara de diputados y las EED y EED

15 3. SECCIÓN DE EVALUACIÓN En esta sección se analizan las evaluaciones a las que estuvo sujeto el FONART, así como evaluaciones de programas internacionales semejantes. En primer lugar, la sección sobre las evaluaciones a las que estuvo sujeto el FONART permite identificar temas que se señalaron de manera recurrente, los cambios que realizó el programa en función de las recomendaciones o si es que hubieron temas importantes que no se analizaron. Así, esta sección permite evaluar la capacidad de reacción del programa ante las evaluaciones y también la calidad de las evaluaciones mismas. Por su parte, la sección de evaluaciones de programas internacionales sirve para comparar la forma en la que programas similares al FONART se han evaluado en otras partes del mundo, qué resultados han obtenido y cómo realizaron dichas intervenciones de política pública. Los programas revisados comparten con el FONART el hecho de estar dirigidos a artesanos y el que sean utilizados como un medio para combatir la pobreza y estimular el desarrollo económico y social de los beneficiarios. Esta sección permitió identificar algunos resultados generales como el hecho de que tuvieron un impacto positivo sobre la vida de los beneficiarios medido a través del ingreso de los artesanos algunos años después de la intervención (entre 2 y 5 años después), que los talleres impartidos resultaron ser básicos para la supervivencia de los proyectos artesanales (individuales o de grupo) y que es fundamental tener buena comunicación y confianza entre los elementos de la cadena que vincula al artesano con el mercado nacional e internacional. 3.1 Evaluaciones a las que ha estado sujeto el FONART El análisis que a continuación se presenta ha tomado como referencia a las Evaluaciones Externas del Programa FONART realizadas en el periodo (véase 15

16 Anexo 1) 4, por lo que todos los resultados y hallazgos citados, así como las recomendaciones que derivaron del ejercicio de evaluación de los años de estudio contemplados, han sido analizadas y atendidas por el Programa conforme a la normatividad establecida en el Mecanismo para el seguimiento a los aspectos susceptibles de mejora derivados de informes y evaluaciones a los programas presupuestarios de la Administración Pública Federal. Por consiguiente, todas las opiniones y valoraciones realizadas con base en el análisis anterior son exclusiva responsabilidad del equipo evaluador. En general, los principales resultados de este análisis permiten identificar omisiones en las evaluaciones, problemas recurrentes, así como las fuentes de cambios en la MIR. Este análisis identificó que nunca se ha recomendado al programa ajustar la forma en la que estima las metas de sus indicadores a pesar de que las supera regularmente. El programa tampoco ha cambiado la forma en la que estima sus indicadores de Propósito por algún tipo de medición objetiva, a pesar de que han sido cuestionados por provenir de una encuesta y reflejar la opinión de los beneficiarios. Por último, existen recomendaciones recurrentes como la realización de un estudio de seguimiento a los beneficiarios; o la necesidad de elaborar una Estrategia de Cobertura, así como un Plan Estratégico que de acuerdo con el análisis de las evaluaciones estos documentos estuvieron listos para 2011 pero se identificaron áreas de mejora en cuanto a la justificación de la intervención del programa Evaluación de Consistencia y Resultados 2007 (ECyR 07) El FONART estuvo sujeto a una evaluación de Consistencia y Resultados (ECyR) en el año 2007, realizada por Alternativas en Economía Consultores. La ECyR 07 evaluó la consistencia y orientación a resultados del FONART con la finalidad de proveer información que retroalimentara su diseño, gestión y resultados. La evaluación analizó 4 se analizaron todas las evaluaciones externas realizadas durante el periodo , que están normadas en los Programas Anuales de Evaluación (PEA) 16

17 los siguientes temas: diseño, planeación estratégica, cobertura y focalización, operación, la percepción de la población atendida y la medición de los resultados. Para realizar esta evaluación se realizó trabajo de gabinete en el que se revisaron los resultados finales de la MIR, el análisis de la cobertura del FONART así como de su presupuesto y evaluaciones previas al programa. La ECyR 07 señaló que el programa no demostró un adecuado progreso para alcanzar su Propósito y Fin porque tiene importantes problemas en el Diseño. Respecto al diseño del FONART la ECyR 07 destacó que la lógica vertical de la MIR se validó ya que las actividades señaladas son necesarias y suficientes para el logro de los Componentes; los Componentes de la Matriz modificada son indicados para alcanzar el Propósito; el Propósito está claramente definido -artesanos en situación de pobreza fortalecidos en su ciclo productivo- y el logro del mismo contribuye plenamente al logro del Fin (ECyR 2007: 1). La lógica horizontal de la MIR también se validó pues todos los indicadores de la Matriz modificada son claros, relevantes, económicos, adecuados y monitoreables; los indicadores tienen línea base, y los supuestos son consistentes para la realización del objetivo del nivel inmediato superior (ibíd). Sin embargo, en la evaluación se estableció que el problema al que va enfocado FONART no está definido con claridad, ya que presenta el doble objetivo de atender a los artesanos en pobreza y de fomentar las artesanías tradicionales y de calidad (ibíd). Otros aspectos negativos del diseño, según esta evaluación, se encontraban en la ausencia de un diagnóstico actualizado que justificara o sustentara la existencia del programa. Asimismo, se señaló que tampoco se contaba con una definición exacta de la PP, 5 y que la definición de la PO era imprecisa en las ROP (de acuerdo a los criterios establecidos por CONEVAL). Se señaló que el FONART también carecía de datos sobre las características socioeconómicas de los artesanos beneficiarios y que en 2007 tampoco contó con un mecanismo específico para determinar duplicidades con otros programas. El análisis de la Planeación Estratégica realizado en la ECyR 07 reveló que el FONART contaba con planes de corto y mediano plazo, que recolectaba información 5 La falta de exactitud se refiere al tipo de artesano que presenta el problema al que se dirige el programa. 17

18 sobre su operación de manera periódica, que tenía metas y plazos específicos para sus indicadores de gestión, y que realizó evaluaciones externas cuyas recomendaciones usó para mejorar su operación. Sin embargo, entre los aspectos negativos de la planeación del programa se identificó que los planes de corto y mediano plazo no contaban con estrategias para alcanzar sus metas, y que no se especificaron planes de trabajo para implementar sus estrategias. Con respecto a la Cobertura y Focalización de la PP y PO, la ECyR 07 identificó varios problemas; en primer lugar, que FONART carecía de un método para cuantificar ambas poblaciones, en segundo lugar, que la PA en 2007 no se apegó a las especificaciones de las ROP (pues no todos los artesanos se encontraban en situación de pobreza) y, en tercer lugar, que las vertientes del programa estimaron como metas las acciones a realizar y no el número de artesanos por beneficiar, lo que impidió evaluar correctamente el logro de sus objetivos. De acuerdo con la ECyR 07, el FONART realizó distintas acciones para mejorar su operación, entre ellas se destacó el que haya logrado la unificación del padrón de beneficiarios, [la] reducción de tiempos de entrega de las piezas que participan en los concursos, [la] reducción de tiempos de respuesta a las solicitudes de financiamiento y en el proceso de capacitación (ECyR, 2007: 4). A pesar de estas mejoras, muchas de las debilidades identificadas por la ECyR 07 se ubicaron en la sección de operación. Los hallazgos sobre resultados del programa fueron algo contradictorios y se retomarán en la valoración técnica de la evaluación. Para mejorar el diseño del programa, la ECyR 07 recomendó que se reflejara en el diseño del FONART su doble objetivo: a) establecer un programa específico que atienda a los artesanos en situación de pobreza, cuyas vertientes de atención serían las que operaba entonces FONART (capacitación, financiamiento, adquisición y concursos) 6 y b) generar los lineamientos particulares para atender el fomento y comercialización de los artesanos en general bajo una perspectiva de fomento artesanal en el país. No obstante, esta recomendación no podía ser implementada 6 De esta manera, las Reglas de Operación normarían, en su caso, al Programa de Atención a Artesanos en Pobreza, lo que daría claridad al diseño del Programa. 18

19 únicamente por FONART, pues requería la participación de la SEDESOL y de la SHCP. También se recomendó generar un diagnóstico que permitiera identificar la problemática que existe en el sector artesanal del país en 2007, así como las características y necesidades de los artesanos, mediante la realización de los estudios que se consideraran necesarios para tener un diagnóstico claro, conciso y adecuado. También se recomendó especificar los criterios de elegibilidad para los artesanos que buscaran financiamiento, así como analizar la viabilidad de incorporar montos máximos. Con relación a la cobertura y focalización, la evaluación mencionó que también era importante establecer en las ROP definiciones concisas de las PP y PO; delimitando la PP a los artesanos que presentan la problemática en general. Además, se estableció también la necesidad de cuantificar ambas poblaciones (las propuestas para hacerlo se presentaron en el anexo IX de la ECyR 07). 7 Por otro lado, se consideró que la planeación del programa podría mejorar si se diseñaba una estrategia de cobertura de corto, mediano y largo plazo para cada una de las vertientes del programa. Respecto a la operación del programa la ECyR 07 destacó que se debería agregar una Cédula de Información Socioeconómica a la solicitud para incorporar esos datos en el padrón de beneficiarios, y que éste cumpliera con los criterios de padrones de SEDESOL. También se sugirió establecer un mecanismo de coordinación con otros programas para garantizar que el FONART no presentara duplicidades con otros programas del gobierno federal. Con relación a las solicitudes de apoyo, la evaluación recomendó que se elaborara un formato único para las cuatro vertientes y que se registraran todas las solicitudes de apoyo en una base de datos. También recomendaron que debía haber una estructura organizacional, con el personal suficiente, encargada de la vertiente de Financiamiento. Finalmente, la evaluación recomendó diseñar cuestionarios que le permitieran al FONART identificar la opinión de sus beneficiarios respecto de sus resultados y procesos. 7 El anexo mencionado no se pudo revisar porque no venía en la evaluación. 19

20 De acuerdo con la evaluación, una fortaleza del FONART fue que su Fin y Propósito contribuyeron a la solución del problema identificados y que estaban claramente definidos. También se consideró como fortaleza del programa el hecho de que la lógica vertical y horizontal de la MIR se validaran. Otra fortaleza detectada fue que el FONART usó las recomendaciones de las evaluaciones externas para mejorar su operación; de acuerdo con la ECyR 07, entre estas mejoras destacaron la unificación del padrón de beneficiarios, la reducción de tiempos de entrega de las piezas que participan en los concursos y la reducción en los tiempos de respuesta a las solicitudes de financiamiento y en el proceso de capacitación. El análisis de la ECyR 07 permitió concluir que una debilidad del FONART es que no reflejó en su diseño el doble objetivo de atender a artesanos en pobreza y de fomentar las artesanías. Otras debilidades relacionadas con el diseño del programa se refirieron a la ausencia de un diagnóstico que sustentara su existencia, la incorrecta definición de las PP y PO y la ausencia de su cuantificación. Otra debilidad que se halló en las ROP fue la falta de criterios de elegibilidad para la vertiente de Financiamiento, así como la falta de información sobre los montos máximos del resto de las vertientes. La ECyR 07 del FONART también identificó debilidades en el área de planeación, pues el programa carecía de un sistema de información que le permitiera conocer la demanda total de apoyos. Además, se detectó que ninguna de las vertientes del FONART contaba con una estrategia de cobertura de corto, mediano y largo plazos. Con respecto a la vertiente de Financiamiento del FONART, la ECyR 07 apuntó que otra debilidad fue la falta de un área responsable de dicha vertiente. Con relación a la operación del programa se consideró una debilidad la ausencia de información socioeconómica de sus beneficiarios, así como la de un mecanismo que le permitiera determinar duplicidades con otros programas federales. Otras debilidades identificadas por la ECyR 07 fueron: La ausencia de un sistema que le permita conocer la demanda total de apoyos. 20

21 La falta de homogeneidad entre los formatos de solicitud de apoyos de las distintas vertientes. La presencia de un mecanismo de actualización del padrón que no era adecuado pues no contaba con procedimientos ni documentación que permitiera validar su creación y actualización. Los sistemas para llevar la administración financiera estaban desintegrados. El FONART carecía de una cuantificación sobre el costo de apoyo de cada vertiente, es decir, no establecía un costo de operación, tampoco contaba con el costo de efectividad de su ejecución. Con respecto a la medición de resultados, se consideró como una debilidad el hecho de que ninguno de los indicadores midiera el impacto que las acciones del FONART tuvo sobre sus beneficiarios y que tampoco contara con instrumentos para medir su nivel de satisfacción. La ECyR 07 al FONART ofreció una visión general sobre el programa. En general, se consideran bien identificadas las debilidades del programa, así como pertinentes las recomendaciones emitidas. Sin embargo, se detectaron algunas inconsistencias dentro de la evaluación. En primer lugar, respecto al apartado de resultados del FONART, la ECyR 07 declaró que el FONART ha realizado evaluaciones externas basadas en metodologías rigurosas, que le han permitido medir el impacto del Programa en su población objetivo y registrar la percepción de sus beneficiarios (ECyR, 2007: 5). No obstante, un par de líneas más adelante la evaluación estableció que "el Diseño del Programa no [permitía] la elaboración de evaluaciones de impacto rigurosas debido a que el FONART, al determinar su población objetivo en Reglas de Operación, establece condiciones simultáneas, que no necesariamente se pueden cumplir" (ibídem). Por lo tanto, no queda claro si las evaluaciones referidas al principio carecen de rigor o si se realizaron con una definición distinta de PO que sí permitía que se hicieran evaluaciones metodológicamente rigurosas. 21

22 En segundo lugar la evaluación identificó como una fortaleza del FONART que el Fin y Propósito del programa contribuyen a la solución del problema identificado; no obstante, también señaló que el programa no cuenta con un Diagnóstico que le de sustento, ni con una buena definición del problema que se pretende resolver. De tal manera que, si no se tiene bien definido el problema por resolver, no puede ser posible que el Fin y Propósito del programa contribuyan a su solución Evaluación de Específica de Desempeño (EED 08-09) El FONART estuvo sujeto a una Evaluación Específica de Desempeño en el año 2008, fue realizada por El Colegio de México. La evaluación evaluó el desempeño del FONART a la luz de sus indicadores. Para hacer esta evaluación se realizó un trabajo de gabinete en el que se revisaron distintos documentos del programa entre los que se encuentran: el Portal Aplicativo de la Secretaría de Hacienda (PASH) 8 para revisar la información reportada en la Cuenta Publica sobre el resultado definitivo de los indicadores-, los documentos de seguimiento a los Aspectos Susceptibles de Mejora (ASM), Evaluaciones previas, la cobertura que ha tenido el programa así como la evaluación de su presupuesto. Los resultados de la EED se pueden agrupar en tres: los relacionados con los indicadores, los relacionados con cobertura y presupuesto y los relacionados con ASM. En cuanto a la valoración sobre los resultados y productos, la EED señaló que "los indicadores estratégicos y de gestión toman como base una encuesta de artesanos con datos para Asimismo, los indicadores no son totalmente confiables porque se basan en la opinión de los beneficiarios" (EED, 2008: 12). Más adelante, la EED señaló que "el principal problema para evaluar la eficiencia de los indicadores radica en que no existe la definición y cuantificación de las poblaciones potencial y objetivo" (ibíd.: 13). También destacó que "hay indicadores que se refieren a grupos solidarios -definidos 8 El PASH es un portal a través del cual se sistematiza la información indispensable sobre los programas públicos, y facilita su acceso para mejorar la gestión de los mismos 22

23 como grupos de 5 artesanos o más- lo cual provoca confusión respecto a la unidad de medida del indicador, a saber, artesanos en lugar de grupos solidarios" (ibíd.: 14). Con respecto al presupuesto aprobado la EED identificó que éste ha aumentado cada año desde 2003 hasta 2008 y presentó un ligero decrecimiento en La EED también resaltó el hecho de que la PA superó a la PO y explicó que esto se pudo deber a que la cobertura del FONART depende del presupuesto asignado, no obstante recalcó que no se aclaró cómo se determinó la cifra de la PO. De acuerdo con la EED, si bien el programa tuvo cobertura en 30 estados, sus acciones se concentran en 10 entidades. Respecto a la valoración de los ASM la EED señaló que las propuestas realizadas por la evaluación externa en 2007 resultaron en cambios a las ROP y a los criterios de operación del programa, mismos que mejoraron su funcionamiento y que comenzaron a aplicarse en La evolución destacó la disposición del FONART para atender las recomendaciones de evaluaciones externas. Aunque la EED no emitió recomendaciones señaló que el FONART no cuenta con evaluaciones externas de impacto ni de seguimiento a sus beneficiarios; lo cual se interpreta como una recomendación por atender por parte del programa. La EED identificó como fortalezas del FONART el haber ampliado su cobertura y haber mejorado los criterios de selección de los beneficiarios. También destacó el incremento en el número de acciones aplicadas suponiendo que se refiere al desempeño de los indicadores-, y por último, se destacaron los esfuerzos por vincular diferentes programas para ofrecer un apoyo integral al beneficiario. De acuerdo con la EED , entre las debilidades identificadas se cuentan la falta de una correcta definición y cuantificación de las poblaciones potencial y objetivo. En este grupo también cabe la falta de precisión técnica respecto a algunos conceptos: "aunque en las ROP 2008 se define el término 'técnicas tradicionales', el programa debe precisar la manera en que califica las adquisiciones de artesanías como 'realizadas con técnicas y diseños tradicionales'" (ibíd.: 19). 23

24 En la evaluación se detectaron algunas inconsistencias. Aunado a esto, debido a lo escueto de las recomendaciones y la falta de análisis se considera que la evaluación no aportó a la mejora del FONART. Una de las primeras inconsistencias identificadas se refiere a la declarada falta de cuantificación de la PO, sin embargo, en la sección de análisis de cobertura del programa sí presentó una cifra que cuantifica dicha población - aclarando que se les explicó cómo se determinó dicha cantidad-, por lo tanto, el lector se puede confundir respecto a este tema. Sobre este mismo tema se detectó otro error el cual consistió en reportar que no existía una definición de PO para 2008 cuando en las ROP 2008 se definió a la PO como los productores que están en condiciones de pobreza de acuerdo a los criterios establecidos por el Consejo (ROP, 2008: 4). Una segunda inconsistencia se refirió al hecho de la EED hizo una valoración positiva de la ECyR 07 y declaró que la "evaluación externa realizada para el ejercicio 2007 propuso una serie de mejoras que resultaron oportunas y pertinentes"; sin embargo, dicha evaluación consideró que los indicadores revisados por esta evaluación medían adecuadamente el desempeño del programa a nivel de propósito, mismos que fueron criticados por provenir de una encuesta y depender de la opinión de los beneficiarios. Otra debilidad de esta evaluación se refirió a la falta de recomendaciones ante las debilidades identificadas. No se observó ninguna recomendación de mejora con respecto a: 1) definición y cuantificación de las PP y PO, 2) cómo subsanar la confiabilidad de los indicadores, y 3) cómo llevar a cabo una evaluación de impacto. Por último, la información plasmada en la evaluación reveló que la mayoría de los indicadores analizados (6 de 10) superaron sus metas por un margen importante (en el menor de los casos se superó la meta por más de 12%), sin embargo este dato no fue comentado. Por el contrario, la valoración de dichos indicadores se limitó a identificarlos como pertinentes, relevantes y confiables. 9 Habría sido deseable algún 9 Los indicadores en la evaluación que superaron sus metas son 6 de 10: Porcentaje de artesanos capacitados que aplican en su producción las técnicas enseñadas con respecto a los artesanos capacitados, Porcentaje de artesanos beneficiados por adquisición que ampliaron mercado con respecto a los artesanos beneficiados por adquisición, Porcentaje de artesanos que incrementaron su producción con respecto al total de artesanos financiados, Porcentaje de artesanos que declararon 24

25 comentario respecto a la estimación (o subestimación) de las metas y cómo se podría haber corregido el problema. Otra inconsistencia relativa a la valoración de los indicadores se refiere al hecho de haberlos calificado como confiables en el apartado de valoración de cada indicador y posteriormente criticar que la mayoría de ellos provinieran de una encuesta a los beneficiarios, lo cual no les da plena confiabilidad (EED, 2008, : 14) Evaluación de Específica de Desempeño (EED 09-10) El FONART estuvo sujeto a una Evaluación Específica de Desempeño en el año 2009, que fue realizada por el Colegio Mexiquense. Se evaluó el desempeño del FONART a la luz de sus indicadores mediante trabajo de gabinete. Se revisaron distintos documentos del programa entre los que se encuentran: el PASH para revisar la información reportada en la Cuenta Pública sobre el resultado definitivo de los indicadores-, los documentos de seguimiento a los ASM, evaluaciones previas, la cobertura que ha tenido el programa así como la evaluación de su presupuesto. Los principales resultados de la EED se pueden agrupar en los hallazgos de los indicadores y los resultados del programa, su cobertura y, por último, los hallazgos relevantes y las acciones de mejora implementadas. Respecto al análisis de los indicadores de resultados, 4 de los 5 indicadores fueron identificados como relevantes y confiables. Respecto al indicador de "Porcentaje de artesanos que declararon mejora en la calidad de su producción después de participar en los concursos" se señaló que requería de mayor claridad conceptual para ser confiable. Por otra parte, la revisión llevada a cabo por la EED respecto a los indicadores de gestión del FONART identificó a los 5 indicadores revisados como pertinentes, relevantes y confiables. En su conjunto, la valoración de la EED sobre los indicadores del FONART mejora en la calidad de su producción después de participar en los concursos, con respecto al total de artesanos concursantes, Porcentaje de ejecución de presupuesto para capacitación respecto a los recursos programados para capacitación y Porcentaje de recursos ejercidos por financiamiento respecto a los recursos programados para financiamiento. 25

26 señaló que su mayoría registraron valores superiores a sus metas, "siguiendo la tendencia del año anterior y que no se cuenta con elementos en el SED para explicar cambios entre periodos o cumplimientos de metas (EED, , p. 12). Respecto a la cobertura del programa, la EED identificó que "se observó una clara mejoría en la medición de la población objetivo y en su definición" y señaló que "tanto la población objetivo como la población atendida presentan una tendencia positiva respecto del año anterior. La población atendida creció aproximadamente 36%. Que la población atendida sea mayor a la objetivo puede deberse a la disponibilidad de recursos asignados" (ibíd.:19). Finalmente, con relación a las mejoras del programa la EED declaró que se han implementado en su totalidad las acciones relativas al diseño y a la gestión que se plantearon en la ECyR 07. En cuanto al análisis de los hallazgos relevantes, destacaron el "haber incorporado en la definición de la población objetivo los artesanos en condición de pobreza patrimonial [lo cual] es un primer paso importante en mejorar la eficacia y eficiencia del programa", también "se ha avanzado en homogeneizar los mecanismos para la identificación de los beneficiarios al incorporar en reglas de operación el Cuestionario Único de Información Socioeconómica" y el que se hubieran realizado "los pasos necesarios para diferenciar claramente el objetivo institucional del fideicomiso con el propósito definido en la Matriz de Indicadores del programa FONART. Esto evita confusiones y duplicidades" (EED, 2009: 13). Las principales recomendaciones de la EED se refirieron a los indicadores del FONART, a la necesidad de elaborar un plan estratégico, a acciones de mejora respecto a la planeación del programa y a una sugerencia sobre futuras evaluaciones. En particular, se recomendó definir de forma más clara uno de los indicadores de Propósito (Porcentaje de artesanos que declararon mejora en la calidad de su producción después de participar en los concursos), a fin de lograr que éste fuera confiable. Con relación a los indicadores de gestión la EED recomendó considerar el diseño de indicadores de tiempos programados para el otorgamiento de cada uno de los apoyos. 26

27 Respecto a la planeación del FONART, la EED sugirió "concretar convenios a fin de evitar duplicidades y aprovechar complementariedades y producir un Plan Estratégico y una Estrategia de Cobertura de corto, mediano y largo plazo" (ibíd.: 22). Cuando se concrete el Plan Estratégico del programa sería recomendable diseñar indicadores que además de la relación ejecutado/programado, incluyan la relación ejecutado/demandado (ibíd.:15). Así mismo, se recomendó avanzar en el mecanismo de criterios para la recolección de información de los indicadores. Con respecto a la operación del programa la evaluación sugirió seguir "avanzando en adecuar la estructura organizacional de las cuatro vertientes del programa" (ibíd.: 22). Por último, se recomendó estudiar la factibilidad de dar seguimiento de los beneficiarios. De acuerdo con la EED , las principales fortalezas del FONART se relacionan con las acciones de mejora implementadas (especialmente en cuanto al diseño), la inclusión de nuevos indicadores y el hecho de recolectar información abundante que se podría usar para crear indicadores más relevantes, y avances en cuanto a la definición y cuantificación de la PO. La EED destacó que el programa implementó en su totalidad las acciones que se plantearon en la ECyR 07, las acciones de mejora en materia de diseño se concluyeron satisfactoriamente. Uno de sus productos relevantes fue la elaboración de un diagnóstico adecuado y actualizado, que sirvió para avanzar en la definición del problema que busca resolver. El diseño del FONART también mejoró gracias a que el programa se centró en apoyar los artesanos quienes, a partir de su ingreso, se les puede clasificar en situación de pobreza. Finalmente, también fue importante que las cuatro vertientes del programa contaran con un indicador que midiera la capacidad ejecutora del programa. Respecto a los indicadores la EED resaltó que es "destacable el esfuerzo en diseñar un mayor número de indicadores de actividades" (ibíd.:15), por otro lado el programa está recolectando bastante información sobre su operación como se puede ver en los informes trimestrales- que permitirá avanzar en el diseño de indicadores más relevantes del comportamiento de los componentes (ibídem). 27

28 Por último, respecto a la cobertura del programa, se destacó que se hubieran establecido los criterios de elegibilidad así como los montos máximos de apoyo para las cuatro vertientes. También se resaltó que la focalización del programa mejoró de manera sustantiva gracias a la recolección de información socioeconómica y al uso de Zonas de Atención Prioritaria (ZAP). Estas acciones ayudaron a mejorar la definición de PO. Finalmente, se mencionó que las acciones de cobertura se han complementado con la medición de la satisfacción de los beneficiarios. La evaluación no tiene un apartado específico de debilidades, pero con base en las recomendaciones se puede inferir que el estado en el que se encuentra el Plan Estratégico del FONART es una debilidad y su conclusión fortalecería al programa al permitirle avanzar sobre el desarrollo de una estrategia de cobertura nacional de mediano y largo plazo ajustada a la actividad artesanal del país. Las recomendaciones de la EED son pertinentes y buscan la mejora del programa, sin embargo hubo ciertas inconsistencias técnicas que, de haberse evitado, habrían resultado en una mejor evaluación. Una primera inconsistencia importante se refirió a la valoración sobre la definición y cuantificación de la PO. La EED declaró que "se observó una clara mejoría en la medición de la población objetivo y en su definición" (ibíd.: 19), como se puede apreciar en la Tabla 2, la mejoría estriba en que se agregó la palabra artesanos productores, pero se perdió la especificación sobre de dónde provienen los criterios de pobreza utilizados. Por otro lado, la definición de PO presentada en la evaluación no coincide exactamente con la de las ROP Otro problema de la EED respecto al análisis de la población se refirió al hecho de que definió de la misma manera a la PP y PO (artesanos productores en situación de pobreza patrimonial), pero presentó cifras diferentes para cada una. En términos de lógica, no se puede explicar que dos ideas compartan la misma definición y se cuantifiquen de manera diferente. 10 La definición tampoco coincide exactamente con la de las ROP 2010 la población objetivo de FONART son los artesanos productores que habiten en Zonas de Atención Prioritaria, o que vivan fuera de éstas y se encuentren en situación de pobreza patrimonial (ROP 2010, p. 3). 28