CAPACITACIÓN EN EVALUACIÓN DE IMPACTO Apoyo a la construcción de capacidades para monitoreo y evaluación de programas de desarrollo productivo para el Sistema Nacional de Transformación Productiva y Competitividad de Uruguay Propuesta de J-PAL LAC para Sistema Nacional de Transformación Productiva y Competitividad de Uruguay.
CONTENIDO Introducción... 3 Propuesta técnica... 5 Objetivos del curso... 5 Metodología... 5 Temáticas y Estructura del curso... 5 Plan de trabajo... 11 Equipo... 11
INTRODUCCIÓN El Abdul Latif Jameel Poverty Action Lab para América Latina y el Caribe (J-PAL LAC) es un centro de investigación sin fines de lucro que busca reducir la pobreza y mejorar la calidad de vida de los habitantes de América Latina y el Caribe, creando evidencia de lo que realmente funciona. Nuestros académicos afiliados miden el impacto de programas a través de evaluaciones aleatorizadas y, luego, utilizamos lo aprendido para influir en el diseño de las políticas públicas. Desde sus comienzos en el año 2009, J-PAL LAC ha trabajado en fomentar la innovación y evaluación de programas sociales para entender más sobre los mecanismos que funcionan y los que no en el combate contra la pobreza, con el fin de promover políticas más efectivas. Actualmente, J-PAL LAC está llevando a cabo proyectos en educación, vivienda, productividad, finanzas, innovación, entre otros. Además, en el último año ha realizado talleres de evidencia y cursos de capacitación en Santiago, Buenos Aires, Bogotá, Ciudad de México, Lima y Rio de Janeiro. Los cursos de evaluaciones de impacto de J-PAL buscan contribuir a la lucha contra la pobreza entregando a los encargados de programas y proyectos sociales las herramientas necesarias para ser generadores y consumidores de evidencia rigurosa. Las capacitaciones imparten conocimientos que mejorarán las técnicas empleadas por gobiernos, emprendedores y organizaciones sociales e internacionales a la hora de evaluar el impacto de sus programas. Nuestra capacitación en evaluación de impacto busca capacitar a los participantes en el diseño y la implementación de una evaluación de impacto rigurosas de sus propios programas o políticas públicas. Esta capacitación cubre todas las temáticas relacionadas con evaluación de impacto y tiene como fin apoyar a los participantes en el diseño de una evaluación de impacto de su propio programa.
Al mismo tiempo, varios gobiernos de la región han mostrado interés en impulsar la innovación de políticas y de evaluarlas desde un inicio para aprender de los resultados. El Sistema Nacional de Transformación Productiva y Competitividad (Transforma Uruguay) forma parte de ese movimiento regional, ya que buscan fortalecer las capacidades y los procesos de evaluación en el gobierno uruguayo. Con el objetivo último de incorporar la producción y uso de la evidencia rigurosa en los procesos del gobierno de Uruguay, el Sistema Nacional de Transformación Productiva y Competitividad, junto con el Banco Interamericano de Desarrollo (BID), han solicitado a J-PAL LAC una colaboración para construir capacidades y promover el uso y generación de evaluaciones al interior del gobierno. La presente propuesta presenta los objetivos, equipo, metodología, agenda y costo de un curso incubadora de evaluación de impacto para el Sistema Nacional de Transformación Productiva y Competitividad y el Banco Interamericano de Desarrollo (BID). El curso ha sido modificado para adaptarse a las necesidades e intereses tanto del Sistema Nacional y el BID como de sus funcionarios y programas sociales.
PROPUESTA TÉCNICA Todas nuestras capacitaciones buscan ser pragmáticas y orientadas a desarrollar las habilidades de los participantes. De esta manera, los participantes pueden pensar en las evaluaciones necesarias en su sector, así como poder comentar y opinar sobre la validez y rigurosidad de otras. Objetivos del curso La Incubadora consiste en una estrategia innovadora de capacitación con un doble objetivo: i. Capacitar a profesionales del sector público, privado o sin fines de lucro sobre evaluaciones de impacto rigurosas que produzcan resultados confiables, en cuanto a su diseño, implementación y los aprendizajes que de éstos surjan; y ii. Orientar a profesionales en el diseño e implementación de una evaluación de impacto de sus propios programas. De esta manera buscamos fomentar la evaluación de impacto y que organizaciones puedan incorporar la producción y uso de la evidencia en la toma de decisiones para que utilicen recursos de forma efectiva, así logrando un impacto social mayor. Metodología Estos talleres serán impartidos mediante tres componentes descritos a continuación. a) Sesión teórica/presentación plenaria. Se presentan y revisan conceptos de cada temática junto con ejemplos relevantes. b) Casos de estudio. Son ejercicios grupales interactivos liderados por tutores, que buscan reforzar conocimientos clave presentados durante las clases teóricas. c) Mesa de trabajo. En estas sesiones se llevan a la práctica los conceptos aprendidos. Los participantes se agrupan por interés y se decide un proyecto a desarrollar. Temáticas y Estructura del curso Fase 1: Convocatoria y selección de participantes Al iniciar el proyecto, se abre una convocatoria donde organizaciones puedan postular con programas que quisieran evaluar, modificar o re-diseñar. El Sistema Nacional de Transformación Productiva y Competitividad de Uruguay y el BID seleccionan programas a participar en la Incubadora con la asesoría de J-PAL LAC. Fase 2: Desarrollo de capacidades En esta etapa, todos los representantes de los programas seleccionados pasan por un proceso de capacitación intensivo sobre uso de la evaluación de impacto como una herramienta para diseñar, aprender y testear programas y políticas públicas. Ambos cursos están diseñados para trabajar con entre 5 a 10 programas, con un máximo de 30 alumnos. Durante los talleres utilizaremos la metodología teórico-
práctica, e incluyen clases teóricas, casos de estudio y mesas de trabajo, en que los participantes podrán aplicar lo aprendido a sus propios programas. Los talleres estarán enfocados en las temáticas de interés de los funcionarios de Transforma Uruguay, así como de las situaciones que van a enfrentar a diario al momento de evaluar impacto en temas productivos. En primer lugar, impartimos un Taller de Diseño de Programas y herramientas de monitoreo de 2 días y medio en agosto, dónde los participantes desarrollan habilidades para revisar e interpretar la evidencia existente que podría informar el diseño de la intervención, para luego desarrollar la Teoría de Cambio de sus programas. La agenda tentativa del primer taller se presenta a continuación. Día 1 8 de agosto 08:30 08:45 00:15 1.1 Bienvenida e Introducción 08:45 09:00 00:15 Evaluación inicial de conocimientos 09:00 10:00 01:00 1.2 Introducción a la Evaluación de Programa 10:00 10:15 00:15 Coffee Break 10:15 11:15 01:00 1.3 Lógica de programa y Teoría de cambio 11:15 12:45 01:30 1.4 Mesa de trabajo 1: Teoría de cambio 12:45 13:45 01:00 Almuerzo 13:45 14:45 01:00 1.5 Evaluación de procesos 14:45 15:45 01:00 1.6 La importancia del levantamiento de datos 15:45 16:00 00:15 Coffee Break 16:00 17:00 01:00 1.7 Introducción a la medición 17:00 17:15 00:15 Cierre de jornada
Día 2 9 de agosto 08:30 08:45 00:15 2.1 Introducción jornada II 08:45 10:00 01:15 2.2 Medición I: Indicadores, operacionalización y conceptos básicos de medición 10:00 10:15 00:15 Coffee Break 10:15 11:30 01:15 2.3 Medición II: Desarrollo de Instrumentos de medición 11:30 13:45 02:15 2.4 Manejo de datos 13:45 14:45 01:00 Almuerzo 14:45 16:00 01:15 16:00 17:00 01:00 2.5 Mesa de trabajo 2: Estrategias de medición: Indicadores, fuentes de datos e instrumentos. 2.6 Administración de proyectos de evaluación en la práctica 17:00 17:15 00:15 Cierre de jornada Día 3 10 de agosto 08:30 08:45 00:15 3.1 Introducción jornada III 08:45 09:30 00:45 09:30 10:30 01:00 3.2 Política pública informada globalmente, fundamentada localmente 3.3 Mesa de trabajo 3: Pensando en la evaluabilidad de mi programa 10:30 10:45 00:15 Coffee Break 10:45 12:15 01:30 Presentaciones en grupo y comentarios 12:15 12:40 00:25 Evaluación final de conocimientos y encuestas de satisfacción 12:40 13:00 00:20 3.5 Cierre de jornada y entrega de diplomas
Después de este primer taller, los participantes trabajaran en una Nota Conceptual afinando la Teoría de Cambio y los instrumentos de medición desarrollado en el taller. J-PAL LAC brindará asesoría de forma remota a los participantes para finalizar su nota. Luego, los programas seguirán a un Curso Intensivo de Diseño de Evaluación de Impacto de 3 días en septiembre. En el transcurso del curso, los participantes pasarán por una serie de sesiones teóricas y prácticas donde seguirán trabajando en la Nota Conceptual. Los profesores asistentes guiaran las sesiones prácticas, apoyando a los participantes en identificar oportunidades de evaluación experimental. A continuación, presentamos una agenda tentativa para el taller. La agenda final se establece entre J-PAL LAC y nuestra contraparte. Día 1 10 de septiembre 08:30 08:45 00:15 1.1 Bienvenida e Introducción 08:45 09:00 00:15 Evaluación inicial de conocimientos 09:00 10:00 01:00 1.2 Introducción a la evaluación de impacto y métodos no experimentales 10:00 10:15 00:15 Coffee Break 10:15 11:15 01:00 1.3 Evaluaciones cuasi-experimentales I 11:15 12:15 01:00 1.4 Evaluaciones cuasi-experimentales II 12:15 13:15 01:00 Almuerzo 13:15 14:30 01:15 14:30 15:30 01:00 1.5 Por qué y cuándo implementar evaluaciones aleatorizadas 1.6 Caso de estudio 1: Identificando el contrafactual 15:30 15:45 00:15 Coffee Break 15:45 16:45 01:00 1.7 Mesa de trabajo 3: Pensando en un diseño de evaluación para mi programa 16:45 17:00 00:15 Cierre de jornada
Día 2 11 de septiembre 08:30 08:45 00:15 2.1 Bienvenida e Introducción 08:45 09:45 01:00 09:45 10:45 01:00 1.7 Diseño experimental en la práctica 1.8 Caso de estudio 2: Diseño de aleatorización 10:45 11:00 00:15 Coffee Break 11:00 12:00 01:00 12:00 13:00 01:00 2.2 Retos del diseño de evaluación de impacto I 2.3 Retos del diseño de evaluación de impacto II 13:00 14:00 01:00 Almuerzo 14:00 15:00 01:00 2.4 Caso de estudio 3: Amenazas al diseño experimental 15:00 15:45 00:45 2.5 Poder estadístico I 15:45 16:00 00:15 Coffee Break 16:00 16:45 00:45 2.6 Poder estadístico II 16:45 17:45 01:00 2.6 Mesa de trabajo 4: Pensando en un diseño de evaluación para mi programa 17:45 18:00 00:15 Cierre de jornada
Día 3 12 de septiembre 08:30 08:45 00:15 4.1 Introducción jornada IV 08:45 10:00 01:15 10:00 10:45 00:45 3.5 De la evaluación a la política pública 4.2 Mesa de trabajo 5: Viabilidad y planificación de la evaluación 10:45 11:00 00:15 Coffee Break 11:00 12:00 01:00 4.3 Evaluación de impacto en la práctica (Conversatorio con profesor investigador) 12:00 13:00 01:00 Trabajo en grupo II 13:00 14:00 01:00 Almuerzo 14:00 15:30 01:30 Presentación final y feedback 15:30 15:50 00:20 15:50 16:10 00:20 Evaluación final de conocimientos y encuestas de satisfacción 3.5 Cierre de jornada y entrega de diplomas Fase 3 Asistencia Técnica Durante el mes posterior al último curso, J-PAL LAC brinda asistencia técnica personalizada a los programas para finalizar sus Notas Conceptuales. Esta consistirá en entregar retroalimentación y resolver consultas de las propuestas participantes del programa. Además, los dos proyectos más avanzados recibirán una revisión más exhaustiva por parte de equipo experto en evaluación de impacto de J-PAL LAC. En base a estos productos finales, J-PAL LAC emite recomendaciones a las contrapartes participantes sobre cuáles propuestas de evaluación presentan la mayor calidad técnica y viabilidad institucional, política y financiera.
Plan de trabajo A continuación, presentamos el plan de trabajo para llevar a cabo el curso de incubadora de evaluación de impacto. Proponemos impartir el primer taller en julio, y el segundo taller en agosto. Las fechas de los talleres se ajustan según las necesidades de nuestra contraparte. Invitación participantes Selección participantes Desarrollo de contenido Taller de Diseño de Programas y herramientas de monitoreo Curso Intensivo de Diseño de Evaluación de Impacto Asistencia técnica Marzo Abril Mayo Junio Julio Agosto Sept. Oct. Equipo El equipo de J-PAL se compondrá de profesores afiliados y un equipo de tutores. Para el primer taller el equipo consistirá en: Docentes: Equipo experto en las temáticas sobre las que presentan que forman parte del equipo de J-PAL LAC o IPA. Los y las docentes presentarán en las sesiones plenarias sobre los temas en que son expertos, tanto por sus áreas de estudios como por su trabajo en J-PAL LAC o IPA. Equipo de Profesores Ayudantes: Equipo de investigación, políticas públicas y/o capacitación de la oficina regional de J-PAL LAC en América Latina y el Caribe. Este equipo se dedicará a trabajar junto a los participantes en los casos de estudio y las mesas de trabajo. Equipo de coordinación. Equipo de capacitación con experiencia en diseño, planificación y ejecución de cursos de evaluación de impacto de política pública de distintas duraciones y formatos en la región. Además, para el segundo taller contaremos con la presencia de un profesor investigador de J-PAL. El profesor será un docente e investigador experto en evaluación de impacto de las universidades y los centros de investigación más reconocidos de la región.