RESUMEN EJECUTIVO Evaluación de Programas Exitosos de Formación Ciudadana

Transcripción

1 Sistema Regional de Evaluación y Desarrollo de Competencias Ciudadanas-SREDECC RESUMEN EJECUTIVO Evaluación de Programas Exitosos de Formación Ciudadana M. Loreto Martínez y Roberto González Lilian Canales Daniel Miranda Pontificia Universidad Católica De Chile Escuela De Psicología Agosto 2010 Con miras a facilitar el desarrollo de programas de educación ciudadana mediante la acción colectiva, durante el Sistema Regional de Evaluación y Desarrollo de Competencias Ciudadanas (SERDECC) 1 realizó un estudio en 6 países cuyo propósito fue investigar las características de los programas que resultan efectivos para la transmisión de las competencias ciudadanas y documentar buenas prácticas en estos programas. Los países participantes en el estudio fueron Colombia, México, Guatemala, Chile, Paraguay y República Dominicana. Este informe sintetiza los hallazgos del análisis comparativo de los estudios de programas exitosos de formación ciudadana y buenas prácticas realizados en los 6 países participantes de esta iniciativa de SREDECC. 1. Objetivo General - Identificar, evaluar, y documentar programas de formación ciudadana a partir de criterios de éxito definidos en la formulación e implementación de los programas - Documentar buenas prácticas en base a criterios de éxito definidos. 2. Objetivos Específicos 1. Evaluar y documentar evidencia acerca de la calidad de la formulación e implementación de los objetivos del programa 2. Evaluar y documentar evidencia acerca de la calidad de la metodología formulada e implementada por los programas 1 SREDECC es un proyecto conjunto de seis países de la región, cuyo objetivo es el desarrollo de políticas, programas y prácticas educativas, apropiadas a la realidad latinoamericana, las cuales permitan la construcción de una ciudadanía democrática en los países participantes, mediante el fortalecimiento de la educación para la democracia y la ciudadanía.

2 3. Evaluar y documentar evidencia acerca de la calidad de la gestión formulada e implementada por los programas 4. Evaluar y documentar evidencia acerca de la calidad de los resultados obtenidos por los programas 5. Evaluar y documentar evidencia de buenas prácticas en la implementación de los programas. 3. Metodología La metodología definida para el estudio especificó criterios para la identificación de programas (i.e., el programa tiene una formulación escrita, y se ha implementado al menos, una vez) y definió tres etapas para la realización que permitieran en cada estudio: 1) Identificar un conjunto de programas de formación ciudadana bien conceptuados en cada país. 2) Evaluar la formulación escrita de 10 programas identificados en la Etapa 1, de acuerdo a los criterios de calidad definidos. 3) Evaluar y documentar la implementación de 5 programas (de los 10 seleccionados en 2) de acuerdo a criterios de calidad definidos. 4) Documentar buenas prácticas en estos programas de acuerdo a criterios de calidad definidos. Los estudios de Colombia, México, Guatemala y Chile identificaron un conjunto de programas, analizaron su formulación escrita, y seleccionaron un grupo de ellos para evaluar su implementación. Estos 4 estudios también identificaron y analizaron prácticas exitosas en los programas de formación ciudadana. Los estudios de Paraguay y República Dominicana, en cambio, no pudieron completar la etapa de evaluación de la implementación de los programas. 4. Resultados Los resultados presentados se basan en la información generada en los informes de cada estudio nacional, y en el análisis comparativo de los programas evaluados en cada estudio nacional. Los datos utilizados para el análisis provienen de instrumentos cualitativos (Ficha Descriptiva del Programa; Informes nacionales) y cuantitativos (Cuestionario para la evaluación de calidad de la formulación escrita de los Programas y Cuestionario para la evaluación de calidad de la implementación de los Programas). Análisis cualitativo. Se presenta una caracterización de los programas estudiados en cuanto a su diseño, población objetivo, contenidos, tipo de institución que los que los imparte, tipo de financiamiento, cobertura y existencia de evaluación. Del conjunto de programas de los cuales se dispone de información, la mayoría constituye versiones adaptadas de otros programas y, en una proporción menor, son programas de diseño propio. Frecuentemente, los programas de formación ciudadana están integrados al programa educativo y, en una menor proporción, pensados en forma actividades extraescolares, o como módulos educativos dentro del currículo. 2 P ágina

3 En cuanto a población objetivo, la gran mayoría de los programas evaluados, ya sea en su formulación escrita como en su implementación, está dirigido a estudiantes de los distintos niveles de enseñanza escolar. Los programas evaluados en su formulación, con mayor frecuencia, declaran estar dirigidos a la comunidad escolar en su conjunto, y a estudiantes de enseñanza media y básica. Alternativamente, los programas evaluados en su implementación están dirigidos, con mayor frecuencia, a estudiantes de enseñanza básica y media, o solamente a la enseñanza media o a la comunidad escolar en su conjunto. Los programas dirigidos a docentes representan cerca del 5% tanto de los programas evaluados en su formulación como de los evaluados en su implementación. Concordante con lo anterior, en su gran mayoría los programas estudiados se implementan en establecimientos educacionales y reflejan apropiadamente las prioridades del estudio SREDECC en el sentido de conocer evidencia de programas dirigidos a jóvenes en el sistema escolar que pudieran ser replicados en futuras iniciativas. En el conjunto de los programas identificados a través del estudio se observa una representación balanceada de diferentes contenidos de la formación ciudadana. En proporciones similares, los programas fomentan el desarrollo integral de competencias ciudadanas y de actitudes y, con menor frecuencia, de habilidades para la formación ciudadana. En su mayoría, los programas evaluados en su implementación, se enfocan al desarrollo de actitudes y, con menor frecuencia, a habilidades ciudadanas y al desarrollo integral. En cuanto al tipo de instituciones que diseña o imparte los programas, se observa variedad entre las muestras de los países. En algunos (México) priman las instituciones públicas, en otros (Colombia) diversas instituciones imparten programas. En el conjunto de cada muestra las ONG s y luego las universidades son las instituciones privadas que con mayor frecuencia crean o imparten programas de formación ciudadana. No obstante lo anterior, la mayoría de los programas se financia con fondos públicos. Las muestras estudiadas tienen representación de programas con diferente amplitud en su cobertura. La mayoría de los programas se implementa a nivel nacional y, en segundo lugar, a nivel de una localidad o de una ciudad. Con menor frecuencia, los programas son acotados a un solo establecimiento educacional. Alrededor de un tercio de los programas seleccionados no cuenta con evaluación, porcentaje que se reduce a un mínimo en el conjunto de los programas evaluados en su implementación. La cifra anterior provee evidencia indirecta de que la selección de programas a evaluar en su implementación fue apropiada pues incluyó un mayor número de programas que contaba con algún tipo de evaluación. Con respecto a los tipos de evaluación realizadas, la información disponible es imprecisa y no permite concluir respecto de los tipos de evaluaciones disponibles como tampoco del carácter de ésta (i.e., interna versus externa). Análisis cuantitativo. A continuación se presentan los principales resultados del análisis cuantitativo de indicadores de calidad en la formulación y en la implementación de los programas en 4 objetos de evolución (objetivos, metodología, gestión y resultados). En su conjunto, los programas tienen fortalezas en la claridad de formulación de sus objetivos, como también en la medida en que sus objetivos traducen apropiadamente actitudes, habilidades o conocimientos de formación ciudadana. Adicionalmente, los 3 P ágina

4 programas poseen un marco conceptual o valórico acerca de la formación ciudadana que orienta su accionar, y reflejan problemáticas del contexto nacional de los estudiantes. En cuanto a la calidad de su metodología, aparecen fortalezas en el uso de pedagogías participativas, concordantes con los objetivos que se proponen los programas y desarrollan actividades apropiadas a la etapa evolutiva de los usuarios. Aspectos débiles en la metodología de los programas son la adecuación de los tiempos y la insuficiencia de recursos económicos para el cumplimiento de los objetivos. Comparativamente, la evaluación de los indicadores de gestión es mas baja, tanto en la cantidad de personal de que disponen los programas como en las evaluaciones realizadas; sin embargo, es importante tener presente que existen claras diferencias por países en la evaluación de estos indicadores. Respecto de la evaluación de los indicadores de resultados destaca la capacidad de los programas de vincular, a través de los objetivos y actividades, a los usuarios con otros actores de la comunidad. En cambo, las estrategias institucionales para la vinculación de la comunidad puede ser menos atingentes de evaluar dependiendo de los objetivos y modalidad de implementación que se plantea cada programa. En cuanto a la calidad de la implementación de los programas indica que la evaluación de la implementación de los objetivos, en general, es positiva en cuanto a la apropiación de los objetivos del programa por parte del equipo ejecutor, a la vinculación de los objetivos de los programas con la realidad sociopolítica y cultural de los usuarios, y a la conexión que existe entre las actividades con problemáticas del contexto nacional, hallazgos que relevan la validez ecológica de los programas estudiados. La evaluación de criterios de calidad en la implementación de la metodología de los programas presenta mayores diferencias. La evaluación del tipo y número de actividades que los programas implementan para lograr sus objetivos es positiva; sin embargo la cualidad participativa de la metodología y la medida en que los programas crean un clima de aceptación y respeto a valores cívicos, presenta mayores diferencias en las muestras de los distintos países. Dos de los indicadores de calidad en la implementación de la gestión, específicamente la existencia de espacios y materiales apropiados así como también la existencia de equipos destinados a la implementación del programa fueron evaluados positivamente. En cambio, la disponibilidad de recursos económicos, la disponibilidad de personal, y la adecuación de las jornadas laborales del personal del programa fueron evaluados menos favorablemente, aspecto que señala puntos de vulnerabilidad en la implementación de los programas de formación ciudadana en general. Los resultados que obtienen los programas estudiados en su implementación fueron evaluados positivamente así como también la medida en que los programas vinculan a los usuarios con otros actores de la comunidad y desarrollan una estrategia institucional para vincular a los actores de la comunidad escolar. Es difícil concluir respecto de la calidad de los resultados que obtienen los programas por la menor disponibilidad de estos datos y las diferencias entre las muestras de distintos países. Los hallazgos de la calidad de los resultados de evaluaciones externas de los programas son menos confiables y deben interpretarse con cautela considerando que falta esta información en varios de los programas de la muestra. En su conjunto, sin embargo, estos hallazgos indican que la evaluación es uno de los aspectos que requiere atención en los programas de formación ciudadana. Finalmente, cerca del 20% de los programas identificados y sobre el 60% de los programas evaluados en su implementación ha generado productos, en su mayoría, material educativo impreso y material audiovisual. 4 P ágina

5 5. Buenas Prácticas Los instrumentos y criterios definidos en el estudio permitieron la identificación de 16 buenas prácticas que pertenecen a 12 programas de formación ciudadana documentados en los estudios Colombia, México, Guatemala y Chile. Este conjunto de Buenas Prácticas (BP) cumplió los dos criterios de rigor definidos, a saber, acuerdo entre el equipo ejecutor y los usuarios de que es una buena práctica, y un buen puntaje en la evaluación de resultados del programa. La mayoría de las BP fueron elegidas con el grado de acuerdo más alto de la escala. En general, las BP resultaron visibles y percibidas concordantemente como prácticas efectivas tanto por el equipo ejecutor como por los de los cuatro países. En su gran mayoría, las BP corresponden a la metodología de los programas de formación ciudadana, están orientadas a los usuarios, y se realizan con una frecuencia semanal. Dada la diversidad de modalidades de programas, para efectos de la evaluación, se distinguió entre buenas prácticas de espectro mayor, como por ejemplo un enfoque pedagógico o metodología que puede ser transversal a varios objetivos o actividades del programa (e.g., el gobierno escolar como mecanismo de gestión para la formación ciudadana en el Programa Escuela Visionaria de Guatemala), de buenas prácticas acotadas a ciertos objetivos de aprendizaje (e.g., el módulo temático sobre política y poderes existentes del programa de Alfabetización Digital para Ciudadanos en Red de Chile). En términos de su amplitud, el conjunto de BP identificadas incluye prácticas acotadas a objetivos o módulos específicos, prácticas de amplitud media, y prácticas instauradas de modo transversal en que pueden servir al cumplimiento de varios objetivos del programa. El universo del cual se identificaron buenas prácticas en estos estudios son los programas que fueron bien evaluados en su formulación y, posteriormente, en su implementación. Considerando que las muestras seleccionadas en los estudios no agotan los buenos programas de formación ciudadana, es importante tener en cuenta las limitaciones de la representatividad del conjunto de BP documentadas. Finalmente, considerando que la evaluación de calidad de los resultados no siempre está disponible en los programas evaluados, se plantean dudas en cuanto a la validez de las BP identificadas, aspectos que requieren continua investigación en estudios futuros. 6. Limitaciones metodológicas del estudio Es importante notar que la información descriptiva de los programas recopilada a través de los estudios nacionales no es comparable en todas las dimensiones analizadas. Asimismo, en los instrumentos cuantitativos se observan datos faltantes por lo cual los tamaños muestrales varían para diferentes dimensiones. No obstante los procedimientos descritos en los términos de referencia, es importante considerar las variaciones en metodología que se presentaron en los estudios. En algunos casos, por consideraciones de factibilidad, se alteró el procedimiento de la evaluación. En otros, se redujo el número de instrumentos (e.g., estudio de Guatemala), o se varió el tipo de información (e.g., uso de videos en estudio de 5 P ágina

6 Colombia). Estas variaciones dan cuenta de que, en algunos estudios, las evaluaciones cuantitativas están basadas en un número desigual de fuentes. En relación al trabajo de campo, se presentaron dificultades para llevar a cabo la observación de actividades de los programas (estudios de Colombia y Guatemala) por término de periodo escolar, situación que también dificultó otras instancias de recolección de datos. También se presentaron dificultades para acceder a algunas regiones donde se desarrollaban programas, por las condiciones del territorio o por limitación de recursos del estudio para viajar a estas zonas. Por todo lo anterior, es importante tener cautela en la interpretación y generalización de los resultados pues pueden contener inexactitudes. 6 P ágina