EXPERIENCIA DE EVALUACIÓN DE ECONOMETRÍA FRENTE A CUATRO DOMINIOS PARA EL APRENDIZAJE

Transcripción

1 EXPERIENCIA DE EVALUACIÓN DE ECONOMETRÍA FRENTE A CUATRO DOMINIOS PARA EL APRENDIZAJE Misión Calidad para la Equidad Taller: Educación de calidad para construir Equidad en Colombia Noviembre 2013

2 PUNTO DE PARTIDA

3 RECOMENDACIONES HACIA UN APRENDIZAJE UNIVERSAL 1. Un cambio global de paradigma 2. Aprendizaje de competencias 3. Aprendizaje de indicadores para un seguimiento global 4. Apoyo a los países 5. Equidad 6. La evaluación como un bien público 7. Toma de acciones Fuente: Basado en el documento Toward Universal Learning. Recomendations from the Learning Metrics Task Force. Center for Universal Education at Brookings & Unesco. Septiembre 2013.

4 FRENTE A LA RECOMENDACIÓN 2 DE APRENDIZAJE DE COMPETENCIAS Cultura y artes Alfabetización y comunicación Enfoques de Aprendizaje y Conocimiento Social y emocional Post primaria Primaria Nociones elementales de cálculo aritmético & matemáticas Bienestar físico Primera infancia DOMINIOS Ciencia y tecnología Fuente: Traducción libre partir del documento Toward Universal Learning. Recomendations from the Learning Metrics Task Force. Center for Universal Education at Brookings & Unesco. Septiembre Figura 1.. Página 11.

5 MARCO GLOBAL DE LOS DOMINIOS PARA EL APRENDIZAJE DOMINIO DESCRIPCIÓN EJEMPLOS DE SUB DOMINIOS Bienestar físico Bienestar físico Social Social y y emocional Cultura y artes Cultura y artes Alfabetización y comunicación Aprendizaje Enfoques y de cognición Aprendizaje y Conocimiento Nociones de cálculo aritmético & matemáticas Ciencia y tecnología Manejo del cuerpo, control motor y aprendizaje y presentación de una apropiada nutrición, higiene y practicas saludables Formas de relacionarse con los adultos y pares. Percepción de sí mismos en relación con otros Expresiones creativas. Experiencias culturales en familias, escuelas, comunidades y países. Comunicación en lengua materna y entendimiento de la palabra hablada y escrita desde varios medios Compromiso, motivación y participación en el proceso de aprendizaje. Cognición es el proceso mental para la adquisición del aprendizaje. Representación de los fenómenos observados en el ambiente mediante el lenguaje universal de los números. Conocimiento específico o sistema de conocimiento que concierne a las leyes físicas y verdades generales. La tecnología se refiere a la creación y uso de herramientas para resolver problemas Salud física e higiene Comida y nutrición Actividad física Valores sociales y comunitarios Valores cívicos Salud mental y bienestar Artes creativas; Conocimiento cultural Auto identidad e identidad cultural Consciencia y respeto por la diversidad Hablar y escuchar; vocabulario; escritura y lectura Persistencia y atención; cooperación Resolución de problemas; autodirección Pensamiento crítico Concepto numérico; geometría y patrones; aplicaciones matemáticas; datos y estadísticas Pregunta científica; vida científica; ciencias físicas, conocimiento y uso de la tecnología digital. Fuente: Traducción libre partir del documento Toward Universal Learning. Recomendations from the Learning Metrics Task Force. Center for Universal Education at Brookings & Unesco. Septiembre Tabla 2.. Página 21.

6 EXPERIENCIA DE EVALUACIÓN DE ECONOMETRÍA FRENTE A CUATRO DOMINIOS PARA EL APRENDIZAJE Bienestar físico Social y emocional Cultura y artes Enfoque de aprendizaje y conocimiento Se presentan algunas experiencias de programas en Colombia que aportan al desarrollo de estos dominios y que han sido evaluadas. Colegio del cuerpo Cartagena (Banco Mundial) Bandas de música Medellín (BID) Escuela de deportes Medellín (BID) Aspectos comunes a las tres experiencias: Son proyectos con niños y jóvenes escolarizados que se desarrollan por fuera de la jornada escolar Sus participantes /beneficiaros hacen parte de familias en situación de vulnerabilidad Los proyectos buscan un mejor desarrollo integral de los niños y el buen uso del tiempo libre La evaluación de impacto de los programas incluyó aspectos de los cuatro anteriores dominios

7 COLEGIO DEL CUERPO CARTAGENA Proyecto Ma: MI cuerpo, mi casa Descripción Objetivos del programa Evaluación de impacto Inició actividades en el 2007, dirigido a 1200 niños de sexto grado, pertenecientes a varios núcleos educativos que asisten a 7 Instituciones Educativas, donde se han adecuado espacios para recibir formación desde la danza. Este proyecto se financió durante 5 años con recursos del Banco Mundial. El proyecto con su modelo de Educar con la danza busca el desarrollo de competencias cognitivas, valorativas, contextuales y comunicativas que mejoren las relaciones con otras personas, la autoestima, la autoconfianza el rendimiento escolar. También busca la valoración del cuerpo propio y del cuerpo de los otros y la prevención de actitudes y prácticas autodestructivas. Se inició simultáneamente con el Proyecto y fue posible hacer una línea base y 4 años más tarde hacer un seguimiento. Estas dos mediciones permitieron el uso combinado del método de doble diferencia, conocida como difference in differences, y del método de pareo conocido como el Propensity Score Matching (PSM), que fue aplicado a una muestra de 350 niños. La metodología cualitativa incluyó entrevistas a profundidad y grupos focales

8 PROGRAMA DE ESCUELAS Y BANDAS DE MUSICA SINFÓNICA DE MEDELLÍN Descripción Se creó en 1996, dando educación musical a niños entre 7 y 18 años. Fue financiado con recursos BID entre el 2001 y El programa en el 2005 atendía cerca de 3200 niños y jóvenes entre 7 y 18 años que asistían a 26 escuelas y bandas. La intensidad promedio semanal era de más de 30 horas. Objetivos del programa Los objetivos del Programa de Escuelas y Bandas de música sinfónica son ofrecer alternativas de utilización sana del tiempo libre, ser una alternativa para acercar el desarrollo a gente muy excluida socialmente y estimular aquellos factores que pudieran prevenir la violencia o dar protección frente a ella Evaluación de impacto Se realizó en el 2005 y se centró en medir los cambios en los aspectos valorativos y actitudinales de los niños y jóvenes participantes de los proyectos. Como el programa ya había iniciado no fue posible levantar una línea base. La evaluación de impacto se hizo con la comparación de los jóvenes que asisten al programa y un grupo control. La medición cuantitativa se hizo con el método de pareo por probabilidades de similitud, Propensity score matching- PSM con información de encuestas aplicadas a una muestra representativa ( 500 por grupo). A nivel cualitativo se realizaron entrevistas a profundidad a un grupo de beneficiarios y de no beneficiarios

9 ESCUELAS POPULARES DEL DEPOTE EN MEDELLÍN Descripción Se inició en el Inicialmente fue financiado por el BID y en el año 2006 fue asumido por la Alcaldía de Medellín. Los jóvenes asisten a dos sesiones de hora y media a la semana. En el 2005 el programa se desarrollaba en 28 escenarios deportivos y atendía cerca de niños y jóvenes entre 6 y 18 años, de un nivel socioeconómico bajo y medio. Objetivos del programa Busca la promoción de valores y actitudes no violentas, el manejo pacífico de conflictos, la integración social y el manejo del tiempo libre. Evaluación de impacto La evaluación de impacto se realizó en el 2005 No fue posible levantar una línea base, por lo tanto se utilizó una metodología basada en la comparación de los jóvenes que asisten al programa y jóvenes control. La medición se hizo con el método de pareo por probabilidades de similitud, Propensity score matching- PSM, mediante la aplicación de encuestas a una muestra representativa ( 550 por grupo) Para el trabajo cualitativo se realizaron entrevistas a profundidad a un grupo de beneficiarios y de no beneficiarios.

10 CONSTRUCCIÓN DE CATEGORÍAS DE ANÁLISIS

11 Identificación de Variables de la Evaluación de Impacto En las evaluaciones el ejercicio de diseño partió de la revisión de los documentos del programa para identificar en cada uno de ellos sus objetivos, los aspectos que se espera afectar en los niños y las niñas beneficiarias. Identificación de actitudes, prácticas y conocimientos que el programa pretende afectar y organización de categorías y sub categorías de análisis Construcción de preguntas para cada subcategoria acordes con objetivos Revisión de estudios similares en Colombia Revisión de instrumentos y bibliografía Evaluación de Impacto de Programas Educativos Innovadores

12 Categorías de Análisis Ámbito Personal Ámbito Familiar Ámbito Social/escolar Autocuidado Valoración del propio cuero y del cuerpo del otro, prevención de la drogadicción, embarazo y uso de la violencia. Autoestima Confianza En ser parte de una red social/inclusión. En la capacidad de logro. Sentido de coherencia/sentido de vida. Habilidades sociales Manejo pacífico de conflictos/respeto por la diferencia. Trabajo en equipo/cooperación. Conocimiento y uso de redes de protección contra la violencia sexual intrafamiliar. Disciplina Eficacia para hacer las cosas. Atención/concentración. Constancia/voluntad. Curiosidad Interés por el mundo/por si mismo. Capacidad creadora. Prevención del maltrato Creencias sobre relaciones de pareja y sobre la crianza Actitud frente a la justicia Confianza en las instituciones Colegio del Cuerpo y de Música y Deportes Programas de Música y Deportes Evaluación de Impacto de Programas Educativos Innovadores

13 PRINCIPALES RESULTADOS DE LA EVALUACIÓN DEL COLEGIO DEL CUERPO: Proyecto MA

14 1. Curiosidad 3. Disciplina Impactos estimados Modelo de Impacto Diferencia en Diferencia para las Categorías y subcategorías Línea Base tratamiento Impacto del Proyecto MA Impacto del Proyecto MA Constancia y Voluntad 61,1 10,6 Interes por el mundo y por si mismo 90,4 7,3 Taller: Educación de calidad para construir Equidad en Colombia

15 Impactos en Rendimiento académico Modelo de Impacto en las notas obtenidas para Diferencia entre Tratamiento y Control 5,00 4,00 3,27 Impacto del Proyecto MA en las notas obtenidas para 2011 Diferencia entre tratamiento y control Materia: EDUCACIÓN ARTÍSTICA 3,00 2,26 2,00 1,00 1,01 0,00 Tratamiento Control Impacto Evaluación de Impacto Proyecto MA Del Colegio del Cuerpo. Econometría S.A Taller: Educación de calidad para construir Equidad en Colombia

16 Interes por el mundo y por si mismo Capacidad creadora Resultados descriptivos del Programa en Valores y Actitudes 1. Curiosidad Línea Base Seguimiento De acuerdo En desacuerdo Generalmente si alguien me pregunta que cómo estoy?, no sé qué responder porque no lo sé 62,0 31,1 Ya conozco muchas cosas y no me interesa conocer nada más. 89,0 9,0 En los últimos seis meses he aprendido cosas nuevas sobre mi mismo 90,1 8,9 Taller: Educación de calidad para construir Equidad en Colombia

17 Valoracion del propio cuerpo y del cuerpo del otro Resultados descriptivos del Programa en Valores y Actitudes Línea Base seguimiento 2. Autocuidado De acuerdo En desacuerdo Conozco personas que podrían ayudar para que un adulto deje de abusar de un niño o una niña 61,4 7,9 Las niñas que toman bebidas alcohólicas y bailan se merecen que les falten al respeto 82,2 6,9 Taller: Educación de calidad para construir Equidad en Colombia

18 Atención /concentracion Constancia y voluntad Resultados descriptivos del Programa en Valores y Actitudes 3. Disciplina Línea Base Seguimiento De acuerdo En desacuerdo A veces siento flojera (pereza) de hacer las cosas y no las hago 33,6 14,9 Cuando me dan instrucciones, me las tienen que repetir varias veces porque no las entiendo 45,0 16,4 En los últimos seis meses me llamaron la atención en el colegio porque no estaba poniendo cuidado en clase 31,7 5,9 Taller: Educación de calidad para construir Equidad en Colombia

19 Resultados descriptivos del Programa en Valores y Actitudes 4. Confianza Capacidad de logro Línea Base Seguimiento De acuerdo En desacuerdo Por mas que me esfuerce no consigo lo que quiero 67,3 17,9 Taller: Educación de calidad para construir Equidad en Colombia

20 Trabajo en equipo y cooperación Conocimiento y uso de redes contra la violencia sexual, familiar, etc Resultados descriptivos del Programa en Valores y Actitudes Línea Base 5. Habilidades Sociales Seguimiento De acuerdo En desacuerdo A uno le da pena buscar ayuda con otras personas cuando en la casa lo han golpeado o amenazado 56,6 23,4 Si un niño o una niña es golpeada por sus padres o familiares, se lo merece porque con seguridad hizo algo malo 82,8 14 El trabajo en grupo me facilita que otros hagan por mí, lo que yo tendría que hacer. 90,9 8,1 Taller: Educación de calidad para construir Equidad en Colombia

21 PRINCIPALES RESULTADOS DE LA EVALUACIÓN DE LOS PROYECTOS DEL BID

22 Aspectos Relacionados con la Confianza Programa de Música Programas de Deportes Taller: Educación de calidad para construir Equidad en Colombia

23 Aspectos Relacionados con Confianza - Inclusión Programa de Música Programas de Deportes Taller: Educación de calidad para construir Equidad en Colombia

24 Aspectos Relacionados con el Manejo de Conflictos Programa de Música Programas de Deportes Taller: Educación de calidad para construir Equidad en Colombia

25 Aspectos Relacionados con la Disciplina Programa de Música Programas de Deportes Taller: Educación de calidad para construir Equidad en Colombia

26 Aspectos Relacionados con el Autocuidado Programa de Música Programas de Deportes Taller: Educación de calidad para construir Equidad en Colombia

27 A MANERA DE LECCIONES APRENDIDAS

28 LECCIONES APRENDIDAS El cambio es lento y requiere de instrumentos de evaluación que sean a la medida de cada programa IDENTIFICAR BIEN VARIABLES A EVALUAR PARA CONSTRUIR INSTRUMENTOS SENSIBLES QUE IDENTIFIQUEN EL MENOR CAMBIO POSIBLE Combinar métodos en las evaluaciones Combinar tipos de evaluaciones EL USO DE MÉTODOS MIXTOS ENRIQUECE LA EVALUACIÓN. SIN EMBARGO HAY QUE POTENCIAR CADA METODOLOGÍA PARA QUE APORTE DESDE SUS FORTALEZAS. LO CUALITATIVO ES CLAVE PARA EL SEGUIMIENTO Y MONITOREO NO SÓLO HACER EVALUACIONES DE IMPACTO SI NO TAMBIÉN HACER EVALUACIONES DE PROCESOS Y SEGUIMIENTO DE LAS ACCIONES DESARROLLADAS. TENER EN CUENTA TODOS LOS ELEMENTOS DE LA CADENA DE VALOR

29 GRACIAS