Diseños de evaluación Chile Crece Contigo Dra. Paula Bedregal MD, MPH, PhD Seminario: La evaluación en un contexto de gestión por resultados Montevideo Uruguay 12 diciembre 2012
Contenidos 1. Consideraciones para el diseño de las evaluaciones: el caso Chile Crece Contigo Efecto esperado y su magnitud Marco regulatorio para evaluaciones 2. Tres modelos de evaluaciones a) Evaluación Programa de Apoyo al Desarrollo b) Evaluación del Programa Nadie es Perfecto. c) Evaluación de la calidad del Programa de Modalidades de Apoyo
Consideraciones para el diseño de evaluaciones
1. Cuál es el efecto esperado? Cuál es la magnitud de este efecto? La evidencia
La promesa Los programas con enfoque en desarrollo infantil temprano prometen reducir los efectos de la pobreza y reducir las desigualdades económicas en el mundo Engle et al, 2007; Grantham-McGregor et al 2007; Lancet.
Programas con enfoque en desarrollo infantil temprano Efectos a corto plazo Intervenciones Área del desarrollo Tamaño del efecto Transferencias condicionadas Total 0,292 Cognición 0,170 Conducta 0,207 Salud 0,382 Nutrición Total 0,248 Cognición 0,255 Conducta 0,406 Salud 0,375 Escolaridad 0,113 Mixtas Total 0,306 Cognición 0,347 Conducta 0,266 Salud 0,232 Escolaridad 0,409 Inicio recién nacido o antes Total 0,339 Inicio preescolares Total 0,285 Tamaño de los efectos a corto plazo son PEQUEÑOS!!!! Nores & Barnett (2010)
Programas con enfoque en desarrollo infantil Efectos en niños alto riesgo durante la adolescencia ES: Éxito escolar CD: Cognición SED: Socioemocional D: Trastornos conductuales SP: Participación social CJ: problemas ley FW: bienestar familiar
Efectos en problemas de salud a largo plazo (adultos) Conductas de riesgo Evidencia Reducción riesgo Consumo de tabaco Reducción de la prevalencia consumo 13-16% Consumo de marihuana Reducción de la prevalencia consumo 7-23% Consumo psicofármacos sin receta Reducción de la prevalencia consumo 9% Consumo alcohol No es concluyente No concluye Actividad física Incremento actividad sólo si participación 10-52% (incremento) en programas por más de dos años Uso de servicios de salud No es concluyente No concluye Enfermedades crónicas No es concluyente No concluye del adulto Malnutrición por exceso Reducción del IMC (los más deprivados) 4,5-50% Depresión Reducción escala de síntomas 0,44 (tamaño efecto) Personalidad esquizotípica Reducción en síntomas (en grupo desnutrido) 0,42 (tamaño efecto) Autoestima No hubo efecto No hay efecto Fuente: D'Onise K (2010) Public Health
Resultados finales esperados ChCC a) Reducción de las tasas de riesgo y retraso del desarrollo infantil. A CORTO PLAZO b) Reducción de las brechas territoriales y socioeconómicas en desarrollo infantil A CORTO PLAZO c) Niños y niñas ingresan al sistema escolar con las competencias y habilidades necesarias para continuar su aprendizaje. A MEDIANO PLAZO d) Padres y las madres son agentes activos en la educación de sus hijos e hijas, al integrarse al sistema escolar. A MEDIANO PLAZO e) Reducción de brechas en capital humano. A LARGO PLAZO
2. Cuál es el marco regulatorio para evaluaciones de políticas públicas? En Chile
Marco regulatorio en evaluaciones Ministerio de Hacienda. DIPRES Sistema de Evaluación y Control de Gestión: Definiciones estratégicas e Indicadores de desempeño (Ley Presupuesto) Evaluación de programas e instituciones (ex-post) Evaluación de Programas Gubernamentales (marco lógico, desde 1997) Evaluación de Impacto del Programas (2001) Evaluación Comprensiva del Gasto (2002) Evaluación de Programas Nuevos (2009) Ministerio de Desarrollo Social Subsecretaría Evaluación Social Monitoreo Política: CASEN Evaluación de calidad y de programas propios. Sistemas de información integrados. Ministerios sectoriales Cumplimiento objetivos sectoriales. Indicadores básicos: Cobertura y Cobertura efectiva Calidad y seguridad Eficiencia Efectividad Cobertura efectiva Cumplimiento de garantías. Percepción usuarios.
Enfoque sobre evaluación Primer diseño 2008-9 EVALUACIÓN CHILE CRECE CONTIGO MDS (Ex MIDEPLAN) 1) Evaluación y monitoreo de la implementación (redes, Programas, otras). 2) Evaluación del impacto global de Programas (resultado en población beneficiaria y brechas) 3) Sistema informático de apoyo para garantías de acceso a prestaciones 4) Evaluación de la calidad de prestaciones propias HACIENDA 1) Evaluación de impacto del Sistema. 2) Evaluación económica MINISTERIOS SECTORIALES 1) Evaluación y monitoreo de la calidad y seguridad de los servicios prestados (oferta de servicios)
Evaluaciones de Chile Crece Contigo Evaluación cuasiexperimental del PADBP (cohortes no concurrentes en el tiempo), ya realizada la medición de base. Estudio de satisfacción del PADBP. Estudio de satisfacción y usabilidad del PARN. Evaluación experimental de tres brazos del Taller grupal de habilidades de crianza Nadie es Perfecto. Encuesta Nacional de Implementación (condiciones de eficiencia para la implementación del PADBP). Evaluación cuanti-cuali de las redes comunales de Chile Crece Contigo. Evaluación cualitativa de la instalación del Programa de Apoyo al Desarrollo Biopsicosocial. Estudio de seguimiento de casos de usuarias de CHCC.
Evaluaciones en el marco de Chile Crece Contigo 1. La evaluación de efectividad del Programa de Apoyo al Desarrollo Biopsicosocial Ejecutor: Universidad Católica de Chile Mandante: MDS 2. La evaluación de impacto del programa Nadie es Perfecto. Ejecutor: Banco Mundial-Universidad Católica de Chile Mandante: MDS-MINSAL-Fondos concursables 3. La evaluación de la calidad del programa de Modalidades de Apoyo al Desarrollo Biopsicosocial Ejecutor: Universidad Católica de Chile Mandante: MDS
Gestación Nacimiento 0 a 4 años de edad I. Fortalecimiento del Desarrollo Prenatal II. Atención Personalizada del proceso de nacimiento III. Atención al Desarrollo Integral del niño(a) hospitalizado IV. Fortalecimiento del desarrollo integral del niño(a) V. Atención de niños(as) en situación de vulnerabilidad A B C A B A B A B A ATENCIÓN PRIMARIA A. Fortalecimiento de los Cuidados Prenatales B. Desarrollo del Plan de Salud con Enfoque Familiar C. Educación a la Gestante y su Pareja o Acompañante HOSPITALES A. Atención Integral al Recién A. Atención Nacido(a) Personalizada Hospitalizado en del Parto Neonatología B. Atención Integral al B. Atención Niño/Niña Integral en el Hospitalizado(a) Puerperio en Pediatría ATENCIÓN PRIMARIA A. Fortalecimiento A. del Control de Fortalecimiento Salud del de las Niño/Niña para Intervenciones el Desarrollo en Niños/Niñas Integral en Situación de Vulnerabilidad, B. Intervenciones Rezago y Déficit Educativas de en su Desarrollo Apoyo a la Integral Crianza Programa de Apoyo al Desarrollo Biopsicosocial
Evaluación Programa de Apoyo al Desarrollo Biopsicosocial Metodología: (2010-2013) Estudio observacional de 3 cohortes históricas Cohorte que no recibió ChCC desde prenatal y se atiende en sector público (nació antes 2007-2008) N= 1800 niños entre 30-54 meses al 2010. Cohorte que no recibió ChCC desde prenatal y se atiende en sector privado (antes 2007-2008) N = 380 niños entre 30 54 meses al 2010. Cohorte que recibió ChCC desde prenatal(desde 2009) N=1400 niños entre 30-54 meses al 2012.
Elementos considerados en la 1. Marco conceptual: Desarrollo bioecológico Determinantes sociales evaluación 2. Modelo de cambio: Prestaciones PADB modifican determinantes del desarrollo (crianza, salud del niño y cuidador, acceso a servicios), lo que mejora el desarrollo del niño/a. 3. Identificación de la población y tamaño de la muestra. Usuarios sector público de salud (o privado) desde la gestación. Estratificación por tipo de red de salud (con componente rural o sin componente rural; con medicina familiar y sin medicina familiar). Cálculo con tamaño del efecto pequeño-moderado. Limitación: recursos disponibles.
Variables del estudio INDEPENDIENTE Tipo de Programa recibido INTERMEDIAS Factores de riesgo o protectores Encuesta Chile Crece y fichas clínicas: Características del niño/a: sociodemográficas, salud, antecedentes perinatales, antecedentes parto, trayectoria de salud. Características cuidador principal: sociodemográficas, capital social, salud mental, salud física Características de la crianza: creencias sobre niños, disponibilidad de recursos estimulación en el hogar, emociones en la relación con el niño/a, involucramiento paterno, materno y cuidador principal. Características socioeconómicas del hogar Utilización de servicios (salud y educación) DEPENDIENTE Inventario Battelle completo Desarrollo infantil 18
Evaluación Programa de Apoyo al Desarrollo Biopsicosocial Análisis: Descriptivo e inferencial. Comparación entre cohortes. Efectividad. Ajustes resultados por Propensity Score. Ética: Visado por comités de ética SSMO y CEI Medicina. Uso de consentimiento informado. Devolución resultados a la muestra y facilitación acceso a servicios casos daño. Rechazo: Red pública control: 10% Red privada: 28% Red pública tratada: 15%
Desarrollo alterado en niños de 30-53 meses. Redes pública y privada de salud Chile (2010-2011) Cognitiva 12,1 Comunicación 36,8 Dimensión Desarrrollo Motora 35,3 Adaptativa 29,2 Privado Público Personal social 32,5 Total 30,4 0 5 10 15 20 25 30 35 40 Frecuencia % 30% desarrollo alterado Brechas importantes en casi todas las áreas en desarrollo, mediado por condiciones sociales y del cuidador principal (estrés tóxico) Bedregal, Hernández et al (2012)
Salud del cuidador principal peor en la red pública
Mayor aislamiento social cuidadores de niños 3-4 años en la red pública
Más bajas expectativas educativas en red pública
Creencias respecto de los niños/as
Conclusiones línea de base DESIGUALDADES NOTABLES Seremos capaces de lograr cambios? Violencia Aislamiento social Desigualdad socioeconómica importante QUE NO TIENE CHCC? Aislamiento social, autoeficacia. Énfasis en el ámbito laboral femenino
Evaluación Nadie es Perfecto Objetivo: promover cambios en conocimiento y actitudes hacia una crianza positiva!! Talleres con sesiones estructuradas que se ejecutan de manera flexible. Facilitadores entrenados en manejo grupal Población objetivo: niñ@s de 0-5 años adscritas a sistema público de salud.
Modelo de cambio MEDIADORES DE CORTO PLAZO Conocimiento sobre Desarrollo Infantil Creencias y preferencias personales hacia la crianza. Motivación Autoeficacia parental y Autoestima. Percepción de apoyo social INDICADORES INTERMEDIOS DE MEDIANO PLAZO Aumento prácticas de crianza positiva Afecto Estructura/Disciplina Mejor calidad del tiempo con los niños Mayor inversión en recursos de educación y alimentación en niños. RESULTADOS DE LARGO PLAZO Mejor ambiente hogar Mejor Interacción Mejor desarrollo infantil: Lenguaje Cognitivo Socioemccional Conductas disruptivas Control: Estrés Parental y Depresión
Metodología Diseño: Estudio Experimental Comunitario Aleatorizado 163 Centros de Salud estratificados por tipo (CESFAM, CSU, CSR, Hospital), escogidos aleatoriamente 45-60 familias invitadas a participar en cada centro Asignación de familias a grupos de tratamiento y control aleatoriamente. Cumplimiento de criterios éticos. Tamaño muestra: 3.650 niños de 0 a 5 años Cálculo de la muestra: Correlación intra-clúster: 0.1 Tamaño mínimo del efecto 0.25*40% participación=0.125 Poder: 80% Error tipo I: 5%.
Gradiente de desarrollo por por educación materna Lenguaje Auditivo 100,0% 80,0% 60,0% 40,0% Retraso Normal 20,0% 0,0% Primary Dropout HS degree College 100,0% Lenguaje Expresivo 80,0% 60,0% 40,0% 20,0% 0,0% Primary Dropout HS degree College Retraso Normal Peor en lenguaje expresivo (25%) Trastornos conductuales hasta 30% 29
Funciones ejecutivas. Dimensional Change Card Sort (DCCS) Funciones ejecutivas según nivel educativa cuidador principal 70,0% 60,0% 50,0% 40,0% 30,0% alterado normal 20,0% 10,0% 0,0% Primary HS droput HD degree College Hasta 40% alteraciones funciones ejecutivas 30
Conclusiones Línea de Base Nadie es Perfecto MEJOR DESARROLLO INFANTIL Disponibilidad de materiales de juego y aprendizaje. Inversión de tiempo en el aprendizaje y juegos. Autoestima y autoeficacia parental asociado con mejor desarrollo infantil. Estilo de crianza seguro Uso de estrategias de crianza positiva y afecto PEOR DESARROLLO INFANTIL Estilo de crianza autoritario. Problemas de salud mental cuidador principal
Problemas prácticos en las evaluaciones Costo del trabajo de terreno. Disponibilidad de RRHH de calidad para trabajo de campo Riesgos del trabajo de campo (violencia) La disponibilidad de información para generar buenos marcos muestrales. Necesidad de trabajo de ajuste de los datos para lograr comparabilidad SIEMPRE pilotar los sistemas de captura de datos y el proceso de aplicación El apoyo de los implementadores locales es clave!
Evaluación de la Calidad de la atención en modalidades de apoyo (2012) Tipos de modalidades: Servicio Itinerante de estimulación (84) Atención domiciliaria (48) Ludotecas (47) Sala de estimulación (74)
Calidad de la atención en modalidades de apoyo (2012) Estructura Censal con base a levantamiento cualitativo Procesos Censal con base a levantamiento cualitativo Resultados Muestra aleatoria Recursos disponibles Gestión Desarrollo infantil (T1-T2) Satisfacción usuaria Modelo calidad total A.Donabedian
Resultados: área resultados Desarrollo infantil: Mejoría del 14,7% en desarrollo infantil. Mejoran en sala de estimulación y servicio itinerante. Sin efecto la atención domiciliaria y ludoteca. Modalidad SATISFACCIÓN USUARIA Servicio Itinerante de estimulación Satisfacción usuaria (1-7) 6,6 Sala de estimulación 6,2 Atención domicilio 6,0 Ludoteca 5,1
Resultados: área estructura y procesos Tasa de respuesta: 46% del censo. Áreas críticas:» Causas: no se implementó; implementación parcial; cambio de personal; no quiso responder. (20%) Estandarización de procesos Gestión ingresos y egresos niños.
Conclusión calidad programa Mejor implementación y con mejores resultados Sala de estimulación: procesos claros con objetivos claros. Implementación parcial con buenos resultados Servicio itinerante de estimulación: procesos claros y objetivos claros. Implementación regular con malos resultados Ludotecas: procesos poco claros, confusión de objetivos. Acceso bajo de los usuarios Atención domiciliaria: discontinuidad.
Evaluaciones de Chile Crece Contigo Evaluación cuasiexperimental del PADBP (cohortes no concurrentes en el tiempo), ya realizada la medición de base. Estudio de satisfacción del PADBP. Estudio de satisfacción y usabilidad del PARN. Evaluación experimental de tres brazos del Taller grupal de habilidades de crianza Nadie es Perfecto. Encuesta Nacional de Implementación (condiciones de eficiencia para la implementación del PADBP). Evaluación cuanti-cuali de las redes comunales de Chile Crece Contigo. Evaluación cualitativa de la instalación del Programa de Apoyo al Desarrollo Biopsicosocial. Estudio de seguimiento de casos de usuarias de CHCC.
Aprendizajes generales Trabajo conjunto entre entidades de gobierno-academiafinanciadores Incorporación desde la planificación. Financiamiento asegurable y mantenido. Marcos analíticos claros, para identificar trayectorias de cambio. Difusión de los resultados Líneas de base útiles para establecer si las propuestas de políticas están alineadas bien con las necesidades. Permite ajustes.
Muchas gracias! GRACIAS!!!