PROGRAMA DE AGUA POTABLE Y SANEAMIENTO EN COMUNIDADES RURALES, BOLIVIA DISEÑO DE EVALUACIÓN DE IMPACTO EXPERIMENTAL Amado Rivas Bogado Erland Romero Julia Collado Asesor: Gastón Gertner Fecha: 19 e abril de 2013 Lugar: Santiago - Chile 1
Teoría del Cambio Insumos Actividades Productos Resultados Impactos Recursos Humanos, Financieros, otros movilizados para apoyar actividades Acciones tomadas o trabajo realizado para convertir insumos en productos especificos Bienes y servicios producidos y entregados bajo control del implementador Uso de productos por parte de poblacion de interes Objetivos finales del programa o metas de largo plazo Presupuesto asignado Personal técnico del Programa Selección de comunidades Licitaciones Construcción de obras Talleres de capacitación Sistemas de agua y saneamiento construidos. Comunidad capacitada Personal de Operadores capacitados Utilización de servicios de agua: - Los hogares consumen agua potable de manera continua, pagando por el servicio (consumo, higiene etc). Utilización de servicios de saneamiento: - Los beneficiarios utilizan las soluciones sanitarias en la comunidad. NINOS < 5 AÑOS Reducción de prevalencia de enfermedades de origen hídrico (diarreas, etc). ADULTOS Mejoras en el uso del tiempo (aumento de productividad e ingresos). Mujeres participan en los operadores en un cargo de toma de decisión. Implementación (Oferta) COMUNIDAD Mejoras en el uso del tiempo (genero y niños) Resultados (Oferta + Demanda) 2
Preguntas de Evaluacion Aspectos del proyecto a evaluarse El Programa contribuye a: Disminuir la mortalidad infantil en niños menor a 5 años Contribuye a la mayor participación de la mujer en toma de decisiones en el operador del agua Cambio del uso del tiempo dedicado a actividades que mejoran a su ingreso Contribuye a incrementar las practicas saludables 3
Preguntas de Evaluacion Indicadores de resultado claves - % disminución en EDAS e IRAS en niños menores de 5 años post programa al cabo de los tres años. - X numero de mujeres son parte del directorio de los operadores (al menos en 3 puestos claves) - Nro de horas adicionales destinadas a actividades productivas (generan ingreso) 4
Preguntas de Evaluacion Indicadores de resultado claves - X Bs de ingresos adicionales a nivel de hogar Formulacion de preguntas: Cuál es el impacto de PROGRAMA sobre RESULTADOS Las familias utilizan de manera adecuada los servicios de agua y saneamiento a nivel de hogar? Las familias pagan oportunamente la tarifa en agua y saneamiento? 5
Diseño de Evaluación Estrategia de Identificación: Experimental.- Beneficiarios: 372 Comunidades identificados con población menor a 500 habitantes en 17 municipios priorizados por indicadores de pobreza y vulnerabilidad Estratificados en dos grupos de población de 50 a 200 habitantes y 201 a 500 habitantes Restricción presupuesto a nivel municipal Aleatorización de grupo de tratamiento y control por sorteo público definiendo la orden de entrada con inversión en 17 municipios. (T1=180 comunidades) 6
Diseño de Evaluación en Genero Estrategia de Identificación: Experimental.- Beneficiarios: T1=180 Comunidades de grupo de tratamiento Aleatorización de grupo de tratamiento y control para la evaluacion en genero (mitades) (T2=90 comunidades), por sorteo en escritorio, para identificar la contribución del Programa del empoderamiento de la mujeres en la administración del operador. 7
Resultados de Aleatorizacion Comunidades de 50-200 Habitantes: Total de Comunidades: 116 Comunidades T 123 Comunidades C Pruebas de Balance 110 Comunidades T 108 Comunidades C Test De Balance: 74 caracteristicas; 3 diferentes a 10% de significancia o menos =4% Comunidades de 200+ Habitantes: Total de Comunidades: 67 Comunidades T 63 Comunidades C Pruebas de Balance 64 Comunidades T 58 Comunidades C Test De Balance: 74 caracteristicas; 5 diferentes a 10% de significancia o menos =6.7% 8
Sorteo Público en Campo 9
Aleatorización exitosa Balance en características observables de grupos de tratamiento y control; estrato 50-200 habitantes Descripción Media GT Media GC Diferencia sig-level N (T) N (C) "=1 fuente de agua es subterránea" 0.71 0.78-0.07 110 108 [0.044] [0.040] [0.059] "=1 si el color del agua es turbia" 0.29 0.27 0.02 109 107 [0.044] [0.043] [0.062] Edad del líder comunitarios 41.34 44.19-2.85 109 108 [1.237] [1.219] [1.737] Número de sub-sectores dentro de la comunidad 2.56 2.45 0.11 104 104 [0.277] [0.201] [0.342] "=1 si la distribución de la población es dispersa" 0.69 0.62 0.07 109 108 [0.045] [0.047] [0.065] "=1 Material para caminos es Tierra" 0.79 0.70 0.09 109 106 [0.039] [0.045] [0.060] Distancia a la capital del municipio (km) 63.61 72.55-8.93 107 105 [10.624] [10.861] [15.193] "=1 si existe Escuela" 0.50 0.51 0.00 109 108 [0.048] [0.048] [0.068] "=1 si acceso a Escuela es a Pie" 0.94 0.97-0.03 108 107 [0.022] [0.016] [0.027] Número de hogares con Electricidad 12.35 11.44 0.91 97 94 [1.954] [1.897] [2.724] "=1 si llegó el Programa Bono Juana Azurudy" 0.66 0.61 0.05 108 108 [0.046] [0.047] [0.066] 10
Tamaño y Composición de Muestra Encuesta línea base: Inicio mayo 2013 183 comunidades de tratamiento (ambos segmentos) 186 comunidades de control (ambos segmentos) 11
Datos de muestra y potencia Resultado 9.4 puntos porcentuales es el mínimo efecto que de acuerdo a los niveles de confianza establecidos declararían que se tiene un efecto del Programa. Prevalencia: Datos de un estudio en Peru-Lima en lavado de manos (UNICEF) en los últimos 14 días. 12
Diseño del Cuestionario Esta diseñada con 16 secciones de acuerdo al siguiente resumen: Portada A) Ubicación Geográfica de la vivienda B) Dirección de la vivienda C) Información sobre la entrevista SECCIÓN 1: CARACTERÍSTICAS GENERALES DEL HOGAR Y SUS MIEMBROS SECCIÓN 2: EDUCACIÓN (PERSONAS DE {x} AÑOS O MÁS) SECCIÓN 3: LISTA DE EMPLEOS DURANTE LOS ÚLTIMOS 12 MESES SECCIÓN 3B: EMPLEO (PARA MAYORES DE 7 AÑOS DE EDAD) 13
Diseño del Cuestionario SECCIÓN 4: SALUD (PARA TODOS LOS MIEMBROS DEL HOGAR) SECCIÓN 5: VIVIENDA Y SERVICIOS BÁSICOS SECCIÓN 6: EMPLEOS ASALARIADOS SECCIÓN 7: ACTIVIDADES INDEPENDIENTES / NEGOCIOS FAMILIARES FUERA DEL SECTOR AGRÍCOLA SECCIÓN 8: INGRESOS NO LABORALES SECCIÓN 9: USO DEL TIEMPO SECCIÓN 10: CAPITAL FAMILIAR SECCIÓN 11: SISTEMAS DE AGUA SECCIÓN 12: AGUA E HIGIENE SOLO PARA (POZOS COMUNITARIOS, VECINOS, TAJAMAR, PILAS PUBLICAS, ESCUELAS) SECCIÓN 13: AGUA SOLO PARA QUIENES SE ABASTECEN DE CAÑERÍA DE RED FUERA DEL LOTE O TERRENO 14
Diseño del Cuestionario SECCIÓN 14: SANEAMIENTO SECCIÓN 15: OBSERVACIONES DEL ENCUESTADOR SECCIÓN 16: INFORMACIÓN DE RECONTACTO Situación Actual: Nos encontramos en la etapa de revisión del cuestionario. 15
Plan de Trabajo en campo 4 DEPARTAMENTOS 17 MUNICIPIOS 370 COMUNIDADES 15 ENCUESTAS hogar por comunidad TOTAL 5610 encuestas EQUIPO CENTRAL DE FIRMA Jefe de Proyecto Jefe de operaciones de Campo Jefe de Gestión de Datos SERVICIO DE ASEGURAMIENTO DE CALIDAD Ingreso de datos inteligente en campo Monitoreo centralizado de la brigadas Supervisión humana por medio de revisitas de control SELECCIÓN DEL PERSONAL DE CAMPO 16 ORGANIZACIÓN DEL TRABAJO DE CAMPO 10 BRIGADAS Asignacion interpenetrable 1 Supervisor 3 encuestadores 1 digitador 1 chofer CAPACITACIÓN DEL PERSONAL DE CAMPO
Plan de Trabajo en campo PLAN DE TRABAJO EN PUNTO DE MUESTRA pre contacto con lider comunitario listado de hogares Selección (seleccion aleatorio de hogares elegibles) encuesta de hogares Digitacion de la encuesta Supervision y revisitas Traslado a la proxima comunidad. Dia Tareas 1 Pre-contacto con líder comunitario; listado de hogares; selección aleatorio de hogares elegibles 2-3 Encuesta de hogares + digitación y validación en campo 4 Revisita (en caso necesario) y corrección. Traslado a la próxima comunidad 17
Plan de Trabajo Macro Linea de Base: Licitación: Dic-Abril 2013 Preparación de encuesta: Febrero-Marzo-Abril 2013 Encuesta: Mayo-Octubre 2013 Compatibilizar contenido de encuestas Linea Base y Pre-inversion: lograr un instrumento comun para linea base evaluacion, evaluacion socio-economica y DESCOM. Analizar compatibilidad de muestras para las tres encuestas. Compatibilizar cronograma de trabajo entre encuesta Linea Base y Pre-inversion: lograr un cronograma de trabajo comun donde la encuesta entra en campo ANTES de la Preinversion Seguimiento Licitación Dic-Enero 2016 Preparación de encuesta: Febrero-Abril 2016 Encuesta: Mayo-Oct 2016 Finaliza Proyecto Diciembre 2016 18
Presupuesto RESUMEN PRESUPUESTO DESCRIPCIÓN Monto USD Remuneraciones 98.300,00 Viáticos 44.050,00 Trasporte 28.000,00 Materiales 14.155,00 Reproduccion de documentos 8.053,00 Capacitación 4.000,00 Comunicación 2.000,00 Otros 2.748,00 Contingencia 20.131,00 TOTAL 221.437,00 19
Lista de Próximos Pasos Trabajo con Cuestionarios. Evaluación de Aspectos de Género Proteger el grupo de control de la entrada de intervenciones de agua Instalar sistema de monitoreo para proteger intervencion. Planilla con comunidades de tratamiento y control por municipio. Monitorear actividades de APS en el control. Capacitación con 17 técnicos municipales y departamentales para proteger el diseño de evaluación (Mayo). Disenos de planillas para reportes apoyo del ET Reportes periódicos (semanal (mayo); mensual (junio) de las intensiones en inversiones en APS del GAM). Planificación de inversiones de APS (3 a 5 anos) Utilizar carta conjunta 20
GRACIAS 21