MINISTERIO DE SALUD DIRECCIÓN GENERAL DE EPIDEMIOLOGÍA

Transcripción

1

2 MINISTERIO DE SALUD DIRECCIÓN GENERAL DE EPIDEMIOLOGÍA DOCUMENTO TÉCNICO: PROCEDIMIENTOS PARA EL MONITOREO Y EVALUACIÓN DE LAS INTERVENCIONES SANITARIAS LIMA

3 DOCUMENTO ELABORADO POR: Henry Cabrera Arredondo Médico Cirujano Maestro en Salud Pública Unidad Técnica de Monitoreo y Evaluación de las Intervenciones Sanitarias DGE REVISADO POR: Dr. William Valdez Huarcaya Dr. Edwin Omar Napanga Saldaña Dr. Luis Ricardo Robles Guerrero COLABORADORES: Equipo Técnico de Inteligencia Sanitaria de la DGE Dr. Carlos Enrique Martinez Paredes Lic. Jorge Antonio Miranda Monzón Unidad técnica de de la Monitoreo y Evaluación del PARSALUD Dr. Luis Cordero Muñoz Dr. Walter Valdivia Miranda Dr. Julio Mayca Pérez Dr. José Enrique Velásquez Hurtado Mgt. José Carlos Mariños Anticona MINISTERIO DE SALUD DEL PERÚ Dirección General de Epidemiología Camilo Carrillo 402, Jesús María, Lima 11 Teléfonos: / Website: postmaster@dge.gob.pe Primera Edición. Tiraje 1000 ejemplares. Octubre Avenida Militar 2458 Lince Teléfono: / Cel.: Prohibida la reproducción total o parcial de la obra, ya sea por cualquier medio o método sin previa autorización del Ministerio de Salud. 6

4 MINISTERIO DE SALUD ALTA DIRECCIÓN Econ. Hernán Garrido-Lecca Montañez Ministro Dr. Elías Melitón Arce Rodríguez Vice Ministro 7

5 DIRECCIÓN GENERAL DE EPIDEMIOLOGÍA Dra. Gladys Marina Ramirez Prada Directora General DIRECCIÓN EJECUTIVA DE INTELIGENCIA SANITARIA Dr. Edwin Omar Napanga Saldaña Director Ejecutivo Dr. William Valdez Huarcaya Director Sectorial 8

6 9

7 ÍNDICE PRESENTACIÓN INTRODUCCIÓN FINALIDAD OBJETIVO GENERAL OBJETIVOS ESPECÍFICOS ÁMBITO DE APLICACIÓN MÓDULO 1: MODELOS LÓGICO CAUSALES Objetivo general del Módulo CAPÍTULO 1: LÓGICA DE CAUSALIDAD EN SALUD Causalidad Criterio Causal Aplicando los criterios causales Relación con evidencias Resumen del Capítulo Para practicar Sustentando relaciones causales: métodos de estudio Validez de las revisiones sistemáticas Búsqueda sistemática de evidencias Resumen el Capítulo Para practicar Generando factores para un modelo causal Teoría del cambio y relaciones causales Creación de un modelo causal Reconocimiento de la cadena causal crítica Resumen del Capítulo Para practicar CAPÍTULO 4: MODELOS LÓGICOS Concepto y aplicaciones del modelo lógico Elementos del modelo lógico Dando forma al modelo lógico Modelo lógico para el planeamiento de un nuevo programa desde cero Resumen del Capítulo Para practicar CAPÍTULO 5: MONITOREO Y EVALUACIÓN Criterios de monitoreo y evaluación de un programa Modelo lógico en monitoreo y evaluación Indicadores de monitoreo y evaluación

8 Resumen del Capítulo Para practicar GLOSARIO DEL MÓDULO BIBLIOGRAFÍA MÓDULO Causalidad Sistematización de Evidencias Modelos Lógicos DE LAS INTERVENCIONES EN MORTALIDAD MATERNA Objetivo general del Módulo CAPÍTULO 6: LÓGICA DE CAUSALIDAD EN MORTALIDAD MATERNA Describiendo Factores determinantes en Mortalidad Materna Argumentación del problema sanitario Resumen del Capítulo Para practicar Recolectando Información Evidencias Resumen del Capítulo Para practicar Seleccionando el mejor camino causal Ejemplo del modelo lógico causal de Mortalidad Materna Resumen del Capítulo Para practicar CAPÍTULO 9: INDICADORES PARA EL MONITOREO Y EVALUACION DE LA MORTALIDAD MATERNA Tipos de Indicadores para la implementación del monitoreo y evaluación Indicador de largo plazo o impacto Indicadores de proceso y resultado Resumen del Capítulo Para practicar Objetivo general del Módulo CAPÍTULO 10: DIAGNÓSTICO DE LAS NECESIDADES DE INFORMACIÓN Diagnóstico inicial Diseño o modelado dimensional Resumen del Capítulo

9 CAPÍTULO 11: DISEÑO FÍSICO Áreas temáticas y origen de datos Niveles de Agregación Resumen del Capítulo Carga, extracción y transformación Extracción de Bases analíticas a partir de la base de datos del Seguro Integral de Salud (SIS) Anexos Resumen del Capítulo Y PRESENTACIÓN DE INFORMACIÓN Objetivo general del Módulo Análisis de los datos SPSS (Statistical Package for the Social Sciences) como herramienta para el análisis de datos Cognos PowerPlay como herramienta para el análisis de datos Resumen del Capítulo MÓDULO 5: DIFUSIÓN DE LA INFORMACIÓN Objetivo general del Módulo Usando la información Actividades para la difusión de la información Medios de difusión Generando alertas de información Resumen del Capítulo Para practicar CAPÍTULO 15: DISEÑO DE LA ESTRATEGIA DE COMUNICACIÓN Información y comunicación La comunicación como herramienta para el desarrollo La intervención comunicacional Resumen del Capítulo Para practicar BIBLIOGRAFÍA DEL MÓDULO

10 14

11 INTRODUCCIÓN de los servicios de salud destinados a la atención de la mujer y el neonato. valorar los resultados de las intervenciones y mejorar la toma de de decisiones en salud, incentivando los sistemas de información actualmente disponibles. El marco conceptual, las bases teóricas y los aplicabilidad en el monitoreo y evaluación de intervenciones sanitarias. para el tema de muerte materna. El módulo 3, describe los procedimientos para la recolección, organización y combinación de las fuentes de datos, utilizadas para suministrar los indicadores descritos de la información, y estrategias de comunicación para el personal de salud y la población en general. En ningún caso, pretendemos cerrar el debate sobre el tema, por el contrario, esta publicación, inicia una mejoramiento de la Salud pública nacional, a través de una apropiada valoración de las intervenciones sistemas de información existentes. 15

12 16

13 FINALIDAD de la optimización de los resultados de los programas, implementados para enfrentar los problemas sanitarios nacionales. OBJETIVO GENERAL: OBJETIVOS ESPECÍFICOS: procesos y evaluación de resultados de los programas. Describir las estrategias de comunicación, útiles para la difusión de los resultados del monitoreo y evaluación de los programas. ÁMBITO DE APLICACIÓN: las unidades correspondientes al Ministerio de Salud. 17

14 18

15 MÓDULO 1: MODELOS LÓGICO CAUSALES Objetivo general del Módulo 1: Explicar los conceptos de causalidad, criterio causal y relaciones causales, y su ajuste a la elaboración de modelos lógico causales de problemas sanitarios. Mostrar los procedimientos para generar relaciones causales entre factores determinantes y problemas sanitarios. causales. Describir procedimientos útiles para generar componentes de un modelo causal. Establecer la importancia de la cadena causal crítica para la generación de un modelo lógico. Describir los procedimientos de ajuste del modelo lógico, al planeamiento, gestión, monitoreo y evaluación, y comunicación de un programa. Describir los procedimientos de ajuste del modelo lógico para la construcción de indicadores. evaluación. 19

16 20

17 1.1 Causalidad CAPÍTULO 1: LÓGICA DE CAUSALIDAD EN SALUD Teorías que sustentan la Causalidad CAP. 1 adaptarse a él. el efecto de una causa anterior. Relación Causal CAUSA O FACTOR EFECTO a. b. c. 3 consideraba la causalidad como un principio fundamental e inseparable de su ser. protección. 1 Hume, David. Tratado de la Naturaleza Humana Libro I, Parte III Del conocimiento y la probabilidad, secciones I-VIII. 2 Hume, David. Tratado de la Naturaleza Humana Libro I, Parte III Del conocimiento y la probabilidad, secciones I-VIII. 3 Gottfried Wilhelm von Leibniz ( ) Primeras Verdades. 4 Emmanuel Kant ( ). Crítica de la razón pura. 5 Marc Lalonde. A New Perspective on the Health of Canadians,

18 Modelo de Lalonde: ejemplo de determinantes de la desnutrición infantil Conductuales y estilos de vida Socio ambientales Constitucionales o biológicos Servicios y protección Violencia intrafamiliar Bajos ingresos Desnutrición materna comunitaria Desconocer métodos de Bajo nivel educativo Baja talla servicios desintegrada Vivienda inadecuada extremo Malnutrición Mala calidad de servicios materno infantiles resolutiva contempla las relaciones multicausales, adaptando métodos interacción biológica entre las causas componentes, es decir ninguna actúa por su cuenta y el grado de interacción puede depender de otras causas componentes. En este modelo pueden demostrarse cuatro tipos de relaciones causales, de acuerdo a su necesidad CAUSA O FACTOR EFECTO FACTOR A FACTOR B EFECTO FACTOR C FACTOR A FACTOR A FACTOR B FACTOR B EFECTO EFECTO FACTOR C FACTOR C FACTOR D 6 Rothman KJ, Greenland S. CAUSATION AND CAUSAL INFERENCE IN EPIDEMIOLOGY. Am J Public Health. 2005;95:S144 S

19 1.1.2 Inferencia causal es posible, observar todos los aspectos del fenómeno de interés, como sucede con las relaciones de interés para la investigación epidemiológica. CAP. 1 intento de evaluar, y si fuera posible, eliminar todas las posibles relaciones no causales. Este proceso de por ejemplo, sobre una enfermedad. un efecto. 1.2 Criterio Causal 23

20 1.2.1 Consideraciones para la cadena causal a. b. en poblaciones diferentes y bajo circunstancias distintas. c. d. e. exposición. f. por la cual una causa produce un efecto sobre la persona. g. misma. h. i. un factor de riesgo, produce un efecto sobre la persona; otro similar puede producir el mismo Validación de criterios a. b. c. d. 7 Austin Bradford Hill. The environment and disease: association or causation? Proc R Soc Med. 1965;58:

21 1.3 Aplicando los criterios causales Usaremos como ejemplo la ingesta de agua contaminada y su relación con la aparición de la diarrea. CAP. 1 Aplicación de Criterios de causalidad: Ejemplo Ingesta de Agua contaminada Diarrea Los estudios muestran asociación entre diarrea e ingesta de agua contaminada. Ej. Estudio de casos y controles, con un Odds Ratio (OR) de 3.4 entre ingesta de agua contaminada y diarrea Si la observación es repetida, por varias personas, en diferentes lugares. Ej. En este caso existen revisiones sistemáticas y meta análisis, de varios estudios en diversos lugares. Una causa, origina un efecto en particular, pero una enfermedad a veces es el resultado de múltiples causas, como es el caso de la diarrea donde, uno de los factores causales es el agua contaminada. De la evidencia recolectada, 10 estudios comprueban la ingesta de agua contaminada previa a la presencia de diarrea. Concordancia entre historia natural de la enfermedad y resultados de laboratorio. Los estudios deben mostrar la existencia de una relación dosis respuesta. La relación debe estar apoyada en estudios experimentales, en este caso no hay evidencia de este tipo. En este caso, existe un sentido biológico agua contaminada y diarrea. Algunos estudios además muestran que existe relación entre ingesta de alimentos contaminados y diarrea. efectivamente causa diarrea. 25

22 1.4 Relación con evidencias evidencias. En salud pública, la evidencia se obtiene de las diversas ciencias sociales, investigaciones a. El uso de tipos particulares de evidencia para informar decisiones en salud pública; y b. El énfasis en el razonamiento claro del proceso de aproximación e interpretación de las evidencias. Criterio Causal y evidencias Ingesta de agua contaminada Diarrea RELACIÓN FUERTE de expertos. 26

23 Resumen del Capítulo: CAP. 1 causa anterior. mental. experimentación y analogía. propuestos por Bradford Hill, y demostrar la consistencia de la relación. En salud pública es importante el uso informado, juicioso y explícito de evidencia proveniente Para practicar: Escojamos una relación causal conocida y relacionada a nuestros problemas sanitarios locales 27

24 28

25 CAPÍTULO 2: SISTEMATIZACIÓN DE EVIDENCIAS 2.1 Sustentando relaciones causales: métodos de estudio fortalezas de la evidencia en investigación propuestas por Muir Gray CAP. 2 I II III IV V Fortaleza de la evidencia en investigación: Criterios de Muir Gray 8 Fuerte evidencia provista por una revisión sistemática de múltiples investigaciones de tipo ensayo clínico controlado y randomizado. Fuerte evidencia provista por una investigación de control aleatorio de tamaño apropiado y bien diseñado. Evidencia de investigaciones no aleatorias, estudios pre y post con grupos individuales, cohortes, series de tiempo o caso control apareado Evidencia de estudios no experimentales con dos o más grupos de investigación. Opiniones de autoridades respetables, basadas en evidencia clínica, estudios descriptivos o informes de comités de expertos discurren en los tres primeros grados o niveles de Gray 8 modelo causal de una prioridad sanitaria en base a las evidencias disponibles La fuerza de la evidencia Según el tipo de estudio crece la evidencia de causalidad, siendo los ensayos o experimentos clínicos Magnitud del efecto. 8 Muir Gray JA. Atención Sanitaria Basada en la Evidencia. Cómo Tomar Decisiones en Gestión y Política Sanitaria. Madrid: Churchill Livingstone España,

26 Jerarquía de los estudios y causalidad Cada nivel incrementa la evidencia de relación causa - efecto Estudio clínico aleatorio Cohorte Caso - Control Transversal Serie de casos Reporte de casos 2.2 Validez de las revisiones sistemáticas I II-1 III Niveles y calidad de la evidencia Evidencia de al menos un ensayo clínico aleatorio y controlado, bien diseñado. Evidencia de ensayos clínicos bien diseñados pero sin asignación aleatoria. Evidencia de estudios de cohorte, casos controles bien diseñados, realizados preferentemente en más de un centro o grupo de investigación. Evidencia de múltiples series comparadas de tiempo con o sin intervención. Opiniones de expertos reconocidos, basadas en su experiencia clínica, estudios descriptivos o informes de comité de expertos. 2.3 Búsqueda sistemática de evidencias 30

27 Búsqueda de Evidencias usando palabras clave Algoritmo: [Agua contaminada] and [Diarrea] and [Límites] [Tipo de estudio] CAP. 2 Artículos de revistas = 108 Revisiones sistemáticas = 02 Gundry S. Wright J, Conroy R. Motarjemi Y, Kaferstein F, Moy G, Quevedo F. evidencias de la asociación existente entre el consumo de agua contaminada por E. coli y la producción restricciones relacionadas con el tipo de estudio, o la ubicación de las palabras clave. Búsqueda de evidencia usando Medline Plus A. Palabras clave; el efecto (primaria) y el factor (secundaria) según diccionario MESH (Medline): EFECTO: Diarrea [Diarrhea] FACTOR: Agua Contaminada (Poluted Water) B. Listado sinónimos para ambas palabras según diccionario MESH (Medline): EFECTO: Diarrea [Diarrhea], [Diarrheic], [Disentery], [Enteric Disease]. FACTOR: Agua Contaminada (Poluted Water), [Contaminated Water], [Impure Water]. C. Agregando limites a la búsqueda para restringir el resultado (Medline): 31

28 32

29 Resumen del Capítulo: Sustentamos las relaciones causales propuestas, a través de la recolección de evidencias CAP. 2 sobre un determinado tema. Para practicar: la relación causal propuesta. la relación propuesta. 33

30 34

31 CAPÍTULO 3: MODELO CAUSAL 3.1 Generando factores para un modelo causal, por ejemplo, los CAP. 3 El modelo de los ciclos de vida, agrupa factores en función de las etapas o periodos vitales. Es causales completas. Modelo de los Ciclos de vida Embarazo Periodo perinatal Nacimiento 7 días Periodo Neonatal Inicial Periodo Neonatal Infancia Vejez Muerte 28 días Adultez 60 años 1 año Periodo reproductivo 20 años 5 años 10 años Edad Escolar Niñez Adolescencia Edad Escolar 9 Marc Lalonde. A New Perspective on the Health of Canadians,

32 factores relacionados con la madre, factores culturales, factores relacionados a la demanda de servicios de salud, y factores propios de la calidad de atención recibida por la madre gestante. Factores maternos Factores culturales Embarazo Adolescente Alta tasa de fecundidad Idioma Prevalencia Anemia 50% Nivel Educativo bajo (79%) Ubicación Insatisfacción Reglas SIS No conoce SIS Parto en domicilio zona nativa (94%) No reconoce signos de alarma Escasa valoración del niño Falta de adecuación cultural Inadecuada organización Baja capacidad resolutiva Ausencia de recursos humanos competentes (0.8/10000 hab.) No hay protocolos Mortalidad Neonatal por 84% de establecimientos sólo con técnico 20% de puestos de salud con técnico nativo Sistema de referencia de pacientes Demanda de salud Calidad de atención Modelo de determinantes sistémicos decir, anticipar los cambios esperados en la población si logramos cambiar las políticas de gobierno, el sistema de salud y los factores sociales. 36

33 Modelo de los Determinantes Sistémicos POLÍTICAS DE GOBIERNO SISTEMA DE SALUD FACTORES SOCIALES RESULTADOS Macro Sistémicas Prestación Comunidad Hogar Salud Nutrición Población CAP. 3 Operacionales Financiación Individuo Pobreza OTROS SECTORES OTROS SISTEMAS 3.2 Teoría del cambio y relaciones causales expectativas, creencias, experiencias o saber empírico. Estos conocimientos escrupulosos sobre como intervienen diversos factores en la producción de un denomina las teorías del cambio de un programa De las relaciones causales al modelo lógico causal el problema. 10 Carol H. Weiss (1998) Evaluation: Methods for Studying Programs & Policies 2nd edition.prentice Hall 37

34 Modelo lógico - causal INSUMOS PROCESOS RESULTADOS Tipos Actividad Participación Producto Modelo lógico causal Corto Mediano Largo Tipo 1 Actividad 1 Participación 1 Producto 1 Aprendizaje 1 Acción 1 Condición 1 Tipo 2 Actividad 2 Participación 2 Producto 2 Aprendizaje 2 Acción 2 Condición 2 Tipo 3 Actividad 3 Aprendizaje 3 Acción 3 Participación 3 Producto 3 Actividad 4 Aprendizaje Creación de un modelo causal los procesos internos y las evidencias de las intervenciones efectivas para su mejoramiento. utilizar modelos resumidos donde se muestran, de manera clara, las relaciones primarias. Sin embargo, incluidos y las asociaciones propuestas. Problemas sanitarios Temas Relevantes relacionados con el problema sanitario Mortalidad materna Uso de Sulfato de Magnesio, Atención Desnutrición Malaria Evidencias Mala alimentación, sobrepeso, obesidad Uso de mosquiteros, Control vectorial Tuberculosis Casos detectados, Hacinamiento VIH/SIDA Acceso a tratamiento, Prevención. 38

35 3.4 Reconocimiento de la cadena causal crítica crítico es decir, la cadena con mayor sustento para obtener resultados en una intervención. generación del modelo lógico sin embargo, es necesario orientar nuestra intervención con criterios de Modelo Causal sobre el origen de la Diarrea (UNICEF) Manos MEJORA DE LA HIGIENE Vivienda sin Moscas Evitar la pica CAP. 3 Moscas Materia Huésped Enfermedad Gastrointestinal Diarrea MEJORAMIENTO SANITARIO tradicionales pozos ventilados fuentes de agua MEJORA DE LA CALIDAD DE AGUA FUENTE: Joint Publication 8 The Hygiene Improvement Framework A Comprehensive Aproach for Preventing Childhood Diarrhea Prepared by EHP, UNICEF/WES, USAID, World Bank/WSP,WSSCC May 2004 Prepared under EHP Project 26568/CESH.HI.ADVOCACY.Y3 39

36 modelo lógico con base en esta cadena principal. Modelo Causal, ordenamiento según la fuerza de los factores Factor 1 Factor 2 Factor 3 Efecto Factor 5 Factor 4 Materia fecal Alimento Huésped Enfermedad Gastro intestinal Diarrea Protección del agua y alimentos Lavado de manos Evitar alimentos contaminado 40

37 Resumen del Capítulo: del cambio de un programa. CAP. 3 experiencias previas pero, es necesario incluir el sustento de la evidencia empírica. Estas cadenas son llamadas cadenas causales críticas, y son el punto de partida para la Para practicar: Elijamos una de las prioridades sanitarias revisadas en los ejercicios anteriores. Empecemos a revisar las evidencias, y en base a nuestra experiencia comencemos a ordenar analizado. 41

38 42

39 CAPÍTULO 4: MODELOS LÓGICOS 4.1 Concepto y aplicaciones del modelo lógico las relaciones entre la situación, los insumos necesarios para implementar un programa, los procesos de estipular los temas principales, generados en nuestro modelo causal, es necesario ordenarlos en Aplicaciones del modelo lógico insumos se relacionan con los procesos y resultados. Durante la gestión de un programa, se utiliza para explicar, seguir y supervisar operaciones, procesos y funciones; como marco general para el monitoreo continuo del programa. CAP. 4 procesos y resultados clave para el éxito del programa. como maternidad saludable, vigilancia epidemiológica o participación comunitaria; tanto en el 4.2 Elementos del modelo lógico Modelo lógico simple Modelo lógico simple resultado necesidad insatisfecha es las proteínas para crecer y reparar tejidos, y mantener nuestra buena salud (Impacto Sanitaria responsables de la vigilancia de riesgos y muertes maternas en las Direcciones de Salud priorizadas. Enero

40 Modelo lógico expandido Modelo Lógico del Color de Cabeza Modelo Lógico de las vacaciones familiares Situación Debo trabajar pero tengo dolor de cabeza. Situación La familia necesita unas vacaciones Insumos Sé que pastilla comprar, donde hacerlo y tengo dinero, tiempo y energía para salir a buscar el remedio. Insumos La familia dispone de tiempo, dinero, auto, equipo de camping. Necesitamos información sobre lugares donde acampar Procesos Decido ir a la farmacia a pie, comprar y tomar la pastilla. Público objetivo YO. Procesos Informada la familia (público objetivo), decide viajar en auto para acampar, pescar, cocina y pasear Resultado Me siento mejor (corto plazo) Puedo trabajar (mediano plazo) Gano dinero (largo plazo) Resultado Me siento mejor (corto plazo) Puedo trabajar mejor (mediano plazo) Mejora mi producción e ingresos (largo plazo) como recursos. para la mortalidad materna, el impacto es la disminución de la misma. 44

41 Situación Insumos Procesos Resultado Análisis Prioridad Tipos Actividad Producto Participación Corto Plazo Mediano Plazo Largo Plazo y tangibles de la realización de las actividades. En todos los casos, se busca mostrar ordenadamente las relaciones lógicas entre los elementos para explicar el trayecto del programa Por qué usar el modelo lógico? CAP. 4 resultados a lo largo de su implementación Creación de un modelo lógico en orden temporal, comenzando con la recolección de información acerca de experiencias exitosas, Modelo Lógico, preguntas clave y elementos a completar Situación Insumos Procesos Resultados Análisis Prioridad Tipos Actividad Participante Producto Corto Plazo Mediano Largo Plazo Plazo son puede ayudar a experiencias existen al General Miembros, Voluntarios aliados Dinero Materiales, Servicios Entretenamiento, Evaluación medios comunal decisiones Materiales, resultantes de la actividad personas durante el realizan las actividades Habilidades Motivación decisiones social social económica ambiental civiles salud, entonces podremos responder a los problemas obstétricos; si respondemos a los problemas a) Explicar la situación 45

42 b) Insumos c) Tipos de actividades De acuerdo con los objetivos del programa, las actividades pueden corresponder a servicios, e) Tipos de resultados a corto plazo a nivel grupal. f) Tipos de resultados a mediano plazo g) Tipos de resultados a largo plazo o Impactos el modelo lógico del programa para disminuir la incidencia de la diarrea infantil, tomando como base nuestra cadena causal crítica. 46

43 Modelo lógico de disminución de la diarrea infantil INSUMOS PROCESOS RESULTADOS Mediano para salud infantil Mejorar calidad del agua agua protegidas contaminación mejoradas Disminución de la diarrea infantil capacitadas Mejor almacenamiento de alimentos CAP. 4 aprendizajes, acciones y condiciones Producto o resultado? Enfocando resultados Cadena de resultados, línea de resultados, secuencia de resultados 12 United Way of America Measuring Program Outcomes: A Practical Approach. 13 Mohr, Lawrence B Impact Analysis for Program Evaluation. 14 Hatr, y Harry P Performance Measurement: Getting Results. Washington, DC: The Urban Institute Press. 15 Funnell, Sue C Developing and Using a Program Theory Matrix for Program Evaluation and Performance Monitoring. 47

44 cambio de condición. programados. Cadena con resultados a mediano plazo RESULTADOS Cadena múltiple RESULTADOS Corto Mediano Largo Corto Mediano Largo Evaluando resultados a) I del programa. 48

45 Criterios SMART para formulación de resultados Measurable Evaluable Que pueda ser observado, medido y comparado Attainable Alcanzable Que pueda ser realizado Results oriented Orientado a los resultados Timed Oportuno Que implique una fecha puntual Enunciando resultados CAP Resultados-meta la intervención. El promedio de las notas de los participantes, es 10% mayor que el año anterior. El parto institucional aumenta en un 10% para el siguiente año. Caracterización de los resultados esperados Jóvenes entre 13 a 17 años que asistieron a talleres Familias de bajos recursos que participan en el programa Miembros de la comunidad que recibieron capacitación Mejoran Su capacidad de liderazgo Incrementan Su uso de servicios comunales Tres meses después de Incrementan Plan de gestión de desechos A un año del inicio del programa Resultados involuntarios no ignora los previsibles. 49

46 4.4 Dando forma al modelo lógico El propósito del modelo lógico a) En el planeamiento del programa: de cada elemento; mostrando sus relaciones, las premisas de nuestra teoría del cambio y los propuestas, permite elaborar planes de contingencia, aumentando la probabilidad de éxito del programa. b) En la gestión del programa: programa. c) En la comunicación del programa: resumidos, y se enfocan en el uso de recursos para lograr resultados. d) En el monitoreo y evaluación del programa: elaborar una cadena de resultados no muy detallada, incluyendo los insumos y procesos principales. Elementos de un programa diseño programa secundarios importantes del programa, son mesurables y realizables. lógicos en los programas Encuentran vacíos en la teoría o lógica del programa y trabajan para resolverlos como funcionan las partes juntas. Implementación y gestión del programa Evaluación y comunicación creíbles y útiles de la situación. administrativa sobre las relaciones resultado. procesos y uso de la evaluación. 50

47 4.4.2 Orientación institucional Adaptaciones socio-culturales mejores resultados, con la participación de autoridades relevantes en la preparación del modelo. 4.5 Modelo lógico para el planeamiento de un nuevo programa desde cero CAP. 4 b) c) entrenamiento, trabajo promedio, desarrollo de alianzas, etc. 51

48 Modelo lógico y planeamiento de un programa Insumos Procesos Resultados Mediano Tipos Actividad Participante Producto Corto plazo plazo Largo plazo actividades nuestro público alcancel el resultado de deben participar para alcanzar el resultado de productos se deben lograr para alcanzar el resultado de aprendizaje debe lograr el público para alcanzar el resultado de mediano acciones debe realizar el público para alcanzar el resultado de cambios de condición se Modelo lógico para un programa con recursos ya existentes es necesario poner los insumos y actividades del programa en forma de modelo lógico, utilizando el los resultados esperados. 52

49 Resumen del Capítulo: Un modelo lógico se divide en situación, insumos, procesos y resultados. El modelo lógico sirve para el planeamiento, gestión y comunicación del programa, así como para su monitoreo y evaluación. CAP. 4 Gestión del programa, permite monitorear el avance. objetivo. Para practicar: situación, insumos, procesos, resultados, supuestos y factores externos. 53

50 algunos se duplican o no son tan importantes, los eliminaremos o fusionaremos con otros. 54

51 CAPÍTULO 5: MONITOREO Y EVALUACIÓN 5.1 Criterios de monitoreo y evaluación de un programa Existen cuatro criterios para implementar monitoreo y evaluación; éstos se sustentan en una serie de Se examinaron todas las consecuencias potenciales, acontecimientos negativos, y cadenas CAP. 5 Plausible: y convincente. Realizable: y recursos. 55

52 5.2 Modelo lógico en monitoreo y evaluación en programas futuros. medida funcionó bien. El modelo lógico, por su parte, ayuda en la discriminación de los aspectos necesitamos una descripción clara de la base teórica. Monitoreo y evaluación integral Situación Insumos Procesos Resultados Mediano Supuestos Qué es lo que queremos saber? Monitoreo y Evaluación Cómo podemos saberlo? Limitaciones del modelo lógico secuencial, y no pueden ser representados totalmente por los modelos lógicos. Un modelo lógico se enfoca en los resultados esperados, sin embargo, debemos también prestar atención a los no esperados, o no intencionados sean éstos positivos, negativos o neutrales. Debemos establecer planes de contingencia, para reaccionar adecuadamente ante las circunstancias adversas. 16 Patton, M.Q. (1997): Utilization-Focused Evaluation, The New Century Text, Thousands Oaks: Sage Publications. 56

53 5.3 Indicadores de monitoreo y evaluación Enfoque usaremos el modelo lógico Preguntas podemos ni debemos evaluar todo. Es necesario enfocar la evaluación. b) Enfocar las preguntas CAP. 5 difíciles de interpretar y poco útiles en la toma de decisiones del programa. En ese caso, las preguntas Preguntas de monitoreo y evaluación e indicadores, en relación con el modelo lógico Insumos Procesos Resultados Tipos Actividad Producto Participan Corto Plazo Mediano Plazo Largo Plazo Recursos invertidos Actividades realizadas Personas alcanzadas Grupos participantes Aprendizaje logrado Acciones realizadas Condición alcanzada Principales preguntas de Monitoreo y Evaluación Son los insumos? Llegaron a tiempo? Se diseñó el material? Se realizaron todas las reuniones? Cuántas personas participaron en cada taller? Hubo participación en todos los grupos? En cuál hubo menos y porqué? El conocimiento se incrementó? Las personas se sienten motivadas a aplicar sus conocimientos? Están aplicando sus nuevos conocimientos? Como ha cambiado su vida gracias a ello? Se han logrado las metas? Indicadores Volumen de recursos utilizados # Materiales # de reuniones realizadas # de sesiones por reunión # horas por sesión #, % de personal que participaron en cada reunión # de grupos participantes % en el grupo con menor participación #, % de personas que aprendieron #,% de personas motivadas a aplicar sus conocimientos #, % de madres que aplican lo aprendido Nivel de mejora alcanzado 57