Enfoque cultural del VIH/SIDA, prácticas creadoras y de intervención social: Cómo medir su impacto social?

Enfoque cultural del VIH/SIDA, prácticas creadoras y de intervención social: Cómo medir su impacto social? MSc. Mildred Iglesias Linares CEPDE/ONE, Cuba Taller Regional UNESCO C. Habana, 22-24 de mayo del 2007

Por qué surgen los Proyectos Socioculturales de Prevención del VIH/SIDA? Existe un Problema no Resuelto La Epidemia del VIH/SIDA Problema de Salud No resuelto Dilema que afecta PVVS, Familiares, Amigos, Sociedades en su conjunto; Gobiernos, a los países y a la Humanidad. Requiere de una Enfoque Cultural para abordar el tema de la Prevención, Atención y Apoyo al VIH/SIDA Respuesta Multisectorial y Pluridimencional Demanda alternativas de respuesta a la búsqueda de soluciones para la Problemática del VIH Proyectos Socioculturales

Por qué medir el Impacto de los Proyectos que aborden desde un enfoque cultural la Prevención y la Atención del VIH/SIDA? Surgen como alternativa de respuesta a la búsqueda de soluciones para la problemática del VIH Tienen cada vez más aceptación entre los donantes quienes paralelamente demandan la presentación de resultados que evidencien la efectividad de las intervenciones financiadas. Los propios diseñadores de Proyectos sienten la necesidad de disponer de elementos que le permitan conocer la viabilidad y efectividad de los mismos. La evaluación es una herramienta fundamental para orientar la toma de decisiones

Qué se define como Impacto de un Proyecto? La Evaluación de Causa-Efecto, también identificada como Evaluación del Impacto del Proyecto es una evaluación que se realiza con determinada periodicidad con el propósito de: Medir si los resultados alcanzados son atribuibles a la intervención del proyecto, Medir si el proyecto contribuyó en alguna medida al alcance de los resultados Evaluar si los logros que se evidencian acontecieron independientes al Proyecto, es decir como resultado de otras acciones o factores IMPACTO: Es la diferencia entre los resultados alcanzados con la implementación del Proyecto y los resultados que se habrían obtenido si el Proyecto nunca se hubiera implementado

Ejemplo gráfico de lo que sería el Impacto o el Efecto de un Proyecto. 100 90 80 70 Comportamiento de un indicador según Exposición de las Personas a un determinado Proyecto Resultado del indicador CON el Proyecto Tiempo 60 50 Impacto del Proyecto 40 30 20 10 0 Línea de Base o Resultado del Indicador al inicio del Proyecto Punto medio o fin del Proyecto Resultado del indicador SI NO hubiera existido el Proyecto

Sistema de Monitoreo y Evaluación del Proyecto DESCRIPCIÓN DEL PROYECTO (Necesidad, Objetivos, Poblaciones Metas, Alcance y Duración) MARCO TEÓRICO DEL PROYECTO INSUMOS PROCESOS PRODUCTOS RESULTADO IMPACTO MARCO LÓGICO MARCO CONCEPTUAL DEL PROYECTO SELECCIÓN DE INDICADORES PARA EL MONITOREO Y EVALUACIÓN PLAN DE MONITOREO Y EVALUACIÓN FUENTES DE RECOLESCCIÓN DE DATOS Monitoreo o Evaluación de Proceso Evaluación de Resultado-Cambio Evaluación de Causa- Efecto Evaluación de Costo-Efectividad PLAN DE DISEMINACIÓN DE LA INFORMACIÓN IMPACTO

Pasos previos a la evaluación del Impacto o el efecto de un Proyecto DESCRIPCIÓN DEL PROYECTO (Necesidad, Objetivos, Poblaciones Metas, Alcance y Duración) MARCO TEÓRICO DEL PROYECTO INSUMOS PROCESOS PRODUCTOS RESULTADO!!!!!!!! Un error en el diseño de los objetivos puede generar desconcierto con el resultado de la evaluación de la efectividad o el Impacto del Proyecto!!!!!!! Impacto del Proyecto Objetivos del Proyecto

Cuáles son los Objetivos y las Actividades dentro de un Proyecto? El objetivo general es la descripción de lo que el proyecto intenta alcanzar en el largo plazo El o los objetivos específicos es el logro máximo que el proyecto puede alcanzar con recursos propios y actividades propias dentro de su tiempo de vida. Actividades son las acciones que se desarrollan dentro del Proyecto

... Pero, cómo definir cuáles son los objetivos específicos de un Proyecto? Algunas preguntas guía... Qué es lo que el proyecto quiere cambiar? (conocimientos, actitudes, habilidades, motivaciones, prácticas) Qué tipo de cambio se espera? (disminución, incremento, mejoría) En qué población se desea el cambio? En qué tiempo se espera el cambio? Qué cambios, si no suceden, nos harían pensar que el proyecto fracasó? Hasta dónde d es realista pensar que podemos propiciar un cambio?

Marco lógico del Proyecto e Indicadores Marco Lógico del Proyecto, es como una fotografía del proyecto, ilustra las rutas o caminos que deberán seguir los insumos del Proyecto para lograr el alcance de los objetivos que se han fijado. Ilustración de lo que el Proyecto se propone hacer para lograr sus Objetivos INSUMOS PROCESOS PRODUCTOS RESULTADO IMPACTO SELECCIÓN DE INDICADORES PARA EL MONITOREO Y EVALUACIÓN Los indicadores son los instrumentos que se emplean para medir los Progresos de un Proyecto. Identificar los aspectos claves para el éxito del Proyecto y definir el conjunto manejable de indicadores que se empleará en el Monitoreo y Evaluación del Proyecto.

Indicadores Los indicadores son mediciones cuantitativas o cualitativas que sirven para describir un comportamiento, concepto, fenómeno, o sencillamente el funcionamiento de los distintos aspectos de un determinado proyecto: los insumos, los procesos, los productos y los resultados. Los indicadores que se definan para el Monitoreo y Evaluación de los Proyectos deben reunir las siguientes condiciones: ser pertinentes al proyecto y aplicables en el contexto del país, posibles de obtener, fáciles de interpretar capaces de detectar cambios a lo largo del tiempo; para lo cual es requisito que tengan información de referencia tomada antes de la intervención.

Pero, ya tenemos los Objetivos, las actividades, el marco lógico, los indicadores y. Cuándo y cómo evaluamos el impacto de un Proyecto? Lo primero es realizar un Monitoreo del Proyecto, ya que mientras no se hayan realizado según lo planificado las actividades y no se haya alcanzado a una determinada población no podrá atribuirse el logro de un determinado resultado a las actividades desarrolladas por el Proyecto.

La Evaluación de Proceso o Monitoreo de un Proyecto La Evaluación de Proceso o también conocida como Monitoreo de un Proyecto consiste en realizar un seguimiento continuo a las acciones desarrolladas por el proyecto, con el propósito de conocer: cuánto se ha hecho?, qué se está haciendo?, qué tan bien se ha hecho o se está haciendo? cómo podría mejorarse? qué no debería continuarse haciendo? donde se encuentran los obstáculos que interfieren el buen desarrollo del Proyecto?. Se realiza regularmente para guiar y de ser necesario, corregir el desempeño de un proyecto. Su objetivo fundamental es el mejoramiento.

Ejemplo de indicadores de proceso Número de mensajes difundidos por canal de Televisión Cobertura de los canales que transmitieron los mensajes Por ciento de población que recuerda haber escuchado o haber visto los mensajes Número de presentaciones de una obra de teatro Número de personas alcanzadas por las presentaciones de la obra de teatro Por ciento de personas que les gustó la obra Número de personas que han visto un determinado manual Número y/o por ciento de personas que han leído el manual Número y/o por ciento de personas que encontraron interesante el manual Número y/o por ciento de personas que les gustó el manual

La Evaluación de Resultado de un Proyecto La Evaluación de Resultado-Cambio se define como una Evaluación episódica encaminada a medir si se logra en la población meta el cambio deseado. Este tipo de evaluación solo permite medir la dirección y magnitud del cambio, es decir sacar conclusiones sobre cuanto aumentó o disminuyó el indicador en relación con la línea de base, o cuanto se aproximó a la meta, pero aunque pudiera suponerse que el cambio en el indicador de resultado está asociado a las acciones del proyecto, este tipo de evaluaciones, no permite aseverar esa hipótesis. Las Evaluaciones de Resultado son más costosas que las evaluaciones de Proceso. Las mediciones de los indicadores se obtienen por medio de Encuestas o Estudios cuyo alcance deberá coincidir con el alcance del Proyecto.

Ejemplo de indicadores de Resultado Conocimiento Actitudes Destrezas Conductas Porcentaje de población objetivo que conoce que el uso del condón disminuye el riesgo de contagio con el VIH. Porcentaje de población objetivo que está dispuesta a usar el condón para protegerse del contagio con el VIH Porcentaje de población objetivo que aceptaría abrazar a una persona con VIH Porcentaje de población objetivo que puede negociar el uso del condón en las relaciones sexuales con su pareja Porcentaje de población objetivo que reporta usar siempre condón. Para evaluar cambios en la población en cuanto a actitudes, conocimientos, habilidades, percepciones, motivaciones, creencias, comportamientos, que son algunos de los principales objetivos de los Proyectos de SIDA, se requiere disponer de muestras representativas de las poblaciones en estudio. Estas muestras deberán ser diseñadas con todo rigor y lo suficientemente grandes como para que las estimaciones de los indicadores sean aceptables. Mientras mayor alcance tenga los proyectos, más sensibles sean los indicadores a evaluar y mayor desglose se desee de los resultados, mayor será el tamaño de muestra requerido para garantizar la validez de los datos.

Pero.., ese resultado se habrá alcanzado gracias al Proyecto La Evaluación del Impacto del Proyecto se realiza con el propósito de Medir si los resultados alcanzados son atribuibles a la intervención del proyecto. Cómo Saberlo?

Cómo medir el impacto de un Proyecto? No existe una manera única Depende de los Objetivos y Alcance del Proyecto Depende de las acciones del Proyecto Depende de los Recursos Financieros Disponibles Depende de que se disponga de recursos humanos con conocimientos y habilidades en el empleo de técnicas estadísticas especializadas Es una tarea compleja y costosa!!!!!!

Cómo medir el impacto de un Proyecto? Se necesita establecer evidencias de una relación causal entre los resultados alcanzados y las actividades del proyecto. Atendiendo a que por lo general, en los resultados del Proyecto influyen factores exógenos al mismo, para evaluar el impacto, se requiere del diseño de estudios que permitan controlar el efecto de las variables confusoras o terceras variables, que son aquellos otros factores que pueden afectar los resultados esperados y que no tienen que ver con las acciones del proyecto.

Una Técnica de Evaluación de impacto Lo clásico, pero no siempre aplicable, es el empleo de un Diseño o Experimental DISEÑO EXPERIMENTAL DISEÑO ANTES Y DESPUES DE LA INTERVENCIÓN CON UN GRUPO DE CONTROL Paso 1. Se divide la población en dos grupos (idealmente al azar) Paso 2. Se realiza una medición del indicador en cada grupo. (generalmente a través de Encuestas) Paso 3. Uno solo de los grupos participa de las intervenciones del Proyecto (Grupo Experimental) y se controla que ningún miembro del otro grupo participe de las intervenciones del Proyecto (Grupo Control) Paso 4. Después de la intervención se vuelve a medir el indicador para ambos grupos y se comparan los resultados. Paso 5. Si hubo un cambio favorable en el resultado del indicador y este cambio es estadísticamente mayor en las personas que estuvieron expuestas al Proyecto, entonces se puede decir que el proyecto tuvo un impacto sobre el resultado alcanzado.

Otras Técnicas de Evaluación de Impacto La Evaluación de Impacto se apoya básicamente en el modelo clásico de Diseño Experimental, pero no todos los proyectos soportan el empleo de estas técnicas y en ocasiones por problemas éticos no son recomendables. Otras alternativas metodológicas para estimar una relación causal es por medio estudios longitudinales o estudios transversales con muestras representativas de las poblaciones en estudio, y el empleo de modelos estadísticos multivariados como por ejemplo modelos de regresión (lineal, logit, probit, multilogit, en dependencia de la naturaleza de la variable dependiente: continua, dicotómica o politómica) o modelos de regresión multinivel.

Dos ejemplos de Evaluación n del Impacto o el Efecto del Proyecto sobre los Resultados Alcanzados

Ejemplo 1 Aumentar en los jóvenes el uso del condón en las relaciones sexuales Aumentar la disposición al uso del condón en los Jóvenes de 15 a 24 años que viven en la Habana Vieja Objetivo General Incrementar el conocimiento sobre las formas de reducir el riesgo de contagio con el VIH en los Jóvenes de 15 a 24 años que viven en la Habana Vieja Realización de secciones de Teatro Callejero en el municipio Habana Vieja diseñadas para sensibilizar a los jóvenes con el tema del VIH/SIDA y promover el uso del condón. Fuente: Iglesias M., Mena M. CEPDE/ONE Actividades Objetivos Específicos Hasta aquí se puede (esforzándonos mucho)! (Considerando el tiempo y $$$ de este proyecto) Hasta dónde es realista pensar que podemos propiciar un cambio?

Técnica Aplicada para medir el Efecto del Proyecto: Encuesta Transversal Indicador 1 Por ciento de jóvenes de 15 a 24 años que viven en la Habana Vieja e identifican correctamente las formas de reducir el riesgo de contagio con el VIH. Jóvenes que participaron de las funciones de teatro Antes del Proyecto 59% Después del Proyecto 80% Jóvenes que NO participaron de las funciones de teatro Indicador 2 59% 65% Por ciento de jóvenes de 15 a 24 años que viven en la Habana Vieja y están dispuestos a usar condón en todas las relaciones sexuales con penetración Jóvenes que participaron de las funciones de teatro Jóvenes que NO participaron de las funciones de teatro Antes del Proyecto 40% 40% Después del Proyecto 55% 54%

Ejemplo 2 Proyecto Cuba- Fondo Mundial FORTALECIMIENTO DE LA RESPUESTA NACIONAL MULTISECTORIAL PARA LA PREVENCIÓN Y ATENCIÓN DE LA EPIDEMIA DEL VIH/SIDA META DEL PROYECTO: Reducir el número de nuevas infecciones por VIH/SIDA OBJETIVO del Proyecto (1 de los 4 objetivos) Promover la adopción de conductas sexuales seguras en la población general

R E S U L T A D O P R O D U C T O S Aumento del Conocimiento sobre la transmisión del VIH/SIDA Aumento del uso del condón en las relaciones sexuales ocasionales Aumento del conocimiento de los puntos de venta de los condones Aumento del Conocimiento sobre las formas de reducir el contagio con el VIH/SIDA IMPACTO Reducción de la incidencia del VIH/SIDA Aumento de la Percepción sobre la severidad de la enfermedad Disminución de las actitudes desfavorables al uso del condón Percepción sobre el comportamiento promovido (uso del condón) Disminución del Estigma y Discriminación hacia las PVVS Percepción sobre el riesgo individual de contagio con el VIH/SIDA Disminución del Estigma y Discriminación hacia los HSH Exposición al Proyecto P R O C E S O S I N S U M O S Materiales Educativos producidos y distribuidos (folletos, manuales) Desarrolladas campañas publicitarias Profesores capacitados Desarrollados de talleres de capacitación en temas de VIH/SIDA Condones comprados y distribuidos en toda la red Presupuesto disponible y ejecutado según requerimiento de cada actividad Materiales Audiovisuales producidos (novelas, cuñas radiales, prog. televisivos, películas, documentales) Desarrolladas estrategias de intervención comunitaria Ampliadas las ofertas de condones (introducido el condón de mercadeo social VIVE) Adquiridos en tiempo los insumos y materiales requeridos Promotores formados (educadores pares, consejeros, promotores) Implementados servicios de consejería y línea ayuda Ampliados la red de ventas con nuevos puntos No tradicionales Equipo técnico y gestor seleccionado y capacitado Incluido el tema del VIH/SIDA en el currículo académico de estudiantes de la enseñanza media, pedagógicos y futuros médicos Desarrolladas actividades de sensibilización y promoción del uso del condón Centros de prevención abiertos y funcionando Desarrollada Respuesta Ampliada a la Epidemia

Cuba, 2005. Proporción de personas de 15 a 49 anos que usaron condón en su última relación sexual ocasional 100 90 80 59,3% 70 46,8 % 60 50 40 30 20 10 2001 2005 0 Usuarios del condon en el 2001 Usuarios del cond'on en el 2005

Evaluación del impacto por medio de una Encuesta Transversal de alcance Nacional aplicada a una muestra probabilística de personas de 15 a 49 años. Empleo de Regresión Multinivel.

Cuba, 2005. Impacto del Proyecto en el uso del condón en la Población de 15 a 49 años con relaciones ocasionales. Escenarios según exposición al Proyecto Año 2001 Usaron condón con la pareja ocasional el 46.8 % Año 2005 Cobertura de la Exposición al Proyecto Exposición real al proyecto Si no existiera el proyecto IMPACTO DEL PROYECTO Si el 100% de las personas tuvieran una exposición media al proyecto Si el 100% de las personas tuvieran una alta exposición al proyecto Estimación de la Proporción de personas de 15 a 49 años con parejas ocasionales que usarían condón 59.3% (386250) 55% (358494) 4.3 (27756) 62.6% 69.6%!!!!El Proyecto tuvo un efecto positivo sobre el uso del condón en las Relaciones Sexuales Ocasionales!!!!!

Cuba, 2005. Proporción de personas de 15 a 49 años que hubieran usado el condón en su última relación sexual si no hubiera existido el Proyecto Cuba-Fondo Mundial 100 Resultado Real 90 80 70 60 46,8 % 55 % 59,3% 50 40 30 2001 2005 2005 20 10 0 Usuarios del condon en el 2001 Usuarios en el 2005 sin Proyecto Cuba/FM Usuarios en el 2005 con Proyecto Cuba/FM Gracias al Proyecto, se incrementó en 4,3 puntos porcentuales la proporción de usuarios Aproximadamente 27756 personas más evitaron el riesgo de contagio con el VIH

Cuba, 2005. Proporción de personas de 15 a 49 anos que usaron condón en su última relación sexual según Exposición al Proyecto Cuba-Fondo Mundial 100 Resultado Real 90 69,6% 80 70 60 50 40 30 20 10 2001 46,8 % 2005 59,3% 2005, si el 100% de las personas hubieran tenido una alta Exposición al Proyecto 0 Usuarios del condon en el 2001 Usuarios en el 2005 con Proyecto Cuba/FM Usuarios en el 2005 si toda la poblacion hubiera tenido una alta Exposicion al Proyecto Cuba/FM

Cuba, 2005. Proporción de personas con relaciones ocasionales que usaron condón en su última relación sexual según grupos de edades (año 2001 y año 2005) % 100 90 Uso del condón 80 70 60 50 40 30 57,5 70 49,9 66,1 47,2 59,6 43,4 58,5 43,1 52,8 44,4 46,6 37,2 45,5 20 10 0 15-19 20-24 25-29 30-34 35-39 40-44 45-49 Grupos de Edades 2001* 2005 Se incrementó el uso del condón en todos los grupos de edades, pero las mayores proporciones de usuarios continúan concentrándose entre los más jóvenes. En el grupo de 15 a 24 años disminuyó la prevalencia. Prevalencia Estimada en 15-24 años, 0.07% en el 2001 Prevalencia Estimada en 15-24 años, 0.05% en el 2005.

Mildred Iglesias Linares CEPDE/ONE, Cuba mildred@one.gov.cu