Jueves 4 de Marzo 2010

Transcripción

1 S e g u n d a s J o r n a d a s : 3, 4 y 5 d e M a r z o C a p a c i t a n d o a l a s O N G / S I D A M e j o r a n d o l a p r e v e n c i ó n d e l V I H Miércoles 3 de Marzo :00 Acreditaciones y entrega del manual y material 9:30 Inauguración a cargo de Tomás Hernández Fernández Secretario del Plan Nacional sobre el Sida 10:00 Coffee-break 10:30 Ponencia: Plan estratégico a cargo de Carme Olivé Goset 11:30 Ponencia: El proyecto de intervención en prevención a cargo de Maria José Fuster 12:30 Ponencia: Recursos humanos y económicos a cargo de Georgina Fabrés 13:30 Comida 15:00 Experiencias Prácticas Bloque I a cargo de: ALA, CASCO, CJAS Madrid, Àmbit Prevenció, Colega Almería, Red2002, As. Mujeres Progresistas Victoria Kent, CASG, ALAS, Ayuda Sida Web, Ben Amics. 16:00 Experiencias Prácticas Bloque II a cargo de: FELGTB, Com. Cidadán Anti-Sida Ourense, H20, JIS, ACULCO, SIDALAVA, ACASC, Cruz Blanca, ALAT, Cruz Roja Española, As. Itxarobide. Jueves 4 de Marzo :00 Ponencia: Pertinencia y relevancia a cargo de Sonia Mayordomo 11:00 Coffee-break 11:30 Ponencia: Implicación de los destinatarios a cargo de Arrate Aguirrezabal Prado 12:30 Ponencia: Estudios contextuales a cargo de Laia Ferret Y Cinta Folch 13:30 Comida 15:00 Experiencias Prácticas Bloque III a cargo de WAFAE, ALTIHAY, Apoyo Activo, ACAS Girona, Actua Vallès, Com. Ciudadano Anti-Sida Burgos, Concordia Antisida, Fundación Diagrama, MADVIHDA, CCANVIHAR, As. Cultural de Immigrantes Guinea Bissau. 16:00 Experiencias Prácticas Bloque IV a cargo de As.T4, UNAPRO, Cruz Roja Juventud Tenerife, AMUVIH, AVACOS Faro Positivo, Creación Positiva, SIDA STUDI, Médicos del Mundo Almería, CASMU, Com. Ciudadano Anti-Sida Valladolid. 17:00 Descanso / Libre 20:45 Cena conjunta Viernes 5 de Marzo :00 Ponencia: Marketing y venta del producto a cargo de Agustín Pérez 11:00 Coffee-break 11:30 Ponencia: Evaluación del proceso/calidad a cargo de Eider Goiburu 12:30 Ponencia: Evaluación de impacto y resultados a cargo de Silvia Ubillos 13:30 Comida 15:00 Experiencias Prácticas Bloque V a cargo de Stop Sida, ADHARA, Com. Ciudadano Anti-Sida Com. Valenciana, Escola de Sida, Gais Positius, Genera, CATS, CJAS Barcelona, ACCAS, CASDA. 16:00 Experiencias Prácticas Bloque VI a cargo de ABD, FUNDADEPS, As.de Planificacació Familiar de Catalunya i Balears, CEPS, FAS, VIH-DA As., IRES Barcelona, As. Hetaira, As. Anti-Sida de Lleida Organiza: Subvencionado por: Colabora: Secretaría del Plan Nacional sobre el Sida

2

3 II JORNADAS: CAPACITANDO A LAS ONG/SIDA: MEJORANDO LA PREVENCIÓN DEL VIH PLAN ESTRATÉGICO. Carme Olivé 2010 Qué es un plan estratégico? Es la forma que tienen las organizaciones para relacionarse con su entorno, garantizar su supervivencia, viabilidad y crecimiento. Para dirigir organizaciones se tiene que tener una estrategia. Para ello, hemos de saber cual es la Misión, Visión y valores de la organización y buscar el Plan para conseguirlo.

4 Para qué sirve? CLARIFICA PORQUÉ Y CÓMO TRABAJAMOS NOS AYUDA A DECIDIR/SABER PORQUÉ ACTUAMOS DE UNA MANERA U OTRA. NOS AYUDA A COMPRENDER Y UNIFICAR IDEAS, NUESTRAS Y DE OTROS. Misión CUÁL ES LA RAZÓN DE SER NUESTRA ORGANIZACIÓN PARA QUIÉN TRABAJAMOS CUÁL ES LA FINALIDAD DE NUESTRA ORGANIZACIÓN.

5 VISIÓN A DÓNDE QUIERE LLEGAR NUESTRA ORGANIZACIÓN? QUÉ QUEREMOS QUE SEA NUESTRA ORGANIZACIÓN? VALORES Los valores son aquello que es deseable para mímismo y para los otros. Son las elecciones de la forma de pensar y actuar construidas de forma colectiva. Son las reglas de juego. Orientan a la convivencia interna y a la relaciones con los usuarios con la sociedad y con la comunidad. Son guías de comportamiento que permiten conseguir la misión y visión de la asociación. Los valores constituyen los ejes que regulan la actuación de las personas.

6 VALORES PRAGMÁTICOS:Son los que orientan a asegurar el funcionamiento del sistema organizativo. VALORES ÉTICOS:Regulan las actuaciones de la organización en todos los ámbitos de interrelación entre sus profesionales, usuarios y con la sociedad general. VALORES DE DESARROLLO: Orientados a generar posibilidades, necesitan por lo tanto un entorno apropiado creativo y emocional. PARA PLANIFICAR: CÓMO ESTA EL ENTORNO QUÉ NECESITA NUESTRA COMUNIDAD CÓMO ESTAMOS FUNCIONANDO CÓMO FUNCIONAN OTRAS ORGANIZACIONES DAFO

7 PARA QUÉ SIRVE? NOS AYUDA A ANALIZAR LA SITUACION EXTERNA EN QUE SE ENCUENTRA LA ASOCIACION. NOS AYUDA A CONOCER LA SITUACION ACTUAL NOS HACE VER LO QUE NOS AYUDA O DIFICULTA PARA CONSEGUIR EL CUMPLIMENTO DE LA MISIÓN Y VISIÓN D A F O DEBILIDADES AMENAZAS FORTALEZAS OPORTUNIDADES

8 Externas Amenazas: Barreras para conseguir resultados Oportunidades : Ayudas para conseguir resultados. Internas Debilidades: Áreas de mejora. Fortalezas: Puntos fuertes. Repasando. Misión Visión Valores Análisis interno y externo. PODEMOS EMPEZAR A PLANIFICAR

9 FACTORES CLAVES DE ÉXITO Quénecesitamos para poder alcanzar la visión: aquellas cosas que son necesarias para alcanzar el objetivo de nuestra asociación. Listar los puntos que surgen. Ejemplos: capacitación, sostenibilidad económica, evaluación continuada, definición de puestos de trabajo, participación etc. FACTORES DE ÉXITO Cómo sabemos que lo hacemos Qué tenemos hecho Quénos falta Qué factores nos ayudan (externos) Qué factores nos dificultan (externos) Qué factores no ayudan (internos) Qué factores nos ayudan (internos)

10 Líneas estratégicas Perspectiva financiera Perspectiva del cliente Perspectiva de proceso interno. Perspectiva de aprendizaje y crecimiento Cada factor de éxito, estarádentro de una línea estratégica. Cada factor de éxito, se transforma en un objetivo que puede ser de medio, corto o largo plazo. Se tiene que calendarizar. Cada objetivo, tiene que tener un dueño, que seráel responsable de coordinar y/o ejecutar el objetivo y de presentar los resultados.

11 El plan estratégico hay que revisarlo como mínimo una vez al año. Se tienen que realizar reuniones semanales para el seguimiento de los objetivos. Finalmente, buscar indicadores para evaluar el plan. La misión, visión y valores, se tiene que revisar cada tres o cuatro años. En definitiva, el plan estratégico de una asociación, no es más que un parón necesario para saber quiénes somos, hacia dónde queremos ir y buscar el camino mas eficaz.

12 Cómosabremos que es un buen plan Si todo lo que hemos planificado esta dentro del marco conceptual de nuestra organización Si existe coherencia entre los objetivos y nuestra misión y visión.

13 Guía para elaborar un plan estratégico. MISIÓN Y VISIÓN: La Misión y la Visión tienen que estar consensuado por todas y todos. Se tiene que definir en pocas líneas Tiene que contestar a les preguntas. MISION: 1. Definir una frase clave para definir vuestra asociación: a. Cuál es la razón de ser? b. Para quién trabajamos? c. Cuál es la finalidad de la asociación? VISIÓN: 1. Dónde queréis y como queréis vuestra asociación dentro de 3-4 años? VALORES: La mejor forma de conseguir que exista coherencia entre los valores y la práctica profesional es crear un espacio de reflexión colectiva sobre los valores de la asociación Varios ejemplos de valores: 1. Valores pragmáticos: Como actuamos. Cuáles son los valores que caracterizan la asociación en la actualidad y cuales creéis que se tendrían que potenciar para conseguir los retos del futuro? Compromiso Eficacia Eficiencia Excelencia Norma Objetividad Participación Planificación Profesionalidad calidad Responsabilidad Seriedad Sostenibilidad

14 Valores éticos: Como sentimos. Coherencia Compromiso social Confianza Empatía Equidad Honestidad Humanismo Integridad Justicia Reconocimiento Sinceridad Solidaridad Trasparencia Valores de desarrollo. Alegría Colaboración Comunicación Cooperación Creatividad Entusiasmo Equipo Flexibilidad Ilusión Iniciativa Innovación Participación Proactivitad Satisfacción Pueden surgir mas valores, estos son a modo de ejemplo. DAFO : Qué es el DAFO? Es la herramienta estratégica por excelencia. El beneficio que se obtiene con su aplicación es conocer la situación real en que se encuentra una empresa u organización, así como el riesgo y oportunidades que le brinda el mercado. El nombre lo adquiere de sus iniciales DAFO: D: debilidades. A: amenazas. F: fortalezas. O: oportunidades.

15 El objetivo del DAFO es conocer la situación en que se encuentra la asociación Su objetivo consiste en concretar, en un gráfico o una tabla resumen, la evaluación de los puntos fuertes y débiles de la asociación y de las amenazas y oportunidades externas, en coherencia con la lógica de que la estrategia debe lograr un adecuado ajuste entre su capacidad interna y su posición competitiva externa. EL DAFO: Nos tiene que ayudar a analizar el momento presente de la asociación para identificar la fuerzas que nos ayudan o dificultan para conseguir con eficacia y eficiencia el cumplimiento de nuestra misión. Internas: Debilidades: también llamadas puntos débiles. Son de la propia organización, incluyen a las persona implicadas (todas y todos).afectan negativamente a los resultados esperados Tienen que estar presentes en el momento actual y pude ir a peor si no se eliminan. Es un riesgo de disminuir la eficacia i la eficiencia de la organización como consecuencia de la dificultad que debilidad que representa. Es un área de mejora para la organización. Son aspectos que limitan o reducen la capacidad de desarrollo efectivo de la estrategia de la organización, constituyen una amenaza para la organización y deben, por tanto, ser controladas y superadas. Fortalezas: también llamadas puntos fuertes. Son de la misma organización, demostrables con hechos, consistentes en el tiempo, incluyen a las personas implicadas (todos y todas), contribuyen a conseguir buenos resultados. Son capacidades, recursos, posiciones alcanzadas y, consecuentemente, ventajas competitivas que deben y pueden servir para explotar oportunidades.

16 Tiene que estar presentes en el momento actual, pero puede disminuir o desaparecer si no las protegemos. Es una oportunidad para aumentar la eficacia y la eficiencia de la organización a partir de la adecuada potenciación, Es el punto fuerte la organización. Externas: Del entorno. (No lo controlamos nosotros) Amenazas: se define como toda fuerza del entorno que puede impedir la implantación de una estrategia, o bien reducir su efectividad, o incrementar los riesgos de la misma, o los recursos que se requieren para su implantación. Es dinámica, por lo tanto su tendencia es crecer si no la minimizamos lo más rápido posible. Es un riesgo de disminuir la eficacia y la eficiencia de la organización. Es una barrera para conseguir los resultados esperados. Oportunidades: es todo aquello que pueda suponer una ventaja para la organización, o bien representar una posibilidad para mejorar la rentabilidad de la misma. Las oportunidades son dinámicas, por lo tanto podrá desaparecer si no la utilizamos y la aprovechamos. Es una oportunidad para aumentar la eficacia i la eficiencia de nuestra organización, es una ayuda para conseguir resultados. A la hora de definir las ayudas y las barreras, es importante pensar en las barreras no en lo que no tenemos, sino la consecuencia de lo que pasa por no tener el recurso. CONOCER LA SITUACION DEBILIDADES /AREAS DE MEJORA FORTALEZAS /PUNTOS FUERTES AMENAZAS / BARRERAS OPORTUNIDADES / AYUDAS

17 PREGUNTAS QUE NOS HACEMOS EN CADA PARTE DEL DAFO A NIVEL ORIENTATIVO. Debilidades: serán nuestras áreas de mejora. En qué facetas de nuestro trabajo en la asociación estamos más flojos? Qué nos falta en nuestra organización? Por dónde se nos escapan los esfuerzos? Somos capaces de asimilar los nuevos requerimientos de la comunidad? Fortalezas: son nuestros puntos fuertes. Qué hacemos realmente bien? Qué cosas nos hacen ser resistentes a cambios, dificultades o problemas? Qué ofrecemos que tenga interés a nuestra comunidad? Amenazas: que son las barreras. Cómo tenemos nuestra situación en relación a las administraciones locales o estatales? Oportunidades: son las ayudas que tenemos. Cómo podemos utilizar nuestra experiencia para otras ocasiones? Qué nuevos colectivos tienen necesidades que nosotros podemos atender? COSAS A TENER EN CUENTA: El documento final, es el resultado de lo que tenemos en la asociación, no el que nos gustaría tener. Hay que centrarse en hechos reales, no en opiniones. Limitarse y centrarse en la organización. Si existe una barrera o un área de mejora, buscar el porque es un factor negativo, pueden aparecer ayudas o puntos fuertes que contribuyan a la organización. No hacer juicios de valor. En el DAFO, no han de salir soluciones, lo que queremos lograr es una foto actual de la asociación.

18 EJEMPLO DE UN PLAN ESTRATEGICO DE UNA ONG. Misión: La misión de la asociación es la de dar una atención holística a la personas afectadas por el VIH, sensibilizar a la sociedad des de una perspectiva de género velando por el respeto a los derechos humanos y la promoción de la salud des de un modelo ecológico. Visión: Queremos ser una asociación experta en intervenciones de de la perspectiva de género y la defensa de los derechos humanos que den respuesta a la epidemia del VIH, priorizando la atención integral de las personas afectadas, en especial a las mujeres, con capacidad de anticiparnos a las nuevas necesidades i retos de la sociedad. Valores de la asociación: Calidad: hacer las cosas bien Coherencia: entre nuestra misión y visión Trabajando en equipo: Haciéndolo juntas y juntos. Factores de éxito: Qué necesita la asociación para conseguir la Misión. 1. Capacitación: Perspectiva de género Atención Derechos humanos Epidemia 2. Organización interna 3. Sostenibilidad económica 4. Comunicación 5. Toma de decisiones eficiente 6. Evaluación continuada

19 7. Definición de las funciones y responsabilidades 8. Gestión del conocimiento 9. Capacidad de innovación 10. Presencia externa: instituciones y coordinación de redes 11. Participación Líneas estratégicas. 1. Línea estrategia 1: Perspectiva de aprendizaje y crecimiento. Disponer de profesionales capacitados para llevar a cabo la misión de la asociación y que se sientan satisfechos de la misma. a. Mejorar la capacitación de las personas que trabajan y colaboran con la asociación. b. Mejorar la gestión del conocimiento externo e interno. c. Defensiones de los puestos de trabajo. 2. Línea estratégica 2: Perspectiva financiera: Mejorar la sostenibilidad económica consiguiendo nuevos ingresos y haciendo más eficiente los gastos. 3. Línea estratégica 3: Perspectiva proceso interno: Mejorar la coordinación y comunicación entre procesos claves (áreas de trabajo) para poder ofrecer proyectos innovadores de máxima calidad que den respuesta a las necesidades de quienes lo requieran. a. Establecer una organización interna des de la perspectiva de género. b. Agilizar la toma de decisiones. c. Mejorar la capacidad de innovación d. Mejorar los circuitos de comunicación interna. 4. Línea estratégica 4: Perspectiva del cliente: Dar una atención personalizada y ágil a las a las personas que requieren nuestros servicios. a. Mejorar la comunicación con los socios y socias y su participación en las actividades. b. Mejorar la presencia en actos sociales y en las agendas políticas. c. Mejorar el tiempo de respuesta con los colaboradores y entidades que requieren nuestros servicios.

20 II Jornadas SIDASTUDI: Capacitando a las ONG/sida: mejorando la prevención del VIH DISEÑO DE PROYECTOS DE INTERVENCIÓN. Ponente: María José Fuster Ruiz de Apodaca Qué es un proyecto? Proyecto es la combinación de recursos humanos y no humanos reunidos en una organización temporal para conseguir un propósito determinado (Clean y King). Características: Están orientados a la consecución de un objetivo determinado Requieren una combinación de recursos humanos y no humanos para la realización coordinada de actividades interrelacionadas Tienen una duración limitada, existe un principio y un fin Un proyecto social es toda acción social, individual o grupal, destinada a producir cambios en una determinada realidad que involucra y afecta a un grupo social determinado (Martinic, S., 1996). El proyecto social pretende producir un cambio deseado en una realidad social. En base a esa realidad se proyecta una acción que, de resultar como se espera, provocará un cambio hacia una situación mejor. El proyecto: metodología y fases Los proyectos tienen un principio, un período medio y un final. El ciclo de vida de un proyecto divide a éste en cuatro etapas o fases: A. Creación del proyecto a. Fase conceptual b. Fase de definición B. Ejecución del proyecto a. Fase de ejecución b. Fase de terminación Existen diferentes tipos de metodologías específicas depende del tipo de proyecto que se trate. En el esquema que se expone a continuación se sigue la metodología del enfoque integrado, el enfoque del Marco Lógico. Este es una herramienta analítica para la planificación y gestión de proyectos orientada por objetivos. Constituye un método con distintos pasos que van desde la identificación hasta la formulación y su resultado final debe ser la elaboración de una matriz de planificación del proyecto. (AECI, 1999). El enfoque del marco lógico se ha utilizado sobre todo para proyectos de cooperación al desarrollo. 1

21 Este método consta de cinco pasos: 1. Análisis de la participación 2. Análisis de los problemas 3. Análisis de los objetivos 4. Análisis de las alternativas 5. Planificación del proyecto Los primeros cuatro pasos son la etapa de identificación del ciclo del proyecto y pretenden hacer explícitos los mecanismos que han llevado a justificar la oportunidad seleccionada. Se analizan los problemas, las alternativas y se fijan criterios para priorizar las alternativas. El quinto paso es ya la estructura del diseño. El elemento básico es la matriz, base sobre la cual se construye el documento de formulación. Para esta faltará, la programación de actividades y recursos y el análisis de viabilidad. Vamos a exponer brevemente estos pasos para luego dar una guía de cómo articularlo en el documento de formulación. 1. Análisis de la participación. Se trata de analizar dos aspectos básicos: Identificar todos los agentes sociales implicados en la realidad sobre la que se pretende actuar y definir la población beneficiaria del proyecto. Se trata en definitiva de analizar la realidad social en la que el proyecto va a intervenir y examinar sus características y particularidades. Tenemos que determinar dentro de los grupos identificados el grupo de beneficiarios del proyecto. Seleccionar un grupo implica dejar fuera a otros, por eso los proyectos, son solo suelen tener beneficiarios sino también perjudicados. Aunque los criterios para la selección de los grupos beneficiarios dependen de cada ocasión y de las prioridades políticas, hay algunos criterios generales: a) Quiénes se encuentran en situación de mayor necesidad?; b) Quiénes parecen tener más posibilidades de aprovechar los beneficios generados por la intervención?; c) Qué conflictos puede suponerse que ocurrirán al apoyar a determinados grupos?. Entre la primera y la segunda cuestión sin duda aparecen contradicciones ya que los colectivos más favorecidos suelen tener más posibilidades de aprovecharse de los beneficios de un proyecto. Así pues, a la hora de esquematizar los beneficiarios, pensaremos en los distintos tipos: directos, indirectos, neutrales o excluidos y los perjudicados u oponentes. A continuación definiremos las características y número de cada uno de ellos. 2

22 2. Análisis de los problemas Los proyectos surgen de las necesidades existentes. Las decisiones en la concepción del proyecto son muy importantes y requieren de un esfuerzo creativo importante. La Identificación del problema proviene básicamente de los conocimientos acumulados en el área de estudio y de la experiencia o práctica social. La identificación consta de algunas etapas importantes: a) Priorizar el problema Este es el momento de formación del proyecto y requiere mucha atención para identificar cual es la situación que está afectando a la población a la que nos dirigimos. Hay que tener en cuenta que al definir el problema es necesario hacerlo de manera precisa y sin ambigüedades. b) Identificar las causas y efectos del problema priorizado Después de priorizar el problema se hace necesario precisar las causas y efectos del mismo. Para identificar las causas y efectos una técnica útil es el árbol de problemas. Es interesante hacer un listado con todo lo que pueda estar originando el problema. Luego se priorizan aquellas causas que tengan directa relación con el problema. Existen pues, causas directas e indirectas de un problema. Las causas directas son las razones principales que hay que resolver para reducir o terminar con el problema. De la misma forma, hay que hacer un listado con las consecuencias que se desprenden del problema, priorizarlos y establecer la relación causa efecto. Para el análisis de las causas y efectos, pueden ser de utilidad las siguientes preguntas: Cuál es el problema? (Alude al problema central) Qué originó el problema? (Alude a las causas del problema) Qué consecuencias produce? (Alude a los efectos del problema). EJEMPLO DIAGRAMA DE PROBLEMAS: ESTADOS NEGATIVOS 3

23 Ejemplo: Árbol de problemas 3. Análisis de los objetivos Describir la situación hipotética que se daría si se solucionasen los problemas detectados. Los estados negativos del árbol de problemas se transcriben en estados deseables positivos. Se van revisando los planteamientos para eliminar objetivos que sean irreales o innecesarios y se añaden otros nuevos si es necesario. La pregunta clave que hay que hacerse en cada caso es cómo podemos resolverlo? Se construye un árbol de objetivos donde se copia en positivo el árbol de problemas. Los problemas inferiores se convierten en medios para conseguir los fines situados en la parte superior del árbol. Las situaciones negativas existentes se convierten en estados positivos alcanzados. La lógica del árbol de objetivos ya contiene la lógica de intervención del proyecto. 4

24 DIAGRAMA DE OBJETIVOS: Se traslada el diagrama de problemas a positivo. Ejemplo diagrama de objetivos 1 : 1. El ejemplo se ha elaborado a partir de un proyecto de la organización Médicos del Mundo. 5

25 4. Análisis de las alternativas Este es el último paso de la identificación del proyecto. Se trata aquí de comparar las distintas opciones que se identifican en el árbol de objetivos. Hay distintos procedimientos y herramientas para analizar alternativas. La valoración se puede hacer de acuerdo a distintos criterios, valorando cualitativamente o cuantitativamente cada alternativa. Algunos criterios pueden servir de guía a considerar: Recursos disponibles Tiempo estimado para el logro de los objetivos Adecuación de las partes implicadas en el proceso Riesgos y posibilidades de logro de los objetivos Contribución de las diferentes alternativas a objetivos más generales Efectos/impactos Vinculación entre las distintas alternativas y los colectivos prioritarios Viabilidad Este análisis concluye cuando se selecciona un objetivo concreto de la intervención. A partir de aquí empieza el diseño de la intervención. 5. Planificación del proyecto En esta fase se define en detalle el proyecto, se establece la planificación, se identifican definitivamente los recursos, plazos y especificaciones. Se empieza en definitiva con la detallada planificación formal. Se expone a continuación paso por paso los componentes de un documento formal de propuesta de proyecto desde el enfoque integrado y la matriz de planificación. DOCUMENTO DEL PROYECTO. I. DATOS GENERALES DEL PROYECTO Los datos generales del proyecto consignan la información básica que permite identificar a la organización que lo presenta. Este apartado debe contener: Título del proyecto, Nombre de la organización, nombre de la persona de contacto y datos, lugar donde se realizará el proyecto y la fecha de inicio y fin del proyecto. Es importante que el título guarde relación con la solución planteada para abordar el problema, ha de ser breve, claro, preciso y que en pocas palabras proporcione la idea del proyecto. El título 6

26 no necesariamente se define al inicio de la elaboración del proyecto sino que se va replanteando a lo largo de su diseño. II. ÍNDICE Un índice a través de un esquema numerado con los principales documentos que contiene el documento del proyecto. III. RESUMEN Se describe de manera resumida el proyecto. Esto es, se realiza una síntesis del proyecto que se desea implementar a través de la descripción resumida de los siguientes elementos del proyecto: Se hace referencia al problema, sus causas y efectos, así como del diagnóstico realizado. Se justifica el proyecto, por qué y para qué se va a llevar a cabo. Se mencionan y describen los beneficiarios. Se mencionan los objetivos y resultados que se pretenden alcanzar, así como los indicadores y las hipótesis Se mencionan de manera general las actividades, los medios y los costes. Finalmente, se describe como se evaluará el proyecto. Es útil hacer este resumen o descripción general del proyecto una vez finalizada su elaboración de forma que pueda sustentar una visión global del mismo. IV. CONTEXTO Vamos a trasladar a este apartado todo el trabajo que se hizo en la fase conceptual del proyecto, en donde se realizó el análisis del problema y el análisis de la participación. a. Política del gobierno/política sectorial Se nombra aquí lo que está alrededor del proyecto, es decir, se delimita el proyecto dentro de las líneas de actuación políticas. Se nombran las políticas de los organismos implicados en las que se enmarca nuestro proyecto (Ministerios, Consejerías, direcciones generales, etc ) b. Características del sector Descripción del grupo poblacional o del sector al que nos dirigimos, de sus características y problemas en general. c. Beneficiarios y principales partes implicadas Los beneficiarios son las personas que reciben los beneficios del proyecto sea de manera directa o indirecta. Los beneficiarios directos son aquellos en los que se focaliza la intervención, quienes reciben el resultado del proyecto. Los beneficiarios indirectos, son aquellos que si bien no reciben el resultado del proyecto se verán beneficiados con su realización. 7

27 Hay que cuantificar los beneficiarios directos e indirectos. No solo la cuantificación es necesaria sino que se hace preciso describir los beneficiarios concretos y del problema específico. Hay que definir sus características. Tipo beneficiario Cuantificación Características d. Problemas que deben resolverse Hay que definir en qué consiste nuestra actuación, qué es lo que vamos a mejorar. En este apartado hay que considerar los antecedentes del problema, explicar la prioridad y urgencia del problema para el que se busca solución, qué es lo que se desea superar a través del proyecto y los cambios o transformaciones que se generarán a partir de la implementación del proyecto. En definitiva, recuperaremos aquí el trabajo realizado en el análisis y expondremos el diagnóstico del problema. El diagnóstico consiste en presentar la situación actual del problema. Un buen diagnóstico debe ser capaz de mostrar (con datos que lo avalen), la realidad sobre la cual se desea intervenir a través del proyecto para cambiarla. El diagnóstico debe indicar las siguientes cuestiones: a) identificar el grupo social que sufre el problema y la forma en que se expresan en ellos las consecuencias, b) exponer las causas y efectos que tiene ese problema para las personas involucradas. Para elaborar el diagnóstico hay una serie de técnicas útiles. Algunas de ellas son: Buscar información escrita: artículos, documentos, libros, internet Utilizar los documentos, informes o registros de que dispongamos Búsqueda de trabajos anteriores realizados sobre el tema Observaciones en el terreno o con informantes clave Breves estudios piloto Grupos focales o entrevistas en profundidad Etc.. e. Otras intervenciones También en la fase conceptual habremos estudiado si hay otras acciones de otras instituciones u organizaciones que afecten a lo que planteamos en el proyecto, es decir que incidan directamente en los mismos objetivos que el proyecto que presentamos. Se traslada aquí dicho análisis. f. Documentación disponible Se ha de referenciar la documentación analizada en la que se ha apoyado el proyecto. Esta documentación se pone en el anexo. Las referencias bibliográficas han de cumplir criterios unificados de formato y tiene que ser completas. Existen diversas formas de citación bibliográfica, según el área científica. 8

28 Ejemplo (según la APA): Herek, G.M., Capitanio, J.P y Widaman, K.F.(2003). Stigma, social risk, and health policy: Public attitudes toward HIV surveillance policies and the social construction of illness. Health Psychology, 22, V. INTERVENCIÓN En este apartado se realiza la descripción de la intervención. Hay que trasladara a estos apartados del formulario los resultados del análisis de objetivos y de alternativas que hemos realizado. a. Objetivo/s general/es El objetivo general es el propósito central del proyecto. Expresa el cambio que esperamos o deseamos alcanzar, producto de la ejecución exitosa del proyecto. Este objetivo es que el que va a orientar los esfuerzos y las acciones de todas las personas involucradas hacia su consecución, ayuda a determinar y organizar el planteamiento de las actividades y permite orientar todas las actividades del proyecto. Este objetivo establece a grandes rasgos las acciones a emprender, relacionadas con la finalidad general del proyecto. Ejemplos objetivo general: Mejorar la situación de salud de las personas de origen extranjero en riesgo o situación de exclusión social en. Facilitar la integración socio-laboral de las mujeres con VIH participantes en el proyecto b. Objetivos específicos Los objetivos específicos son especificaciones o pasos que hay que dar para alcanzar a consolidar el objetivo general. Definirán pues, acciones sobre aspectos y fines concretos del proyecto.. Estos objetivos deben de ser realistas en el sentido, que sea razonable esperar que se logren dentro de los límites de tiempo, recursos económicos y humanos del proyecto. Además de poderse alcanzar durante el período del proyecto, estos objetivos representan logros concretos que pueden ser observables, evaluables y medibles. Su redacción por tanto ha de hacerse de tal modo que sea posible observar los logros. Es importante poner un número limitado de objetivos específicos (no más de tres o cuatro). Los objetivos han de ser claros, válidos y concisos. Si son complejos o difíciles de entender hay que plantearse si desglosar en dos o más o reformular y/o simplificar los enunciados. Es importante evitar verbos demasiado ambiguos Ejemplos objetivos específicos: Las personas de origen extranjero en riesgo o situación de exclusión social tiene acceso a servicios socio-sanitarios 9

29 Las mujeres con VIH tienen habilidades, actitudes y aptitudes necesarias para su integración laboral c. Resultados Los resultados son logros intermedios que permiten alcanzar los objetivos. Deben alcanzarse durante el periodo de ejecución del proyecto. Indican cuanto se quiere lograr con la realización del proyecto, dentro de un plazo determinado y en un ámbito o espacio delimitado. Los resultados representan logros concretos que pueden ser observables, evaluables y medibles. Por tanto tienen que estar bien focalizados y delimitados. Son fruto a su vez del desarrollo de las actividades. El éxito de los resultados radicará en la medida en que permitan el logro del objetivo central del proyecto. Ejemplos resultados: El 100% de la población atendida tiene acceso a los servicios socio-sanitarios El 75% de las mujeres incrementan sus habilidades y aptitudes d. Actividades Las actividades son el conjunto de acciones planificadas para alcanzar los resultados. Se enumeran y describen en este apartado. Es importante la adecuada conexión entre los objetivos, los resultados y las actividades.. Una actividad puede servir a diversos resultados, pero no estar considerada en varios resultados a la vez. Ejemplos actividades: Servicio de Primera Acogida Asesoría socio-laboral 10

30 Los objetivos y los resultados se suelen redactar como situaciones ya alcanzadas y las actividades en infinitivo. VI. HIPÓTESIS Las hipótesis son un conjunto de situaciones, acontecimientos o decisiones que resultan importantes para que la lógica de la intervención pueda mantenerse, pero que están fuera del control directo de la gestión del proyecto. Son las condiciones que deben darse para que la relación entre actividades, resultados y objetivos se mantenga. Es decir, condiciones que deben existir si se quiere que el proyecto tenga éxito pero que escapan al control directo de la intervención del proyecto. El análisis de la dificultad de estos factores externos, nos va a orientar sobre las decisiones que hemos de tomar en el proyecto. Hay que valorar si es o n probable que se den. De esta forma, si esos factores son muy probables pero no seguros, entonces los incluiremos en la planificación, asegurándonos de controlarlos, informar sobre los cambios y si es posible influir sobre ellos. Si es poco probable que se den (factor letal), entonces hay que rediseñar el proyecto y si no son posibles entonces hay que rechazar el proyecto. a. Hipótesis de los diferentes niveles Se formulan hipótesis (es decir elementos externos que condicionan la ejecución del proyecto) para los diferentes niveles (resultados, objetivos). Se enumeran las dificultades y se explican a nivel de resultados y objetivos específicos. La condición previa, son condiciones que tienen que darse para que el proyecto se cumpla, es decir, hipótesis que deben de cumplirse antes del comienzo de la ejecución. Esta se enuncia: partiendo de. Las hipótesis se enuncian en positivo. 11

31 Ejemplo 1: hipótesis para un resultado Resultado: Existencia de un gabinete de comunicación que facilita la presencia (de nuestra organización) en los medios de comunicación y que sirve de presión para la consecución de objetivos dirigidos al cambio social Hipótesis: Los profesionales que gestionan el gabinete de comunicación son expertos en materia de comunicación organizacional Ejemplo 2: hipótesis para una actividad Actividad: Talleres socio-educativos Hipótesis: A las personas atendidas les es viable participar en los talleres b. Riesgos y flexibilidad En este apartado hay que hacer un análisis de los riesgos y de las alternativas que contemplamos ante las dificultades de que se den las hipótesis. VII. EJECUCIÓN DEL PROYECTO a. Medios materiales y no materiales Especificar qué medios materiales y no materiales son necesarios para llevar a cabo el proyecto. 12

32 b. Organización, procedimiento y modalidades de ejecución En este apartado explicaremos cómo se va a organizar el proyecto. Cómo se van a organizar, suceder e integrar las diferentes actividades y tareas de modo que se logre el encadenamiento correcto de las mismas, evitando así desajustes que influyan en la realización del proyecto. Se especifican asimismo las técnicas y procedimientos se van a utilizar y quienes asumirán la responsabilidad de ejecutar las actividades. Hay que indicar cómo y quién realizara cada tarea, asignando responsabilidades y definiendo los niveles de tomas de decisión c. Calendario de ejecución Se inserta aquí el cronograma de actividades. Este cronograma se formula teniendo en cuenta la distribución de las actividades en el tiempo. Para ello es necesario saber con precisión cuanto tiempo llevará la realización de cada una de ellas. Algunas actividades se desarrollarán de manera simultánea, otras independientemente y todo esto debe verse en el cronograma. El cronograma se puede dividir en semanas para una mejor planificación. Existen diferentes técnicas gráficas de apoyo a la programación que permiten distribuir en el tiempo las diferentes actividades y hacen posible una captación rápida y global de la secuencia de actividades. El más simple y conocido es el diagrama de Gantt. Consiste en una tabla de doble entrada en la que se anotan en las líneas las distintas actividades que componen el proyecto y en las columnas el tiempo durante el cual se desarrollarán en esas actividades. Finalmente se sombrea los periodos correspondientes a cada actividad. ACTIVIDAD MES1 MES2 MES3 MES4 MES5 ME56 MES7 MES8 MES9 MES10 MES11 MES12 Actividad 1 Actividad 2 Actividad 3 Actividad 4 d. Coste y plan de financiación Se realiza una matriz de costes del proyecto. Estos incluirán tantos los costes directos como indirectos. Esta matriz supone costear los bienes, servicios, recursos humanos, etc.., que vamos a necesitar para la implementación de las actividades. Este presupuesto responde a la pregunta: cuánto dinero necesito la actividad propuesta y de donde lo vamos a conseguir? Es bueno plantear el presupuesto por actividades, esto ayuda a conocer cuál es la necesidad de materiales, bienes, servicios y personal que se requiere para el desarrollo de cada una de ellas. Una vez elaborado el presupuesto para cada actividad se hace el resumen organizado por rubros de gasto, lo que supone sumar todos los materiales o servicios que se solicitan para cada actividad. Para gastos de mantenimiento y otros que no se usan íntegramente, calculamos el porcentaje que supone el proyecto con el presupuesto global de nuestra organización. 13

33 El presupuesto comprende los siguientes rubros principales, entre otros: Costo de personal (se calcula sobre la base del número de personas que participan, en forma remunerada o no, especificando el tipo de cualificación y la dedicación que tienen en cada caso Locales: por construcción, compra o reacondicionamiento o alquiler de local. Material y equipos: costo de material, gastos de transporte e instalación, mobiliario de oficina, ordenadores, fotocopiadora, etc Gastos de funcionamiento: electricidad, agua, gas, gastos de oficina, limpieza, etc.. Beneficios: en proyectos de índole productiva este rubro de estar presente. En proyectos de otra naturaleza, cuyos ingresos pueden ser en especie (ej. mano de obra), deben cuantificarse en unidades monetarias a la hora de elaborar el presupuesto de ingresos. Además dentro del presupuesto se debe considerar sobre el valor del costo total, el 10% de aporte propio de nuestra organización, que van a ser los costes indirectos. Se realizará también una explicación de la matriz del presupuesto en una Memoria Económica. Esta explica el presupuesto literariamente y se adjunta en el anexo con la documentación necesaria. e. Condiciones especiales Este apartado se rellena solo en caso de que se den condiciones especiales para la ejecución del proyecto. Por ejemplo, el caso de que un proyecto tenga añadidas unas medidas económicas o condiciones ventajosas del gobierno, autoridades locales, etc.. (Por ejemplo, que el ayuntamiento ceda unos terrenos para una escuela) VIII. FACTORES QUE GARANTIZAN LA VIABILIDAD La viabilidad del proyecto se define en términos de que una vez finalizada la intervención, y retirada la ayuda externa, siga teniendo efectos positivos, es decir, beneficiando al grupo destinatario. El objetivo es que los cambios generados se incorporen de manera consciente y planificada. En este apartado del proyecto se describen esos factores que garantizan la viabilidad de nuestro proyecto: a. Políticas de apoyo Se especifican aquí las políticas que sirven de apoyo a nuestro proyecto. Es decir, aquellas dentro las cuales nuestro proyecto se va a ver beneficiado. Si hay una voluntad externa que va a favorecer nuestro proyecto. También, se ponen, si las hubiese las condiciones especiales. Se puede utilizar parte de lo dicho en el contexto pero de forma ya específica y relacionándolo con el análisis de la viabilidad. b. Tecnología apropiada Se argumenta sobre la pertinencia de la tecnología que se va a usar en el proyecto. En el caso de proyectos sociales, que es más extraño usar tecnología, se puede aprovechar el apartado para argumentar que la metodología que se usa es apropiada al problema. 14

34 c. Protección del medio ambiente Trata este apartado de describir los impactos en el aire, suelo, paisaje y como se van a prevenir esos impactos. También el proyecto puede generar impactos positivos que se deben citar. En proyectos sociales es más difícil que en los de desarrollo que hay un impacto sobre el medio ambiente pero en cualquier caso, conviene tener esto presente para analizarlo y plasmarse en el proyecto en su caso. d. Aspectos socioculturales/mujer y desarrollo Es importante en el proyecto contemplar de manera trasversal aspectos socio-culturales implicados en nuestra intervención y el enfoque de género que le hemos dado al proyecto. e. Capacidad institucional y de gestión Argumentar aquí sobre la capacidad de la organización para gestionar el proyecto que se presenta. Exponemos nuestra competencia sobre el asunto y nuestra capacidad. f. Análisis económico y financiero En el análisis económico se argumenta el presupuesto y se explica por qué está bien planteado y sobre su viabilidad. Respecto al análisis financiero, hay que explicar qué hacemos con el dinero, como vamos a gestionarlo. IX. SEGUIMIENTO Y EVALUACIÓN a. Indicadores de seguimiento Los indicadores son descripciones operativas de los objetivos y resultados en términos de cantidad y calidad de un producto para un grupo destinatario, con indicación de tiempo y lugar. Son la expresión cuantitativa de los objetivos y resultados del proyecto. Es por ello, que se formulan indicadores tanto sobre los objetivos como sobre los resultados. Los indicadores nos van a permitir medir los avances respecto a los resultados. Para elaborar un indicador hay primero que elegirlo, cuantificar, establecer la calidad, especificar al grupo beneficiario, especificar el tiempo y definir la ubicación. Se recomienda desagregar los indicadores según variables como el sexo, el estatus social, la edad o la etnia, que reflejen la heterogeneidad del contexto de la intervención y la consideración en el proyecto de los aspectos socio-culturales y del enfoque de género. Los indicadores son útiles solamente si se pueden verificar. Las fuentes de verificación son medios o procedimientos que sirven para conocer el estado de los indicadores. Hay que definir pues aquellos medios de verificación que demuestren el logro de los resultados. Las fuentes de verificación deben especificar el formato de presentación de las informaciones, quien deberá proporcionarlas y su regularidad. 15

35 Los indicadores tienen las siguientes características: Específicos, exactos y directamente relacionados Confiables, creíbles y comprensibles Sensibles, es decir, permeables a sufrir alteraciones cuando se produzcan cambios Viables, posibles de obtener Oportunos, alcanzables en los plazos previstos Verificables, que se evidencie su logro Ejemplo: La población de origen extranjero en riesgo de exclusión mejora sus conocimientos de educación para la salud Asociaciones inmigrantes con las que trabaja Talleres educativos realizados Base de datos ONG Cuestionarios evaluación sesiones Observación participante b. Revisiones/evaluaciones. Si el proyecto es largo se hacen revisiones y evaluaciones periódicas. Es necesario pues definir la concepción que se tiene al respecto, cuál es su finalidad, en qué momentos se desarrollará y quienes estarán al cargo. X. CONCLUSIONES Y PROPUESTAS En el proyecto se señala que en la memoria se harán las propuestas. Este apartado sirve para dejar constancia de ello. Es el compromiso de que la intervención va a servir para algo. XI. ANEXOS Se incluyen aquí todos los documentos necesarios y de los que conste el proyecto (bibliografía, memoria económica, etc..). 16

36 LA MATRIZ DEL MARCO LÓGICO La matriz constituye el concepto central en que se basa el enfoque del Marco Lógico. Es una herramienta que permite visualizar y organizar de forma estructurada la información más relevante de cada intervención. Columnas: 1ª: proyecto, lo que se quiere hacer; 2ª: grado de éxito esperado; 3ª: procedimiento para comprobar indicadores; 4ª: elementos del entorno importantes para que el proyecto tenga éxito. La interrelación entre sus componentes se da por dos lógicas de interdependencia: La lógica vertical: unas condiciones previas libera un presupuesto y moviliza unos recursos para realizar unas actividades y se producen unos supuestos (fuera del alcance del proyecto) que permiten lograr unos resultados. Si se logran los resultados y se producen los supuestos se alcanza el objetivo específico. El logro del objetivo específico unido al cumplimiento de los supuestos supondrá una contribución significativa al objetivo general. Si se producen los supuestos, podrá perdurar. La lógica horizontal: todo resultado u objetivo se expresa mediante un indicador verificable objetivamente que debe poder comprobarse mediante una fuente de verificación. 17

37 LÓGICA DE INDICADORES FUENTES DE HIPÓTESIS INTERVENCIÓN OBJETIVAMENTE VERIFICACIÓN VERIFICABLES OBJETIVOS GENERALES (Son externos, objetivos y numéricos) (De donde se obtienen los indicadores) (Se deja en blanco o se copia el objetivo general) OBJETIVOS ESPECIFICOS (Hipótesis: que se de el objetivo específico) RESULTADOS (Hipótesis a nivel de resultados: que puede hacer que un resultado que ya he conseguido no cumpla el objetivo específico. Son condiciones necesarias que no dependen de mi y que se necesitan para el éxito del proyecto) ACTIVIDADES MEDIOS (Recursos materiales y no materiales con que contamos) COSTES (Hipótesis a nivel de actividades: debilidades del proyecto que puedo remediar incluyendo otra actividad) CONDICIONES PREVIAS (Condición necesaria para que se de el proyecto. Externo al proyecto) 18

38 EJEMPLO: 19

39 Camacho, Hugo et al. (2001). El enfoque lógico: 10 casos prácticos. Cuaderno para la identificación y diseño de proyectos de desarrollo. Madrid: Fundación CIDEAL ; Acciones de Desarrollo y Cooperación, p <Consultable en: 20

40 REFERENCIAS BIBLIOGRÁFICAS AECI (2000). Metodología de gestión de proyectos de la cooperación Española. AECI. Madrid Camacho, Hugo et al. (2001). El enfoque lógico: 10 casos prácticos. Cuaderno para la identificación y diseño de proyectos de desarrollo. Madrid: Fundación CIDEAL ; Acciones de Desarrollo y Cooperación CESIDA (2009). Curso diseño de proyectos. Madrid. Comisión de las Comunidades Europeas (1993). Gestión del Ciclo de un proyecto: Enfoque integrado y marco lógico. Bruselas. Comisión Europea (2001). Manual: Gestión del Ciclo del Proyecto. Bruselas. Fundación Bancaja (1999). Gestión de organizaciones sin ánimo de lucro. 21

41 Gestión Económica de los Proyectos para ONG. Contenido 0. Introducción 1. Partes de un proyecto Definición del proyecto Definición de tareas Gestión económica de un proyecto Confección de un presupuesto Cómo se elabora un presupuesto? Modelos de gestión económica Herramientas de gestión Caso Práctico Introducción En este documento encontraremos una guía, que resume los pasos o cuestiones a tener en cuenta, a la hora de organizar la gestión económica de los proyectos de una entidad sin ánimo de lucro. A modo de clarificar los componentes de un proyecto, se citan sus partes en el punto 1, haciendo énfasis en la definición del proyecto y sus tareas. Es fundamental para empezar a estructurar el coste económico de un proyecto tener una idea muy bien definida de las características del mismo: objetivos, beneficiarios, duración, fases, recursos humanos, etc. En el punto 2, se explica la gestión económica teniendo en cuenta los recursos, y mostrando brevemente los modelos y herramientas de gestión. De una manera clara y con ejemplos supuestos, pero que nos servirán para ir explicando por qué la gestión de los recursos económicos es importante y necesaria. Finalmente, se detalla un caso práctico aplicando los conceptos anteriormente explicados. 1

42 1. Partes de un proyecto Un proyecto estándar en una organización sin ánimo de lucro, se podría dividir en las siguientes partes: Definición del proyecto Definición de tareas Gestión económica o Confección de presupuesto o Asignación de recursos Ejecución Evaluación 1.1. Definición del proyecto Primero de todo deberíamos establecer los objetivos, es decir, cuál es la razón de ser de la actividad que vamos a realizar. Es muy importante tenerlo claro y bien definido, ya que al final del proyecto o actividad vamos a tener que evaluar si se han cumplido o no las expectativas por las que se ha generado el proyecto. Una vez definido el/los objetivo/s, pasaríamos a definir el alcance, es decir establecer los límites del propio proyecto. Así como los colectivos a los que nos vamos a dirigir. Se deberá determinar también el ámbito de actuación, generalmente escogemos el geográfico. Por lo que un proyecto puede ser local, autonómico, nacional, internacional o de un país específico Definición de tareas Enumerar y determinar las actividades y/o acciones del proyecto, estableciéndolas tanto de manera general como detallada. Una correcta definición de las tareas permitirá, por un lado, la confección de la planificación y ejecución del proyecto y por otro lado una correcta asignación de los recursos. 2

43 2. Gestión económica de un proyecto La gestión económica consiste en determinar cuáles serán los recursos económicos y humanos necesarios para poder llevar a cabo un proyecto y calcular qué coste va a suponer. Incluye también el seguimiento y control de los ingresos y gastos, de los costes que se van generando a medida que se va ejecutando el proyecto, de manera que se puedan detectar posibles desviaciones, y se puedan tomar las decisiones necesarias para ajustarlas Confección de un presupuesto Establecer correctamente la estimación del coste de un proyecto, es fundamental para optimizar su gestión en términos generales y sobretodo en su ejecución. Qué aspectos tenemos que tener en cuenta en la elaboración de un presupuesto? Primero de todo tenemos que dividir los costes del proyecto en tres grandes grupos: Costes Operativos: son los necesarios para la realización de la actividad específica. Materiales De espacio: sala de conferencias, salas de formación, espacio de representación, teatro, cine, auditorio, etc. Informáticos: ordenadores de mesa, portátiles, impresoras, faxes, proyectores, discos de seguridad, material informático. Mobiliario: mesas de despacho, sillas, mesas de reunión, estanterías, archivadores, maquinaria, camas, lavadoras, congeladores, lámparas, utensilios, enseres, etc. Suministros: agua, luz, teléfono, teléfono móvil, internet, gas, combustibles (gasoil, gas butano). Materiales diversos: material de oficina (papel, bolígrafos, clips, sobres, cartuchos de tinta, carpetas, bolsas, archivadores, etc.) Productos alimenticios, preservativos, material sanitario. Prestación de servicios: empresas de catering, de seguridad, recogida de residuos, de limpieza, de lavandería, de diseño, de impresión, de ilustraciones, creación de programas informáticos específicos, empresas de creación de páginas Web, gestión y mantenimiento de páginas Web, gestorías, reparación de máquinas u ordenadores, etc. Otros: formación especializada, cursos, libros de consulta, gastos de inserción de publicidad, suscripciones a publicaciones o boletines digitales de pago. Humanos El personal directo para la realización del proyecto, podríamos decir que son las personas que la entidad precisará para que se puedan realizar las actividades. Sería tanto la persona responsable de coordinar y gestionar el proyecto, como aquellos profesionales directamente implicados en la realización de las actividades. 3

44 Ej: Psicólogos/as, terapeutas, asistentes sociales, counsellors, periodistas, redactores/as, médico/a, enfermero/a, etc. En este apartado podríamos incluir lo que serían los profesionales independientes, personas que no están contratadas (fijos o eventuales) por la entidad pero que solicitamos su especialización o conocimientos para tareas concretas del proyecto. Ej: personas expertas para dar una chala, traductor/a, corrector/a; realización de estudios, mapeos, trabajos técnicos. Es necesario incluir también en este grupo, aquellos trabajos que realiza nuestro personal voluntario, siempre que esté directamente relacionado con el proyecto en cuestión. Debemos recordar que el personal voluntario no tiene un coste de ejecución, pero sí de gestión. Es decir, no tenemos que pagarles por la/s actividad/es que realizan en nuestra entidad (ejecución) pero hay que habilitarles un espacio físico (salas para reunirse, mesas, sillas, ordenador, teléfono, material de consulta, recursos materiales, formación, etc.) y el personal contratado que coordina y gestiona el personal voluntario. Todo eso lo tenemos que tener en cuenta a la hora de realizar el presupuesto. Logísticos Serían los gastos ocasionados con la organización de unas Jornadas, charlas, entrevistas que impliquen desplazamientos. Ejemplo: gastos de transporte: avión, tren, autobús, kilometraje, seguros de viajes. Gastos de alojamiento: hoteles, pensiones, albergues. Gastos de distribución de materiales (Correos, mensajería privada) Dependiendo de la naturaleza del proyecto, puede ser que no tengamos gastos logísticos, serían casos como la edición de publicaciones o materiales en versión digital y que se distribuya vía listas de correos, o atención psicológica y counselling por teléfono o internet. Costes transversales: Serían los costes que repercuten en más de un proyecto, o en la entidad en general. Puede ser personal contratado que realice ciertas tareas para el proyecto que estamos presupuestando, pero que también haga actividades para otros proyectos o el mantenimiento de los servicios generales de la entidad. Ej: coordinación general (director/a, gerente, coordinador/a), responsable de proyectos, personal administrativo, responsable de captación de fondos, webmaster, formadores, asistente social, redactores/as, voluntarios/as, etc. Los costes transversales también pueden ser materiales, como por ejemplo el uso de un local o casa, acondicionamiento del local o mejoras. Ordenadores, mobiliario, suministros y otros. 4

45 Más adelante veremos algunas maneras de calcular los costes transversales y de qué manera se pueden imputar en un proyecto concreto. Costes Financieros: son los gastos ocasionados por disponer de recursos financieros, contratación de pólizas de crédito, préstamo, que le permitan a la entidad poder realizar el proyecto hasta que llegue la subvención o ayuda acordada. Ej: Cuotas, comisiones, tasas, gastos de notarios que se generan por la contratación de créditos o préstamos bancarios. Quién debe participar en la confección del presupuesto? o Gerencia (Coordinador/a de la entidad) o Responsable administrativo y de finanzas o Responsable de proyectos o Responsable de captación de fondos El/la coordinador/a general, nos dará la visión integral de la entidad y de qué manera interactuará el proyecto concreto con el resto de actividades que realiza la organización. El responsable de proyectos conoce en profundidad los objetivos y expectativas que debe cumplir el proyecto y también puede ayudar a clarificar las tareas o etapas que tendrá. El responsable administrativo o de finanzas, identificará los distintos recursos que nos harán falta para desarrollar esas tareas y las cuantificará económicamente. El responsable de captación de recursos, nos ayudará a medir si las expectativas del proyecto, principalmente las económicas, se van a poder conseguir o están sobredimensionadas. En caso de grandes organizaciones, con departamentos y estructuras muy separadas, que tengan una implicación indirecta con la realización del proyecto, se puede invitar al colaborador/a más implicado/a en su consecución, para que nos dé una visión del día a día o de los problemas/deficiencias detectados en años anteriores. Eso facilitará que las posibles desviaciones del proyecto sean mínimas Cómo se elabora un presupuesto? Primero se debe establecer el enfoque con el que vamos a confeccionar el presupuesto, eso dependerá de la premisa con la que se organiza la entidad: 1. Primar proyectos: Cuánto y qué necesito para realizar todos mis proyectos? 2. Primar recursos: Con los recursos que tengo, cuántos proyectos puedo ejecutar? 3. Mixto. Tener en cuenta los recursos existentes y buscar nuevos recursos para nuevos proyectos. 5

46 En general, la mayoría de las entidades nos organizamos sobre este último, bien sea para ampliar un proyecto que ya se está realizado y del que se buscan nuevas fuentes de financiación o porque se crean nuevos proyectos para los que se buscan recursos financieros y sólo se ejecutaran si se consiguen. Asignación de recursos económicos Con una detallada descripción de las tareas del proyecto, deberemos ir clasificando todos los distintos recursos materiales, logísticos, humanos y financieros que van a ser necesarios para poder llevar a cabo la actividad. Si partimos de un proyecto mixto, significa que tenemos la experiencia de proyectos anteriores, lo que nos puede ayudar a clasificar los gastos o tener una idea del coste aproximado que pueda tener. Es en este momento que tendremos que tener en cuenta, la evaluación de las desviaciones del año anterior. Para aquellas tareas que sean de nueva descripción, tendremos que solicitar presupuestos de los servicios, verificar el coste de adquisición de los bienes materiales, estimar costes de los suministros o intentar tener un acuerdo de precio cerrado que se mantenga durante algunos meses (hoteles, restaurantes) en caso de organizar Jornadas, charlas o talleres. CONCEPTOS COSTE TOTAL ACTIVIDADES Sala de reuniones Alojamiento Desplazamientos (25 participantes x 100 ) Comidas y cenas (25 x 9 ) Material para las jornadas: (Carpetas, fotocopias, bolígrafos, libretas, papel, sobres, sellos) Ponentes (3 ponentes x 300 ) Ordenador portátil SUBTOTAL Imputación de costes trasversales Como hemos explicado anteriormente, a veces nos encontramos que hay gastos que repercuten en varios proyectos o en el funcionamiento general de la entidad. Serán los casos que tendremos que ver cuál es el coste total y dividirlo entre: o Los distintos proyectos de la entidad o Reparto del coste según su uso: número de horas o de personas que lo utilizan. 6

47 Ejemplo La entidad tiene 3 proyectos consolidados: Counselling telefónico Grupo de autoayuda Servicio de asistencia social. Los gastos del local tendremos que imputarlos entre los tres proyectos. Lo haremos de manera igualitaria, es decir, todos los gastos divididos entre los tres proyectos siempre que el uso, tiempo y espacio sea igual entre los proyectos. Si por el contrario hay proyectos que no utilizan ciertos servicios o suministros, entonces no podremos imputárselos o lo haremos pero en importes más pequeños sobre la base del uso real que se hace de ellos. Así mismo, suministros exclusivos de un proyecto se pondrán únicamente en ese presupuesto. Ejemplos: El servicio de Counselling telefónico se realiza los lunes, miércoles y viernes de 10h a 17h. Tiene dos salas habilitadas exclusivamente para el personal que realiza este proyecto. Disfruta de todos los servicios que tiene contratada la entidad, pero dispone de una Línea telefónica 900, que corre exclusivamente a cargo de este proyecto. El servicio de asistencia social es un servicio que funciona de lunes a viernes de 9h a 18h, donde trabajan tres personas y ocupan tres despachos habilitados, tanto para las personas que trabajan directamente en este proyecto, como para la atención de los/as usuarios/as que vienen a la sede. Disfrutan de todos los servicios (suministros) contratados por la entidad. Por último, tenemos el Grupo de autoayuda que se reúnen los martes 16 a 20h, ocupan una única sala, comparten la oficina con el servicio de asistencia social y disfruta de todos los servicios contratados por la organización. Sobre este supuesto, podríamos dividir el coste total del mantenimiento e infraestructura de la organización, de la siguiente manera: 7

48 Tipo de Gasto Total anual Alquiler local Suministro Luz 825 Suministro Agua 550 Suministro de Gas 660 Suministro Teléfono Limpieza Local 900 Seguridad del Local 450 Póliza de seguro 600 TOTAL COUNSELLING TELEFÓNICO CONCEPTOS Coste total SUMINISTROS Alquiler local Luz Agua Gas Teléfono: Línea 900, móvil y ADSL Limpieza local Seguridad Local Póliza de seguro SUBTOTAL SERVICIO DE ASISTENCIA SOCIAL CONCEPTOS Coste total SUMINISTROS Alquiler local Luz Agua Gas Teléfono Fijo, móvil y ADSL Limpieza local Seguridad Local Póliza de seguro SUBTOTAL GRUPO DE AUTOAYUDA CONCEPTOS Coste total SUMINISTROS Alquiler local Luz 175 Agua 120 Gas 200 Teléfono Fijo, móvil 100 y ADSL Limpieza local 300 Seguridad Local 150 Póliza de seguro 200 SUBTOTAL

49 Porcentaje de salarios por perfil y por proyectos. Los salarios al igual que los costes de infraestructura se han de distribuir en función del perfil de cada profesional y de su participación en el proyecto. Por tanto habrá perfiles que son directamente relacionados con la ejecución del proyecto en sí, y otros que son necesarios para el funcionamiento general de la entidad y que prestan un servicio interno al proyecto en cuestión. Cada cual tendrá una imputación en función de la dedicación, por lo general el porcentaje relativo a los perfiles directos suele ser más elevado que el asignado a los perfiles transversales. Continuando el ejemplo anterior los perfiles tipo podrían ser: Perfiles directos Coordinador de proyectos Confecciona la planificación, supervisa y evalúa el avance de la ejecución del proyecto. Psicólogo/a o especialista en counselling Realiza las tareas de counselling Perfiles transversales Coordinador de la entidad Personal administrativo Web máster Captador/a de fondos Tenemos que tener en cuenta para la imputación de los costes de personal, que puede darse el caso de que una misma persona participe en un proyecto ejecutando dos perfiles, por lo que su prestación económica se deberá distribuir en el proyecto o los proyectos en los que participe según su rol y el tiempo dedicado. Cuando la imputación se hace por perfiles y no directamente por el salario de la persona (en el caso de que una persona ejecute dos o más perfiles en el proyecto) permitirá tener una estructura de cálculo de costes que a la larga se podrá comparar históricamente y prever lo que puede costar económicamente el proyecto en el futuro. Ejemplo cálculo de perfiles transversales. Para poder calcular el coste exacto del personal transversal en un proyecto concreto, primero deberemos saber cuál el coste salarial total (coste empresarial) que supone tener la persona contratada por la entidad, para ello deberemos sumar: Salario Líquido + Retención IRPF + Seguridad Social = Coste Empresarial Una vez tengamos ese importe deberemos multiplicarlo por el número de pagas al año, incluidas las pagas extras. Coste empresarial: x 14 pagas = / año Lo más habitual es imputar los costes transversales, por el número de horas de dedicación al proyecto. Aunque también se puede hacer por porcentaje. 9

50 Nuestro Coordinador/a de la entidad está contratado a jornada completa (40h/semana) y hemos calculado que al proyecto de Counselling dedica 5h/semana. Cómo sabemos que parte de su sueldo se dedica al proyecto? Una forma muy simple es aplicar una regla de tres. Si por 40h/semana supone un coste empresarial de 1.850, por 5h será X. 40h h X X= x 5 = 231,25 /mes x 14 pagas = 3.237,50 40 h En el presupuesto, en el apartado de Gastos de Personal, imputaríamos en concepto de trabajo del/la Coordinador/a, 3.237,25 al proyecto de Counselling. Otra manera de calcular la dedicación del tiempo, puede ser porcentual. Los ejemplos más claros son los del personal administrativo, porque se suele creer que el tiempo de gestión administrativa es igual para todos los proyectos. El /la Administrativo/a de la asociación tiene un coste empresarial anual de (650 /mes x 14 pagas) está contratado/a a tiempo parcial (20h/semana) y vamos a imputar el 33% de su tiempo al proyecto de Counselling % X % X= x 33 = Nota: el cálculo del coste del personal transversal, lo podemos aplicar con la medida que nosotros determinemos (días, horas, semanas, meses, etc) Modelos de gestión económica En este apartado veremos una pequeña muestra de algunos esquemas para realizar un presupuesto. Ministerio de Sanidad y Política Social Secretaria del Plan Nacional sobre el Sida Es un presupuesto estructurado en tres grandes bloques: Personal, Mantenimiento y Actividades. Nos da una visión clara y rápida del coste del proyecto. 10

51 Presupuesto total estimado del proyecto (desglosado por conceptos, cuantía y entidad, en su caso, según los tipos de gastos detallados en el Anexo III de esta Orden) y cuantía solicitada al Ministerio de Sanidad y Consumo (MSC) CONCEPTOS Coste total Cuantía solicitada al MSC PERSONAL (Desglosado según conceptos detallados en Anexo III) MANTENIMIENTO (Desglosado según conceptos detallados en Anexo III) ACTIVIDADES (Desglosado según conceptos detallados en Anexo III) TOTALES iones.htm Ministerio de Educación - Presupuesto enfocado en la actividad a realizar, principalmente diseñado para Charlas y Jornadas de formación. Remarca la importancia de la difusión del proyecto en detrimento de la infraestructura de la organización. A.-Gastos por participantes Importe Viajes Desplazamiento Alojamiento Manutención Honorarios de ponentes Otros directamente relacionados con la actividad... B.-Gastos de personal Organización/Coordinación... Otros directamente relacionados con la actividad... C.-Gastos por Local Alquiler de local Acondicionamiento de local Otros directamente relacionados con la actividad... D.-Gastos por publicidad/difusión Edición de material publicitario (folletos, carteles, invitaciones)... Distribución material publicitario Anuncios en medios de comunicación Difusión de resultados E.-Gastos por asistentes Documentación para asistentes... Emisión de certificados/diploma de asistencia Otros directamente relacionados con la actividad. 11

52 Ministerio de Asuntos Exteriores y de Cooperación - Estamos ante un modelo de presupuesto dirigido a proyectos de establecimiento de servicios o infraestructura en países objeto de cooperación internacional. Se da mayor relevancia a las partidas de inversión (país de destino) y poco al coste de gestión que se hace en España. Apenas tenemos visión de la estructura de la entidad española. DISTRIBUCION POR FINANCIADORES: CONCEPTO AECI Solicitante Otras Entidades o Particulares TOTAL GASTOS A.1. GASTOS DIRECTOS DE INVERSIÓN A.1.1. Adquisición de terrenos y/o inmuebles A.1.2. Construcción y reforma de inmuebles A.1.3. Otras infraestructuras A.1.4. Equipos y material inventariable A.1.5. Trabajos y estudios inherentes a la inversión TOTAL GASTOS DIRECTOS DE INVERSIÓN (A.1.) A.2. GASTOS DIRECTOS CORRIENTES A.2.1. Arrendamiento de terrenos y/o inmuebles A.2.2. Suministros y material no inventariable A.2.3. Trabajos y estudios (locales) A.2.4. Trabajos y estudios (expatriados) A.2.5. Viajes, estancias y dietas A.2.6. Evaluación externa final (solo para contribuciones AECI superiores a euros) A.2.7. Sensibilización en España vinculada al proyecto TOTAL GASTOS DIRECTOS CORRIENTES (A.2.) TOTAL GASTOS DIRECTOS (A) B. GASTOS INDIRECTOS B.I. Gastos administrativos del solicitante (Coordinación, prensa y logística) B.II. Gastos administrativos de contraparte local TOTAL GASTOS INDIRECTOS (B) TOTAL GRAL. EN EUROS Desglose por clasificación del gasto: Gastos corrientes A.2. + B Gastos de inversión A.1. 12

53 2.4. Herramientas de gestión Contabilidad La definición de contabilidad nos dice que es la ciencia de naturaleza económica, cuyo objeto es producir información que haga posible el conocimiento del pasado y el presente de la realidad económica de la entidad en términos cuantitativos, con la finalidad de dar apoyo a la toma de decisiones de carácter financiero a nivel externo y a decisiones de planificación y control interno. Es decir, son un conjunto de herramientas que nos permiten expresar la imagen fiel del patrimonio, de la situación financiera y de los resultados de la gestión de la entidad. Para qué nos sirve la contabilidad a la hora hacer un presupuesto? Los objetivos principales de la contabilidad son: Dejar constancia de las operaciones económicas realizadas. Aportar información para poder interpretar lo acontecido en el pasado y ayudar a tomar decisiones en el futuro. Los registros económicos que se produzcan a medida que se va realizando el proyecto, serán nuestro indicativo de que las tareas o actividades se están realizando, qué coste tienen y si son superiores o inferiores a lo presupuestado. Esa comparación entre costes es lo que denominamos control de gastos e ingresos. Y según se produzcan desviaciones con el presupuesto, deberemos ir corrigiéndolas, o advirtiendo de ellas. La contabilidad también nos da una imagen de aquéllo que ha pasado; puede sernos muy útil cuando estemos haciendo un presupuesto para un proyecto de continuidad. Aunque tendremos que tener en cuenta las actividades del proyecto tal y como se hayan descrito. Si nos planteamos la creación de nuevos proyectos, teniendo en cuenta los recursos existentes de la entidad, sabremos cuáles son, qué coste de mantenimiento suponen y cómo se han utilizado en el pasado. Tendríamos que calcular de cero qué necesitaríamos para adaptarlos y hacerlos adecuados al proyecto esperado. Ejemplo: Recibimos una donación de un particular que nos cede una vivienda, nos planteamos crear un proyecto de centro de día que acoja personas que viven con VIH sin recursos económicos. El año anterior rehabilitamos la vivienda para adecuarla a dar servicios de talleres de formación y grupos de ayuda mutua. Sabemos lo que nos costó mantener la casa (suministros) y las obras de reforma. Tendremos que presupuestar si necesitamos alguna rehabilitación o adaptación más y los gastos que se producirían de la realización del proyecto. Pero tenemos unos datos anteriores que nos servirán de guía para preparar el presupuesto. 13

54 Para qué nos sirve la contabilidad dentro de la entidad? A nivel interno: Tiene el fin casi exclusivo, de darnos información interna de la propia organización. A nivel externo: Dirigida a personas e instituciones fuera de la asociación con intereses en esa información. Por ejemplo: socios/as, personal contratado, patrocinadores, entidades de crédito, organismos públicos y privados. Qué características tiene que tener la información contable externa? - Claridad. La información suministrada tiene que ser comprensible y útil para las personas que les corresponda tomar decisiones económicas. - Inteligibilidad. Que se pueda entender, para ello tiene que cumplir algunos requisitos: o Seguir una determinada terminología o Seguir una determinada presentación - Credibilidad social. Tiene que ser una información garantizada, se consigue cumpliendo dos condiciones: o Ser objetiva. Cumplir los principios de la contabilidad generalmente aceptados 1 o Estar revisada. A través de auditorías de cuentas. Libre de errores materiales y que sea neutral (que siga el marco conceptual de la contabilidad 2 ) - La información contable tiene que ser oportuna - La información contable tiene que ser accesible - La información contable tiene que ser relevante y completa. Auditoría interna o externa La auditoría interna es un proceso que establece la propia entidad para tener un punto de reflexión sobre los objetivos, los proyectos/actividades y la gestión económica. Puede ser parcial, auditando un proyecto concreto para evaluar los resultados a corto plazo y poder implementar correcciones en caso de desviaciones, o completa revisando el estado de resultados de la entidad. Esta auditoría podría ser periódica si se tiene un modelo de calidad total implantado (ISO 9001, Modelo EFQM 1 Principio de Empresa en funcionamiento. Principio de Prudencia Principio de fecha de devengo Principio de No compensación Principio de Uniformidad Principio de Importancia Relativa 2 Real Decreto 1515/2007, de 16 de noviembre, por el que se aprueba el Plan General de Contabilidad de Pequeñas y Medianas Empresas y los criterios contables específicos para microempresas. 14

55 de Excelencia, etc) y si como objetivo de la auditoría está la presentación de cuentas a socios o patronos. La auditoría externa, conlleva la participación de especialistas externos que revisan y evalúan la gestión de la entidad (finanzas, procedimientos, LOPD, etc.), el auditor es quien determina si se cumplen o no los parámetros legales que se examinan y es quien certifica la auditoría. Una auditoría externa, puede ser motivada por diferentes situaciones, bien porque se ha de certificar dentro un de modelo de calidad, bien porque se ha de presentar dentro de una memoria justificativa ante una entidad externa (patrocinador, organismo público, etc.), porque sea un requisito para pertenecer a un grupo (federación, confederación, etc.), o porque sea requerido para la solicitud de un producto financiero. Desviaciones financieras. Ya hemos mencionado anteriormente que uno de los objetivos de una correcta gestión financiera de los proyectos en una entidad, es la detección y corrección de las desviaciones, y el presupuesto es una herramienta perfecta de control económico. Para poder analizar el presupuesto tenemos que llevar las cuentas claras, ya que la información contable acumulada y llevada al día, es la base para poder calcular las desviaciones. Cómo calculamos las desviaciones? Cantidad Presupuestada Cantidad Real = Diferencia Desviación= diferencia entre presupuesto y realizado X 100 Presupuesto Un modelo para medir las desviaciones financieras de un proyecto es: INGRESOS Ingresos Propios Cuotas socios/as, fiestas y ventas (merchandising) Patrocinadores, colaboradores Subvenciones Públicas y donaciones Ingresos financieros Ingresos Extraordinarios TOTAL INGRESOS Presupuesto Realizado Diferencia Dif. en % GASTOS Gastos de Personal Gastos de Suministros Otros servicios Otros Gastos Gastos Financieros Gastos Extraordinarios TOTAL GASTOS 15

56 3. Caso Práctico Definición del proyecto y tareas Título: Elaboración de material informativo sobre prevención del VIH y reducción de prácticas de riesgo. Objetivos: 1. Promover la prevención sexual del VIH. 2. Informar y fomentar la prevención de la transmisión del VIH y otras enfermedades de transmisión sexual (ETS). Alcance: Información básica sobre la transmisión del VIH Información sobre reducción del riesgo Información básica sobre ETS Ámbito: Nacional, el material se distribuirá gratuitamente por toda España Colectivo al que va dirigido: Jóvenes entre 13 y 18 años. ONG Centros de Educación Secundaria Periodicidad: Una campaña en Tareas: Definición del contenido del material informativo: Información básica sobre el VIH y sus mecanismos de transmisión Información sobre herramientas de prevención del VIH Contenidos sobre otras ETS Guía de recursos ONG Preguntas frecuentes Publicidad Redacción de contenidos Corrección ortotipográfica y de estilo Gestión de proveedores Diseño, ilustración y maquetación Impresión Distribución Edición digital para la Web Por la definición que se han hecho de las tareas, ya podemos ir perfilando los roles que van a participar en el proyecto. Además tendremos en cuenta los que intervendrán de manera parcial. 16

57 Personal Directo: Coordinador/a del proyecto 2 Redactor/a especializado en prevención del VIH y ETS Corrector/a ortotipográfico y de estilo Maquetista Diseñador/a gráfico Ilustrador/a (se externalizará) Personal Transversal: Coordinador/a entidad Personal Administrativo Webmaster Una vez tengamos el detalle de las personas que van a participar directamente, deberemos empezar a calcular los costes económicos. Aplicaremos las distintas fórmulas de cálculo a partir de la información detallada que nos facilite el coordinador/a del proyecto. (Número de horas de dedicación) Empezaremos enumerando todos los recursos que serán necesarios para realizar la guía. A veces es más fácil empezar por los recursos materiales ya que los suministros o de infraestructura son consecuencia de ellos. Vamos a necesitar ordenadores, en consecuencia nos harán falta mesas, sillas, lámparas (mobiliario). Por tanto se requerirá un espacio para poder realizar la actividad de elaboración y coordinación de la guía. Si se dispone de un local tendré que mantener unos suministros básicos: agua y luz. Puedo contratar un servicio de limpieza o de seguridad. Sería muy recomendable tener un seguro por si hay algún siniestro o desperfecto. También vamos a necesitar conexión a Internet, para ello vamos a tener que contratar una línea telefónica, o un teléfono móvil y conexión ADSL inalámbrica, etc. En la definición del proyecto, en el apartado de Alcance se tendrá que haber definido el número de ejemplares de la guía, los lugares dónde vamos a distribuirla, medio de distribución, y si se hará una versión para colgar en nuestra web. Así mismo, es posible que el coordinador/a del proyecto detecte una necesidad de formación para las personas que redactarán la guía (por ejemplo son expertas en prevención del VIH, pero desconocen muchas de las enfermedades catalogadas como ETS). Anualmente se realizan unas jornadas de formación específica sobre este tipo de enfermedades y se decide que los/las redactores/as asistan en tanto que es una actividad que se enmarca dentro del proyecto. Si las jornadas se realizan fuera de la ciudad donde residen, presupuestaremos el coste de transporte, alojamiento y dietas. Por último, tendremos en cuenta gastos vinculados al personal, por ejemplo si tenemos externalizada la realización de las nóminas o la contabilidad y, en cumplimiento de la normativa vigente, si tenemos implantado un Plan de Prevención de riesgos laborales. 17

58 Presupuesto económico CONCEPTOS PERSONAL 2 redactores/as Corrector/a ortotipográfico y de estilo Maquetista y diseñador/a gráfica Coordinador/a del proyecto Director/a Administrativo/a Webmaster MANTENIMIENTO COSTE TOTAL Coste del Personal directo siempre será superior al coste del personal transversal Gastos Local: Alquiler del local Servicio de limpieza del local 600 e Póliza de seguro del local 250 Suministros: Agua, luz, gas y combustibles 700 Comunicación: teléfono fijo, móvil y ADSL, fax, correo y mensajería Imputación de costes por porcentaje. ACTIVIDADES Gastos servicios independientes: Ilustraciones para la guía (5 x 125 ) 625 Impresión de la guía (5.000 ejemplares x 2,57 /u) Manipulado y ensobrado de las guías 175 Distribución de la guía por correo postal (180 asociaciones x /envío) Gasto del mantenimiento de la sección web dónde se alojará la 500 guía Gasto de gestoría, contable, labora y fiscal Gasto de mantenimiento y reparación de equipos informáticos 800 Gasto de mantenimiento y aplicación del Plan de Prevención de Riesgos Laborales y de exámenes médicos. 500 Imputación de costes por porcentaje. Material no inventariable: Material de oficina Material inventariable: Material informático: ordenadores portátiles Mobiliario: una mesa y una silla Material de consulta: libros especializados Gasto diversos: Gastos de formación: asistencia de dos redactores/as a la IV Jornadas sobre actualización en ETS en Santiago de Compostela TOTAL

59 ABORDAJE DE LA PERTINENCIA-RELEVANCIA PARA LA PLANIFICACIÓN, EL DISEÑO E IMPLEMENTACIÓN DE LAS INTERVENCIONES DE PREVENCIÓN Sonia Mayordomo López Facultad de Psicología - Universidad del País Vasco El no reconocer más que lo dado lleva a ignorar aquello que la realidad existente niega, es decir, aquello que no existe, pero que sería históricamente posible si se dieran otras condiciones [...]. Idealista es el esquema que antepone el marco teórico al análisis de la realidad, y que no da más pasos en la exploración de los hechos que aquellos que le indica la formulación de sus hipótesis (Martín-Baró, 1998) 1. Introducción Antes de comenzar con el abordaje teórico-práctico relativo a la pertinencia-relevancia, permítame contextualizar la razón de ser del manuscrito que tiene entre sus manos. La redacción del mismo responde a la demanda realizada por la organización Sida Studi con motivo de la organización de las II Jornadas Capacitando a las ONG/sida: mejorando la prevención del VIH. Las mismas constituyen un paso hacia delante y nacen como resultado de las conclusiones obtenidas en el estudio Diagnóstico de intervenciones grupales de las ONG para la prevención del VIH/sida entre jóvenes escolarizados/as (León y Lozano, 2008). En este estudio, se realiza una adaptación de la metodología Ready, Steady, Go! (Ross, Dick y Ferguson, 2006) al medio que nos compete, con el objeto de observar cuál es el estado de la cuestión dentro de las ONGs españolas que abordan intervenciones de prevención sexual de carácter grupal y en el contexto escolar. Esta metodología coincide con las teorías clásicas de la evaluación de programas cuando considera que una de las variables de proceso a tener en cuenta cuando nos planteamos la posibilidad de diseñar un programa de intervención debe ser la relevancia-pertinencia del mismo. Desde este punto de vista, se parte de la asunción de que una intervención debe llevarse a cabo en la medida que los objetivos y contenidos abordados en la misma resulten relevantes para la población sujeto a la que va dirigida. Dicho de otro modo, una intervención sería pertinente en la medida en que se circunscribe al objeto de estudio, atiende a las necesidades propias del colectivo al que se dirige y traduce dichas necesidades en la formulación de objetivos programáticos que responden a la resolución de éstas.

60 De lo dicho anteriormente ya se puede deducir que una intervención que pretenda responder a criterios de pertinencia-relevancia debe tener muy en cuenta las variables de contexto. Nos referimos a que la intervención responda a las necesidades de la población sujeto y sea sensible a la realidad contextual en la que viven. No obstante, volviendo al estudio de León y Lozano (2008), los resultados que en él se nos muestran no son especialmente halagüeños. Así, los autores concluyen que la muestra de ONGs que participaron en el estudio cuenta poco con la opinión de los jóvenes y otros actores importantes (profesores, padres, políticos...) en la planificación y diseño de la intervención, y apenas se hacen pruebas piloto de las intervenciones. Todo ello repercute directamente en la no consideración de la pertinencia en las intervenciones. Como afirman muy acertadamente los autores de este estudio, en la medida que apenas se toma en cuenta la opinión de la población sujeto, y cuando sí se hace las fuentes de consulta a las que se accede son los docentes, las intervenciones que se implementan vienen planificadas de forma tecnocrática e unilateral. Y es que estas formas de hacer e implementar las intervenciones vienen soportadas en ocasiones por la convicción de que conviene prevenir antes de no hacer nada y que la experiencia nos avala en nuestras formas y modos de emprender la acción preventiva. A este respecto, quizás deberíamos detenernos a pensar varias cuestiones: 1) Toda acción intervencionista está impregnada de creencias, criterios valorativos e ideológicos que pueden estar sesgando nuestra visión de la realidad. Por ejemplo, para los que nos dedicamos al ámbito de la prevención sexual del VIH es una cuestión indudable la necesidad de abordar activa-formativamente temáticas relacionadas con los derechos afectivo-sexuales, reproductivos y preventivos de las personas, de la misma forma que un activista ecologista considerará indiscutible la necesidad de formar a las generaciones más jóvenes en la responsabilidad para con el medio ambiente y el desarrollo sostenible; 2) Si intervenimos pero no evaluamos nuestras intervenciones adecuadamente, realmente no estamos detectando si lo que estamos haciendo es válido y, lo que es peor, no nos damos la oportunidad de mejorar nuestras intervenciones en base a criterios rigurosos. Qué pasaría si al cabo de todos estos años hacemos una evaluación de programas y de resultados, y llegamos a la conclusión de que no estamos siendo certeros con los mismos? De qué habrá servido tanto esfuerzo?; 3) Por último, si planificamos y diseñamos nuestras intervenciones sin tener en cuenta ni el espectro contextual de la población sujeto ni sus necesidades corremos el riesgo de caer en un artificialismo programático que poco refleje las verdaderas inquietudes y realidades de la población sujeto del mismo. 2

61 Qué pasaría si se realizara una detección de necesidades global y se observara que entre los jóvenes escolarizados la prevención sexual del VIH no es considerado un tema prioritario como tal para ellos? Deberíamos sensibilizar o seguir interviniendo? Nos llegaríamos a preguntar si quizás nuestros programas han propiciado efectos negativos inesperados que repercuten directamente en la quemazón de información redundante que posee la población sujeto?... Por todo lo comentado, queda de sobra argumentada la pertinencia de considerar el análisis/evaluación de necesidades (o contexto) como un proceso más en la planificación y diseño de programas de intervención. 2. Cómo realizar un estudio sobre la pertinencia de la intervención? a. Contextualización del análisis/evaluación de necesidades (o contexto) Cualquier intervención social se lleva a cabo a través de un proceso de toma de decisiones, que se pone en marcha ante la existencia de algún tipo de demanda social. La solución de las necesidades que han originado tal demanda se convierte en el motor del plan de acción que nos llevará al establecimiento de objetivos (generales y específicos), a la planificación y puesta en marcha de la intervención y, finalmente, a su valoración. Así, la valoración se convierte en el recurso social para contrastar si unas necesidades y demandas existentes y atendidas se ha resuelto (Fernández- Ballesteros, 1998). La pertinencia es entendida como la medida por la cual un programa responde a unas necesidades concretas de la población atendida (Ubillos, 1995; Ubillos, Insúa, de Andrés, 1999). Así, llegar a emitir un juicio sobre la pertinencia (o no) del diseño e implementación de un programa de intervención en un contexto dado y con una población sujeto determinada, pasa por realizar un análisis/evaluación de necesidades 1. Aquí, y con el objeto de no llevar a equívocos, se debe puntualizar que nuestra consideración del análisis/evaluación de necesidades (o contexto) es sinónimo de lo que autores como Rebolloso, Fernández y Cantón (2008) denominan evaluación del contexto. Estos autores consideran que en la evaluación del contexto 2 tendrían cabida la evaluación de necesidades y las evaluaciones diagnósticas, como dos procesos diferenciados. Sin embargo, nosotros asumimos que en la procedimentación del análisis/evaluación de necesidades (o contexto) queda subsumida la evaluación diagnóstica [es por ello que en este manuscrito se viene mencionando a la denominada evaluación de necesidades como análisis/evaluación de necesidades (o contexto) ]. 1 Entendiendo la necesidad como una discrepancia entre el estado actual y el fin deseado 2 Fase inicial del proceso de intervención-evaluación en la que se describen y valoran las condiciones sociales amplias que enmarcan el problema social y la propia intervención. 3

62 El análisis/evaluación de necesidades (o contexto) es una modalidad de investigación social aplicada que consiste en identificar y priorizar los problemas 3 existentes en un contexto determinado, como base para la planificación de intervenciones que incidan sobre las principales carencias detectadas (Hernández, Pozo y Alonso, 2004). Concretamente, el análisis/evaluación de necesidades (o contexto) conducirá a tomar decisiones sobre los objetivos y metas a alcanzar, las acciones a poner en marcha y la aplicación de recursos. Dicho de otro modo, el análisis/evaluación de necesidades (o contexto) determinará la elaboración del programa (Ubillos, 1995; Ubillos, Insúa, de Andrés, 1999). No obstante, a pesar de que el análisis/evaluación de necesidades (o contexto) se constituye en una actividad imprescindible para el diseño de programas, y que existen amplia variedad de métodos de investigación disponibles para el desarrollo de este tipo de estudios (véanse Modelo de Rossett, Modelo de Kauffman, Modelo de Cox...) la práctica del análisis/evaluación de necesidades (o contexto) se caracteriza por cierta pobreza metodológica, con un claro predominio de la encuesta como principal o único método de recogida de información (Hernández, Pozo y Alonso, 2004). A modo de ejemplo, el estudio de revisión realizado en 1994 por Witkin da pruebas de esta aseveración. Concretamente, este autor después de revisar una gran cantidad de informes de análisis/evaluación de necesidades (o contexto), subraya que gran parte de los trabajos (69%) utilizan una técnica de recogida de datos (eminentemente la encuesta). Además, la mayoría de las evaluaciones que emplean dos o más métodos, tienen el cuestionario como fuente principal de información. Otra de las realidades con la que nos encontramos es que gran parte de los estudios que abordan un análisis/evaluación de necesidades (o contexto) no cuentan con un modelo teórico de referencia que los respalde, no priorizan las necesidades de la población, ni realizan juicios con respecto a los problemas que han sido detectados. El análisis/evaluación de necesidades (o contexto) se convierte así, en un mero informe que ofrece información generalista y de carácter descriptivo y que de poco sirve de cara a la planificación de la intervención (Hernández, Pozo y Alonso, 2004). b. Tipos o criterios de necesidades Para que la realidad descrita en las líneas anteriores no sea la nuestra, como punto de partida es necesario establecer una diferenciación entre los tipos o criterios de necesidades que se han documentado en la literatura. Dicha puntualización viene motivada por el hecho de que cada uno de ellos puede implicar a actores diferentes y, consecuentemente, el tratamiento y abordaje de las mismas también puede ser diferencial. Por tanto, la detección de las necesidades en los términos expuestos es un 3 Situación o estado considerado como deficiente en relación a lo que se adopta como normal en un contexto 4

63 objetivo a tener en cuenta (en el anexo 2 se aporta un esquema simple para abordar este cometido). Los diferentes tipos o criterios de necesidades son: - Necesidad Normativa: Es aquella necesidad es que está basada en el criterio experto de lo que, en base a su criterio y experiencia, es adecuado o necesario. Con la utilización de este tipo de criterio corremos el riesgo de caer en una visión muy elitista y unilateral de la necesidad. - Necesidad Percibida: la que es sentida subjetivamente por la población sujeto y que puede ser (o no) expresada abiertamente. Formas frecuentes de evaluar este tipo de necesidades son las encuestas de opinión públicas, las convocatorias abiertas a propuestas, etc. No obstante, en este caso se debe señalar que las expectativas subjetivas que definen las necesidades sentidas tienen el riesgo de ser poco realistas o estar sesgadas por la experiencia particular de la población sujeto. - Necesidad Expresada externamente que coincide aproximadamente con la definición completa del problema social patente. Esta modalidad de necesidad puede ser captada por medio del uso de los servicios sociales existentes (p. e., si se registra un gran numero de consultas de jóvenes en nuestra asociación que demandan pautas para negociar de forma eficaz el uso del preservativo en relaciones esporádicas, tendremos que plantearnos la posibilidad de la existencia de una necesidad concreta en ese área que en cierto modo debiera ser abordada en nuestros programas de intervención) o la expresión social externa (p. e., concentraciones o manifestaciones). A este respecto, debemos tener en cuenta que este tipo de necesidades pueden estar sometidas a las distorsiones sociales fruto del padecimiento del problema social y su presencia efectiva y visible. - Necesidad comparativa: se obtiene al examinar los servicios que se ofrecen a la población en una zona utilizando esos datos para definir qué servicios se necesitan en otra zona con una población comparable. Por último, como hemos visto, cada uno de estos enfoques o tipos de necesidad tienen sus ventajas y desventajas. Por ello, es aconsejable que el análisis de necesidades esté basado en varios de ellos (nunca en uno solo) con el objeto de compensar lo sesgos propios de cada enfoque (Pérez-Llantada y López de la Llave, 1999; Sánchez Vidal, 2002). c. El análisis/evaluación de necesidades (o contexto) Para qué? Entre los objetivos que motivan el análisis-evaluación de necesidades (o contexto) cabe destacarse los siguientes: 5

64 - Analizar problemas y necesidades. Este puede ser considerado el objetivo primero a partir del cual discurren el resto de objetivos que vamos a ir nombrando y explicando. No obstante, es este punto es de reseñar diversas cuestiones importantes. En lo que respecta al análisis del problema resulta de vital importancia delimitar cuál es el problema y por qué sucede. Igualmente conviene averiguar si existe un consenso elevado al respecto, identificar los grupos sociales con intereses en la definición y la solución del problema, además de los valores sociales que determinan la relevancia de la cuestión. Así, la definición del problema tendrá como base las presunciones acerca de las causas que provocan y sustentan el problema, señalando qué comportamientos concurren y cuáles necesitan evitarse. Para trabajar sobre el problema o necesidad que precisa intervención, tenemos que definirlos en términos de conductas-problema, establecer indicadores para evaluarlo y analizar la pertinencia de estos indicadores. Es decir, debemos establecer si están justificados en términos sociales, si responden al problema o necesidad intervenida, si permiten determinar las consecuencias de poner en marcha o no el problema, si permiten determinar razones que aconsejen interrumpir el programa, si permiten evaluar y decidir si modificar, parar o continuar, y si se corresponden con las metas a corto, medio y largo plazo establecidas. Cuando podamos responder afirmativamente a estas preguntas, estaremos en disposición de decir que hemos identificado adecuadamente los indicadores relacionados con el problema sobre el que vamos a trabajar. Acto seguido, debemos traducir el problema y su definición en términos operativos. Esto supone concretarlo de manera que sea manejable, es decir, que se puedan establecer y cuantificar cada uno de sus elementos. Dicho de otro modo, debemos definir el problema en términos de las variables relevantes que lo componen, que nos permitan su medida, manejo y/o su tratamiento (Rodríguez- Marín, Cañadas, García del Castillo y Mira, 2007). Por otro lado, en muchas ocasiones en la definición del problema se confunde el problema con las soluciones (p. e., se concluye que el problema viene definido por la falta de recursos, cuando la dotación de recursos constituye una posible vía de solución) o con las condiciones sociales -p. e., la inmigración en sí misma no es un problema sino una condición social que se convierte en problema cuando algún grupo o colectivo la percibe como tal- (Rebolloso, Fernández y Cantón, 2008). Finalmente, una herramienta útil para realizar un exhaustivo análisis del problema surge de la aportación de Kettner, Moroney y Martin (1999) y se muestra en el anexo 1 de este mismo manuscrito. Por lo que respecta al análisis/evaluación de las necesidades (o contexto), es de subrayar su importante cometido en la medida que cumple un 6

65 papel intermedio dentro del proceso de planificación, entre la definición del problema social y la puesta en marcha de la intervención. - Conocer a qué poblaciones hay que prestar servicios. Y es que no se debe olvidar que el análisis/evaluación de necesidades (o contexto) se centra en el análisis de los problemas que afectan a un determinado grupo o población, es decir, en las necesidades sociales frente a las de carácter individual (véase punto anterior y anexo 1). - Establecer un orden de prioridades: Conviene recordar que el análisis/evaluación de necesidades (o contexto) no se limita a describir los problemas existentes sino que valora su importancia o gravedad a través del establecimiento de prioridades y determina los problemas de solapamientos, conflictos políticos o dificultades de coordinación entre agencias que ofrecen servicios relacionados con la misma necesidad. - Valorar recursos. El resultado de un análisis/evaluación de necesidades (o contexto) debe ante todo, de cara al diseño de la intervención, plantear objetivos realistas, además de pertinentes y relevantes. Así, la organización debe realizar una reflexión que lleve a determinar si con los recursos con los que se dispone, se pueden abarcar cada una de las necesidades detectadas y calificadas como prioritarias. Si no fuera factible abordar alguna y justamente dicha necesidad fuera calificada de máxima prioridad, será el momento de concentrar todos los esfuerzos en la implicación de las instituciones, organizaciones con objetivos comunes a la propia y demás actores sociales para el abordaje de dicha necesidad. - Determinar la pertinencia de los programas. Sobran las palabras en este punto... d. El análisis/evaluación de necesidades (o contexto) Cómo? Según Fernández-Ballesteros (1995), a la hora de abordar un análisis/evaluación de necesidades tenemos que tener presentes, como punto de partida, 5 preguntas clave. Nos estamos refiriendo a las siguientes cuestiones: 1) Quién solicita la evaluación?; 2) Para qué se solicita?; 3) Qué se pretende evaluar?; 4) Qué obstáculos pudieran producirse durante la evaluación?; 5) Es posible llevar a cabo la evaluación? Otras preguntas susceptibles de reflexión inicial podrían ser: a) A qué nivel debe evaluarse el problema?; b) Quién se opone o apoya las conductas problema?; c) bajo qué condiciones ocurren las conductas problema?; d) Qué incentivos tienen las conductas problema?; e) Qué consecuencias negativas tienen?; f) Cuáles son los incentivos actuales para el cambio?; g) Cuáles son las personas más influyentes con 7

66 referencia al problema? h) Cómo ejercen la influencia?, etc. (Rodríguez-Marín, Cañadas, García del Castillo y Mira, 2007) Procedimentalmente hablando, implementar una análisis/evaluación de necesidades (o contexto) pasa por abordar al menos las cinco primeras fases de las seis que se mencionan a continuación (en el anexo 3 y subsiguientes se abordan de forma práctica las cuestiones que se van a mencionar a continuación): 1. Fase de Planificación: En ella debemos por un lado definir el objetivo y acto seguido buscar información. Para ello, debemos tener claro cuáles van a ser las fuentes de información. La elección de las fuentes está condicionada por lo que se quiere medir, la naturaleza del programa, los objetivos, los recursos humanos, técnicos y financieros disponibles, la posibilidad de acceder a las fuentes y la disponibilidad de tiempo. En este punto es aconsejable analizar qué se ha hecho hasta la fecha en otras comunidades o en otros programas y con qué resultados. Ello nos proporcionará una visión útil, nos ahorrará costes y nos permitirá contrastar nuestras primeras hipótesis con resultados empíricos. Para terminar, debemos analizar si las fuentes consultadas son suficientes y asignaremos significado a la información o datos recogidos e integrados a partir de ciertos criterios lógicos, teóricos, experienciales referidos a los valores personales, profesionales, organizacionales o sociales dominantes (Rodríguez-Marín, Cañadas, García del Castillo y Mira, 2007). El siguiente paso será seleccionar (o diseñar) instrumentos para obtener información: En este punto cabe señalar que no sólo es necesario (en la mayoría de los casos), sino también conveniente integrar las metodologías cuantitativas y cualitativas, puesto que la utilización de ambas metodologías potencia la obtención de la información (esta cuestión la abordaremos con más detenimiento en puntos subsiguientes). A continuación, desde un prisma realista pero no por ello eficiente, debemos prever los recursos humanos y materiales con los que vamos a poder contar de cara al diseño e implementación del programa (no hagamos de nuestra labor la máxima quien mucho abarca poco aprieta ; lo cual no quiere decir que no aspiremos a implementar objetivos maximizadores que se enmarquen dentro de nuestras posibilidades). La última subfase, contemplará la selección del procedimiento a seguir en la aplicación de la evaluación de necesidades (véase anexo 3). 2. Fase de Aplicación: En esta fase se debería formar profesionales, si es que así se ve necesario. A continuación deberíamos documentarnos (selección de documentos, archivos, referencias bibliográficas, experiencias documentadas, etc.) a la vez que contactamos con las fuentes de información que hayamos determinado en la fase previa. A continuación, en el caso de que hayamos 8

67 decidido utilizar como herramienta del análisis/evaluación de necesidades (o contexto) algún instrumento de medida (p. e., encuesta) no estaría de más hacer una prueba-piloto con el mismo (aunque sólo sea a nivel reducido o, al menos, que simplemente contemple la deliberación de otros profesionales con respecto a la calidad de las cuestiones demandadas y el grado de claridad en la que se exponen los términos a tratar). Finalmente, en el caso de que hubiéramos optado por recabar la información sobre el problema-necesidad a partir de algún tipo de instrumento de medida, en este punto deberíamos aplicárselo a la población sujeto (véase anexo 4). 3. Fase de Análisis y Diagnóstico. En esta fase se van a realizar los análisis de contenidos y/o estadísticos (dependerá de los instrumentos utilizados que se realice uno, otro o ambos). A partir de los resultados hallados podremos identificar situación actual y la deseable. A continuación, debemos reflexionar en torno a dicha comparativa incorporando un análisis realista de los recursos de los que disponemos para intentar conseguir que la situación actual sea a futuro la deseable (o, al menos, se le acerque). También es el momento de identificar las discrepancias encontradas entre las informaciones vertidas por cada fuente de información. Este apartado es importante a realizar en la medida que constituye una forma de escuchar a todas las partes implicadas en el proceso. También nos va a permitir omitir acciones, afirmaciones o consideraciones sobre la base de aquellas apreciaciones o visiones de la realidad de los actores que operan en términos subjetivos y que son sesgadas (a la luz de las informaciones obtenidas a partir del resto de fuentes de información a las que hemos accedido podremos identificar éstas). Una vez que hemos intentado evitar toda visión sesgada y contamos con una visión más cercana a la realidad es hora de definir de nuevo el problema e intentar identificar sus causas, siempre tomando ahora como punto de partida la nueva información con la que contamos (véase anexo 5). 4. Fase de Toma de Decisiones. Es el momento de tomar las decisiones que llevarán a abordar algunas cuestiones y desechar otras en la futura intervención. Para realizar esto, inicialmente debemos someter a un análisis a cada una de las necesidades detectadas. El objetivo de ello no es más que el establecimiento de prioridades frente a estas necesidades. En el establecimiento de dichas priorices debemos atender a: a) la importancia de las misma; b) la capacidad para atenderlas en nuestro futuro plan de intervención; y, c) su factibilidad tanto desde un punto de vista legal como político, económico, organizacional, sociocultural y ético. Una vez establecidas las prioridades, tendremos identificadas una serie de necesidades que serán las que abarcaremos en nuestra futura intervención. Ahora 9

68 es el momento de buscar soluciones a las mismas para después elaborar una propuesta formal de cara al diseño e implementación de la intervención (véase anexo 6). 5. Fase de elaboración del Informe. El informe que realicemos a la luz de la labor realizada en las fases anteriores deberá de contar con los siguientes apartados: a) Antecedentes del hecho: En él explicaremos todo el proceso de detección y análisis del problema; b) Objetivos: plantearemos cuáles han sido los objetivos que nos hemos marcados en este proceso de análisis/evaluación de necesidades (o contexto); c) Metodología: Aquí señalaremos al menos cuántas han sido las fuentes de información a las que hemos accedido, de qué forma lo hemos hecho y qué instrumentos hemos utilizado para recabar la información; d) Resultados: plantearemos de forma detallada los resultados encontrados a partir de los análisis realizados; e) Conclusiones: plantearemos las conclusiones a las que hemos llegado a la luz de los resultados encontrados; y, f) Propuestas: formularemos propuestas formales que serían realmente abarcables por nosotros para la resolución del problema (véase Anxo 7). 6. Fase de Divulgación de Resultados: Llega el momento de hacer que el informe sea conocido en la comunidad. En este proceso debemos deliberar a) Cuál va a ser la información que se va a difundir; b) A qué usuarios de la información vamos hacérsela llegar: aquí es importante reseñar que es importante y positivo contemplar expresamente la devolución de los resultados y conclusiones a aquellos informantes que han tomado parte activa en este análisis/evaluación de necesidades (o contexto); c) Cuándo se va a difundir; d) Qué recursos se necesitan para la difusión; y, d) Cuál es el medio idóneo para su difusión. Así de esta deliberación surgirán las conclusiones que nos llevarán a divulgar nuestros resultados a los informantes, usuarios, grupos, comunidades e instituciones que creamos que deben saber de los mismos. e. El análisis/evaluación de necesidades (o contexto) Con qué? Tal y como se ha venido recalcando en puntos anteriores, para llevar a cabo un análisis/evaluación de necesidades (o contexto) debemos contar con una serie de instrumentos que nos faciliten la delimitación del problema-necesidad y nos ayuden a determinar las soluciones pertinentes. Así, podemos contabilizar una gran variedad de instrumentos idóneos para el abordaje de nuestro cometido. Estos pasan desde los documentos técnicos o bibliográficos hasta las técnicas cualitativas de carácter grupal. Muchos de los instrumentos que ya han sido mencionados en este manuscrito no 10

69 refieren ninguna explicación específica y otros ya han sido expuestos en otros manuscritos de este mismo libro (véase Agirrezabal). Por ello, en este apartado nos detendremos en aquellos instrumentos que consideramos (ya sea por su grado de tecnicidad o porque consideramos que son instrumentos poco conocidos, etc.) importantes a señalar. Efectuar cualquier clasificación de los instrumentos útiles de cara al análisis/evaluación de necesidades (o contexto) puede considerarse incompleta desde el punto de vista en que se analice. No obstante, consideramos que efectuar una delimitación en función de las fuentes de las cuales recabamos la información puede resultar esclarecedor a la vez que pedagógico. Por ello adoptaremos esta visión en las líneas siguientes. 1. Instrumentos de carácter teórico, técnico y/o experiencial: Dentro de este tipo de instrumentos podemos encontrarnos con los siguientes: a) Manuscritos de carácter institucional (p. e., aquellos que nos proporcionan entes sanitarias de carácter estatal, regional o local); b) Indicadores sociales y/o epidemiológicos; c) Bibliografía especializada o de carácter científico; d) Estudios contextuales; e) Experiencias documentadas (sobre todo del ámbito comunitario) de situacionesproblema similares a las percibidas en nuestro caso y en comunidades con un perfil similar a las nuestras; f) documentos internos de la propia organización, g) inventario de recursos (para más detalle véase páginas siguientes), etc. La selección de estos documentos en una fase inicial de la detección del problema resulta imprescindible en la medida que nos ayudan a contextualizar el mismo a la vez que supone un ahorro de tiempo y costes. En definitiva, resultaría interesante contar con al menos dos de los instrumentos mencionados como fuentes de análisis sobre todo en fases iniciales del análisis/evaluación de necesidades (o contexto). La elección de uno u otro recurso documental vendrá determinado eminentemente por el objetivo del proyecto y la accesibilidad que tenga el profesional al mismo. 2. Instrumentos dirigidos a recabar información de los propios actores sociales inmersos en la problemática fuente de análisis: Aquí debemos de diferenciar entre instrumentos de carácter cualitativo e instrumentos de carácter cuantitativo. El empleo de 2 o más instrumentos que a su vez presenten caracteres diferenciados (cualitativo vs. cuantitativo) enriquecerá sin duda el análisis/evaluación de necesidades (o contexto) en la medida que proporciona una visión de la misma problemática desde ángulos diferentes y compensa los sesgos de medición presentes en cada uno de ellos. 11

70 a) Instrumentos de carácter cualitativo (o mixto): Entre este tipo de instrumentos podemos destacar: la entrevista con miembros de la población sujeto, la entrevista con informantes clave, los grupos o foros comunitarios y los talleres de identificación a partir de las impresiones de la comunidad (para más detalle sobre los mismos consúltese manuscrito de Agirrezabal en este mismo libro). Además de los mencionados también caben destacarse las técnicas de Brainstorming o lluvia de ideas, los grupos de discusión, el grupo central (Focus Group) o entrevista en grupo, la técnica de sondeo de problemas, los grupos nominales, el sistema de ideas clave, los campos de fuerzas y la matriz de decisiones. Por su grado de tecnicidad o complejidad en las líneas siguientes pasaremos a explicar con más detalle las 6 últimas técnicas mencionadas así como la técnica de inventario de recursos. Tal y como señalábamos anteriormente, la elección de una u otra técnica cualitativa vendrá determinada eminentemente por el objetivo del proyecto, la fase del análisis/evaluación de necesidades (o contexto) en la que nos hallemos y la accesibilidad que tenga el profesional a la misma. De todas formas, sin intentar determinar a priori y de forma unilateral cuál de los instrumentos es mejor, una aproximación a este cometido se señala en el cuadro de la siguiente página. b) Instrumentos de carácter cuantitativo: Entre este tipo de instrumentos podemos destacar: la encuesta, el cuestionario, la entrevista estructurada, las convocatorias abiertas a propuestas y la técnica Delphi. En las líneas que siguen explicaremos esta última (para una descripción de los 2 primeros instrumentos consúltese el manuscrito de Agirrezabal en este libro). e.1. El Inventario de recursos El inventario de recursos es entendido como una compilación de los servicios para uno o más grupos objetivos, normalmente en un área específica (McKillip, 1989). Dicho instrumento resulta útil en la fase de planificación y, especialmente, en la fase de diagnóstico del análisis/evaluación de necesidades (o contexto). Este un instrumento nos proporciona las claves para identificar quién proporciona los recursos y determinar cuáles son los recursos que son proporcionados. Así, a partir del inventario de recursos, además de obtener información sobre los tipos de recursos de que puede disponer la población, es necesario complementar estos datos con los referentes a la disponibilidad, accesibilidad y capacidad del recurso (véase anexo 9). En definitiva, sólo resultará útil para el inventario el recurso que esté aparentemente disponible a la comunidad y que sea igualmente accesible para todos. También es útil 12

71 FASE DEL ANÁLISIS/EVALUACIÓN DIMENSIONES DEL ANÁLISIS/EVALUACIÓN COSTE/BENEFICIO HERRAMIENTAS Planificación Busca Situac. Fuente Sit. actual S. deseable Diagnóstico Potencial Causa Sentimiento Def problema Toma de Decisiones Propuest Prioriz Solución Conocimiento Destreza Actitud Conducta directiva Coste diseño Coste utilización Facilidad aplicación Indicadores Sociales * ** * M M F Grupo Central *** * * * *** * * B M M Inventario de recursos * ** * *** * * M M M Sondeo de problemas ** ** *** * * * B M M Grupo Nominal * * * * ** *** *** * * * M A M Técnica Delphi * * * * ** *** *** * * A A D Sistema de ideas clave * *** *** *** * * M M D Grupos de Discusión * ** ** * * B M D Campos de Fuerzas ** ** *** *** * * * * M M D Matriz de decisiones ** ** * * * A M M Nota: *Buena; **Muy buena; ***Excelente Fuente: Adaptado de Pérez-Campanero (1994) Nota: *Indicador de... Nota: A=Alto; M=Moderado; B=Bajo; D=Difícil; F=Fácil 13

72 determinar qué cantidad del recurso se puede ofrecer a nuestra población sujeto -capacidad -, además de ubicar geográficamente los mismos localización (para más detalles véase Pérez-Campanero, 1994). e.2. El Grupo central (Focus Group) o entrevista en grupo La técnica de grupo central es especialmente válida en las fases de planificación y de diagnóstico del análisis/evaluación de necesidades (o contexto) en la medida que proporciona datos útiles en torno a las necesidades y/o problemas sentidos por la población sujeto de la intervención. De ahí que el objetivo de esta técnica sea la de obtener impresiones sobre sus condiciones de existencia social. Para implementar un grupo central debemos contar con: a) 1 o 2 moderadores que lideren la discusión y sean conocedores del problema o solución a examinar (la convivencia en o con la comunidad es una cuestión deseable para implementar esta técnica); y b) 8-10 participantes seleccionados para representar a la población sujeto. A este respecto, conviene que el grupo sea homogéneo al menos en términos de estatus social, ya que se pretende conseguir una libre interacción entre los miembros. El tiempo de la reunión puede oscilar entre una y dos horas, será presentada a los integrantes como una reunión-discusión (y no como una entrevista grupal) y contará con dos fases: 1) La introducción y presentación del tema. Aquí las reglas a contemplar serán: el tema debe ser presentado de forma neutral; se debe mostrar interés por el tema y no por las personas; se debe considerar el tema como un hecho objetivo; y, los participantes deben sentir que sus opiniones, impresiones y sentimientos son indispensables para aclarar el problema. 2) la entrevista propiamente dicha. Aquí los aspectos a tener en cuenta son: deben hablar todos; registrar (escrito/grabación) todas las opiniones; recoger todas las opiniones neutralmente; no criticar las aportaciones de los demás para evitar la no participación; reformular constantemente las opiniones que llevan a conflictos internos; sólo se consideran definitivas las propuestas aceptadas por todos; buscar la conciliación entre ideas que son aparentemente contradictorias; y, realizar una síntesis permanente: de las ideas, palabras, conceptos, expresiones que puedan llevar a error y reajustar las palabras hasta llegar a dar con una formula satisfactoria, etc. (para más detalles véase Pérez- Campanero, 1994). e.3. El Sondeo de Problemas El sondeo de problemas es una herramienta de gran utilidad en la fase de diagnóstico del análisis/evaluación de necesidades (o contexto) en la medida que ayuda a conocer 14

73 las causas del problema y a analizar la situación actual y deseada. Más concretamente entre las características más sobresalientes de este tipo de técnica es de destacar que: a) lleva a aislar con precisión la(s) causa(s) de un problema; b) aborda problemas significativos; c) incluye un análisis del estado actual comparándolo con lo que debería estar ocurriendo; d) la información proviene del grupo implicado; e) el propio grupo revisa los datos que él mismo genera; f) se analizan los cambios producidos hasta el momento; y, g) es el grupo el que redefine el problema y deduce su(s) causa(s). A la hora de implementar la técnica de sondeo de problemas contamos con tres fases claramente diferenciables: 1) La presentación del estado inicial de la situación por parte del moderador; 2) La sesión de trabajo en grupo para llegar al análisis de las causas. En este punto se abordarán los siguientes temas: a) análisis de lo que está ocurriendo; b) análisis de lo que debería estar ocurriendo; c) revisión de los datos y confección de una lista de discrepancias entre las anteriores etapas; d) confección de una lista de los cambios operados hasta el momento para comprobar si son fuente de problema; y, 3) La redefinición del (de los) problema(s) y su(s) causa(s). Por ultimo, en cuanto a la labor del moderador en esta técnica debemos recordar que: 1) debe presentar la situación al grupo de manera objetiva; 2) no debe implicarse ni oral ni gestualmente; 3) debe facilitar la participación; 4) debe reformular las cuestiones no comprendidas; 5) debe reducir la tensión; 6) debe conseguir que las conclusiones salgan del grupo; 7) debe procurar que se anoten las cuestiones en las que hay acuerdo; y, 8) debe resumir las conclusiones (para más detalles véase Pérez- Campanero, 1994). e.4. El Grupo Nominal Esta técnica facilita tanto la identificación de problemas como la propuesta de soluciones, por lo que es aplicable tanto en la fase de planificación como en las fases de diagnóstico y toma de decisiones. En definitiva, ésta constituye una técnica para la identificación de problemas y búsqueda de soluciones a través de la generación y evaluación de ideas, mientras se evitan los problemas de las dinámicas de grupo (Pérez-Campanero, 1994). Los aspectos más destacables y que caracterizan esta técnica son: 1) involucra en el problema a los grupos implicados; 2) se evitan los problemas de la interacción entre los participantes; 3) se produce un gran flujo de ideas y sugerencias; 4) permite detectar un gran número de dimensiones del problema; 5) genera muchas soluciones con frecuencia altamente diferenciadas; y, 6) facilita la plena participación de todos los asistentes. 15

74 En la técnica de grupo nominal se pueden diferenciar 6 etapas las cuales se describen a continuación: 1. Formulación. Aquí se enuncia la cuestión o situación y se formula una pregunta abierta que haga pensar en diferentes tipos de soluciones. La labor del moderador en esta etapa se va a rescindir a presentar el tema por escrito, leer en voz alta la pregunta, estimular al grupo para que escriba ideas clave breves y procurar que el trabajo se realice en silencia e individualmente. 2. Generación de ideas. Aquí se da un tiempo limitado (10-15 minutos) para que los participantes de forma individual escriban las diferentes alternativas. La labor del moderador en esta fase va a circunscribirse a la formulación con claridad del objetivo de esta fase. En este sentido, el moderador debe plasmar el pensamiento del grupo y para ello va a formular brevemente las ideas generadas en el grupo de participantes, evitando el duplicado de ideas y planteando pequeñas variaciones de las ideas cuando así lo crea conveniente. 3. Registro de ideas. El procedimiento a seguir en esta fase será el siguiente: a) se realizará una rueda de intervenciones sucesivas; b) las ideas generadas se anotarán en un rotafolios; c) no se harán comentarios ni se discutirán las ideas; d) se hará el registro de ideas con rapidez; e) se utilizarán las mismas palabras del participante; f) aunque, en algunos momentos se ayudará a resumir si así se cree conveniente; y, g) la lista se dejará en todo momento a la vista del grupo. La labor principal del moderador en esta fase será la de efectuar de forma eficaz un inventario de las aportaciones realizadas de forma rápida, con las mismas palabras y ayudando a resumir las mismas cuando sea conveniente. 4. Discusión. En este momento cada participante podrá explicar, clarificar, reelaborar y/o defender cualquiera de sus ideas. A continuación, se podrá añadir, combinar y/o condensar las ideas. Además, en todo el proceso debe quedar claro que la clarificación de las ideas es tarea del grupo y no una responsabilidad unilateral. El moderador en esta fase realizará las siguientes actividades: a) definirá verbalmente el objetivo de esta fase; b) creará el ritmo adecuado de trabajo; c) evitará la atención excesiva a una idea o que se abandonen las ideas previamente presentadas; y, d) evitará que se cargue a individuos aislados con la responsabilidad de determinadas ideas. 5. Votación preliminar. Aquí primero cada participante enjuiciará individualmente las ideas. Acto seguido cada uno elegirá las 5 mejores ideas y la escribirá en tarjetas. Posteriormente se entregarán las tarjetas y las ideas más votadas pasarán al rotafolios. Así, se producirá una información de retorno sobre los juicios preliminares. La labor del moderador en esta fase vendrá delimitada por las 16

75 siguientes actividades: a) pedirá a cada miembro que elija las 5 ideas más prioritarias de todas las registradas; b) indicará que cada una se escriba en una tarjeta; c) recogerá las tarjetas de cada uno de los participantes; d) realizará el recuento de las votaciones; y, e) escribirá en el rotafolios las ideas votadas por orden de puntuación. 6. Discusión de resumen. El procedimiento a seguir en esta última fase será: a) se realizará un comentario sobre los juicios preliminares; b) se efectuará un análisis de las incongruencias en la votación preliminar; c) se dará oportunidad de discutir nuevamente las propuestas que parezcan excesiva o mínimamente votadas; d) se aludirá de forma explícita sobre la posibilidad de que cada uno tenga una información diferente sobre las mismas cuestiones; y, e) Se realizará una votación final más exacta. Por último, las actividades asociadas a la figura del moderador en esta fase serán: a) formulará el objetivo de esta fase; b) realizará la formulación en términos de clarificación y no de presión al grupo; c) procurará que la discusión sea breve; d) evitará la distorsión de las propuestas ni discutidas; e) se asegurará que todos los participantes realizan una interpretación correcta de las cuestiones (para más detalles véase Pérez-Campanero, 1994). e.5. El Sistema de Ideas Clave (S. I. C.) Si bien esta técnica no es especialmente fácil en su aplicación, ha de decirse que constituye una de las herramientas más eficaces para la resolución de problemas y toma de decisiones. Esta técnica se caracteriza por la posibilidad que se ofrece a los miembros del equipo de expresar sus opiniones a través de la discusión escrita, complementada en la última fase por la discusión oral dirigida a la operacionalización del plan de acción. Si utilizamos esta técnica para la resolución de problemas y toma de decisiones se asume que previamente a su aplicación ha habido una identificación y priorización de problemas. Además, también ha de remarcarse que el grupo participante debe ser lo más representativo posible, sin importar que éste sea heterogéneo. Si estas premisas han sido respetadas comenzaremos con la aplicación de esta técnica, que cuenta con las siguientes fases: 1. Se escoge o define brevemente el tema donde se inscribe el problema a resolver 2. Se plantea el problema formulado en forma de pregunta precisa, con contenido estable, acordada por el grupo y con el objetivo de estimular procesos creativos (se evitarán preguntas que puedan ser respondidas en términos de sí o no ) 17

76 3. Cada individuo escribe en un papel sus respuestas de forma clara; acto seguido se forman equipos de 4 o 5 personas que ponen en común sus respuestas y las apuntan en una tarjeta, indicando la frecuencia en la que cada una de las respuestas se ha presentado; finalmente, cada grupo coloca en un panel común sus tarjetas. En este punto el moderador debe aproximar en el panel las tarjetas con ideas más afines. 4. Cada participante lee cada una de las tarjetas y sitúa sus dudas (?) u objeciones (!) mediante pequeñas señales al lado de las tarjetas que lo precisen; A continuación las objeciones serán explicadas oralmente por los que las han hecho y si el que escribió la tarjeta quiere explicar una idea, puede hacerlo con brevedad. Por último, las dudas serán aclaradas verbalmente por los que escribieron las tarjetas a las que han sido aplicadas las interrogaciones. 5. Reunidos de nuevo en equipos, se realiza una clasificación de los aspectos en los que podrían agruparse las tarjetas; A continuación en gran grupo se llega a un acuerdo sobre los títulos de los aspectos; Finalmente se colocan los títulos en la parte alta del panel. 6. Cada grupo escoge un aspecto y agrupa bajo el título las tarjetas que le parezcan oportunas; A continuación, reunidos en gran grupo, el moderador hace una lectura y solicita posibles objeciones (en el caso de que existieran, se intentará llegar a un acuerdo). 7. Una vez llegados al acuerdo se rodea con ayuda de un rotulador y en un circulo cada uno de los aspectos tratados con sus respectivas tarjetas 8. Se realiza un sistema de puntuación de los diversos aspectos con el objeto de priorizar su posterior tratamiento. Para realizar esta votación se da a cada individuo un número variable de puntitos adhesivos, que adherirán al lado de cada aspecto que les parezca más importante de cara a la resolución del problema planteado inicialmente. 9. En otro panel se coloca arriba el título del aspecto que se va a tratar y el moderador pide propuestas de acción para contribuir a la resolución del problema desde ese aspecto concreto; A continuación, reunidos por grupos se procede a plantear cada una de las propuestas de acción; Finalmente, en el gran grupo, se procederá a un sistema de votación individual que estará basado en el interés y factibilidad de cada una de las propuestas realizadas. 10. Las propuestas menos votadas pasarán a configurar una lista de recomendaciones que serán acciones a realizar a medio o largo plazo. 11. Las propuestas más puntuadas se colocarán en un cuadro de panel de acciones donde aparecerá la siguiente información: a) número de acción: irán colocadas 18

77 según los puntos asignados; b) descripción lo más clara posible de la acción; c) Quién del grupo se compromete a que se lleve a cabo y con quién contará para hacerlo. Si nadie se compromete con alguna acción, ésta pasará al primer puesto de la lista de recomendaciones; d) Cómo se realizará: con qué metodología y con qué recursos se contará para llevarla a cabo; e) Posibles obstáculos para poder llevar a cabo la acción; f) estrategias alternativas para reducir y/o superar esos obstáculos; g) cuándo se llevará a cabo (siempre pensando a corto plazo), y, h) resultado que se prevé, criterios para evaluar este resultado e impacto de la acción (véase anexo 10 de este manuscrito). Por ultimo, es de señalar que esta técnica también puede resultar útil para la toma de decisiones ante una opción propuesta en la que hay que determinar las ventajas e inconvenientes de la misma. En este caso, el procedimiento de aplicación de esta técnica sería la misma. Únicamente diferirá en la segunda y tercera fase: En la segunda fase el panel deberá contener la propuesta susceptible de análisis. Además, se señalarán dos columnas que contengan el espacio necesario para que los individuos identifiquen en una tercera fase las ventajas e inconvenientes asociados a la propuesta (para más detalles véase Pérez-Campanero, 1994). e.6. La técnica de Campo de fuerzas Esta es una herramienta de gran utilidad para las acciones que requieren la coordinación de varios esfuerzos persuasivos. Así, es una técnica básica para la toma de decisiones, aunque también resulta útil en la identificación del problema y el análisis de sus causas. La técnica requiere grupos de 5-10 personas y cuenta con seis fases en su procedimiento. Estas son: 1. Definición del problema. El moderador identifica el estado actual de la situación que se requiere cambiar, o describe la situación actual en contraste con la deseada. El problema debe definirse como una condición que existe y es necesario cambiar y que cuenta con una serie de fuerzas que están actuando sobre él. El problema además debe ser específico, interesar al grupo y que tenga posibilidades de cambio dirigido al éxito. 2. Determinación de las fuerzas. Cada participante reflexiona y hace una lista de las fuerzas positivas o favorables y las fuerzas negativas o resistentes que considera. 3. Análisis de las fuerzas. Cuando se han listado todas fuerzas, el grupo valora, en primer lugar, las resistentes al cambio, analizando una por una, y pondera su importancia mediante porcentajes (la suma de todos los porcentajes debe dar 19

78 100%), estableciendo así el orden de prioridades. A continuación se realiza lo mismo con las fuerzas favorables. 4. Análisis de obstáculos. Para cada fuerza resistente al cambio, el grupo confecciona una lista de aspectos que aumentan o reducen su importancia. A partir de este proceso el grupo podrá eliminar algunas alternativas sencillamente por no tener tiempo, dinero, recursos o el poder de hacer algo al respecto. 5. Propuestas de solución. Una vez establecidas las fuerzas resistentes que el grupo puede manejar, éste busca formas específicas que reduzcan los obstáculos listados en el paso previo. 6. Toma de decisiones. Una vez presentadas las propuestas, se inicia una discusión donde el moderador debe procurar que se tengan en cuenta todas las sugerencias (para más detalles véase Pérez-Campanero, 1994). e.7. La técnica Matriz de decisiones La técnica de Matriz de decisiones es una técnica gráfica de gran utilidad sobre todo cuando se consideran varias alternativas en el proceso de toma de decisiones. El procedimiento a seguir para la implementación de esta técnica contempla cuatro fases: 1. Lluvias de ideas. Mediante un brainstorming el grupo confecciona una lista con las características de una solución, alternativa, o decisión propuesta como ideal 2. Propuesta de alternativas. En grupos de 4-5 personas se proponen alternativas de solución que luego se llevan al gran grupo. Se realiza una votación y se eligen tantas alternativas como se considere oportuno, entre las que han resultado más puntuadas. 3. Diseño de la matriz. En un papel grande se dibuja un cuadro en el que, en la primera línea (horizontal), aparece cada una de las alternativas, y en la primera columna (vertical izquierda) se escribe la lista de características o elementos de la solución ideal. Así, el grupo evalúa esta lista para ver si hay veto a alguna de ellas, por ser inviable, o por algún otro motivo; si esto ocurre, la solución o alternativa con esa característica vetada no será aceptada. Los vetos se señalan en el tablero. Después el grupo prioriza, también en la primera columna, debajo de la lista inicial de características, las que considera muy deseables y aquellas que nos también deseables. Esta priorización se puede realizar por votación o discusión previa. 4. Evaluación de las alternativas. El grupo pasa a evaluar cada alternativa contrastándolas con las características del eje vertical, indicando si las posee y en 20

79 qué media. Esto se realiza a través de puntuaciones: a) cuando una alternativa tiene una característica vetada, deja de ser considerada como posible y no se le da puntuación; b) Para las muy deseables, se clasifica cada característica según cómo se adecue a ella la alternativa correspondiente, puntuándola de 1 a 5 o de 1 a 10, dependiendo del criterio fijado previamente por el grupo. Después el moderados multiplica por 2 la puntuación de cada una de las características; c) para las características también deseables se establece una valoración de 1 a 5 o de 1 a 10 pero no se multiplica. Una vez realizadas tosas las puntuaciones se obtiene en el panel el total de cada alternativa (véase un ejemplo en el Anexo 11). La alternativa más puntuada resulta ser la más deseable para todo el grupo (para más detalles véase Pérez-Campanero, 1994). e.8. La técnica Delphi Esta técnica consiste en el análisis de la opinión de varios expertos en un mismo tema. Se utiliza a la hora de identificar problemas, factores de resistencia ante un proceso de cambio o para tomar decisiones que lleven a establecer planes de acción. La técnica está compuesta por diversos cuestionarios que se aplican de forma secuencial y que adoptan la forma de un diálogo estructurado entre varias personas, que no se ven en ningún momento. En la aplicación de esta herramienta se ven implicados tres grupos: 1) el grupo de usuarios o población sujeto, que espera algún resultado de esta técnica; 2) el equipo monitor y de diseño, que construye los cuestionarios y tabula las respuestas (para ello suele ser preciso haber utilizado anteriormente alguna técnica como la de grupo nominal para que el equipo monitor o de diseño conozca las necesidades sentidas por la población sujeto); y, 3) el grupo de informadores clave que responden al cuestionario (este grupo puede estar o no constituido por miembros que a su vez pertenecen a la población sujeto). El procedimiento completo de esta técnica contempla 10 fases. No obstante, si el problema ya ha sido delimitado y definido de forma precisa, se suprimen las etapas que van de la 3 a la 6 y el primer cuestionario se confecciona con preguntas cerradas. Dicho esto, veamos las fases constituyentes de esta técnica: 1. Formulación del asunto clave o problema. Aquí es necesario formular con claridad el problema o asunto a tratar. Es decir, tenemos que definir con precisión qué es lo que queremos saber y en qué términos se presentará a los informadores clave. 2. Selección de los expertos. Se trata de constituir un repertorio de expertos en su tema, cuya opinión será solicitada a través de los cuestionarios diseñados a tal 21

80 efecto. La selección debe ser cuidadosa y se aconseja para conformar este grupo de expertos de 10 a 30 personas que lo integren, siempre que se asegure que están representadas en el grupo las diversas posturas, incluso las opuestas y divergentes. 3. Diseño del primer cuestionario. Este cuestionario es de preguntas abiertas y versará sobre el asunto a tratar. Aquí se trata de que los expertos puedan añadir enfoques nuevos si lo desean, así como aspectos no previstos. 4. Aplicación del primer cuestionario. Aquí se debe hacer saber a los expertos que habrá una estricta confidencialidad respecto a sus aportaciones, ya que garantizar el anonimato resulta ser un aspecto básico de la metodología Delphi. Para ello, a cada experto se le asignará un código al azar que se mantendrá y se señalará en los sucesivos cuestionarios. 5. Análisis del primer cuestionario. Cuando todos los expertos han hecho llegar su cuestionario, se analizan las respuestas para sistematizar y categorizar la información. Una vez confeccionadas y codificadas las categorías, se diseña un segundo cuestionario. 6. Segundo cuestionario. Éste incluirá preguntas abiertas y cerradas y se basará en la información obtenida en el primer cuestionario. Se formulan mediante cuestiones abiertas todos los aspectos señalados por los expertos, y se presentan las alternativas que han surgido, en preguntas cerradas de elección múltiple. Aquí, se pide a los informadores que expresen el grado de acuerdo o desacuerdo en cada una de las cuestiones presentadas. 7. Tercer cuestionario. Se confecciona por tercera vez el cuestionario, esta vez con preguntas cerradas y se distribuye entre los expertos. Esta fase de la técnica se puede realizar de dos formas, dependiendo del objetivo que se persiga: a) generalmente, el tercer cuestionario contiene las mismas preguntas que el segundo, pero previamente ordenadas, y cada cuestión va acompañada de la distribución de respuestas del primer cuestionario y de la respuesta en éste del que responde. Se indica en cada una si hay mayoría, consenso normal o divergencias notables, y la situación del experto correspondiente respecto a la media. Si hay mucha desviación en alguna pregunta respecto a la tendencia central, se pide al informador que argumente los motivos de su opinión; y, b) otra opción es distribuir entre los expertos ese tercer cuestionario, pero conteniendo únicamente las cuestiones en las que hay desacuerdo. 8. Cuarto cuestionario. Cuando tenemos las razones o argumentos de las discrepancias de todos los expertos, se reelabora el cuestionario añadiendo la tabulación de los datos, de modo que se vean los acuerdos y las divergencias, así 22

81 como los motivos de los que opinan de diferente modo. Cada cuestión incluye las diversas razones dadas por los expertos para sus juicios iniciales, así el informador puede, si lo considera oportuno, alterar su respuesta, y también se le piden las razones si mantiene su respuesta anterior y ésta queda fuera de la media. Los expertos pueden también argumentar en contra de las opiniones que siguen discrepando en relación con la tendencia central. 9. Último cuestionario. Se vuelven a tabular y ordenar las respuestas y se confecciona un último cuestionario que requiere de los expertos su postura definitiva en función de todo el proceso anterior. 10. Tratamiento de la información. Los datos recabados son sometidos a tratamiento estadístico. Se trata de sistematizar las respuestas de modo que presenten toda la panorámica de los aspectos del problema, obtenida a través de las respuestas de los expertos. Este análisis puede basarse en: a) la obtención del porcentaje de respuestas válidas a los ítems, que nos proporciona la medida-resumen de la información; b) la utilización de la media aritmética ponderada y la desviación típica, que nos da la dispersión que presentan las respuestas y nos indican el grado de homogeneidad de la opinión de los informadores. Aunque frecuentemente la tabulación de los datos se utiliza para establecer las áreas de acuerdo y descuerdo, lo cierto es que éstas pueden proporcionarnos una información más abundante y variada: a) El grado de consenso/divergencia existente entre los expertos. En este sentido, se pueden identificar los niveles de consenso fijando los porcentajes que vamos a considerar como indicadores de acuerdo bajo, medio y alto. En general, consideramos un consenso alto cuando la suma de los porcentaje de informadores situados en dos posiciones contiguas por arriba (p. e., de acuerdo y totalmente de acuerdo ) oscila en torno al 75-80% o lo supera. Un consenso medio estaría entre el 70-75%, sumando las opciones centrales (p. e., parcialmente de acuerdo ). Por último, un consenso bajo vendría determinado cuando se obtiene un porcentaje por debajo del 70% sumando las opciones contiguas inferiores ( en desacuerdo o totalmente en desacuerdo ). b) El grado de interés que suscita el tema entre los expertos. Esta cuestión puede ser medida a partir del nivel de participación de los mismos. Una forma de cuantificar esta cuestión sería, por ejemplo, a partir del número de cuestiones abiertas contestadas en las preguntas o espacios destinados a tal efecto a lo largo del primer cuestionario. c) Bloques de ideas afines. Esto se realizaría a partir de un análisis de los comentarios abiertos. 23

82 d) Grado de sensibilización que algunas preguntas han provocado en los expertos. Esta sensibilización aparece cuando la desviación típica es pequeña, es decir, cuando la opinión en torno a esas cuestiones es uniforme y clara e) Etc... Finalmente, conviene decir que si bien la técnica Delphi resulta una herramienta de gran utilidad presenta una serie de dificultades que probablemente van a limitar su uso. Entre ellas hay que mencionar particularmente dos de ellas: a) requiere de experimentación y un gran esfuerzo en su construcción; b) con la dinámica que se establece se pueden perder muchas ideas creativas grupo (para más detalles véase Pérez-Campanero, 1994). f. Análisis/evaluación de necesidades (o contexto). Propuesta metodológica La propuesta que se va a plantear en las líneas siguientes parte de las aportaciones realizadas por Hernández, Pozo y Alonso (2004) en su artículo La aproximación multimétodo en evaluación de necesidades. De hecho, la información expuesta a continuación constituye un resumen de los aspectos esenciales plasmados en el mismo (para un mayor detalle se aconseja la consulta directa del citado artículo). La apuesta por una aproximación multi-método en el análisis/evaluación de necesidades (o contexto) se erige en la opción más apropiada en este tipo de estudios. Nos referimos a adoptar un modelo de análisis/evaluación de necesidades (o contexto) que plantee la utilización conjunta de técnicas de investigación de naturaleza tanto cuantitativa como cualitativa. Independientemente del diseño de investigación y de las técnicas concretas utilizadas, la aproximación multi-método implica recurrir a algún tipo de triangulación. En este caso, la triangulación será de datos cuando alguno de los métodos utilizados sea cuantitativo y algún otro lo sea de carácter cualitativo. También podemos efectuar una triangulación en base a los informantes cuando utilizamos diferentes actores sociales inmersos en el problema (p. e., jóvenes, docentes, padres, expertos, etc.) para cada uno de los métodos utilizados. Está de sobre decir que realizar una doble triangulación (de datos y de informantes) aumenta las probabilidades de que nuestro análisis/evaluación de necesidades sea más certero a la hora de reflejar la realidad. No obstante, es que reseñar que aunque la utilización de múltiples métodos es considerada uno de los puntos fuertes de la evaluación, debe existir una planificación previa referida a los instrumentos que se deben utilizar en cada una de las fases del análisis/evaluación de necesidades (o contexto). De no hacerlo podemos encontrarnos con importantes limitaciones, así como un incremento del coste económico y temporal 24

83 de la evaluación que ha dado lugar la recopilación de información solapada o innecesaria. Partiendo de las premisas anteriores, Hernández, Pozo y Alonso (2004) elaboran una propuesta de un modelo multi-método de evaluación de necesidades que se articula en torno a dos componentes: a) la descripción y priorización de problemas; y, b) el análisis de los sistemas formal e informal de apoyo social, como fuentes complementarias de recursos para la cobertura de las necesidades detectadas. De forma esquemática, el modelo podría ser representado de la siguiente forma: Fuente: Hernández, Pozo y Alonso (2004) El esquema que presentamos anteriormente se articularía a nivel procedimental de la siguiente forma: 1. Análisis de necesidades. Una vez habiendo planificado la evaluación y contactado con la población sujeto, el modelo contempla 2 fases de recogida de información: a) La identificación de áreas de necesidad; En esta etapa es recomendable utilizar técnicas cualitativas (entrevistas en profundidad, grupos de discusión, informantes clave, etc.), ya que éstas pueden proporcionar descripciones detalladas, extensas, contextualizadas y en profundidad acerca de los problemas y necesidades existentes. Así, a pesar de las limitaciones que presentan las técnicas cualitativas a la hora de comparar y generalizar resultados, la obtención de éstos de manera inductiva permite la captación de aspectos no previstos ni evidentes para el evaluador. Además, la información cualitativa recopilada puede ser muy útil como base para el diseño/adaptación 25

84 de instrumentos de carácter cuantitativo (cuestionarios, etc.), que puedan ser empleados posteriormente. b) La descripción y priorización de las necesidades, prestando especial atención a la propia población afectada. Aquí se recomienda la utilización de instrumentos de tipo cuantitativo (cuestionario, encuesta, etc.). En esta fase, la información proporcionada por la población afectada puede ser complementada mediante el empleo de técnicas como la observación estructurada o el análisis de datos de archivo, con el fin de obtener una descripción más completa y fiable de los problemas existentes. No obstante, en este modelo, la comunidad adquiere un especial protagonismo en el establecimiento de prioridades. 2. Análisis de recursos sociales. Aquí se deben analizar los recursos sociales que dispone la población sujeto para resolver sus problemas. Así, se contemplan 2 fuentes potenciales de ayuda: a) el sistema formal de apoyo social (p. e., entidades que desarrollan programas y ofrecen servicios en un ámbito determinado); y, b) el sistema informal de apoyo social (p. e., relaciones interpersonales que establecen los individuos, entre cuyas funciones se encuentra la provisión de recursos de diversa naturaleza). La propuesta metodológica de Hernández, Pozo y Alonso (2004) recomienda el examen de ambos sistemas, prestando especial atención a las siguientes cuestiones: a) Sistema formal de apoyo. Se debe: 1) Identificar entidades que ofrecen recursos diferentes en el ámbito evaluado; 2) Describir programas y servicios que estas entidades desarrollan; 3) Determinar el grado de conocimiento y utilización de las entidades y los programas llevados a cabo. b) Respecto al sistema informal de apoyo social. Se debe: 1) Describir la estructura de la red social (tamaño, composición, dispersión, frecuencia de contacto, etc.) de la población sujeto; y, 2) Examinar las funciones de ayuda (apoyo emocional, informativo, material, instrumental, etc.) desempeñadas por el sistema informal de apoyo. Al igual que en el análisis de necesidades, debemos comenzar esta fase con una primera etapa de recogida de información mediante instrumentos de carácter cualitativo (informantes clave, grupos de discusión, etc.). A partir de la misma obtendremos una primera aproximación sobre las fuentes alternativas a las que recurre la población sujeto para la búsqueda de recursos, las distintas entidades que ofrecen servicios dirigidos al grupo de población objeto de interés, los programas de intervención que desarrollan, y posibles barreras, dificultades o preferencias en el acceso a los recursos formales e informales, etc. 26

85 La segunda etapa de recogida de datos requiere de nuevo el uso de instrumentos de corte cuantitativo (entrevista estructurada, encuesta, etc.), dado su capacidad para proporcionar información específica, precisa, rigurosa y exhaustiva acerca del nivel de conocimiento y utilización de los recursos formales, así como sobre la estructura y funciones del sistema informal de apoyo social. Cabe puntualizar en esta fase que, a la hora de estudiar el sistema formal de apoyo, dado el carácter local de la evaluación de necesidades, suele ser necesario diseñar instrumentos ad hoc, que permitan obtener información relativa al contexto específico en el que tiene lugar el estudio. Una vez concluida la recopilación de información, el siguiente paso consiste en analizar los datos obtenidos con el fin de valorar la capacidad de los sistemas formal e informal para satisfacer las necesidades detectadas, poniendo énfasis tanto en la valoración de la potencialidad de dichos sistemas para dar solución a los problemas existentes, como en la identificación de las necesidades no cubiertas mediante el apoyo disponible. La determinación del grado de ajuste entre necesidades y recursos es fundamental como punto de partida para el diseño de intervenciones que incidan sobre las carencias prioritarias identificadas en la población objeto de estudio Referencias bibliográficas Fernández-Ballesteros, R. (1995). Evaluación de programas: una guía práctica en ámbitos sociales, educativos y de salud. Madrid: Síntesis. Fernández-Ballesteros, R. (1998). Valoración de de programas. En R. Fernández- Ballesteros (dir.), Introducción a la evaluación psicológica II (pp ). Madrid: Pirámide. Hernández, S., Pozo, C. y Alonso, E. (2004). La aproximación multimétodo en evaluación de necesidades. Apuntes de Psicología, 22(3), Kettner, P. M., Moroney, R. M. y Martin L. L. (1999). Understanding Social Problems. En P. M. Kettner, R. M., Moroney y L. L. Martin (eds.) Designing and managing programs: an effectiveness-based approach. Thousand Oaks, CA: Sage. León, M. J. y Lozano, J. (2008). Jóvenes y VIH/sida. Mejorando las intervenciones de prevención. Diagnóstico de intervenciones grupales de las ONG para la prevención del VIH/sida entre jóvenes escolarizados/as. Barcelona: Sida Studi. Martín-Baró, I. (1998). Psicología de la liberación. Madrid: Trotta. McKillip, J. (1989). Need analysis: Tools for the human services and education. London: Sage. Pérez-Campanero, M. P. (1994). Cómo detectar las necesidades de intervención socioeducativa. Madrid: Narcea. Pérez-Llantada, M. C. y López de la Llave, A. (1999). Evaluación de programas de salud y servicios sociales: metodología y ejemplo. Madrid: Dykinson. Rebolloso, E., Fernández, B. y Cantón, P. (2008). Procedimientos diagnósticos. En E. Rebolloso, B. Fernández y P. Cantón (eds.) Evaluación de programas de intervención social. Madrid: Síntesis. 27

86 Rodríguez-Marín, J., Cañadas, I., García del Castillo, J. A. y Mira, J. J. (2007). El diseño de un programa de intervención. En A. Blanco y J. Rodríguez-Marín (coords.) Intervención psicosocial (pp ). Madrid: Pearson. Ross, D. A., Dick, B. y Ferguson, J. (2006) Preventing HIV/AIDS in young people. A systematic review of the evidence from developing countries. Geneva: World Health Organization. Sánchez Vidal, A. (2002). La Teoría: Problemas sociales, desarrollo humano y social, cambio social. En A. Sánchez Vidal (ed.), Psicología Social Aplicada (pp ). Madrid: Pearson. Ubillos, S. (1995). Guía de Educación Sexual para Jóvenes (II): Recursos para Diseñar un Programa. San Sebastián: Diputación Foral de Guipúzcoa. Ubillos, S., Insúa, P. y De Andrés, M. (1999). Evaluación de talleres. En P. Insúa (dir.), Manual de educación sanitaria. Recursos para diseñar talleres de prevención con usuarios de drogas (pp ). Zarautz: Delegación del Gobierno para el Plan nacional sobre Drogas, Ministerio de Sanidad y Consumo, Plan Nacional sobre el SIDA y Universidad el país Vasco. Witkin, B.R. (1994). Needs assessment since 1981: The state of the practice. Evaluation Practice, 15 (1),

87 Anexo 1. Análisis y Delimitación de Problemas (para la descripción exhaustiva de las características, contexto, grupos implicados y causas del problema) Especificación Consejos 1. Cuál es la naturaleza de la situación o condición social, teniendo en cuenta los puntos de vista de todos los grupos posibles? 2. Cómo se están definiendo los términos del problema? 3. Cuáles son las características de las personas que viven la situación o condición social? 4. Cuál es la magnitud y la distribución de la situación? Es decir cuántas personas se ven afectadas y cuál es su distribución geográfica? 5. Qué valores sociales están siendo amenazados por la existencia de la condición social descrita? 6. Hasta qué punto se reconoce la existencia de la situación? 7. Quién define la condición social como un problema? 8. Cuál es la etiología del problema? 9. Existen consideraciones éticas o de género? Fuente: Adaptación de Kettner, Moroney y Martin (1999) Necesidad de consulta a los susceptibles beneficiarios Evitar que las palabras signifiquen cosas distintas para diferentes grupos de personas Es pertinente que todos los grupos implicados sean identificados y tenidos en cuenta en la planificación de una posible intervención La pertinencia de contestar a la pregunta de distribución geográfica vendrá determinada por la realidad de cada una de las organizaciones y sus ámbitos de actuación Saber cómo reaccionan las personas ante la existencia de tal condición. Son muy relevantes las opiniones de la comunidad, de sus líderes, de los medios de comunicación u otros grupos que tengan especial implicación Es pertinente buscar respuestas a esta cuestión en la medida que nos ayuda a estimar el apoyo potencial con que contaría una eventual intervención. Si se ve necesario hasta se pueden desarrollar campañas de concienciación Esto nos remite a la identificación del tipo de necesidad que se presenta en el siguiente esquema. Son de esperar al menos 3 posiciones: el (los) grupo(s) que define(n) la situación como problemática, los que no tiene opinión formada al respecto y los que se oponen a las iniciativas para cambiar la situación. Aunque los problemas son multi-causales y difíciles e explicar se hace necesario hacer el esfuerzo por plasmas los factores causales más relevantes Se recomienda que esta opción sea considerada con el objeto de evitar que la intervención pueda afectarles o ser ella misma afectada negativamente 29

88 Anexo 2: Identificación del tipo o criterio de la necesidad ( Cuál es la necesidad? y Quién solicita indirectamente la evaluación? ) Cuál(es) es(son) el(los) criterio(s) de necesidad detectado(s)? (marque con una x la(s) opciones pertinentes) Necesidad Normativa Necesidad Percibida Necesidad expresada Necesidad comparativa Consejos Aconsejable basarse en varios tipos de necesidades Necesidad 1 Necesidad 2 Necesidad 3 Necesidad 4 Para cada casilla seleccionada, define u operacionaliza la(s) necesidad(es) detectada(s) Necesidad 5 Necesidad 6 Definición breve y concisa Necesidad 7 Necesidad 8 Necesidad 9 Necesidad 10 30

89 Anexo 3: Planificación del análisis/evaluación de las necesidades 1. Se han definido los objetivos de la evaluación? 2. Considerando la problemática social a tratar Con qué tipo de información cuento? 3. Considerando las respuestas señaladas en el cuadrante anterior Dispongo de la información suficiente acerca de la problemática tratada? 4. Con qué instrumentos he contado para llegar a la información que ya disponía? Sólo si se ha respondido NO en la pregunta 3 5. Qué instrumentos voy a utilizar para recabar la información pertinente de las fuentes de información que he señalado? Sí Menciónalos No Por qué no se ha hecho? Qué se necesita para definirlos? Indicadores macrosociales (políticos, sanitarios...) Bibliografía especializada Estudios contextuales Características de la población sujeto de análisis Información recabada de informantes clave de la población sujeto de análisis Información recabada de referentes significativos a la población sujeto (docentes, padres, asociacionismo...) Información recabada de grupos ajenos a la población sujeto pero con características similares Mi propia experiencia profesional Otra(s). Menciónala(s) Sí No A qué fuentes de información considero que debo recurrir? Indicadores Bibliografía especializada Estudios contextuales Encuestas / Cuestionarios Informantes clave Técnica Delphi Indicadores Bibliografía especializada Estudios contextuales Encuestas / Cuestionarios Informantes clave Técnica Delphi Grupos nominales Grupos de discusión Brainstorming Foro(s) comunitario(s) Impresiones de la comunidad Otro(s). Menciónala(s) Grupos nominales Grupos de discusión Brainstorming Foro(s) comunitario(s) Impresiones de la comunidad Otro(s). Menciónala(s) Consejos Objetivos delimitados, claros, concisos y contrastables (de cara a la siguiente fase) Es aconsejable disponer de información de todos o la mayoría de los actores sociales involucrados (Triangulación de datos) Lo ideal es que se recurran a diferentes tipos de instrumentos que respondan a diferentes metodología de estudio (Aproximación multimétodo) 6. Con que recursos humanos y materiales cuento para abordar las fases de evaluación subsiguientes? 7. Existe la previsión de que los recursos humanos y materiales varíen en el momento de la implementación de las fases de evaluación siguientes? 8. Existe una posibilidad real de obtener recursos humanos y materiales alternativos a los ya disponibles? Recursos Materiales Recursos Económicos Recursos Humanos No Sí De qué forma o cómo van a cambiar los recursos? Recursos Materiales Recursos Económicos Recursos Humanos No Sí De qué tipo? CONCLUSIÓN: SELECCIÓN PROCEDIMIENTO A SEGUIR En base a los recursos disponibles y a la previsión de variación de los mismos (para bien o para mal) decidir las acciones a abordar. Ser conscientes de los límites. Barajar la posibilidad de recurrir a otros recursos de los ya disponibles (instituciones en lo económico, participación conjunta con alguna asociación que aborde temáticas/problemáticas comunes...) 31

90 Anexo 4: Aplicación del análisis/evaluación de las necesidades Sí y Se han realizado acciones formativas diferentes a las previstas en la fase de planificación? 1. Se ha formado a los profesionales Si es así Qué lo ha motivado? que van a aplicar la evaluación? No Por qué no se ha hecho? La cuestión no procede (en la planificación no se había plasmado) Sí y Se ha accedido a alguna fuente adicional que no estuviera planificada? 2. Si ha contactado con las fuentes de Si es así Qué lo ha motivado? información previstas en la planificación? No Por qué no se ha hecho? La cuestión no procede (en la planificación no se había plasmado) Sí y Se ha accedido a algún recurso documental adicional que no estuviera planificado? 3. Se ha accedido a los recursos Si es así Qué lo ha motivado? documentales previstos? No Por qué no se ha hecho? La cuestión no procede (en la planificación no se había plasmado) Sí Existe alguna cuestión especial a reseñar al respecto? 4. Se ha realizado una prueba piloto con No Por qué no se ha hecho? lo(s) instrumento(s) de medida? La cuestión no procede (en la planificación no se había plasmado) Sí Se han obtenido los resultados esperados? 5. Se han aplicado los instrumentos de No Por qué no se ha hecho? medida previstos en la planificación? La cuestión no procede (en la planificación no se había plasmado) Consejos Es aconsejable disponer de información de todos o la mayoría de los actores sociales involucrados (Triangulación de datos) Con una pequeña muestra o al menos deliberar con otros profesionales sobre su concreción y corrección CONCLUSIÓN: FIN DE LA APLICACIÓN DE LA EVALUACIÓN DE NECESIDADES 32

91 Anexo 5: Análisis y diagnóstico del análisis/evaluación de las necesidades Sí y Estos resultados distan de las hipótesis que teníamos? 1. Se ha realizado el análisis de Qué información novedosa nos aportan? contenido y/o resultados a partir de la No Por qué no se ha hecho? nueva información recabada? Qué nos haría falta para realizarlos? Consejos 2. Se ha realizado la comparativa situación actual vs. situación deseada? 3. Se han analizado los recursos con los que disponemos de cara al diseño de intervención? 4. Se han identificado las discrepancias de información inter-fuentes? 5. Hemos definido el problema a partir de la información actual? 6. Hemos identificado las causas del problema? Sí y A qué conclusiones se ha llegado? No Por qué no se ha hecho? Qué nos haría falta para realizarla? Sí y Hasta qué punto podemos abordar una solución con los recursos que disponemos? No Por qué no se ha hecho? Qué nos haría falta para realizarla? Sí Cuáles son dichas discrepancias? No Por qué no se ha hecho? Qué nos haría falta para realizarla? Sí Discrepa esta definición con la que disponíamos inicialmente? Si es así En qué sentido? No Por qué no se ha hecho? Qué nos haría falta para realizarlo? Sí Podría una intervención/programa nuestro incidir en las mismas? Si es así En qué sentido? No Por qué no se ha hecho? Qué nos haría falta para realizarlo? La formulación/análisis debe ser realista Debemos atender a los resultados encontrados con nuestros análisis de contenidos y/o resultados (y no a las aproximaciones al problema que habíamos realizado anteriormente) CONCLUSIÓN: FIN DEL ANÁLISIS Y DIAGNÓSTICO DEL ANÁLISIS/EVALUACIÓN DE LAS NECESIDADES 33

92 Anexo 6: Toma de decisiones del análisis/evaluación de las necesidades Consejos 1. Lista las necesidades detectadas y etiquétalas por orden de prioridad (de la más prioritaria prioridad 1 a la menos prioritaria) a) Prioridad Nº b) Prioridad Nº c) Prioridad Nº d) Prioridad Nº e) Prioridad Nº f) Prioridad Nº La priorización debe atender a la importancia de dicha necesidad, nuestra capacidad para abordarla en la intervención y su factibilidad (legal, política, económica, organizacional, sociocultural y ética) 2. Cuáles y/o cuántas van a ser finalmente las necesidades que vamos abordar en la futura intervención? Deben ser elegidas en función de lo prioritarias que resulten y la capacidad que tengamos para abordarlas 3. Lista las soluciones reales posibles a las necesidades mencionadas en el apartado anterior 4. Elabora propuestas para el abordaje de cada una de las necesidades elegidas en el apartado Las soluciones y propuestas deben realistas y abarcables por quien vaya a realizar la intervención CONCLUSIÓN: FIN DE LA TOMA DE DECISIONES DEL ANÁLISIS/EVALUACIÓN DE LAS NECESIDADES 34

93 Anexo 7: Borrador para la elaboración del informe del análisis/evaluación de las necesidades 1. Esboza de forma esquemática los contenidos clave que deben reflejarse en el apartado de Antecedentes Consejos Explicaremos todo el proceso de detección y análisis del problema 2. Plantea de forma operativa los Objetivos de la evaluación de necesidades 3. Esboza de forma esquemática los contenidos clave que deben reflejarse en el apartado de Metodología 4. Esboza de forma esquemática los contenidos clave que deben reflejarse en el apartado de Resultados 5. Esboza de forma esquemática los contenidos clave que deben reflejarse en el apartado de Conclusiones 6. Plantea de forma operativa las Propuestas que emanan de la evaluación de necesidades Aquí señalaremos al menos cuántas han sido las fuentes de información a las que hemos accedido, de qué forma lo hemos hecho y qué instrumentos hemos utilizado para recabar la información Resultados detallados Conclusiones a la luz de los resultados (incluye la consulta bibliográfica, Formularemos propuestas formales que serían realmente abarcables por nosotros para la resolución del problema CONCLUSIÓN: ELABORACIÓN DEL INFORME DEL ANÁLISIS/EVALUACIÓN DE LAS NECESIDADES 35

94 Anexo 8: Borrador para la divulgación de los resultados del informe del análisis/evaluación de las necesidades 1. Esboza de forma esquemática son los contenidos que se pretenden difundir Consejos 2. A qué usuarios se les va hacer llegar el informe? s 3. Identifica cuál puede ser el o los mejores momentos para hacer público el informe de la evaluación de necesidades Además de una divulgación institucional y al resto de asociaciones, sería deseable realizar una devolución particularizada (p. e., oral) a los informantes que han tomado parte activa en el proceso de evaluación de necesidades Visión estratégica: Mejor momento en base a criterios políticos, de tiempo, de repercusión, etc... CONCLUSIÓN: DIVULGACIÓN DEL INFORME DEL ANÁLISIS/EVALUACIÓN DE LAS NECESIDADES 36

95 Anexo 9: Inventario de Recursos RECURSOS Localización Accesibilidad Disponibilidad Capacidad CONCLUSIÓN: ESTIMACIÓN DE LOS RECURSOS DISPONIBLES Fuente: Pérez-Campanero (1994) 37

96 Anexo 10: Tabla Resultado de la técnica Sistema de Ideas Clave Nº Descripción de la Acción Quién la realiza Cómo Obstáculos Alternativas Cuándo Criterios de Evaluación CONCLUSIÓN: PRIORIDADES A ABORDAR EN EL DISEÑO E IMPLEMENTACIÓN DEL PROGRAMA DE INTERVENCIÓN Fuente: Pérez-Campanero (1994) 38

97 Anexo 11: Un ejemplo del tablero resultado de la técnica Matriz de Decisiones CARACTERÍSTICAS IDEALES PESO ALTERNATIVA 1 ALTERNATIVA 2 ALTERNATIVA VETO VETO VETO VETO VETO VETO VETO X MUY DESEABLES X TAMBIÉN DESEABLES X PUNTUACIÓN TOTAL (VETADA) CONCLUSIÓN: ELECCIOÓN DE LA ALTERNATIVA MÁS PUNTUADA POR CONSIDERARLA LA MÁS DESEABLE Fuente: Pérez-Campanero (1994) 39

98 S. Apuntes Hernández, de Psicología C. Pozo y E. Alonso Aproximación multimétodo en Colegio evaluación Oficial de de necesidades Psicología 2004, Vol. 22, número 3, págs de Andalucía Occidental y ISSN Universidad de Sevilla La aproximación multimétodo en evaluación de necesidades Sonia HERNÁNDEZ PLAZA Carmen POZO MUÑOZ Enrique ALONSO MORILLEJO Universidad de Almería Resumen La evaluación de necesidades es una modalidad de investigación social aplicada, de carácter evaluativo, que consiste en identificar y priorizar los problemas existentes en un contexto determinado, como base para la planificación de intervenciones que incidan sobre las principales carencias detectadas. A pesar de la amplia variedad de métodos de investigación disponibles para el desarrollo de este tipo de estudios, la práctica de la evaluación de necesidades suele caracterizarse por cierta pobreza metodológica, con un claro predominio de la encuesta como principal o único método de recogida de información. En el presente trabajo, tras realizar una breve revisión de las aproximaciones metodológicas alternativas que es posible adoptar en el ámbito general de la investigación social y la evaluación de programas, se propone un modelo multimétodo de evaluación de necesidades que plantea el uso combinado de técnicas de investigación tanto cuantitativas como cualitativas. Palabras clave: evaluación de necesidades, aproximación multimétodo, intervención psicosocial. Abstract Needs assessment is a type of applied social evaluative research, focused on the identification and prioritization of problems in a specific context, as a base for intervention planning oriented to solve the main identified needs. In spite of the huge availability of research methods for the development of this kind of studies, needs assessment practice is too often charaterized by certain methodological poverty, with a clear dominance of the survey as the main or only research method. In the present paper, after a brief revision of the methodological approaches that may be adopted in the general field of social research and programme evaluation, a multimethod needs assessment model is proposed, suggesting the combined use of both qualitative and quantitative research techniques. Key words: Needs assessment, Multimethod approach, Psychosocial intervention. Dirección de los autores: Área de Psicología Social. Departamento de Ciencias Humanas y Sociales. Universidad de Almería Almería. Correo electrónico: splaza@ual.es Recibido: diciembre Aceptado: noviembre Apuntes de Psicología, 2004, Vol. 22, número 3, págs

99 S. Hernández, C. Pozo y E. Alonso Aproximación multimétodo en evaluación de necesidades La evaluación de necesidades consiste en identificar y priorizar las carencias y problemas existentes en un ámbito determinado, como base para la planificación de acciones que incidan sobre las principales deficiencias detectadas (Altschuld y Witkin, 2000; Chacón, Barrón y Lozano, 1988; McKillip, 1987, 1998; Reviere, Berkowitz, Carter y Ferguson, 1996; Witkin y Altschuld, 1995). Se trata, por tanto, de una actividad central durante las primeras etapas del ciclo de intervención social, resultando imprescindible para el diseño de programas que respondan a las necesidades prioritarias de la población objetivo (Alvira, 1991; Pozo, Alonso Morillejo y Hernández, 2004; Rossi y Freeman, 1989; Stufflebeam y Shinkfield, 1985). Con independencia de las diferentes orientaciones existentes en este ámbito, la evaluación de necesidades ha de ser concebida, ante todo, como un tipo particular de evaluación, por lo que comparte con esta última sus elementos definitorios más significativos (Aguilar y Ander-Egg, 1992; Pozo y cols., 2004; Stufflebeam y Shinkfield, 1985): 1. Recurre a los métodos de investigación social para recoger información fiable y válida acerca de los problemas existentes en el contexto examinado (Altschuld y Witkin, 2000; McKillip, 1998; Reviere y cols., 1996; Robson, 2000). 2. Implica emitir juicios de valor acerca de los mismos, considerando al grupo como unidad de análisis frente al individuo, y las necesidades sociales como objeto de evaluación (Chacón, 1989; McKillip, 1987; Stufflebeam, McCormick, Brinkerhoff y Nelson, 1984). 3. Se orienta a la toma de decisiones respecto a la distribución de recursos y la planificación de políticas y programas de intervención, en base a los problemas prioritarios detectados (Altschuld y Witkin, 2000; McKillip, 1998; Percy-Smith, 1996; Stufflebeam y cols., 1984). 4. Se interesa particularmente por el cambio social, ya que su meta final consiste en promover acciones que permitan cubrir las necesidades de la comunidad, y que contribuyan a resolver los problemas sociales (Martí y Serrano, 1983; Montero, 1994; Pozo y cols., 2004). Como sucede en otras modalidades de evaluación, son múltiples y muy diversos los enfoques metodológicos posibles en el ámbito de la evaluación de necesidades (Altschuld y Witkin, 2000; McKillip, 1998; Reviere y cols., 1996; Witkin y Altschuld, 1995). Sin embargo, esta pluralidad de opciones contrasta de manera llamativa con la pobreza metodológica que caracteriza a muchos de los estudios que se llevan a cabo. Así se pone de manifiesto, por ejemplo, en la revisión realizada por Witkin (1994) quien, tras examinar un importante volumen de informes de evaluación de necesidades en diferentes contextos, concluye que la mayor parte de dichos trabajos, concretamente un 69% de los analizados, utilizan una única técnica de recogida de datos, generalmente alguna modalidad de encuesta. Solamente un 39% de las evaluaciones emplean dos o más métodos, aunque en un 77% de ellas se recurre al cuestionario como principal fuente de información. La mayoría de estos estudios no llegan a formular juicios de valor acerca de los problemas detectados ni priorizan las necesidades de la población, ofreciendo información descriptiva, de carácter general y con escasa utilidad para la planificación de intervenciones. De hecho, un porcentaje superior al 95% de los trabajos no se basa en ningún modelo de evaluación de necesidades, careciendo de 294 Apuntes de Psicología, 2004, Vol. 22, número 3, págs

100 S. Hernández, C. Pozo y E. Alonso Aproximación multimétodo en evaluación de necesidades una fundamentación conceptual y metodológica concreta. Varios años después de la revisión efectuada por Witkin (1994), la práctica de este tipo de evaluación continúa siendo muy similar, con un claro predominio de la encuesta como único método de recogida de datos (Altschuld y Witkin, 2000; Reviere et al., 1996), y una tendencia generalizada a no aplicar ninguno de los modelos de evaluación de necesidades existentes (Hernández, Pozo y Alonso Morillejo, 2004; Kaufman, 1982; Martí y Serrano, 1983; McKillip, 1987, 1998; Neuber, Atkins, Jacobson y Reuterman, 1980; Stufflebeam y cols., 1984; Witkin y Altschuld, 1995). Esta situación se aprecia en muy diversos campos de aplicación, tanto en el ámbito comunitario (Esters, 2003; Kramer, Hayes, Nolan y Cotenoff., 2002), como en el educativo (Katz, Davis y Findlay, 2002), el sanitario (Lau y cols., 2003), o en contextos organizacionales (Jacobson, Rubin y Colleman, 2002), entre otros. Varios son los factores que han podido dar lugar a que la evaluación de necesidades se sitúe muy por detrás de otras formas de investigación social aplicada, en lo que a desarrollo metodológico se refiere. En primer lugar, la mayor parte de estos estudios se realizan con propósitos esencialmente prácticos y tienen un interés meramente local, por lo que la urgencia por obtener resultados suele anteponerse al rigor teórico y metodológico, dejando en un segundo plano los requisitos de calidad científica (Altschuld y Witkin, 2000; Reviere y cols., 1996). En segundo lugar, la escasa disponibilidad de tiempo y recursos económicos hace que en muchas ocasiones sean los propios profesionales de la intervención quienes definan y operacionalicen el proceso de análisis de necesidades, sin llegar a aplicar ninguno de los modelos de evaluación de necesidades disponibles (Reviere y cols., 1996; Witkin, 1994). Puesto que el cuestionario ha venido siendo la técnica de investigación más frecuentemente empleada en la evaluación de necesidades (Hernández López, 1995; Pozo y cols., 2004), esta elección tendería a reproducirse en los nuevos trabajos que se llevan a cabo. La escasez de profesionales con una formación metodológica adecuada puede ser otro de los motivos de la falta de rigor científico y la pobreza de métodos que caracteriza a la práctica de la evaluación de necesidades. De hecho, además de no hacer uso de la gran diversidad de técnicas de investigación disponibles, algunos trabajos ni siquiera están metodológicamente bien desarrollados (Altschuld y Witkin, 2000; Reviere y cols., 1996). Partiendo de esta situación, tras realizar una breve revisión de las aproximaciones metodológicas y paradigmáticas alternativas propias de la evaluación y la investigación social que es posible adoptar en el ámbito de la evaluación de necesidades, en el presente trabajo se apuesta por la aproximación multimétodo como opción más apropiada en este tipo de estudios, y se propone un modelo de evaluación de necesidades que plantea la utilización conjunta de técnicas de investigación de naturaleza tanto cuantitativa como cualitativa. Orientaciones metodológicas en la investigación social y la evaluación Tanto la evaluación de programas como las ciencias sociales, en general, han sido durante años el escenario de un polémico y profundo debate entre los defensores de la metodología cuantitativa y los partidarios de la investigación cualitativa (Pozo y cols., 2004). Esta controversia, generalizable al campo específico de la evaluación de necesi- Apuntes de Psicología, 2004, Vol. 22, número 3, págs

101 S. Hernández, C. Pozo y E. Alonso Aproximación multimétodo en evaluación de necesidades dades, no se reduce únicamente a la cuestión metodológica, sino que ha sido tradicionalmente asociada al enfrentamiento entre dos paradigmas de investigación: el positivista y el fenomenológico-constructivista (Cook y Reichardt, 1982; Guba y Lincoln, 1989; Patton, 1990; Tashakkori y Teddlie, 1998). Los paradigmas orientan la elección de los temas objeto de estudio, los marcos teóricos utilizados para explicarlos, y los métodos de investigación considerados más apropiados, de modo que mientras el positivista recurre a la metodología cuantitativa y a los diseños experimentales para la comprobación de hipótesis y la generalización de resultados (Campbell y Stanley, 1969; Riecken y cols., 1974), el fenomenológico-constructivista utiliza métodos cualitativos para lograr una comprensión completa de la experiencia humana en su contexto natural, de manera inductiva y con un enfoque holista (Filstead, 1982; Guba y Lincoln, 1989). Frente a la adhesión a un único paradigma y una sola metodología, durante los últimos años diversos autores han optado por el pragmatismo, que declara la compatibilidad de distintas aproximaciones teóricas y metodológicas, rechazando la creencia en la superioridad de unas sobre otras, y oponiéndose a la necesidad de elegir entre el paradigma positivista y el fenomenológico-constructivista, como dos opciones contrapuestas e incompatibles (Greene, Benjamin y Goodyear, 2001; Patton, 1990). El pragmatismo ha sido considerado como un paradigma alternativo a los dos anteriores (Cook y Reichardt, 1982; Patton, 1990; Tashakkori y Teddlie, 1998), con los elementos definitorios que se presentan en la tabla 1 (ver página siguiente). Uno de los puntos más controvertidos es el relativo a la ontología, de modo que mientras el positivismo considera que existe una realidad externa, objetiva, a la que es posible acceder a través del conocimiento, el constructivismo defiende la existencia de múltiples realidades, subjetivas y construidas socialmente. Frente a esta dicotomía, el pragmatismo comparte con el positivismo la creencia en la existencia de una realidad externa, pero niega la posibilidad de llegar a alcanzar la verdad, en términos absolutos. A nivel epistemológico, el positivismo asume la independencia entre el investigador/evaluador y el objeto de conocimiento, mostrándose partidario de la adopción de un punto de vista objetivo; mientras que el costructivismo sostiene que sujeto y objeto de conocimiento son inseparables, por lo que el punto de vista del investigador/evaluador es siempre subjetivo. Rechazando la dicotomía entre estas dos posturas, el pragmatismo considera que es posible adoptar ambas perspectivas en momentos distintos del proceso de investigación y/o evaluación, en función de los objetivos planteados y la naturaleza de la información requerida. En coherencia con lo anterior, el positivismo defiende una concepción de la ciencia libre de valores, negada por el constructivismo, mientras que el pragmatismo sostiene que los valores desempeñan un importante papel a lo largo del proceso de investigación y/o evaluación, tanto en la elección del tema objeto de estudio, como en las variables, las unidades de análisis y los marcos teóricos utilizados. Se reconoce, por tanto, que ni la investigación ni la evaluación 1 están libres de valores, pero se considera que dicha influencia no limita la validez de los resultados y las conclusiones obtenidas. Respecto a la lógica de investigación, mientras que el positivismo emplea la deducción, partiendo de la teoría para plantear hipótesis que después son contrastadas empíricamente, el constructivismo sigue el proceso contrario, desarrollando la teoría 296 Apuntes de Psicología, 2004, Vol. 22, número 3, págs

102 S. Hernández, C. Pozo y E. Alonso Aproximación multimétodo en evaluación de necesidades Tabla 1. Elementos definitorios de los paradigmas de investigación. POSITIVISMO LÓGICO CONSTRUCTIVISMO PRAGMATISMO Objetivo Busca los hechos y las causas de los fenómenos sociales, prestando escasa atención a los estados subjetivos de los individuos. Ontología Realismo. Existe una única realidad estable. Epistemología Punto de vista objetivo. El sujeto investigador y el objeto de conocimiento son independientes. Axiología La investigación está libre de valores. Generalización Es posible la generalización a otros contextos y momentos temporales. Estudios de casos múltiples. Relaciones Existen relaciones causales entre causales fenómenos, de modo que la causa precede o es simultánea a sus efectos. Lógica Inferencial e hipotético-deductiva. No fundamentado en la realidad, orientado a la comprobación, confirmatorio y reduccionista. Enfoque Particularista. Orientado a los resultados. Metodología Cuantitativa. Medición y control. Características de los datos Fiables. Datos sólidos y repetibles. Pretende comprender la conducta humana desde el propio marco de referencia de quien actúa. Relativismo. Existen múltiples realidades construidas y dinámicas. Punto de vista subjetivo. No es posible separar el objeto de cono-cimiento del sujeto que lo investiga. La investigación no está libre de valores. No es posible la generalización a otros contextos y momentos temporales. Estudios de caso único. No es posible separar las causas de sus efectos. Inductiva. Fundamentado en la realidad, orientado a los descubrimientos, exploratorio y descriptivo. Holista. Orientado al proceso. Cualitativa. Observación naturalista y sin control. Válidos. Datos reales, ricos y profundos. Intenta dar respuesta a las cuestiones de investigación, teniendo en cuenta los propósitos del estudio y los recursos disponibles. Existe una realidad externa. Se eligen las explicaciones que permiten alcanzar los resultados deseados. Punto de vista tanto objetivo como subjetivo. Los valores juegan un importante papel en la investigación. Las posibilidades de generalización dependen de las condiciones particulares de cada investigación. Pueden existir relaciones causales, pero no son plenamente accesibles al investigador. Inductiva y deductiva. Orientado al proceso y a los resultados. Cuantitativa y cualitativa. Fiables y válidos. Apuntes de Psicología, 2004, Vol. 22, número 3, págs

103 S. Hernández, C. Pozo y E. Alonso Aproximación multimétodo en evaluación de necesidades de manera inductiva a partir de los datos. El pragmatismo niega la necesidad de elegir entre ambas opciones, defendiendo la posibilidad de emplear tanto la lógica deductiva como la inductiva en diferentes momentos del proceso de investigación y/o evaluación, en función de las características y demandas particulares de cada situación. En lo que se refiere a la metodología, como se señalaba con anterioridad, generalmente se ha asociado el positivismo con los métodos cuantitativos, y el constructivismo con los cualitativos. De nuevo, el pragmatismo rechaza la dicotomía excluyente entre ambas orientaciones y defiende la aproximación multimétodo a los fenómenos estudiados, a través del uso combinado de técnicas de recogida de información de naturaleza tanto cuantitativa como cualitativa (Cook, 1997; Cook y Reichardt, 1982; Datta, 1997; Patton, 1990; Tashakkori y Teddlie, 1998). Independientemente del diseño de investigación y de las técnicas concretas utilizadas, la aproximación multimétodo implica recurrir a algún tipo de triangulación. Este concepto tiene su origen en los trabajos pioneros de Campbell y Fiske (1959), quienes propusieron la denominada matriz multimétodo-multirasgo para la medida de rasgos psicológicos mediante el uso de distintas técnicas cuantitativas. Posteriormente, Denzin (1978) introdujo el término triangulación para referirse al estudio de un fenómeno social a través de la combinación de métodos tanto cuantitativos como cualitativos. Este autor distingue cuatro tipos básicos de triangulación: 1. De datos: uso de múltiples fuentes de información acerca del objeto de estudio. 2. De investigador: empleo de varios investigadores para el desarrollo del trabajo. 3. De teoría: utilización de diversas perspectivas teóricas para interpretar los resultados del estudio. 4. De método: uso de múltiples métodos para el análisis del mismo fenómeno. Otra interesante propuesta superadora de la polémica cualitativismo-cuantitativismo en el ámbito de la evaluación es el multiplismo, planteado por Cook (1985), que postula la utilización de múltiples enfoques teóricos, múltiples modelos causales e hipótesis alternativas, múltiples definiciones operativas de las múltiples variables implicadas, múltiples preguntas evaluativas para dar respuesta a las múltiples audiencias implicadas, objetivos múltiples que conduzcan a múltiples análisis de los resultados, múltiples procedimientos de evaluación (tanto cualitativos como cuantitativos), múltiples análisis de datos y contrastes de hipótesis, y por último, informes dirigidos a las múltiples audiencias interesadas. Junto al pragmatismo, Greene, Benjamin y Goodyear (2001) han descrito otros marcos conceptuales que recomiendan la aproximación multimétodo como opción más apropiada en la investigación social y la evaluación de programas, tales como el enfoque dialéctico y la orientación basada en la teoría sustantiva. El enfoque dialéctico parte del reconocimiento de marcadas e irreconciliables diferencias entre los supuestos filosóficos subyacentes a distintos paradigmas, señalando la importancia de valorar los aspectos positivos de cada alternativa. En respuesta a esta situación, se plantea que una conversación entre distintos paradigmas y aproximaciones metodológicas dentro de un mismo estudio, puede llevar a una mejor y más completa comprensión de los fenómenos estudiados. Tal como señalan Greene y Caracelli (1997), se pone énfasis en la necesidad de dejar a un lado el debate en torno a diferencias paradigmáticas que pueden ser 298 Apuntes de Psicología, 2004, Vol. 22, número 3, págs

104 S. Hernández, C. Pozo y E. Alonso Aproximación multimétodo en evaluación de necesidades irreconciliables, para centrarse en identificar y conjuntar los rasgos distintivos de diversas tradiciones, insistiendo en que la integración de dichos elementos críticos puede contribuir a generar inferencias más relevantes, útiles y clarificadoras. El enfoque basado en la teoría sustantiva mantiene un paralelismo en el ámbito evaluativo con la denominada evaluación orientada por la teoría (Bickman, 1987; Chen, 1990; Chen y Rossi, 1992), que subraya la importancia del conocimiento y la comprensión de los problemas sociales como guía para el diseño y la evaluación de programas. Desde esta perspectiva se considera que, dada la gran complejidad de los problemas sociales, las teorías acerca de sus determinantes han de ser necesariamente complejas y multidimensionales, por lo que el uso de la teoría del programa como base para su evaluación requiere la adopción de una aproximación multimétodo. Asimismo, Greene, Bejamin y Goodyear (2001) mencionan orientaciones alternativas recientes tales como la ciencia social crítica, la ciencia-acción, el realismo, o el pensamiento posmoderno, que rechazan el tradicional enfrentamiento dualista entre paradigmas y aconsejan la utilización de múltiples métodos para lograr una comprensión más completa de los fenómenos sociales. El realismo, por ejemplo, busca explicaciones causales contextualizadas, para lo cual se consideran necesarias tanto la generalidad como la particularidad, tanto la objetividad como la subjetividad, y tanto la búsqueda de regularidades como de particularidades. La aproximación multimétodo en evaluación de necesidades Las necesidades y problemas sociales son complejos, dinámicos y contextualmente diversos, por lo que resulta imprescindible recurrir a todas las herramientas metodológicas disponibles para alcanzar una mejor comprensión de los mismos. En este sentido, cada vez son más numerosos los autores que defienden la adopción de una aproximación multimétodo en la evaluación de necesidades (Altschuld y Witkin, 2000; Hernández y cols., 2004; McKillip, 1987, 1998; Percy-Smith, 1996; Reviere y cols., 1996; Robson, 2000; Stufflebeam y cols.,1984; Wiener, Wiley, Huelsman y Hilgermann, 1994; Witkin y Altschuld, 1995), como vía para lograr una visión más comprehensiva de los fenómenos estudiados, un análisis más penetrante de la realidad social, así como un mayor pluralismo y diversidad de valores. Superando el viejo debate en términos de oposición entre cualitativismo y cuantitativismo, es necesario reconocer que ambas aproximaciones tienen ventajas e inconvenientes, por lo que su mayor o menor adecuación no depende de la superioridad intrínseca de una metodología determinada, sino de su capacidad para proporcionar información válida, fiable y completa que permita responder a las cuestiones planteadas en base a los objetivos de la evaluación, teniendo en cuenta tanto los recursos económicos y temporales disponibles para su desarrollo, como las características de la población y del contexto (Patton, 1990; Pozo y cols., 2004). Ésta es precisamente la postura metodológica que se defiende en el presente trabajo, asumiendo que los métodos cuantitativos y cualitativos de investigación son deseablemente compatibles, y que la elección de unos u otros va a depender de la naturaleza y características de la información requerida en cada situación particular de investigación o evaluación. Las posibilidades de combinación metodológica son múltiples, dependiendo de los propósitos específicos de la evaluación Apuntes de Psicología, 2004, Vol. 22, número 3, págs

105 S. Hernández, C. Pozo y E. Alonso Aproximación multimétodo en evaluación de necesidades de necesidades. De acuerdo con Creswell (1994), las distintas opciones de uso conjunto de técnicas cuantitativas y cualitativas de investigación pueden clasificarse dentro de cuatro categorías o tipos generales de diseños multimétodo: 1. Secuenciales. 2. Paralelos o simultáneos. 3. De estatus equivalente. 4. De dominancia variable. Los diseños secuenciales o bifásicos comienzan con la recogida de información cualitativa y continúan con la recopilación de datos cuantitativos, o viceversa, en dos etapas independientes y secuenciales. Los estudios paralelos constan de dos fases simultáneas y complementarias de recogida de información cualitativa y cuantitativa. Los diseños de status equivalente emplean ambos tipos de métodos al mismo nivel para lograr una comprensión más completa del fenómeno estudiado. Y finalmente, los estudios de dominancia variable se desarrollan principalmente dentro de un paradigma, incluyendo algún componente de otra orientación alternativa, con un peso menor dentro de la investigación. Aunque son escasos los ejemplos de aplicación de la aproximación multimétodo en la práctica de la evaluación de necesidades, las ventajas de este enfoque se han puesto de manifiesto en diversos estudios. Por ejemplo, Wiener y colaboradores (1994) analizan las necesidades de los usuarios de un centro de salud mental, recurriendo para ello a una combinación de métodos tanto cualitativos como cuantitativos, concretamente, la entrevista en profundidad a informantes clave y el mapa de conceptos. Los autores subrayan tres ventajas principales derivadas del uso conjunto de ambas técnicas: en primer lugar, las entrevistas en profundidad hacen posible la toma inicial de contacto con los participantes, creando un clima de confianza que facilita su implicación en la fase cuantitativa del estudio. En segundo lugar, la convergencia entre los datos obtenidos, de manera independiente, mediante dos técnicas muy diferentes entre sí, incrementa la confianza en los resultados de la evaluación. En tercer lugar, ambas técnicas proporcionan información complementaria acerca de la realidad examinada: el mapa de conceptos hace posible el análisis cuantitativo de las necesidades existentes, mientras que las entrevistas en profundidad permiten obtener información acerca del contexto y las perspectivas de los miembros de la comunidad. A raíz de estas ventajas, Wiener y colaboradores (1994) concluyen que no solamente es posible combinar técnicas muy distintas a la hora de llevar a cabo una evaluación de necesidades, sino que es además aconsejable para lograr una comprensión más completa de la problemática examinada. Más recientemente, Altschuld y Witkin (2000) han descrito diversos ejemplos de evaluación de necesidades en contextos comunitarios, educativos y sanitarios, en los que se subraya que la utilización de múltiples métodos, tanto cuantitativos como cualitativos, ofrece resultados más completos y rigurosos que los que se habrían obtenido mediante el empleo de una única técnica de investigación, dada la gran complejidad de las necesidades y problemas sociales analizados. Como contrapartida, la aproximación multimétodo requiere la participación de un mayor número de profesionales con amplios conocimientos metodológicos, da lugar a extensos y complejos informes de resultados, y conlleva un coste económico y temporal considerablemente mayor. Por consiguiente, las ventajas del uso de múltiples métodos vendrán dadas por su adecuada selección y aplicación en el 300 Apuntes de Psicología, 2004, Vol. 22, número 3, págs

106 S. Hernández, C. Pozo y E. Alonso Aproximación multimétodo en evaluación de necesidades marco de un diseño de evaluación en el que exista una relación lógica entre las distintas técnicas de investigación empleadas, así como entre éstas y los objetivos del estudio. La ausencia de una planificación rigurosa de la recogida de datos o la inadecuada elección de métodos puede dar lugar al solapamiento de la información obtenida, así como al aumento innecesario del coste económico y temporal de la evaluación (Reviere y cols., 1996; Witkin y Altschuld, 1995). Éste es el caso del trabajo desarrollado por Miller y Solomon (1996), en el que se evalúan las necesidades relacionadas con el SIDA de un grupo de mujeres en situación de riesgo. Para ello, se recurre a una aproximación multimétodo en la que se combinan la observación, las entrevistas a informantes clave, el análisis de datos de archivo y las entrevistas estructuradas a mujeres en riesgo. Aunque la utilización de múltiples métodos es considerada uno de los puntos fuertes de la evaluación, no existe un diseño que guíe de manera lógica la selección de las técnicas de investigación en función de los objetivos del estudio, sino que éstas son elegidas ad hoc, a medida que avanza el proyecto. Los propios autores reconocen que la ausencia de planificación previa es una de las limitaciones más importantes del trabajo, dando lugar a un incremento del coste económico y temporal de la evaluación, y a la recopilación de información innecesaria. Propuesta de un modelo multimétodo de evaluación de necesidades Partiendo de una clara apuesta por la aproximación multimétodo en la evaluación de necesidades, y reconociendo las múltiples posibilidades de combinación metodológica que ofrece esta perspectiva (Cook y Reichardt, 1982; Creswell, 1994; Greene y cols., 2001; Tashakkori y Teddlie, 1998), a continuación se presenta una propuesta concreta de utilización conjunta de técnicas de investigación de naturaleza tanto cuantitativa como cualitativa, enmarcada dentro de un modelo de evaluación de necesidades, que se articula en torno a dos componentes principales: (1) la descripción y priorización de problemas, y (2) el análisis de los sistemas formal e informal de apoyo social, como fuentes complementarias de recursos para la cobertura de las necesidades detectadas (ver figura 1, en la página siguiente). Análisis de necesidades Tras una fase preparatoria que tiene por objeto planificar la evaluación (clarificación de objetivos y usos del estudio, delimitación del contexto y la población objetivo, selección de técnicas y fuentes de información) y establecer contacto con la población objeto de estudio, el primer componente del modelo consta de dos fases de recogida de información: (1) identificación de áreas de necesidad, mediante técnicas cualitativas de investigación, y (2) descripción y priorización de las necesidades existentes en las áreas previamente identificadas, a través de técnicas de tipo cuantitativo. En primer lugar, para la identificación de áreas de necesidad se propone recurrir a distintos grupos de informantes clave, es decir, personas que por su conocimiento y/o experiencia personal o profesional en relación con la población cuyas necesidades van a ser evaluadas, puedan proporcionar amplia información relevante acerca de las mismas. En esta etapa inicial se recomienda la utilización de técnicas cualitativas de investigación (entrevistas en profundidad, grupos de discusión, etc.), dada su particular capacidad para proporcionar descripciones detalladas, extensas, contextualizadas y en profundidad Apuntes de Psicología, 2004, Vol. 22, número 3, págs

107 S. Hernández, C. Pozo y E. Alonso Aproximación multimétodo en evaluación de necesidades PLANIFICACIÓN DE LA EVALUACIÓN DE NECESIDADES Desarrollo de un plan de evaluación de necesidades Contacto con la población Fase 1: metodología cualitativa Fase 1: metodología cualitativa Fase 2: metodología cuantitativa Fase 2: metodología cuantitativa Identificación, descripción y priorización de necesidades Descripción y análisis de recursos sociales Figura 1. Modelo multimétodo de evaluación de necesidades. acerca de los problemas y necesidades existentes, facilitando su comprensión (Filstead, 1982; Greene y cols., 2001; Patton, 1990; Pozo y cols., 2004). A pesar de sus limitaciones a la hora de comparar y generalizar resultados, la obtención de éstos de manera inductiva, sin las restricciones impuestas por categorías previamente definidas, permite la captación de aspectos no previstos ni evidentes para el evaluador (Berkowitz, 1996; Buttram, 1990; Patton, 1990). La información cualitativa recopilada en esta primera etapa puede ser muy útil, asimismo, como base para el diseño y/o adaptación de instrumentos de recogida de información de naturaleza cuantitativa (guiones de entrevista, cuestionarios, etc.), que puedan ser empleados en fases posteriores de la evaluación. La segunda etapa de recogida de datos se centra en la descripción y priorización de las necesidades específicas manifestadas en las áreas previamente identificadas, prestando especial atención a la perspectiva de la propia población afectada, y recurriendo para ello a la metodología cuantitativa. Estas técnicas de investigación (entrevista estructurada, encuesta, etc.) facilitan la recopilación de información rigurosa, exhaustiva, sistemática, estandarizada y cuantificable acerca de las opiniones, actitudes y experiencias de un gran número de personas, haciendo posible el análisis estadístico de los datos. El muestreo probabilístico recomendado en este tipo de evaluaciones permite la generalización de los resultados obtenidos a la población objeto de estudio, a través de diseños de investigación 302 Apuntes de Psicología, 2004, Vol. 22, número 3, págs

108 S. Hernández, C. Pozo y E. Alonso Aproximación multimétodo en evaluación de necesidades que garantizan la validez de las inferencias (Tashakkori y Teddlie, 1998; Witkin y Altschuld, 1995). Además, estas técnicas suelen ser relativamente sencillas de aplicar, ya que se basan en procedimientos estandarizados que incrementan la fiabilidad de los datos y facilitan la comparación de los resultados obtenidos en diferentes poblaciones y/o contextos. En esta fase, la información proporcionada por la población afectada puede ser complementada mediante el empleo de técnicas como la observación estructurada o el análisis de datos de archivo, con el fin de obtener una descripción más completa y fiable de los problemas existentes. No obstante, en el modelo que proponemos, una vez descritas las necesidades objeto de estudio, la comunidad adquiere un especial protagonismo en el establecimiento de prioridades. Análisis de recursos sociales El segundo componente de la evaluación de necesidades se centra en el análisis de los recursos sociales de los que disponen los individuos y los grupos para resolver sus problemas, partiendo de la posibilidad de diferenciar dos fuentes potenciales de ayuda: el sistema formal de apoyo social, constituido por todas aquellas organizaciones que desarrollan programas y ofrecen servicios en un ámbito determinado; y el sistema informal de apoyo social, formado por el conjunto de relaciones interpersonales que establecen los individuos, entre cuyas funciones se encuentra la provisión de recursos de diversa naturaleza (Cohen, Underwood y Gottlieb, 2000). Nuestra propuesta recomienda el examen de ambos sistemas, prestando especial atención a las siguientes cuestiones. En lo que se refiere al sistema formal de apoyo: 1. Identificación de las instituciones sociales que ofrecen recursos de distinto tipo en el ámbito evaluado. 2. Descripción de los programas y servicios que dichas organizaciones desarrollan. 3. Determinación del grado de conocimiento y utilización de las instituciones y los programas que éstas llevan a cabo. Respecto al sistema informal de apoyo social: 1. Descripción de la estructura de la red social (tamaño, composición, densidad, dispersión, frecuencia de contacto, reciprocidad, multiplicidad, etc.) del grupo de población cuyas necesidades están siendo evaluadas. 2. Examen de las funciones de ayuda (apoyo emocional, informativo, material, instrumental, etc.) desempeñadas por el sistema informal de apoyo, poniendo énfasis en el análisis de los recursos sociales movilizados en las relaciones interpersonales (Cohen y cols., 2000). De un modo similar a lo establecido para el análisis de necesidades, esta fase de la evaluación comienza con una primera etapa de recogida de información acerca de los recursos formales e informales disponibles, mediante técnicas de investigación de naturaleza cualitativa (entrevistas en profundidad a informantes clave, grupos de discusión, análisis de material documental, etc.). Esta información preliminar tiene como finalidad conocer las fuentes alternativas a las que recurren los individuos para la búsqueda de recursos, las distintas instituciones que ofrecen servicios dirigidos al grupo de población objeto de interés, los programas de intervención que desarrollan, y posibles barreras, dificultades o preferencias en el Apuntes de Psicología, 2004, Vol. 22, número 3, págs

109 S. Hernández, C. Pozo y E. Alonso Aproximación multimétodo en evaluación de necesidades acceso a los recursos formales e informales, entre otras cuestiones. La segunda etapa de recogida de datos requiere de nuevo el uso de técnicas de investigación de naturaleza cuantitativa (entrevista estructurada, encuesta, análisis de datos de archivo, etc.), dada su capacidad para proporcionar información específica, precisa, rigurosa y exhaustiva acerca del nivel de conocimiento y utilización de los recursos formales, así como sobre la estructura y funciones del sistema informal de apoyo social. En lo que se refiere a esta última modalidad de apoyo, son muy numerosos los instrumentos estandarizados que se encuentran disponibles en la bibliografía especializada sobre el tema, debiendo seleccionar en cada caso aquellos que mejor se ajusten a los propósitos concretos del estudio (véase Gracia, Herrero y Musitu, 2002, para una amplia y exhaustiva revisión). Respecto al sistema formal de apoyo, dado el carácter local de la evaluación de necesidades, suele ser necesario diseñar instrumentos ad hoc, que permitan obtener información relativa al contexto específico en el que tiene lugar el estudio. Aunque la valoración de necesidades y el análisis de los recursos sociales son componentes claramente diferenciados dentro del modelo, no presentan un carácter secuencial, pudiéndose desarrollar de modo paralelo. De hecho, es posible recurrir a las mismas técnicas de investigación para el examen de ambas cuestiones. Una vez concluida la recopilación de información, el siguiente paso consiste en analizar los datos obtenidos con el fin de valorar la capacidad de los sistemas formal e informal para satisfacer las necesidades detectadas, poniendo énfasis tanto en la valoración de la potencialidad de dichos sistemas para dar solución a los problemas existentes, como en la identificación de las necesidades no cubiertas mediante el apoyo disponible. La determinación del grado de ajuste entre necesidades y recursos es fundamental como punto de partida para el diseño de intervenciones que incidan sobre las carencias prioritarias identificadas en la población objeto de estudio Tal como se observa en la figura 1, nuestra propuesta de combinación metodológica plantea un diseño secuencial o bifásico que comienza con la recogida de información de naturaleza cualitativa y continúa con la obtención de datos cuantitativos, en dos fases claramente diferenciadas. A pesar de esta secuenciación temporal, se rechaza abiertamente la creencia en la superioridad de unos métodos respecto a otros, por lo que ambos tipos de información reciben el mismo peso en los resultados de la evaluación, con el fin último de lograr una comprensión más completa de las necesidades y problemas sociales evaluados. Un ejemplo de aplicación del modelo propuesto puede encontrarse en el trabajo desarrollado por Hernández y colaboradores (Hernández, 2003; Hernández y cols., 2004), en el que se lleva a cabo una evaluación de las necesidades de los inmigrantes marroquíes en la provincia de Almería, empleando dos modalidades de entrevista: la entrevista abierta o en profundidad, de naturaleza cualitativa, mediante la cual se obtienen descripciones amplias y contextualizadas acerca de las áreas de necesidad, problemas y recursos sociales de los inmigrantes desde el punto de vista de un grupo de informantes clave (mediadores interculturales, representantes de sindicatos y asociaciones de inmigrantes, comerciantes, etc.); y la entrevista estructurada, de naturaleza cuantitativa, a través de la cual se analizan de un modo más específico, sistemático y exhaustivo tanto los problemas existentes en las áreas de necesidad previamente identificadas, como los recursos formales e informales disponibles para su cobertura, en base a la información 304 Apuntes de Psicología, 2004, Vol. 22, número 3, págs

110 S. Hernández, C. Pozo y E. Alonso Aproximación multimétodo en evaluación de necesidades proporcionada por los propios marroquíes. Los resultados obtenidos mediante ambas modalidades de entrevista resultan altamente consistentes, ya que tanto los informantes clave como los inmigrantes coinciden en destacar como prioritarias las necesidades de este colectivo en las áreas de vivienda, documentación, empleo y prejuicio étnico. Las técnicas empleadas proporcionan información complementaria acerca de la realidad objeto de estudio, haciendo posible tanto su comprensión (metodología cualitativa) como su análisis preciso y sistemático (metodología cuantitativa), y permitiendo además la superación de algunas de las limitaciones asociadas a cada método. En conclusión, consideramos que la aproximación multimétodo es la opción más apropiada en la evaluación de necesidades, ya que proporciona información más completa y exhaustiva, hace posible la incorporación de diversos puntos de vista acerca de la realidad examinada, reduce los sesgos asociados a cada técnica utilizada de manera aislada, incrementa la fiabilidad de los resultados, y permite seleccionar la combinación metodológica más adecuada en cada caso, en función de los objetivos del estudio, las características de los grupos de población implicados, los recursos económicos, humanos y temporales disponibles, o cualquier otra peculiaridad del contexto en el que se vaya a llevar a cabo la evaluación. Dada la escasa disponibilidad de recursos económicos y temporales que suele caracterizar a este tipo de estudios, es imprescindible que la investigación futura permita conocer la utilidad, costes y beneficios de distintas combinaciones metodológicas, con objeto de servir de guía para la toma de decisiones acerca de las técnicas de recogida de información más apropiadas en función de las exigencias y particularidades de cada evaluación de necesidades. Referencias Aguilar, M.J. y Ander-Egg, E. (1992). Evaluación de servicios y programas sociales. Madrid: Siglo XXI. Altschuld, J.W. y Witkin, B.R. (2000). From needs assessment to action. Transforming needs into solution strategies. Thousand Oaks: Sage. Alvira, F. (1991). Metodología de la evaluación de programas. Madrid: CIS. Berkowitz, S. (1996). Using qualitative and mixed-method approaches. En R. Reviere, S. Berkowitz, C.C. Carter y C.G. Ferguson (Eds.), Needs assessment. A creative and practical guide for social scientists (págs ). Washington: Taylor y Francis. Bickman, L. (1987). Using program theory in evaluation. San Francisco: Jossey Bass. Buttram, J.L. (1990). Focus groups: A starting point for needs assessment. Evaluation Practice, 11 (3), Campbell, D. y Fiske, D.W. (1959). Convergent and discriminant validation by the multitrait-multimethod matrix. Psychological Bulletin, 54, Campbell, D. y Stanley, J.C. (1969). Experimental and quasi-experimental designs for research. Chicago: Rand McNally. Chacón, F. (1989). Necesidad social y servicios sociales. Papeles del Psicólogo, 41-42, Chacón, F., Barrón, A. y Lozano, P. (1988). Evaluación de necesidades. En A. Martín, F. Chacón y M. Martínez (Eds.), Psicología comunitaria (págs ). Madrid: Visor. Chen, H.T. (1990). Theory-driven evaluations. Newbury Park: Sage. Chen, H.T. y Rossi, P.H. (1992). Using theory to improve program and policy evaluation. Wesport: Greenwooe. Apuntes de Psicología, 2004, Vol. 22, número 3, págs

111 S. Hernández, C. Pozo y E. Alonso Aproximación multimétodo en evaluación de necesidades Cohen, S., Underwood, L.G. y Gottlieb, B.H. (2000). Social support measurement and intervention. A guide for health and social scientists. Oxford: Oxford University Press. Cook, T.D. (1985). Postpositivist critical multiplism. En L. Shotland y M.M. Mark (Eds.), Social science and social policy (págs ). Beverly Hills: Sage. Cook, T.D. (1997). Lessons learned in evaluation over the past 25 years. En E. Chelimsky y W.R. Shadish (Eds.), Evaluation for the 21 st century. A handbook (págs ). Thousand Oaks: Sage. Cook, T.D. y Reichardt, Ch.S. (1982). Métodos cualitativos y cuantitativos en investigación evaluativa. Madrid: Morata, Creswell, J.W. (1994). Research designs: Qualitative and quantitative approaches. Thousand Oaks: Sage. Datta, L. (1997). Multimethod evaluations. Using case studies together with other methods. En E. Chelimsky y W.R. Shadish (Eds.), Evaluation for the 21 st century. A handbook (págs ). Thousand Oaks: Sage. Denzin, N.K. (1978). The research act: A theoretical introduction to sociological methods. Nueva York: McGraw-Hill. Esters, I.G. (2003). Salient worries of atrisk youth: Needs assessment using the Things I Worry About Scale. Adolescence, 38 (150), Filstead, W.J. (1982). Métodos cualitativos. Una experiencia necesaria en la investigación evaluativa. En T.D. Cook y Ch.S. Reichardt (Eds.), Métodos cualitativos y cuantitativos en investigación evaluativa (págs ). Madrid: Morata. Gracia, E., Herrero, J. y Musitu, G. (2002). Evaluación de recursos y estresores psicosociales en la comunidad. Madrid: Síntesis. Greene, J.C., Benjamin, L. y Goodyear, L. (2001). The merits of mixing methods in evaluation. Evaluation, 7 (1), Greene, J.C. y Caracelli, V.J. (1997). Defining and describing the paradigm issue in mixed-method evaluation. En J.C. Greene y V.J. Caracelli (Eds.), Advances in mixed-method evaluation. The challenges and benefits of integrating diverse paradigms. New Directions for Evaluation, 74, Guba, E.G. y Lincoln, Y.S. (1989). Fourth generation evaluation. Newbury Park: Sage. Hernández, S. (2003). La otra cara de la inmigración. Necesidades y sistemas de apoyo social. Almería: Servicio de Publicaciones de la Universidad de Almería. Hernández, S., Pozo, C. y Alonso Morillejo, E. (2004). The role of informal social support in needs assessment: Proposal and application of a model to assess immigrants needs in the south of Spain. Journal of Community and Applied Social Psychology, 14 (4), Hernández López, J.M. (1995). Procedimientos de recogida de información en evaluación de programas. En R. Fernández Ballesteros (Ed.), Evaluación de programas. Una guía práctica en ámbitos sociales, educativos y de salud (págs ). Madrid: Síntesis. Jacobson, W., Rubin, E.V. y Colleman, S. (2002). Examining training needs in large municipalities: linking individual and organizational training needs. Public Personnel Management, 31 (4), Katz, A., Davis, P. y Findlay, S.S. (2002). Ask and ye shall plan. A health needs assessment of a university population. 306 Apuntes de Psicología, 2004, Vol. 22, número 3, págs

112 S. Hernández, C. Pozo y E. Alonso Aproximación multimétodo en evaluación de necesidades Canadian Journal of Public Health, 93 (1), Kaufman, R. (1982). Identifying and solving problems: A system approach. San Diego: University Associates. Kramer, R., Hayes, R., Nolan, V. y Cotenoff, S. (2002). Community needs assessment of lower Manhattan residents following the World Trade Center Attacks-Manhattan, New York City, JAMA, 288 (10), Lau, J.R., Chen, R., Wang, Q., Diao, J., Tsui, H. y Yuang, W. (2003). Needs assessment for STD/HIV prevention among patients with sexually transmitted diseases in southern China. Sexually Transmitted Diseases, 30 (8), Martí, S. y Serrano, I. (1983). Needs assessment and community development: An ideological perspective. Prevention in Human Services, 3, McKillip, J. (1987). Needs analysis. Tools for the human services and education. Newbury Park: Sage. McKillip, J. (1998). Needs analysis. Process and techniques. En L.Bickman y D.J. Rog (Eds.), Handbook of applied social research methods (págs ). Thousand Oaks: Sage. Miller, R.L. y Solomon, E.E. (1996). Assessing the AIDS-related needs of women in an urban housing development. En R. Reviere, S. Berkowitz, C.C. Carter y C.G. Ferguson (Eds.), Needs assessment. A creative and practical guide (págs ). Washington: Taylor y Francis. Montero, M. (1994). Procesos de influencia social consciente e inconsciente en el trabajo psicosocial comunitario. La dialéctica entre mayorías y minorías activas. En M. Montero (Coord.), Psicología social comunitaria. Teoría, método y experiencia (págs ). Guadalajara: Dirección de Publicaciones de la Universidad de Guadalajara. Neuber, K.A., Atkins, W.T., Jacobson, J.A. y Reuterman, N.A. (1980). Needs assessment. A model for community planning. Newbury Park: Sage. Patton, M.Q. (1990). Qualitative evaluation and research methods. Newbury Park: Sage. Percy-Smith, J. (1996). Needs assessment in public policy. Buckingham: Open University Press. Pozo, C., Alonso Morillejo, E. y Hernández, S. (2004). Teoría, modelos y métodos en evaluación de programas. Granada: Grupo Editorial Universitario. Reviere, R., Berkowitz, S., Carter, C.C. y Ferguson, C.G. (1996). Needs assessment. A creative and practical guide for social scientists. Washington: Taylor y Francis. Riecken, W.R., Boruch, R.F., Campbell, D.T., Caplan, N., Glenan, T.K., Pratt, J.W., Rees, A. y Williams, W. (1974). Social experimentation: A method for planning and evaluating social intervention. Nueva York: Academic Press. Robson, C. (2000). Small scale evaluation. Londres: Sage. Rossi, P.H. y Freeman, H.E. (1989). Evaluación: Un enfoque sistemático para programas sociales. México: Trillas, Stufflebeam, D.L., McCormick, Ch.H., Brinkerhoff, R.O. y Nelson, Ch.O. (1984). Conducting educational needs assessment. Boston: Kluwer-Nighott Publications. Stufflebeam, D.L. y Shinkfield, A.J. (1985). Evaluación sistemática. Guía teórica y práctica. Barcelona: Paidós, Tashakkori, A. y Teddlie, Ch. (1998). Mixed methodology. Combining qualitative Apuntes de Psicología, 2004, Vol. 22, número 3, págs

113 S. Hernández, C. Pozo y E. Alonso Aproximación multimétodo en evaluación de necesidades and quantitative approaches. Thousand Oaks: Sage. Wiener, R.L., Wiley, D., Huelsman, T. y Hilgemann, A. (1994). Needs assessment. Combining qualitative interviews and concept mapping methodology. Evaluation Review, 18 (2), Witkin, B.R. (1994). Needs assessment since 1981: The state of the practice. Evaluation Practice, 15 (1), Witkin, B.R. y Altschuld, J.W. (1995). Planning and conducting needs assessments. A practical guide. Thousand Oaks: Sage. 308 Apuntes de Psicología, 2004, Vol. 22, número 3, págs

114 La importancia de la participación en los procesos de cambio social y comunitario. Arrate Agirrezabal Facultad de Psicología. Universidad del País Vasco/Euskal Herriko Unibertsitatea Asociación T4 Elkartea La participación es un proceso que tiene en sí mismo valor democrático, ya que supone la expresión de autonomía, libertad y empoderamiento (López y Valera, 2009). Muchas de las intervenciones sociales y comunitarias no tienen los resultados esperados, y en muchas ocasiones, las deficiencias observadas en los mismos devienen de la ignorancia y no atención de la población objeto de intervención. En este sentido, la atención a la población y/o grupo de interés en el proceso de proyecto de intervención aparece como condición necesaria para una óptima detección de necesidades. En esta línea, señalan López y Varela (2009) la necesidad de tener en cuenta a la población objeto en tanto agente clave del proceso, no significando esta consideración que necesariamente el proyecto tenga garantías de éxito. Si bien, la realidad nos muestra la no inclusión en la práctica de esta dimensión participativa en el diseño de las intervenciones (véase estudio Diagnóstico de intervenciones grupales de las ONG para la prevención del vih/sida entre jóvenes escolarizados, -Sidastudi, 2008-), la importancia de la participación y la necesaria implicación de las personas, parece un elemento compartido no sólo en la literatura psicosocial (Sánchez Vidal, 2007) y comunitaria (López y Varela, 2009), sino también en las necesidades manifestadas desde el tejido asociativo (Sidastudi, 2008). Ante este escenario, planteamos en primer lugar, la inclusión de un cambio de terminología, que a su vez, supone un cambio de visión. Así, desde una visión/perspectiva transformadora, esa población beneficiaria/objeto (con la 1

115 connotación estática devenida), dejaría de ser objeto para ser población sujeto, siendo este, ese primer paso necesario para dar poder y fortalecer a las personas, grupos y comunidades, para que sean agentes de su propio cambio (Sánchez Vidal, 2007; López y Varela, 2009). Encontrándonos de este modo, ante la evidencia referida a que la participación se vuelve proceso además de herramienta para el empoderamiento tanto individual como colectivo. El presente texto se articula en torno a los siguientes apartados: en primer lugar, nos centraremos en aquellos procesos por los cuáles las personas y grupos participan junto con una serie de recomendaciones al respecto. En segundo lugar, incluiremos en la línea del cambio transformador el concepto de participación como espacio dinámico. En tercer lugar, y siguiendo el proceso de desarrollo de proyecto (evaluación de necesidades, implementación y evaluación de resultados), mencionaremos algunas de las técnicas de participación en cada fase. Seguidamente mencionaremos algunas claves para la participación de la población sujeto en el proceso de proyecto. Finalmente, nos referiremos a la ética de la intervención comunitaria en tanto elemento fundamental en proyectos de intervención sociales y/o comunitarios. 1. Porqué las personas participan? La revisión realizada en la literatura psicosocial (Montenegro, 2007), aporta una serie de respuestas a porqué las personas se implican en acciones de participación comunitaria. En este sentido, menciona que la participación de los miembros de una comunidad es el resultado de los siguientes factores: la accesibilidad para participar, el deseo de participar, el conocimiento existente sobre las oportunidades de participación y la estimación realizada sobre la efectividad del programa. A este respecto, encontramos autoras como López y Valera (2009), quienes señalan algunas recomendaciones respecto a los criterios que hemos de tener 2

116 en cuenta para garantizar la participación. Recomendaciones que, en cierto sentido, se encuentran relacionados con algunos de los principios éticos en intervención a los que atenderemos más adelante (individual, social y psicosocial): inclusión, diferenciación, integración, equidad, flexibilidad, coherencia, legitimidad, responsabilidad, aprendizaje y espacio de decisión. Como se puede observar, son múltiples los factores que influyen en el porqué del proceso participativo. Desde los factores de naturaleza individual (como el deseo), a los factores contextuales (como el conocimiento de la posibilidad de participación y la accesibilidad del proceso participativo). Todos estos factores son algunos de los que hemos de tener en cuenta a la hora de realizar estrategias dirigidas a la participación de las personas, los grupos y la comunidad en todo el proceso de intervención social y comunitaria. 2. La participación como espacio dinámico Tomando como concepto la participación comunitaria, se observa que la participación se trata de un espacio dinámico, en el que se reflexiona y actúa con el objetivo de conseguir una mejora en la calidad de vida de las personas, grupos y comunidades en relación con asuntos que los propios actores sociales señalan que les afectan y/o que son de su interés (Montenegro, 2007). En el caso de la participación comunitaria, es el sentimiento de pertenencia el que sirve de fuerza motivadora para la participación, junto con la confianza en que las acciones realizadas y los resultados de las mismas tendrán un eco en la comunidad, resultado en la comunidad y serán distribuidas de manera colectiva. 3. Técnicas/Herramientas de participación en el proceso de proyecto 3

117 Hemos de fomentar la participación de las personas en todos los procesos en los que el proyecto se enmarca: identificación de necesidades, formulación, ejecución/implementación, seguimiento y evaluación. Evaluación Identificación POBLACIÓN OBJETO Seguimiento Formulación Ejecución 4

118 La participación ha de posibilitar asimismo, la existencia de puntos de encuentro y sinergias entre la población objeto, las organizaciones y las instituciones (López y Valera, 2009) Herramientas de participación en la identificación de necesidades y formulación A continuación, se señalan algunas de las técnicas basadas en la implicación de la población objeto y centradas en la primera fase del proceso de proyecto (identificación de necesidades y formulación) para otras técnicas ver Mayordomo en este manual-. - Entrevista (con población sujeto): técnica de recogida de información basada en el diálogo directo entre el/la investigadora y cada una de las personas seleccionadas para el estudio, utilizando un guión más o menos estructurado en función de los objetivos de la investigación (Ander Egg, 1995). En función del grado de estructuración, tenemos dos tipos de entrevista: entrevista en profundidad semi-estructurada (con guión de preguntas abiertas y con mayor libertad de aportación por parte de la persona entrevistada), y entrevista estructurada (con un guión cerrado de preguntas sobre temas específicos y directamente relacionados con el proyecto). - Entrevista con Informantes clave-, en tanto miembros de un grupo que, por su posición o su experiencia, disponen de información exhaustiva y veraz sobre los restantes miembros, las necesidades, valores, dinámicas y otras cuestiones del grupo relevantes para la evaluación. - Encuesta: técnica de recogida de información masiva en la que el total de las personas seleccionadas para el estudio responden por escrito a un conjunto de cuestiones previamente elaboradas por los y las investigadores e investigadoras en función de los intereses de la investigación. 5

119 - Cuestionario: proceso estructurado de recogida de información a través de la cumplimentación de una serie de preguntas. - Grupos/Foro comunitario: reunión abierta en la que se invita a participar a la comunidad para tratar sobre diversas cuestiones (evaluación de necesidades, éxito de la intervención ). Es importante que el grupo sea representativo de la comunidad, y también es importante que se encuentren en situación de poder expresar sus opiniones con libertad (Rebolloso, et al 2008). - Taller de identificación (López y Varela, 2009): espacios para trabajo en grupo en los que a través de metodologías participativas se recoge información sobre inquietudes y opiniones de la población sujeto. Estas técnicas proporcionan información provechosa y de primera mano acerca del problema y de los factores lo originan y acerca de la experiencia y actitudes de los grupos (Rebolloso et al., 2008) sujeto. En todas ellas, se debe de poner especial atención en que estén representados todos los colectivos y personas relevantes. En referencia a estos métodos para la evaluación de contexto, observamos tanto la posibilidad como la conveniencia de combinar de manera adecuada estrategias tanto cualitativas como cuantitativas (Nuñez y Loscertales, 1996; citado por Rebolloso, et al. 2008), en aras a no cometer errores derivados del uso de un único método de investigación. 6

120 3.2. Técnicas/herramientas de participación en la intervención/implementación Las técnicas de participación en la fase de implementación se abordarán tomando como referente por un lado el concepto estático anteriormente señalado de población objeto/beneficiaria (tan ampliamente utilizado en la literatura) y por otro, el concepto transformador/dinámico de población sujeto (en tanto actores de cambio comunitario). Población objeto y participación en la implementación Según Rossi y y Freeman, (1989); -cit. por Rebolloso, 2008-, el seguimiento de la participación de las personas objetivo en los programas de intervención se relaciona con dos problemas: de cobertura y de sesgo. El sesgo puede tener lugar cuando se auto-seleccionan los sujetos o las acciones que conforman el programa. En este caso, el éxito de la intervención será limitado y no se podrá realizar una evaluación de impacto adecuada. En el caso de población-objeto, se observa como la implementación implica un nivel mínimo de colaboración por parte de las personas que recibirán el servicio (Rebolloso, 2008). Se tienen que tener en cuenta disposición, puntos de vista y habilidades para aprovecharse del servicio prestado (Scheirer, 1987). Nos podemos preguntar, una vez diseñada la intervención (si disponen de un nivel educativo suficiente, su disponibilidad a participar en las actividades del programa, si reciben información adecuada, si comprenden el significado de participar en el programa y qué pueden esperar y si el programa se implemente en una zona donde existen suficientes usuarios potenciales (Chen y Rossi, 1983; Rebolloso, 1995). 7

121 Se mide la participación en tanto población-objeto por medio por ejemplo de registros del programa, encuestas a participantes a nivel individual y encuestas comunitarias. Se ha de tener especial cuidado para no cometer algunos de los errores que se dan con frecuencia y que afectan especialmente a la población objeto (como el negar asistencia a los grupos que necesitan la intervención de manera más urgente) Owen y Rogers, 1999; cit. por Rebolloso, Participación en la implementación: población sujeto como actores de cambio comunitario Hemos de considerar en esta fase de implementación las acciones de capacitación previstas, cómo se prevé sea la implicación y participación de la población objeto en el desarrollo de las acciones (quién va a hacer qué) y la definición de metodología para garantizar la participación (López yvarela, 2009). Una consideración singular se merece en este epígrafe la Educación por pares (peer education). Naciones Unidas señala la educación por pares como una de las estrategias más ampliamente usadas para abordar el vih a nivel mundial ( La Educación por pares es un concepto amplio, definido de diversas maneras (NU): como aproximación, canal de comunicación, metodología, filosofía y/o estrategia de intervención. En la práctica, observamos la existencia de múltiples definiciones de lo que es la educación por pares, derivadas a su vez de la definición realizada de par y de qué se entiende por educación (counselling, distribución de material, dinamización de discusiones ) (Shoemaker et al, 1998; Flanagan et al., 1996, cit. por NU). La educación por pares es aquella basada en la educación realizada/dinamizada/facilitada por una persona igual a una en uno o varios aspectos. Son personas respetadas que no son consideradas como figuras de autoridad. Se sirven de numerosas actividades (desde las escenificaciones, discusiones informales, visualización de videos), rompiendo la barrera en la 8

122 comunicación que en ocasiones se da con otras personas no pares y/o figuras de autoridad. Naciones Unidas, presenta los resultados de algunas de las investigaciones más rigurosas en la literatura de salud referidos a los efectos de la educación por pares (veáse Katzenstein et al, (1998) para trabajadores/as de empresa; Rietmeijer et al, (1996) para personas usuarias de drogas inyectables; Kelly et al (1997) para HSH y Gifford et al (1998) para personas con vih). Estos concluyen la existencia de un efecto positivo de la educación por pares tanto en la incidencia de ETS y vih junto con su valor en prevención de vih, cuidado y soporte. La Educación por pares (peer education), como ocurre en el caso de otras técnicas de participación en la implementación, ha ser integrada junto con otras técnicas de intervención Participación de los agentes implicados en la evaluación En la última fase del proyecto también es importante la participación de los agentes directamente implicados. Muchas de las técnicas de participación utilizadas en la primera fase del proyecto (fase de evaluación de necesidades), son válidas en la última fase de evaluación de la intervención. Tenemos como técnicas posibles la entrevista (individual, grupal y con informantes clave), los foros comunitarios, el cuestionario y la encuesta. Respecto a la participación de los agentes directamente implicados, resulta de especial interés la óptima determinación y elección de los mismos, para no dar lugar a informaciones sesgadas derivadas de la no inclusión de algunos grupos o la selección de otros. En este sentido, parece necesario realizar una adecuada planificación de las personas informantes, en aras a una visión plural y lo más completa posible sobre las distintas fases del proyecto de 9

123 intervención. Así, habremos de tener especial cuidado en el caso de considerar la implicación y participación activa de los colectivos más vulnerables, los socialmente excluidos, y en general de aquellos que presenten dificultades para participar (López y Varela, 2009) Finalmente, y en lo que respecta a herramientas favorecedoras de la participación de la población sujeto en el proceso de proyecto, mencionar la importancia del: - Establecimiento de una relación de confianza, comprensión y accesibilidad entre los y las profesionales y la población sujeto. - Clima e influencia comunitaria: se requiere de un clima favorable por parte de la comunidad donde sus miembros estén implicados. - Se ha de dar una dinámica de diálogo entre los y las profesionales y la población sujeto en aras a una mayor participación-implicación. - Diseño de espacios participativos en los que se garantice representatividad y transparencia en cuanto a funcionamiento y toma de decisiones (López y Varela, 2009). 4. Ética de la intervención comunitaria Finalmente, mencionaremos como elemento fundamental del proceso, la ética de la intervención social y comunitaria. Sánchez Vidal (2007), menciona el olvido acaecido en la intervención comunitaria respecto a las cuestiones éticas, siendo éstas parte fundamental del trabajo con la comunidad y en la comunidad. Parte de la consideración de algunas cuestiones éticas frecuentes en intervención social y comunitaria, para mencionar posteriormente los valores y principios deontológicos, que gozan de amplio consenso entre los y las profesionales, si bien tienen un marcado carácter clínico, al haber sido concebidos para el trato con la persona individual. A éstos, añade una serie de valores más sociales y psicosociales, que aún no teniendo tanto consenso, 10

124 sí que pueden servir asimismo para guiar acciones de índole más social y comunitario. Principios y pautas deontológicas de comportamiento -valores de la ética individual- Sobre la persona, el/la profesional Auto-interés razonable: cuidarse a sí mismo/a para poder ayudar a otras personas, derecho a mantener la integridad psicológica, derecho a los medios precisos para alcanzar los fines planificados, derecho a condiciones de trabajo dignas. De la población objeto/sujeto Autonomía: fomentar la autonomía de las personas, respetar su dignidad y capacidad, informarles, evitar la dependencia y tratar a las personas como sujetos no como objetos. Beneficiencia (Bienestar de la persona/ eficacia de la intervención): hacer el bien y ser eficaz en la intervención y no utilizar a la persona. No maleficiencia: evitar el mal y la ineficacia, reducir efectos secundarios y compensar por daños causados. Justicia social: tratar a todas las personas de igual manera, no discriminar en función de variables personales o grupales y no condicionar la ayuda (ideológica, social o económicamente). Confianza: hacerse profesionalmente disponible y mantener confidencialidad y normas de relación profesional. 11

125 Valores sociales y comunitarios: valores de ética social Justicia social (valor básico, finalista): sustantiva mínimo cubierto para todas las personas-, distributiva distribución equitativa/igualdad de oportunidades- y procesal trato igual a todas las personas; favorecer a los más débiles o necesitados, según principio de la diferencia-. Compromiso social: con los más débiles y necesitados. Derecho a la diferencia: personal y social y tolerancia ante los diferentes. Participación social: compartir decisiones y poder social (derecho a ser tratado como sujeto agente, actor social, no sólo como objeto). Solidaridad social: valor social básico natural en sociedades preindustriales. Comunidad: hermandad colectiva tejida con vínculos e interdependencias ( solidaridad natural ) Eficacia: primacía de resultados positivos y uso de medios adecuados para obtenerlos en instituciones y acciones sociales. Valores psicosociales Desarrollo humano: referente ideal (lo que los humanos podemos llegar a ser), despliegue global y equilibrado de capacidades humanas en relación con otros Empoderamiento: poder personal compartido y construido en la actividad colectiva eficaz 12

126 Bibliografía Ander Egg, E. (1995). Técnicas de investigación social. Buenos Aires: Lumen. Chen, H.T. y Rossi, P.H. (1983). Evaluating with sense: the Theory-driven Approach. Evaluation Review, 7(3): Flanagan, D. and Mahler, H. (1996). How to Create an Effective Peer Education Project: Guidelines for Prevention Projects. AIDSCAP/FHI. Gifford, A., Laurent, D., Gonzales, V., Chesney, M., and Lorig, K. (1998). Pilot of randomized trial of education to improve self-management skills to men with symptomatic HIV/AIDS. Journal of Acquired Immune Deficiency Syndrome and Human Retrovirology. 18(2): Katzenstein, D., et al (1998). Peer education among factory workers in Zimbabwe: providing a sustainable HIV prevention intervention. XII International Conference on AIDS, Geneva. Kelly, J., et al (1997). Randomised, controlled, community-level HIV-prevention intervention for sexual risk behaviour among homosexual men in US cities. Lancet. Nov 22; 350(9090): Montenegro, M. (2007). La investigación acción participativa. En G. Musitu, et al (eds.) Introducción a la psicología comunitaria. Barcelona: UOC. Naciones Unidas. Peer Education and HIV/AIDS: past experience, future directions. En Nuñez, T. y Loscertales, F. (1996). El grupo y su eficacia. Técnicas al servicio de la dirección y coordinación de grupos. Barcelona: EUB. Owen, J.M. y Rogers, P.J. (1999). Program evaluation. Form and approaches. Londres: SAGE. Rebolloso, E. (1995). Theoretical and methodological considerations in the evaluation of patients leaving the emergency room without receiving medical attention. European Journal pf Psychological assesment, 11(1): Rebolloso, E., Fernández-Ramírez, B. y Cantón, P. (2008). Evaluación de programas de intervención social. Madrid: Síntesis. 13

127 Rietmeijer, C., et al (1996). Increasing the use of bleach and condoms among injection drug users in Denver: outcomes of a targeted community-level HIV prevention program. AIDS. 10(3): Rossi, P.H. y Freeman, H.E. (1989). Evaluación. Un enfoque sistemático para programas sociales. México: Trillas. Sánchez Vidal, A. (2007). Manual de psicología comunitaria. Madrid: Pirámide. Sidastudi, (2008). Jóvenes y vih/sida: mejorando las intervenciones de prevención. Diagnóstico de intervenciones grupales de las ONG para la prevención del vih/sida entre jóvenes escolarizados, ( Sidastudi (2008). Conclusiones jornadas Jóvenes y vih/sida: mejorando las internvenciones de prevención, ( Scheirer, M.A. (1987). Program theory and implementation : implications for evaluators. En L. Bickman (ed.), Using program theory in evaluation. New directions for program evaluation, 33(59-75). San Francisco: Jossey-Bass. Shoemaker, K., Gordon, L., Hutchins, V., and Rom, M. (1998). Educating Others with Peers: Others Do--Should You? Background Briefing Report. Georgetown: Georgetown Public Policy Institute, University. 14

128 DE LA REFLEXIÓN A LA ACCIÓN PARTICIPATIVA: HERRAMIENTA DE REFLEXIÓN PARA LA ORGANIZACIÓN A) Primer paso para la identificación de la población sujeto. De condición social a problema como a priori necesario. Existe una herramienta útil en intervención social donde se consigue una descripción exhaustiva de las características, contexto, grupos implicados y causas del problema. Se trata de una lista de nueve preguntas abiertas cuyo objeto es el análisis del problema social (Kettney, Moreney y Martin, 1999: ver texto de Sonia Mayordomo en este manual). B) Sobre el porqué de la participación (factores implicados en la participación) El deseo de participar: desea participar la persona/grupo/comunidad? Qué importancia atribuye la persona/grupo/comunidad al problema? ver de condición social a problema-. Accesibilidad para participar: es la participación accesible? ( Nivel de conciencia: conoce la persona/población sujeto las oportunidades de participar? Estimación sobre efectividad del programa: qué estimación se realiza acerca de la efectividad del programa? Adaptado de Montenegro (2007) 15

129 C) Sobre los criterios que han de manejarse para garantizar la participación Inclusión: se discrimina algún colectivo o agente? Diferenciación: se establecen medidas específicas para garantizar la participación de los grupos vulnerables? Integración: se generan espacios participativos plurales que respetan los intereses y características de todos los grupos? Equidad: se tienen en cuenta estrategias diferenciadas para garantizar iguales derechos y deberes? Flexibilidad: construimos modelos participativos que no coartan la creatividad y las oportunidades? Coherencia: se articulan planes de acción que complementen la participación de actores públicos y privados? Legitimidad: los espacios participativos son representativos? Responsabilidad: se maneja la toma de decisiones con transparencia? Aprendizaje: se produce una innovación en las reglas de participación para mejorarlas? Espacio de decisión: la participación legitima las decisiones tomadas? (Adaptado de López y Varela, 2009) D) Sobre Herramientas de participación en la identificación de necesidades - las personas/grupos sujeto, los informantes clave. - son representativos de la comunidad? - se encuentran en situación de libertad para expresar sus opiniones? 16

130 E) Sobre la participación en la implementación - se han auto-seleccionado los sujetos o acciones que conforman el programa? - las personas tienen óptima disposición para aprovecharse del servicio prestado? - tienen las personas nivel educativo suficiente para aprovecharse de la intervención? - están dispuestas a participar en las actividades del programa? - reciben información adecuada sobre el programa? - qué es lo que las personas pueden esperar sobre el programa? - se implementa el programa en una zona en la que existen suficientes usuarios potenciales? Adaptado de (Chen y Rossi, 1983; Rebolloso, 1995, cit. por Rebolloso, 2008). Población sujeto como actores de cambio social y comunitario - cuáles son las acciones de capacitación previstas? - cómo se prevé sea la implicación y participación de la población objeto en el desarrollo de las acciones? o quién va a hacer qué? - está definida la metodología para garantizar la participación? Adaptado de López yvarela (2009). 17

131 ESTUDIOS CONTEXTUALES EN LA PREVENCION DEL VIH Cinta Folch i Laia Ferrer Centre d Estudis Epidemiològics sobre les Infeccions de Transmissió Sexual i Sida de Catalunya (CEEISCAT) Jornadas Capacitando a las ONG/sida: mejorando la prevención del VIH Para poder desarrollar una intervención preventiva es necesario describir, previamente, el contexto donde nos encontramos, es decir el entorno donde vive la población afectada, donde sucede el problema social y/o de salud y donde se producen las conductas de riesgo, contexto desde donde se quiere encontrar la solución a una problemática específica (en este caso la propagación del VIH/SIDA). Para completar esta descripción se deben, también, incluir los factores a nivel estructural que influyen en estos problemas y que permitan desarrollar la intervención correctamente. Por ello, la investigación de todo problema se inicia formulando preguntas pertinentes que den inicio a la respuesta y la organicen: En qué consiste el problema? Cuáles son los factores asociados o determinantes? Qué se puede hacer para resolver o minimizar ese problema? Una vez puesto en práctica el programa que da respuesta al problema deberíamos preguntarnos: Está funcionando? Y, después de un tiempo razonable: Llega el programa a la cantidad suficiente de personas como para dar resolución (o disminuir la gravedad) del problema? Estas preguntas básicas permiten organizar de manera simple y pragmática los recursos necesarios para crear un sistema de Vigilancia y Evaluación de los programas de prevención del VIH. Por tanto, describir el contexto en el que se quiere implementar una intervención preventiva es uno de los requisitos prioritarios, junto con la descripción de les variables de proceso y de eficacia de la intervención, para poder conseguir los objetivos deseados de manera eficaz. A la práctica, cuando se quiere diseñar una intervención preventiva del VIH en una comunidad, el primer paso es responder a 3 cuestiones: Hospital Universitari Germans Trias i Pujol Badalona Telèfon: Fax:

132 1- Cuál es la magnitud y distribución del problema? El primer paso es identificar el problema. En el caso del VIH, lo primero que se busca es identificar la naturaleza, la magnitud y el curso de la epidemia general y las sub-epidemias relacionadas. Normalmente, esta información se obtiene a partir de sistemas de vigilancia, encuestas especiales y estudios epidemiológicos. 2- Cuáles son los factores asociados o determinantes? En el segundo paso, se procura determinar cuáles son los factores contribuyentes y los determinantes del riesgo de infección. Esta información se obtiene mediante evaluaciones rápidas; encuestas sobre conocimientos, actitudes y comportamientos; estudios de los factores de riesgo epidemiológicos e investigación de los factores determinantes. Los resultados obtenidos en este paso ayudan en el diseño de intervenciones adecuadas. 3- Qué podemos hacer al respecto? A partir de la revisión de las pruebas obtenidas de los protocolos de investigación (ensayos de eficacia) y/o de las evaluaciones de intervenciones llevadas a cabo en condiciones de campo específicas (como los estudios de efectividad), el tercer paso apunta específicamente a determinar qué intervenciones han funcionado, están funcionando y, a partir de las necesidades insatisfechas o carencias detectadas, cuáles podrían funcionar en circunstancias ideales. Allí donde la evidencia disponible no sea suficiente, posiblemente se necesite llevar a cabo estudios de evaluación para que la toma de decisiones pueda fundamentarse en pruebas. Éste es un paso importante, aunque, en el apuro por hacer algo, con frecuencia ni la financiación ni el tiempo otorgados son suficientes para obtener y analizar los resultados. Para poder plantearnos qué hacer al respecto debemos considerar cuál es la capacidad de respuesta del contexto en el que nos encontremos y, para ello, reseñar cuáles son los recursos humanos, técnicos, económicos, a nivel de infraestructura y de liderazgo. Este toman especial importancia las entrevistas a agentes clave quien nos facilitaran información sobre las intervenciones que se estén o se hayan llevado a cabo y de los recursos disponibles o potencialmente disponibles. Toda esta información recogida constituirá la variable de contexto, información relevante para ayudar al diseño de las intervenciones preventivas a realizar. Para abordar las 3 preguntas anteriores hemos de consultar y tener en cuenta: Hospital Universitari Germans Trias i Pujol Badalona Telèfon: Fax:

133 1. Magnitud y distribución del problema: El objetivo es recopilar información sobre la magnitud de la epidemia del VIH en nuestro entorno, así como sobre su distribución social y geográfica. En concreto, obtendremos la información en: 1.1. Registros de sida y de VIH 1.2. Estudios de prevalencia/incidencia del VIH (población general y/o subgrupos) 1.3. Estudios de prevalencia/incidencia de otras enfermedades relacionadas: Infecciones de transmisión sexual (ITS), VHC, VHB, etc Otros estudios y/o registros: Registros de mortalidad, datos de sobredosis, información sobre salud sexual y reproductiva (embarazos, abortos, anticoncepción, etc). Puede ser importante llevar a cabo una estimación del tamaño de la población para entender el alcance del problema y la escala que debe tener la respuesta. Estimar el tamaño de una población, en particular si se trata de una población oculta, puede resultar difícil. No obstante, existen métodos para la estimación del tamaño que pueden ofrecer una estimación razonable y que puede utilizarse para la planificación y evaluación de programas. Puede encontrarse información más detallada sobre estos métodos en el informe de un taller del ONUSIDA/Family Health International (FHI) sobre estimación del tamaño (consúltese la bibliografía). Se pueden consultar las siguientes fuentes de información: Sistemas de salud nacionales o regionales: Ministerio de Sanidad y Política Social, Departament de Salut de la Generalitat de Catalunya Sistemas de vigilancia epidemiológica: CEEISCAT Sistemas locales de información en salud. Ejemplo: centros de tratamiento por drogas Otros estudios de investigación específicos o reportes clínicos. Otras fuentes: Registro de IVEs del Ministerio de Sanidad y Política Social, datos de anticoncepción de urgencia en los Departamentos de Salud de cada comunidad, Observatorio de Salud de la Mujer, etc 2. Factores determinantes/asociados En cada contexto existe una variedad de factores que contribuyen a la aparición y la conservación de comportamientos de alto riesgo. Por lo tanto, para planificar una respuesta adecuada, es necesario Hospital Universitari Germans Trias i Pujol Badalona Telèfon: Fax:

134 evaluar los factores ambientales o estructurales, los factores comunitarios y los factores individuales, tres niveles de factores que, como veremos, son interdependientes. (sociales, económicos, religiosos, culturales, políticos, legales, ambientales) ESTRUCTURALES INDIVIDUALES COMUNITARIOS (conocimientos, actitudes, comportamientos) (redes locales, ambientes, cultura, normas) 2.1. Factores estructurales: Al planificar un programa, deben evaluarse los factores sociales, económicos, religiosos, culturales, políticos, legales o ambientales para intervenir directamente sobre ellos o para comprender el entorno en que pueden llevarse a cabo intervenciones adecuadas. Incluimos aquí el contexto más amplio (macro) legislativo y de políticas públicas que influirían las conductas de los individuos. Entre las políticas de gran importancia en la planificación de la prevención se encuentran la legalización del trabajo sexual, del intercambio de jeringas y de la publicidad de preservativos. Otras políticas, como las leyes sobre salas de inyección y parafernalia (prohibición de portar jeringas sin una receta) pueden generar un fuerte impacto sobre los comportamientos relacionados con el consumo de drogas Factores comunitarios. Los intentos individuales por cambiar las conductas se ven influenciados por las normas y el contexto de la comunidad (nivel intermedio o meso), según si esta conducta se considera socialmente aceptable o apropiada. Las conductas de riesgo a menudo son producto de la negociación entre individuos, lo cual ocurre en el contexto de normas y prácticas definidas por el grupo. En esta fase será importante involucrar a la comunidad local para desarrollar e implementar estrategias de prevención para el VIH/SIDA que sean culturalmente apropiadas y aceptadas por la comunidad o, incluso, elaborar programas y estrategias con la intención de modificar la norma de lo que se considera socialmente aceptable con el objetivo de reducir el riesgo de infección. Hospital Universitari Germans Trias i Pujol Badalona Telèfon: Fax:

135 Una de las metodologías más utilizadas para trabajar en el cambio de normas de una comunidad es el trabajo con pares (entre iguales). El educador de pares es alguien que tiene las características apropiadas para ser considerado un par por sus iguales y que ha recibido formación para trabajar como facilitador y proporcionar información o apoyo. Para obtener información sobre los factores estructurales y comunitarios podemos recorrer a las siguientes fuentes de información: documentación de agencias gubernamentales, agencias económicas, políticas y sociales y algunas unidades de investigación de este ámbito, entrevistas a miembros de las poblaciones vulnerables y a informantes clave y grupos focales Factores individuales. Entre los factores individuales relacionados con la transmisión del VIH están los comportamientos de riesgo del propio individuo: no uso del preservativo, intercambio de material para la inyección de drogas, etc. Son factores que están hasta cierto punto bajo control de los mismos individuos. Las metodologías utilizadas en los estudios que nos aportan información sobre los factores individuales son las evaluaciones rápidas y estudios epidemiológicos concretos que suelen combinar metodologías cuantitativas y cualitativas. Las evaluaciones rápidas recopilan información básica durante un período breve, a menudo utilizando métodos participativos. Luego, si es necesario, puede procederse a un análisis más detallado de la situación. En las evaluaciones rápidas, en general se utilizan la observación de la comunidad, visitas a los lugares en los que se venden y consumen drogas o sexo y entrevistas a informantes clave dentro de la comunidad. La OMS cuenta con los instrumentos de evaluación para analizar el entorno en el que ocurren los comportamientos relacionados con el VIH. El método de evaluación y respuesta rápidas, por ejemplo, es una manera de llevar a cabo un análisis integral de un tema, incluidas la descripción del problema, los subgrupos poblacionales afectados, los ámbitos y contextos, los comportamientos en relación con la salud y con los riesgos, y las consecuencias sociales ( Encuestas de vigilancia conductual (EVC): aplicación sistemática y repetida de estudios transversales para recoger información de comportamientos relacionados con la transmisión del VIH y otras ITS. Se clasifican en: estudios de prevalencia puntuales repetidos en la población general ejemplo: encuesta nacional de salud y hábitos sexuales (plan nacional de sida e INE); 3ª encuesta de sexualidad y anticoncepción en la juventud española del equipo DAPHNE. Hospital Universitari Germans Trias i Pujol Badalona Telèfon: Fax:

136 Estudios de prevalencia puntuales repetidos en subgrupos poblacionales Son útiles al proveer información sobre comportamientos en los grupos que son difíciles de alcanzar a través de las encuestas comunes y que pueden estar en alto riesgo de contraer o diseminar el VIH, como las trabajadoras sexuales y sus clientes, los hombres que tienen relaciones sexuales con hombres y los usuarios de drogas intravenosas (Ejemplo: Monitorización conductual del VIH/ITS que el CEEISCAT realiza des de 1993) Estudios cualitativos La Fundació Sida i Societat, fundación sin ánimo de lucro que trabaja en el ámbito de la salud pública y de la cooperación internacional y cuya misión es la de contribuir a la mejora de la prevención y el control de las ITS/VIH en Guatemala, especialmente en trabajadoras del sexo (TS), es un ejemplo de organización que realiza estudios cualitativos para guiar las actividades preventivas que lleva a cabo. Estudio cualitativo sobre la prevención y control de las ITS y el VIH en las trabajadoras del sexo comercial en el departamento de Escuintla. Los objetivos del estudio eran describir y analizar el conocimiento y actitudes hacia la salud sexual e identificar los factores que influencian su comportamiento de búsqueda de salud. Los resultados de esta investigación ayudaron a adaptar la intervención en el Departamento. Estudio cualitativo de clientes de TS en el departamento de Escuintla, Guatemala. Se basaron en el hecho de que cualquier intervención que promueva la prevención, detección y tratamiento de ITS/VIH debe implicar también a los clientes de trabajadoras sexuales, ya que a menudo representan un obstáculo para ejercer sexo comercial seguro y actúan de puente del VIH y otras ITS hacia la población general. Los resultados de este estudio ayudarán a guiar y adaptar una intervención de prevención, control y tratamiento de ITS/VIH dirigida a clientes en el departamento de Escuintla (en proceso). Más información: 3. Qué podemos hacer al respecto? Para conocer de manera sistemática que sé ha hecho y, por lo tanto, identificar qué queda por hacer y qué capacidad de respuesta tenemos debemos plantear este apartado en dos partes: Hospital Universitari Germans Trias i Pujol Badalona Telèfon: Fax:

137 3.1. Revisar e identificar aquellas intervenciones que se han mostrado eficaces con anterioridad (tanto en el ámbito en el que nos encontremos como teniendo en cuenta experiencias de otros contextos) Experiencias previas realizadas por la organización o por otras organizaciones Effective interventions (CDC) El CDC ha realizado una revisión de las intervenciones conductuales que han mostrado ser eficaces en reducir la incidencia del VIH u otras ITS, reducir conductas de riesgo o promover conductas más saludables El objetivo de esta recopilación sistemática de experiencias es: Ofrecer estrategias de prevención del VIH científicamente probadas a los proveedores de servicios comunitarios y a los departamentos de salud. Incrementar la capacidad para implementar estas intervenciones efectivas para reducir la transmisión del VIH/ITS y promover conductas saludables Necesidades insatisfechas. Necesidades futuras A partir de la recopilación sistemática de experiencias previas podemos identificar vacíos y necesidades insatisfechas que nos permitirán replantearnos las intervenciones ya realizadas o en curso y/o plantearnos qué intervenciones podrían funcionar en circunstancias ideales, qué recursos necesitaríamos y de qué recursos disponemos. Si hemos seguido las etapas anteriores, dispondremos de una fotografía bastante fiel a la realidad en lo que respecta recursos disponibles para la intervención preventiva en el VIH/SIDA en el contexto español y tendremos localizados todos aquellos agentes que están trabajando en el terreno. Para completar esta fotografía, en este apartado, deberíamos identificar nuevos recursos, actores (o explotar nuevas facetas de los que ya están interviniendo) potencialmente valiosos para reforzar la estrategia de prevención del VIH en nuestro país. Conclusión: Vemos que un análisis de contexto puede ser muy ventajoso pues ayudará a decidir qué aspecto del VIH/SIDA es importante afrontar y/o qué factores asociados o determinantes son prioritarios (preguntas de estudio 1 y 2). No sólo deben ser objetivo de programas preventivos las regiones con prevalencia alta de VIH/Sida, por ejemplo, en una zona con muy poca prevalencia de VIH puede ser Hospital Universitari Germans Trias i Pujol Badalona Telèfon: Fax:

138 importante priorizar intervenciones de prevención debido al elevado nivel de relaciones sexuales desprotegidas observadas. Asimismo, los factores asociados o determinantes nos permitirán apuntar hacia los factores estructurales, comunitarios e individuales que necesitarían ser afrontados y aquellos factores que podrían facilitar u obstaculizar el desarrollo de las intervenciones. Finalmente, la pregunta de estudio 3 nos permitirá decidir qué intervenciones existentes necesitan ser fortalecidas o modificadas y qué intervenciones nuevas deben introducirse, así como los recursos (humanos, económicos, técnicos, de infraestructura y de lideraje) que pueden facilitarnos una intervención. Bibliografía: Estimating the size of populations at risk for HIV [Monografía a Internet]. Arlington: Family Health International; 2003 [acceso 20 de enero de 2010]. Documento número: UNAIDS/03.36E. Disponible en: Behavioral Surveillance Surveys. Guidelines for Repeated Behavioral Surveys in Populations at Risk of HIV [Monografía en Internet]. Arlington: Family Health International; 2000 [acceso 20 de enero de 2010]. Disponible en: Stimson GV, Fitch C, Rhodes T, editors. The Rapid Assessment and Response Guide on Injecting Drug Use [Monografía en Internet]. Ginebra: World Health Organization Substance Abuse Department; 1998 [acceso 20 de enero de 2010]. Disponible en: Marco para la vigilancia y la evaluación de los programas de prevención del VIH dirigidos a las poblaciones de mayor riesgo. [Monografía en Internet]. Ginebra: ONUSIDA; 2008 [acceso 20 de enero de 2010]. Documento número: ONUSIDA/08.23S. Disponible en: Porras C, Sabidó M, Fernández-Dávila P, Fernández VH, Batres A, Casabona J. Reproductive health and healthcare among sex workers in Escuintla, Guatemala. Culture, Health & Sexuality 2008;10: Instrumento de evaluación rápida para la salud sexual y reproductiva y los vínculos con el VIH: Una guía genérica, preparado y publicado por IPPF, UNFPA, OMS, ONUSIDA, GNP+, ICW y Young Hospital Universitari Germans Trias i Pujol Badalona Telèfon: Fax:

139 Positives, Disponible en: World Health Organization. Rapid assessment and response technical guide (TG-RAR) [Monografía en Internet]. WHO; [acceso 20 de enero de 2010]. Documento número: WHO/HIV/ Disponible en: Centre d Estudis Epidemiològics sobre les Infeccions de Transmissió Sexual i Sida de Catalunya (CEEISCAT). Sistema integrat de vigilància epidemiològica de Sida/VIH/ITS a Catalunya (SIVES): Informe bianual. Barcelona: Generalitat de Catalunya, Departament de Salut, (Document Tècnic; 119). Observatorio de salud reproductiva: Hospital Universitari Germans Trias i Pujol Badalona Telèfon: Fax:

140 F) Sobre la participación de los agentes implicados en la evaluación - se ha realizado una óptima determinación y elección de los mismos? - existe algún/algunos grupos de interés no incluidos? - se ha considerado la implicación y participación activa de los colectivos más vulnerables, los socialmente excluidos, y en general de aquellos que presenten dificultades para participar? Adaptado de López y Varela (2009) G) Sobre la ética de la intervención comunitaria: Hacer reflexión en sobre cada uno de los valores de - ética individual, - ética social y - valores psicosociales. 18

141 Ficha para la evaluación de contexto en la prevención del VIH/SIDA CASO PRACTICO 1 IDENTIFICACIÓN DEL PROBLEMA. Utilice esta tabla para listar los indicadores relevantes para describir la naturaleza, magnitud y curso de la epidemia del VIH en su entorno Indicadores Descripción local Población Año y/o periodo Fuentes de información SIDA Ej. Tasa de sida por millón de hab. 38,4 Cataluña 2008 Plan Nacional de Sida VIH Ej. Prevalencia del VIH en HSH 19,8 Cataluña 2006 CEEISCAT Centre d'estudis Epidemiològics sobre les Infeccions de Transmissió Sexual i Sida de Catalunya (CEEISCAT)

142 Ficha para la evaluación de contexto en la prevención del VIH/SIDA CASO PRACTICO 2 ITS Ej. Casos de sífilis España 2007 Instituto de Salud Carlos III Otros (sobredosis, IVES ) Ej. Número total de interrupciones voluntarias del embarazo España 2008 Ministerio de Sanidad y Política Social ITS: infecciones de transmisión sexual; HSH: hombres que tienen sexo con hombres Comentarios: Centre d'estudis Epidemiològics sobre les Infeccions de Transmissió Sexual i Sida de Catalunya (CEEISCAT)

143 Ficha para la evaluación de contexto en la prevención del VIH/SIDA CASO PRACTICO 3 FACTORES ASOCIADOS_1. CONTEXTUALES. Listar factores políticos, sociales, económicos, religiosos, culturales, legales o ambientales que pueden contribuir a incrementar o disminuir el problema. Factores Descripción Conducta de riesgo implicada Impacto Fuentes de información Ej. Políticas de reducción de daños en UDVP Salas de inyección segura en Madrid, Cataluña y País Vasco Intercambio de material de inyección entre UDVP Evidencia del impacto incompleta; estudios individuales si han evidenciado que estos UDVP utilizan prácticas de inyección mas seguras Plan Nacional sobre Drogas Comentarios: Centre d'estudis Epidemiològics sobre les Infeccions de Transmissió Sexual i Sida de Catalunya (CEEISCAT)

144 Ficha para la evaluación de contexto en la prevención del VIH/SIDA CASO PRACTICO 4 FACTORES ASOCIADOS_2. COMUNITARIOS. Listar las normas y otros factores del contexto comunitario que pueden contribuir a incrementar o disminuir el problema Factores Descripción Conducta de riesgo implicada Impacto Fuentes de información Ej. Percepción de bajo riesgo en la comunidad de UDVP el compartir indirectamente material para la inyección de drogas. 69% de los UDVP entrevistados habían compartido la cuchara, el filtro o el agua en los últimos 6 meses. Intercambio de material de inyección entre UDVP Práctica con riesgo de infección por el VIH y el VHC. CEEISCAT y artículos científicos: Stark et al, 1996; Hagan et al, 2001 Comentarios: Centre d'estudis Epidemiològics sobre les Infeccions de Transmissió Sexual i Sida de Catalunya (CEEISCAT)

145 Ficha para la evaluación de contexto en la prevención del VIH/SIDA CASO PRACTICO 5 FACTORES ASOCIADOS _3. INDIVIDUALES. Listar las principales conductas individuales que pueden contribuir a incrementar o disminuir el problema Indicadores Descripción Población Año y/o periodo Fuentes de información Conductas de riesgo Ej. Uso del preservativo en la última relación sexual en jóvenes de entre años 67,0% en hombres y 58,9% mujeres Hombres y mujeres españoles entre años 2003 Encuesta de Salud y hábitos sexuales Centre d'estudis Epidemiològics sobre les Infeccions de Transmissió Sexual i Sida de Catalunya (CEEISCAT)

146 Ficha para la evaluación de contexto en la prevención del VIH/SIDA CASO PRACTICO 6 Conocimientos/percepción de riesgo Ej. % de inmigrantes latinoamericanos y magrebíes con un conocimiento inadecuado sobre el VIH y las ITS 53,8% 238 usuarios de centros asistenciales de las regiones sanitarias de Barcelona y Barcelonés Norte y Maresme latinoamericanos y magrebíes Ríos E et al, Gaceta San 2009 Comentarios: Centre d'estudis Epidemiològics sobre les Infeccions de Transmissió Sexual i Sida de Catalunya (CEEISCAT)

147 Ficha para la evaluación de contexto en la prevención del VIH/SIDA CASO PRACTICO 7 QUE PODEMOS HACER?_1. INTERVENCIONES EXISTENTES (Listar los tipos de intervenciones existentes a nivel local) Intervención Descripción y responsable/s Población objetivo Ámbito geográfico y año Evaluación Fuentes de información Campaña Así da gusto folleto, pegatina, carterita y espejo sobre uso del condón realizada por el Comité Ciudadano Anti-sida de Asturias Trabajadores/as del sexo Asturias, 2009 No SidaStudi ( Comentarios: Centre d'estudis Epidemiològics sobre les Infeccions de Transmissió Sexual i Sida de Catalunya (CEEISCAT)

148 Ficha para la evaluación de contexto en la prevención del VIH/SIDA CASO PRACTICO 8 QUE PODEMOS HACER?_2. NECESIDADES FUTURAS ( qué nuevas intervenciones (o cambios de las que ya existen) se necesitan? Intervención sugerida Recursos necesarios y viabilidad Obstáculos Efecto previsto Prioridad Nueva intervención centrada en los nuevos inyectores de drogas para estimularlos a volver a la no inyección Personal de centros de reducción de daños que ya están en funcionamiento Policía Reducción del uso inyectado de drogas: prevención del VIH y del VHC Media Comentarios: Centre d'estudis Epidemiològics sobre les Infeccions de Transmissió Sexual i Sida de Catalunya (CEEISCAT)

149 Cómo planificar la captación de fondos para conseguir mejores resultados La fórmula secreta de la captación de fondos Éxito = 10 % inspiración + 90 % de transpiración 1

150 Componentes esenciales INVESTIGACIÓN PLANIFICACIÓN EJECUCIÓN EVALUACIÓN Identificar donantes potenciales Establecer objetivos Programar acciones Hacer presupuestos Realizar las acciones previstas o imprevistas Valoración de los resultados en términos económicos y otros Sistematización de aprendizajes 2

151 Pasos para diseñar la estrategia 2 1 Para qué recaudamos fondos? Cuál es el contexto de la captación de fondos? 3 Qué capacidades y recursos tenemos? 4 5 Qué estructura de ingresos queremos tener Qué objetivos podemos marcarnos? 6 7 Quiénes podrían apoyarnos? Qué métodos debemos emplear? Para qué recaudamos fondos? - Fondos afectados a programas determinados. - Fondos no finalistas para sufragar programas y costes de funcionamiento. - Fondos de capital. - Fondos de patrimonio. 3

152 Análisis del mercado - Factores políticos, económicos, medioambientales, socioculturales y tecnológicos. - Competidores. - Colaboradores potenciales. - Fuentes de ingresos. Modalidades de ingresos Donación (dineraria, especie o servicios). Cuotas de afiliación. Mecenazgo y patrocinio empresarial. Rentas. Prestación de servicios. Venta de productos. Sorteos. Venta de entradas a eventos. 4

153 Análisis interno - Métodos empleados y sus resultados. - Capacidad administrativa. - Cuestiones organizativas relevantes. - Personal disponible. - Dinero para captar recursos. Comparación de costes e ingresos por su naturaleza Costes estructura Ingresos estables Diferencia Costes variables Ingresos variables Diferencia Año 1 2,2 1,6-0,6 1,3 2 0,7 Año 2 2,5 2-0,5 1,5 2,2 0,7 Cifras en millones de euros 5

154 Qué estructura de ingresos queremos tener? Eventos 22% Ingresos variables 56% Venta de servicios 14% Donantes ocasionales 20% Ingresos estables 44% Donantes regulares Fundadores 34% 10% Fuente: Estudio Spacexchange,

155 Objetivos de captación - Cuantía de los fondos u otro tipo de recursos a obtener. - Categorías de donantes u otros colaboradores que los aportarán. - Objetivos de incentivación y de fidelización. Ejemplos de objetivos - Captar 100 nuevos socios que aporten 72 anuales de media. - Conseguir netos mediante eventos. - Convertir en socios a 50 donantes ocasionales con una cuota promedio de 80 al año. - Lograr que el 95% de las cuotas de socio se paguen por domiciliación bancaria. - Reducir la tasa de bajas de socios al 5%. 7

156 Financiadores potenciales Individuos. Asociaciones, sindicatos, colegios profesionales e iglesias. Fundaciones y obras sociales. Empresas. Selección de los métodos de captación Potencial económico. Costes. Rentabilidad a corto y largo plazo. Nivel de riesgo. Notoriedad. Capacidad de sinergia con otros programas. Interés para los participantes. Facilidad de organización. Aptitud para su repetición periódica. 8

157 NATURALEZA DE LAS NECESIDADES Temporales Estructurales Eventos Empresas Subvenciones Grandes donantes Venta de servicios Socios Corto plazo Largo plazo TEMPORALIDAD DE LOS RECURSOS Adaptado de Projecció,

158 CAPACIDADES INTERNAS PARA CAPTAR RECURSOS RECURSOS HUMANOS, ECONÓMICOS, MATERIALES Y TÉCNICOS Director/a Isabel Rodríguez Dedicación a captar recursos 20% Responsable específico Juan López Otro personal específico Roberto Enríquez Técnico captación de empresas Dedicación 40 h/semana Mercedes Colomer Voluntaria organización eventos Responsable político María González Vocal de captación de fondos Dirección estratégica Control Representación Grupos de voluntariado 12 Base de datos de donantes Base de datos sencilla realizada con Excel Métodos utilizados Patrocinio empresarial, captación de socios por correo directo, eventos, colectas Dinero disponbile para gastar en captación Dinero disponbile para invertir en captación Infraestructuras y equipamiento de interés Salón de actos, huchas para colectas Proporción entre presupuesto de captación e ingresos 5% Existencia de una estrategia a largo plazo Sí (plan a tres años) Existencia de un plan operativo Sí (plan por años naturales) Nivel de prioridad Apoyo político interno Integración en la cultura de la organización Estabilidad financiera Estabilidad organizativa Capacidad de aprovechar oportunidades Restricciones a fuentes y métodos Aliados con los que puede contar Pertenencia a organizaciones que puedan prestar apoyo FACTORES ORGANIZATIVOS Medio Medio (existe voluntad de crecer pero hay numerosas limitaciones a fuentes y métodos). Baja (el personal, especialmente el voluntario, no concede la necesaria importancia a esta área y plantea muchas objecciones a los métodos al uso). Baja (los ingresos fijos tan sólo cubren el 32% de los gastos fijos). Los ingresos variables son muy fluctuantes. Media (hay miembros en la Junta y en los grupos de voluntariado altamente comprometidos; sin embargo, la rotación del personal contratado es alta y hay Baja (las decisiones se toman muy lentamente porque tienen que pasar por la Junta, falta de autonomía del personal). No se admite la captación cara a cara ni por teléfono. Amplios filtros para la colaboración de empresas. Se pueden presentar proyectos conjuntos con la ONG "Stop al SIDA". Apoyo del cantante Joaquín Sobrino. Pertenencia a la red internacional "Acabemos con el SIDA"

159 CONDICIONES EXTERNAS PARA CAPTAR RECURSOS Signo político de los financiadores públicos Administración central No ha relación con ella Administración autonómica Favorable Administración local Desfavorable Estabilidad política Próximas elecciones municipales. Restricciones legales graves No se prevén. Simpatía hacia la causa No es un tema de preocupación pública. Interés en sectores de mediana edad, urbanos, de clase media y educación superior Notoriedad de la organización Poco conocida. Mayor conocimiento en el público antes descrito. Coyuntura económica Crisis económica que disminuye posibilidades de captación y requiere refuerzo de acciones de fidelización. Evolución de las fuentes de financiación Individuos Estable, aunque prefieren el apoyo puntual Empresas Temor. Disminuye en sectores afectados. Organismos públicos Problemas graves de financiación y liquidez. Obras sociales Caída de los fondos por menores beneficios. Fundaciones Estable, salvo algunas patrimoniales. Financiadores potenciales identificados Pueden captarse más donaciones puntuales de invididuos y más ayudas privadas de fundaciones. En las otras fuentes hay que poner énfasis en fidelizarlas. Novedades tecnológicas que pueden afectar El fenómeno de las redes sociales en Internet puede proporcionarnos una forma barata de ampliar nuestra audiencia. Marco cultural La Conferencia Mundial sobre el SIDA atraerá el interés de los medios y, consecuentemente, del público sobre el tema. Mejora la confianza en las ONG. Grado de competencia directa No existe a nivel local, pero sí en el ámbito autonómico, en el que operan dos entidades muy similares a la nuestra (X e Y). Grado de competencia indirecta Alto (nuestro público objetivo entre individuos, empresas, obras sociales u organismos públicos está muy solicitado; sólo hay poca competencia en relación a la fina

160 EQUILIBRIO DE LAS MASAS PATRIMONIALES Real (2009) Previsión 2010 Proyección 2011 Ingresos fijos Costes fijos Diferencia Ingresos variables Costes variables Diferencia

161 CUADRO DE MANDO DE PRODUCTOS Figuras de colaboración individual Figuras Donantes ocasionales Socios Socios de alto valor Grandes donantes Legados Años Nº de individuos Ingresos % ingresos de individuos Gastos de promoción % gastos de promoción Tasa de bajas (%) N.A. N.A. Desviación objetiva 0,9 0,97 1,1 1,05 0,8 0,97 1,04 1,5 2 4 Antigüedad Etapa de su ciclo de vida Crecimiento Crecimiento Crecimiento Crecimiento Introducción Introducción Introducción Introducción Introducción Introducción Figuras de colaboración empresarial Figuras Donantes ocasionales Empresas asociadas Mecenas Patrocinadores Socios fundadores Años Nº de empresas Ingresos % ingresos de empresas Gastos de promoción % gastos de promoción Tasa de bajas Desviación objetiva Antigüedad Etapa de su ciclo de vida

162 Evaluación del Proceso, de Resultados e Impacto Silvia Ubillos Landa y Eider Goiburu Moreno Universidad de Burgos Lahia-Nahia Sexologia Elkartea CAPACITANDO A LAS ONG/SIDA: MEJORANDO LA PREVENCIÓN DEL VIH Evaluación del Proceso, de Resultados e Impacto Silvia Ubillos Landa 1 y Eider Goiburu Moreno 2 1 Universidad de Burgos; 2 Asociación de Sexologia Lahia-Nahia Promocionar la evaluación es esencial para mejorar las intervenciones, para determinar si los programas llegan a las poblaciones destinatarias y cumplen sus objetivos, para comparar los resultados de diversos métodos o estrategias de prevención o para evaluar los efectos de la programación de la prevención en el estigma. La evaluación permite recopilar y analizar información a medida que se aplican y se amplían los programas, de forma que ayude a todas las personas implicadas en la prevención a sacar el máximo provecho de ella. Como dicen Vega y Ventosa (1993), a pesar de la diversidad conceptual sobre el término de evaluación, todas tienen en común que evaluar es atribuir cierto valor al objeto de la evaluación, es decir a los programas y estrategias preventivas. A continuación, vamos a referirnos a tres definiciones por subrayar tres dimensiones diferentes de la evaluación. Cronbach (1981) define la evaluación de programas como la provisión de información para la toma de decisiones sobre una intervención. Fernández-Ballesteros (1992) afirma que consiste en una sistemática investigación del mérito, valor o éxito de intervenciones realizadas para producir cambios comportamentales en el contexto social. Fernández del Valle (1996) considera que la evaluación de programas es una exigencia metodológica para todas las intervenciones que cubre una triple exigencia: en primer lugar, es una exigencia profesional ya que es responsabilidad de todos los que intervienen en los programas el conocer y estudiar sus propios procesos y resultados de intervención a fin de mejorar su ejercicio; en segundo lugar, es una exigencia científica en cuanto que la intervención psicosocial es un campo en

163 construcción que demanda un desarrollo teórico que necesariamente pasan por analizar rigurosamente las prácticas desarrolladas, contrastando y comprobando las nuevas aportaciones técnicas y teóricas; y finalmente, la evaluación de programas es una exigencia ética ya que permite el control de los efectos causados con una determinada intervención, y por tanto, garantiza la adecuación a ciertos principios prescriptivos como la igualdad de oportunidades, el respeto a las minorías, etc. Se considera que los tres objetivos básicos de la evaluación son: responsabilidad, mejora del programa y promoción de conocimientos básicos (Anguera, Chacon y Blanco, 2008). La finalidad de la evaluación de la responsabilidad es emitir un juicio sobre el valor relativo del programa o de sus componentes, enfatizando la medición de resultados, el logro de objetivos, y el cálculo de la efectividad y eficacia de las actividades en comparación con otras alternativas. Para el análisis de las relaciones causales, el método preferido por muchos sería el método experimental controlado y aleatorizado (ver apartado evaluación de resultados). Desde el punto de vista de la responsabilidad, la evaluación de programas ofrece una información valiosa para la toma de decisiones sobre: a) la posibilidad de generalizar o ampliar la aplicación de las acciones que componen el programa a otros contextos sociales; b) la necesidad de continuar invirtiendo recursos y esfuerzos en la dirección señalada por el programa evaluado; c) la conveniencia de reajustar los objetivos, las acciones o los recursos para un mejor logro de las metas; d) la posibilidad de reducir la intervención o e) darla por finalizada. Es difícil llegar a respuestas fiables a partir de procedimientos informales, no sistemáticos; los planificadores y los técnicos de programas tienden al optimismo, los agentes que desarrollan las acciones pueden tener un interés particular en concluir que el programa ha resultado exitoso, los usuarios suelen valorar positivamente los programas en los que reciben atención (sin ningún esfuerzo o compromiso por su parte), independientemente de la permanencia en el tiempo de los efectos o del logro de los verdaderos objetivos que se buscaban. Los estados, los gobiernos locales, las instituciones y empresas (públicas o privadas), dado que disponen de unos recursos limitados necesitan información para decidir lo más acertadamente posible la asignación de sus inversiones; esta información debería permitir, por un lado, priorizar las necesidades que se deben satisfacer y por otro determinar la eficiencia de las acciones emprendidas. Cada vez es más aceptada la idea de que la utilización de los 1

164 conocimientos y la metodología científica mejorará la toma de decisiones, dará lugar a que se planeen mejores programas y, así, rendirán un servicio a los participantes de los programas de un modo más beneficioso y eficiente. Desde la perspectiva de la mejora, la evaluación aspira orientar un mejoramiento y perfeccionamiento del programa. Persigue la mejora de las actividades, el fortalecimiento de la organización y el desarrollo de las capacidades de las personas que participan de distinto modo en los programas y en las organizaciones. Se considera que el programa continuará funcionando en un futuro previsible y por tanto la finalidad es lograr que el programa resulte más dinámico, eficiente, orientado al servicio y adaptado a las preocupaciones del cliente. El tercer propósito sustantivo es el del conocimiento básico. La evaluación persigue comprender ampliamente los fenómenos bajo estudio, analizando las causas de los problemas y los por qués del funcionamiento de los programas con el objetivo de aumentar o refinar el conocimiento disponible sobre los problemas y las posibilidades de intervención. Cabe por tanto considerar que uno de los objetivos fundamentales de todo proceso evaluativo sea generar la comprensión o explicación de los problemas sociales, lo cual significa resaltar la dimensión investigadora implícita en toda evaluación (Chelimsky, 1997). Una última consideración a tener en cuenta es no podemos hablar de auténtica evaluación mientras los implicados no participen activamente en la misma, de forma que se llegue al conocimiento a través de una construcción social en la que participen todos los sectores directamente afectados. Esta es la razón por la cual actualmente la investigación evaluativa utiliza soportes teóricos y metodológicos coherentes con este planteamiento, lo que ha dado lugar a una gran variedad y heterogeneidad de enfoques (evaluación pluralista, participativa, respondente, democrática, cluster evaluation, empowerment evaluation, etc-). El denominador común de estos enfoques se podría resumir en el hecho de que toda evaluación debe suponer, ante todo, un compromiso del evaluador con la educación cívica, el desarrollo humano y la emancipación social (Fetterman, 1994; Smith, 1998). A continuación pasaremos a presentar los tipos de evaluación. Como se refleja en el cuadro, existen diferentes tipos de evaluación, pero nosotros vamos a hacer referencia a cuatro de ellos: evaluación de proceso, de resultados y de impacto, junto a la evaluación de la evaluabilidad (Anguera, Chacon y Blanco, 2008). 2

165 Tipos de la Evaluación Actividades Acción Juicio Identificación y Evaluación del Pertinencia formulación del contexto y necesidades problema Planificación Evaluación del Suficiencia diseño Adecuación Aplicación Seguimiento Evaluación del proceso Evaluación de Progreso Cobertura Eficacia Evaluabilidad resultados e Efectividad impacto Eficiencia La evaluación de proceso permite asegurarse de que el programa funciona como se quiere y al nivel que se quería, antes de atribuir efectos o consecuencias a un programa. Sus objetivos básicos son: a) averiguar y describir cómo funciona el programa y, b) analizar hasta qué punto hay diferencias entre el funcionamiento real y el previsto. Esta evaluación permite mejorar el programa sobre la marcha y establecer hasta qué punto los distintos elementos constituyentes del programa se están dispensando correctamente. Se tratará de analizar el progreso del programa, y es una medida que se realiza durante la aplicación del mismo o nada más finalizarlo, pretendiendo determinar cómo éste está actuando. La evaluación de resultados nos permite conocer los efectos del programa a corto plazo, mientras que la evaluación de impacto se refiere a los efectos que el programa provoca a largo plazo sobre la población no destinataria y sobre el contexto del programa. Estos dos tipos de evaluación son sinónimos de evaluación de la efectividad, eficacia o eficiencia de un programa: a) Eficacia. La evaluación de la eficacia trata de establecer si tras la aplicación del programa, los objetivos establecidos han sido alcanzados. Es una medida que nos permite conocer los resultados obtenidos en la población beneficiaria, en un periodo temporal determinado, sin considerar los costos en los que incurre para obtenerlos. En caso de que 3

166 el programa logre los objetivos marcados previamente, se considera que el programa es eficaz. b) Efectividad. La evaluación de la efectividad tiene por objetivo establecer si independientemente de los objetivos establecidos por el planificador de la intervención, el programa ha conseguido otros determinados efectos. Existen consecuencias no intencionadas de las intervenciones que en ocasiones van en la dirección deseada, pero en otras no. Cuando los efectos son positivos se puede considerar que el programa evaluado ha sido efectivo. c) Eficiencia. La evaluación de la eficiencia trata de indagar si los resultados obtenidos están en relación con los recursos y/o medios utilizados para conseguir unos determinados objetivos. Por tanto, implica su relación con los recursos invertidos y un análisis de costesbeneficios. Como las evaluaciones suelen ser costosas en tiempo y en recursos, de forma que antes de embarcarse en una evaluación es conveniente analizar si es posible realizarla de forma satisfactoria. Para ello se debe considerar la adecuación de la planificación del programa y las posibles barreras con que se puede topar el evaluador. Para establecer si merece la pena comprometerse en un estudio evaluativo, Wholey (1987) sugiere efectuar previamente una evaluación de la evaluabilidad que busca responder a dos cuestiones: a) es posible llevar a cabo la evaluación?; b) en qué medida es posible responder a las preguntas evaluativas con la información que hay sobre el programa y en la situación en que se encuentra?. 1.- Evaluación de la Evaluabilidad Comenzaremos por la evaluación de la evaluabilidad ya que debe ser previa a cualquiera de las evaluaciones mencionadas. Definiremos evaluabilidad como el análisis previo de la conveniencia de realizar la evaluación posterior de una intervención pública, valorando la existencia de las condiciones óptimas para llevarla a cabo y proponiendo las mejoras necesarias que preparen a dicha intervención para ser evaluada. Se estaría entonces en condiciones de poder determinar, en una fase posterior, el tipo de evaluación realizar. Se usa deliberadamente el término análisis de evaluabilidad frente al concepto más estricto de evaluación de evaluabilidad para hacer referencia a un examen más rápido y 4

167 sencillo de la intervención que no implique un trabajo de mucho calado ni consuma muchos recursos. El objetivo principal que persigue el análisis de evaluabilidad es reducir incertidumbres sobre la decisión de poner en marcha la evaluación, siendo aconsejable, sobre todo, cuando se piensa que la evaluación a realizar requerirá una inversión significativa de recursos. Con ello se evitarán gastos y esfuerzos innecesarios (Wholey, 1979). También sienta las bases para que las evaluaciones a realizar tengan más probabilidades de cumplir las expectativas de las personas promotoras, usuarias y/o destinatarias finales, pues acota el alcance de lo que puede llegar a ofrecerse con la evaluación, mejorando por tanto la utilización y utilidad de los resultados evaluativos. El análisis de evaluabilidad, como cualquier tipo de ejercicio evaluativo, tiene entre sus cometidos servir de herramienta al proceso de toma de decisiones públicas y a la mejora de las intervenciones ya que va a permitir determinar en qué ámbitos hay margen para mejorar, conocer qué circunstancias del evaluando y su contexto debe ser clarificado antes de evaluar y establecer una línea de base que pueda utilizarse a fin de que los resultados esperados de dicha intervención sean verificables de manera fiable y creíble. Ahora bien, la valoración de la evaluabilidad no debe concluir, exclusivamente, con la respuesta positiva o negativa sobre la conveniencia de evaluar la intervención, puesto que las recomendaciones del análisis de evaluabilidad deben permitir preparar a la intervención para ser evaluada, en caso de que se considere necesaria o sea obligatorio realizar la evaluación. Entre las preguntas que la evaluabilidad permite responder se encuentran las siguientes: Qué puede aportar la evaluación a esta intervención pública? Merece la pena evaluar esta intervención pública? Existen recursos suficientes para llevar a cabo el tipo de evaluación que se ha predeterminado? Qué elementos de la intervención pública deberían considerarse en la evaluación? Qué elementos de la intervención pública necesitan mejorarse para que ésta sea evaluable? Aquí nosotros vamos a proponer el protocolo de evaluabilidad diseñado por el Instituto Navarro de Administración Pública del Gobierno de Navarra (2008) por proponer una herramienta que nos facilita la realización de este tipo de evaluación de intervenciones sociales. Para llevar a cabo este protocolo se propone recabar información sobre cinco 5

168 criterios o dimensiones que deben cumplirse para garantizar la evaluabilidad de una intervención pública: calidad de la planificación, calidad del sistema de información, claridad en los propósitos de la evaluación, recursos destinados a la evaluación, implicación del personal relacionado con la intervención en el seguimiento y evaluación. Con el fin de facilitar la aplicación de estos criterios, se detallan las preguntas de evaluación relevantes que deben ser formuladas y que caracterizan las cinco dimensiones analizadas: calidad de la planificación (0% cuando no existe cumplimiento alguno, 25% si considera que se cumple de forma insuficiente y por tanto, necesariamente mejorable; 50% si considera que se cumple pero que es mejorable; 75% si se cumple pero es parcialmente mejorable; y 100% si se cumple de forma muy satisfactoria). Se describen en un formato de tabla, a modo de fichas y en base a una escala de evaluación, fundamentada en la valoración del cumplimiento de cada una de las cuestiones a través de la generación de evidencias. La metodología específica a aplicar se basa en la adaptación del denominado Enfoque del Marco Lógico 1. Antes de pasar a describir esta herramienta, es importante señalar que sus creadores parten del convencimiento de que será más provechoso el proceso de aplicación del Protocolo que los resultados que se obtengan. Esto es así puesto que las personas implicadas en su puesta en marcha aprenderán de la intervención, de su teoría, de los mecanismos articulados para su gestión y aplicación y de la adecuación de los sistemas de información disponibles para recopilar información sobre la evolución de lo realizado y sus efectos. Este Protocolo se ha diseñado para ser utilizado, fundamentalmente, de manera interna por el personal implicado en la elaboración del diseño, gestión y ejecución de las intervenciones públicas, y especialmente por las personas encargadas de gestionar y coordinar su seguimiento y evaluación. 1 El enfoque de marco lógico (EML) es una herramienta analítica, desarrollada en los años 1970, para la planificación de proyectos con una orientación hacia el cumplimiento de objetivos y es utilizado con frecuencia por organismos de cooperación internacional. En el EML se considera que la ejecución de un proyecto es consecuencia de un conjunto de acontecimientos con una relación casual interna: insumos, actividades, resultados, objetivo específico y objetivo global. 6

169 1.1.- Calidad de la planificación Uno de los factores que pueden determinan la evaluabilidad de una intervención es la calidad de la planificación. Cuanto más imperfecta sea la planificación (problemas no identificados, objetivos deficientemente definidos y relaciones de causalidad entre actuaciones y objetivos mal establecidas), más dificultades habrá para realizar la evaluación. Los elementos a considerar en la valoración de la calidad de la planificación son: calidad de la gestión, definición de objetivos y examen de la coherencia interna de la estrategia propuesta en la intervención. Las preguntas a responder para determinar la evaluabilidad de la intervención en relación con la calidad del diagnóstico (problemas, población objetivo y contexto operativo) son las siguientes: Calidad del Diagnóstico. Definición de problemas Existe un diagnóstico de los problemas que se pretenden resolver con la intervención? Se ha recogido el diagnóstico en algún documento programático de la intervención? Se identifican claramente los problemas y necesidades en el diagnóstico? Están cuantificados o son medibles? Se han definido indicadores que permitan establecer la situación de partida (línea de base) para la posterior valoración de la intervención en relación con la solución de los problemas identificados? Se cuenta con teorías de base que tratan de explicar los problemas que se quieren resolver? Se han identificado las causas de los problemas? Se ha acotado la cobertura de la intervención? Es decir, se han definido las dimensiones institucionales, temporales, sectoriales y geográficas de la intervención? Se ha hecho un análisis de los elementos relevantes del contexto operativo en el que se desarrolla la intervención? Se ha explicitado a quiénes afectan los problemas detectados de manera adecuada? Es decir, se ha definido la población objetivo? PROMEDIO 0% 25% 50% 75% 100% Observaciones Las preguntas a responder para determinar la evaluabilidad de la intervención en relación con la definición de los objetivos son las siguientes: Definición de objetivos (para los diferentes niveles de objetivos) 0% 25% 50% 75% 100% Observaciones Se han definido explícitamente los objetivos perseguidos con la intervención? Son claros? Son concisos? Están cuantificados o son medibles o valorables? 7

170 Responden los objetivos de la intervención a las necesidades y problemas detectados? Se ha definido el horizonte temporal en el que se pretenden alcanzar los objetivos? PROMEDIO Las preguntas a responder para determinar la evaluabilidad de la intervención en relación con la coherencia interna de la intervención son las siguientes: Coherencia interna Se han establecido distintos niveles de objetivos? La jerarquía de objetivos responde a relaciones causa-efecto lógicas? Son coherentes los objetivos entre sí? Es decir, la consecución de los objetivos de un nivel (por ejemplo, objetivos específicos) implica o puede implicar con bastante probabilidad el logro del objetivo del nivel superior de planificación (por ejemplo, objetivo final)? Se han concretado los objetivos en propuestas de actuación (actividades, acciones)? Son estas propuestas de actuación claras? Son concisas? Concretan un compromiso de acción? Son constatables, es decir, se pueden medir o valorar? Existe coherencia entre las actuaciones propuestas y los objetivos? Es decir, la puesta en marcha de las actividades implica o puede implicar con bastante probabilidad el logro de los objetivos planteados? Se han asignado responsabilidades y presupuesto en relación con la aplicación de las actuaciones? PROMEDIO 0% 25% 50% 75% 100% Observaciones Calidad del sistema de información Uno de los principales condicionantes de la viabilidad y alcance de la evaluación es la disponibilidad de información sobre la intervención a evaluar. La cuestión radica fundamentalmente en la ausencia de datos de calidad, organizados y estructurados adecuadamente, lo que dificulta conocer quién hace qué, cómo y cuándo; y sobre todo, limita conocer los elementos clave en el desarrollo de la intervención que pueden motivar sus resultados y efectos. Para evitar que esto ocurra debe haberse definido, desde el momento de planificar la intervención, un buen sistema de información que posibilite realizar el 8

171 seguimiento periódico y sistemático de toda aquella información necesaria que facilite la posterior o posteriores evaluaciones. Las preguntas a responder para determinar la evaluabilidad de la intervención en relación con la calidad del sistema de información son las siguientes: Sistema de información Existe información suficiente sobre los aspectos de la intervención a evaluar que pueda suministrarse para la evaluación? Se ha definido algún procedimiento para la recogida de información sobre la intervención? Es fiable, eficaz, ágil y no muy costoso? Se han definido indicadores para recopilar sistemáticamente la información sobre la evolución de la intervención y sus actividades? Son relevantes los indicadores para la intervención? Son relevantes los indicadores para responder a las preguntas de evaluación que se han pensado? Hacen referencia a los objetivos definidos? Hacen referencia a las actividades definidas? Son los indicadores fiables? Son los indicadores fáciles de obtener? Son fáciles de interpretar? Se ha definido cuándo se debe recoger la información de cada indicador? Se han asignado recursos suficientes (financieros, materiales y humanos) para llevar a cabo el seguimiento? PROMEDIO 0% 25% 50% 75% 100% Observaciones Claridad en los propósitos de la evaluación La conveniencia de realizar una evaluación viene condicionada por la utilidad de sus resultados para la toma de decisiones y por su capacidad para influir en la intervención. Pues bien, la ausencia de un entendimiento claro sobre la utilidad de los procesos de evaluación es precisamente uno de los factores que dificultan y debilitan la práctica evaluativa. Las cuestiones a responder para determinar la evaluabilidad de la intervención en relación con la definición de los propósitos de la evaluación son las siguientes: Propósitos de la evaluación posterior 9

172 Se han definido los propósitos de la evaluación? Se han definido las preguntas a las que la evaluación debe dar respuesta? Se ha identificado a los actores implicados en la intervención? Se ha realizado un análisis previo de los principales intereses y posibilidades de participación en el proceso de evaluación? En la formulación de preguntas de evaluación se ha tenido en cuenta o se tendrán en cuenta los intereses de los grupos más representativos relacionados con la intervención? Se han acotado las dimensiones (temporales, geográficas, institucionales, etc.) de la intervención que van a ser consideradas en la evaluación? Perciben los actores implicados en la intervención la utilidad de la evaluación? Se utilizará la información que suministre la evaluación? Podría la evaluación, si así se concluye, influir en la intervención? Se difundirán los resultados de la evaluación, especialmente entre las organizaciones y entidades implicadas? PROMEDIO 0% 25% 50% 75% 100% Observaciones 10

173 1.4.- Recursos destinados a la evaluación: coste, tiempo y recursos humanos Otro de los principales condicionantes del alcance de una evaluación, y por tanto, determinante de la conveniencia o no de llevarla a cabo, es la adecuación de los recursos económico-financieros, materiales y humanos, asignados a esta tarea en relación con las necesidades reales detectadas. Teniendo en cuenta las preguntas de evaluación formuladas y las dimensiones de la intervención que deben ser evaluadas, las cuestiones a responder para determinar la evaluación de la intervención en relación con los recursos destinados a la evaluación son las siguientes: Recursos destinados a la evaluación Es el presupuesto adecuado para llevar a cabo la evaluación? Es decir, es el presupuesto disponible un factor que puede limitar la evaluación? El tiempo asignado para realizar la evaluación es suficiente para llevarla a cabo? En definitiva, es el tiempo disponible un factor que puede limitar la evaluación? En caso de optar por realizar una evaluación interna, son los recursos humanos disponibles suficientes para llevar a cabo la evaluación? Cuando se espera recibir los productos de la evaluación? Estarán a tiempo para que puedan mejorar la intervención? Se va a establecer algún tipo de procedimiento para dar seguimiento a la incorporación de las recomendaciones de la evaluación? PROMEDIO 0% 25% 50% 75% 100% Observaciones Implicación del personal relacionado con la intervención en el seguimiento y evaluación Ya se han señalado los aspectos fundamentales que determinan la evaluabilidad de una intervención. Existen, sin embargo, otros factores relacionados con la actitud ante la evaluación y con las condiciones técnicas e institucionales de la organización responsable de la intervención y de la encargada de la evaluación. Entre ellos: Las preguntas a responder para determinar la evaluabilidad de la intervención en relación con la implicación del personal relacionado con la intervención en el seguimiento y la evaluación son las siguientes: 11

174 Implicación en la evaluación Hasta qué punto estarán implicados los agentes clave? Existe una actitud favorable hacia la evaluación en el personal técnico, gestores y políticos? Existen grupos de presión que puedan interferir en la independencia de la evaluación? Se facilitará al equipo de evaluación el acceso a toda la información y documentación relevante de la intervención, y a los agentes e informantes clave que deban participar en entrevistas, grupos de discusión o cualquier otra técnica de recopilación de información? Se facilitarán los canales de comunicación más adecuados para que el equipo de evaluación recopile la información necesaria? Se facilitará la participación de los actores implicados en el desarrollo de la evaluación? Existe o existirá un clima favorable de cooperación entre personas y entidades evaluadoras y evaluadas? Se tiene experiencia previa en el diseño, gestión o coordinación de una evaluación? Tiene el equipo encargado de gestionar la intervención, formación específica en evaluación?, y en la materia objeto de la evaluación? Se va a establecer algún tipo de procedimiento para dar seguimiento al desarrollo de la evaluación? Se van a asignar responsabilidades en relación con la ejecución, validación y control de calidad de las evaluaciones a realizar? PROMEDIO 0% 25% 50% 75% 100% Observaciones Orientaciones para la aplicación e interpretación del protocolo de evaluabilidad En la II Jornada de Sensibilización y formación sobre Evaluación de Políticas Públicas celebrada el mes de noviembre de 2008 por el INAP, se desarrolló un Taller de Trabajo en el que se propuso a las personas asistentes la especificación y ponderación de cada uno de los ítems presentados, mediante un ejercicio participativo y en base a una escala de evaluación en función del porcentaje del cumplimiento de las preguntas que caracterizan los citados criterios. A modo de conclusión de dicho taller y una vez consensuada la importancia relativa que guarda cada una de las cinco dimensiones valoradas respecto del Protocolo de Evaluabilidad, resumimos, a continuación el peso relativo, finalmente, asignado. 12

175 Para una mejor comprensión, se ha definido de modo que la suma de todos ellos sea igual a 100. Ponderación Dimensiones Protocolo de Evaluabilidad % Calidad del Sistema de Información 50 Calidad de la Planificación 20 Recursos destinados a la evaluación 15 Implicación del personal relacionado con la intervención en el seguimiento y evaluación 10 Claridad en los propósitos de evaluación 5 Como recomendación final es preciso dejar constancia que para garantizar la evaluabilidad de una intervención pública el peso relativo de los criterios debería estar fundamentado de acuerdo a este orden de importancia asignado y las preguntas que caracterizan cada una de las dimensiones evidenciarse, al menos, por encima del 50% de cumplimiento. No obstante, tal y como se ha indicado, esta premisa no tiene porqué darse necesariamente en todas ellas. 2.- Evaluación de Proceso La evaluación de proceso se dirige a la comprobación de las actividades que se están desarrollando en la intervención y su congruencia con la planificación inicial, con vistas a la mejora continua y el apoyo a los responsables de la implementación. Esta evaluación es una actividad de evaluación interna que tiene un carácter continuo y suele ser realizada por los propios implicados en la marcha del programa, recogiendo información constante con el objetivo de gestionar y dirigir correctamente las acciones. La evaluación de proceso pretende conocer si el programa se está dispensando convenientemente, e implica dos objetivos: Establecer hasta qué punto los distintos elementos constituyentes del programa se han aplicado como se había previsto. Evaluar la opinión de los participantes sobre los distintos aspectos estructurales del programa. 13

176 Entre los métodos de investigación útiles para este tipo de evaluación se pueden utilizar todo tipo de métodos y técnicas de investigación, incluyendo métodos cuantitativos y cualitativos, datos de archivo, estadísticas de indicadores clave, etc. Algunos prefieren las técnicas de tipo cualitativo porque ofrecen una información más rica para el seguimiento de la aplicación, recogiendo directamente las opiniones, percepciones o valoraciones que los implicados tienen sobre las actividades que se realizan, la dotación de recursos y los primeros efectos que se empiezan a producir. En general, se utilizan técnicas de observación o entrevista, aunque no se descarta, por ejemplo, el uso de cuestionarios o las hojas de registro, útiles para una recogida rápida de información entre el personal o los usuarios del programa. En este apartado vamos hacer referencia al segundo objetivo de la evaluación de proceso, es decir la evaluación de la opinión de los participantes sobre los distintos aspectos estructurales del programa. Para ello vamos a presentar un ejemplo de la evaluación de proceso de un programa de prevención del VIH/SIDA dirigido a jóvenes. Vamos a hacer una síntesis lo más sencilla posible de los pasos que se deben dar para llevar a cabo una evaluación de proceso (Ubillos, 2005): 1) Listado de Aspectos a Evaluar. 2) Selección o diseño de instrumento de medida 3) Administración del instrumento de medida. 4) Análisis e interpretación de datos. 5) Redacción de un informe de evaluación Listado de aspectos a evaluar En primer lugar, se debe realizar una descripción de qué es lo esencial del programa. Para ello, se elabora una lista del conjunto de rasgos y actividades que lo definen y constituyen. Por ejemplo, en un programa de prevención sexual del VIH dirigido a jóvenes o a usuarios de drogas serían el horario, el lugar físico, la asistencia y participación, los contenidos, etc. Todos ellos podrían ser aspectos del proceso que se podrían evaluar. Muchos de los aspectos mencionados son genéricos, por tanto pueden ser seleccionados para evaluar muchos tipos de programas o talleres. Evaluación de Proceso: Listado de Aspectos a Evaluar 14

177 Valoración general del Programa Grado de Satisfacción con el Programa Utilidad del Programa Tiempo destinado al Programa Interés suscitado por el Programa Implicación provocada por el Programa Participación de los asistentes Grado de comprensibilidad de la información proporcionada Adecuación de los contenidos Adecuación de la metodología Aportaciones del programa Selección o diseño del instrumento de medida En segundo lugar, hay que diseñar o seleccionar un instrumento de medida que nos permita recoger información sobre los aspectos que se quieren evaluar. Lo que se muestra a continuación es un ejemplo de instrumento de medida en el que se han incluido preguntas genéricas que pueden ser utilizadas en la mayoría de los programas o intervenciones. Se podrían incluir más preguntas sobre datos de identificación, como el curso o el centro donde se imparte el programa en el caso de que nuestros participantes sean estudiantes. Por tanto, además del sexo y la edad, el tipo de preguntas que consideremos relevantes para nuestra evaluación dependerá del tipo de usuarios de nuestro programa (ejemplo, homosexuales, transexuales, lesbianas, usuarios de drogas, etc.). Así mismo también se pueden incluir otras preguntas sobre aspectos más específicos del programa, como por ejemplo cuestiones sobre los distintos temas abordados en el programa (por ejemplo, normas de uso del preservativo, habilidades de comunicación y negociación, etc.), o sobre las distintas dinámicas aplicadas (por ejemplo, modelaje y entrenamiento para el uso del preservativo, role playing para las habilidades de comunicación y negociación). También se suelen introducir preguntas abiertas a fin de que los usuarios del programa puedan expresar de forma cualitativa los aspectos positivos y negativos de la intervención (Ubillos, 2005). Lahia-Nahia Sexologia Elkartea ESCALA PARA EVALUAR EL PROCESO DEL PROGRAMA 15

178 Atención: Para responder a las preguntas del cuestionario debes elegir tu respuesta y marcar con un círculo o marcar con una cruz el número que corresponde a dicha respuesta. Antes de nada no olvides indicar tu sexo y edad: Sexo: 1 Hombre 2 Mujer Edad: 1.- Haber realizado este programa me ha parecido: 1 = Totalmente negativo 4 = Positivo 2 = Muy negativo 5 = Muy positivo 3 = Negativo 6 = Totalmente positivo 2.- Señala el grado de satisfacción con el programa que has realizado: 1 = Totalmente insatisfecho 4 = Satisfecho 2 = Muy insatisfecho 5 = Muy satisfecho 3 = Insatisfecho 6 = Totalmente satisfecho 3.- Señala el grado de utilidad que ha tenido para ti el realizar este programa: 1 = Nada útil 4 = Útil 2 = Poco útil 5 = Muy útil 3 = Algo útil 6 = Totalmente útil 4.- El tiempo empleado en la realización del programa, te ha parecido: 1 = Totalmente corto 5 = Largo 2 = Muy corto 6 = Muy largo 3 = Corto 7 = Totalmente largo 4 = Normal 5.- Señala tu grado de interés en el programa que has realizado: 1 = Nada interesado 4 = Interesado 2 = Poco interesado 5 = Muy interesado 3 = Algo interesado 6 = Totalmente interesado 6.- Señala tu grado de implicación en el programa: 1 = Nada implicado 4 = Implicado 2 = Poco implicado 5 = Muy implicado 3 = Algo implicado 6 = Totalmente implicado 16

179 7.- Señala tu grado de participación en el programa: 1 = Nada participativo 4 = Participativo 2 = Poco participativo 5 = Muy participativo 3 = Algo participativo 6 = Totalmente participativo 8.- La información te ha parecido: 1 = Totalmente incomprensible 4 = Comprensible 2 = Muy incomprensible 5 = Muy comprensible 3 = Incomprensible 6 = Totalmente comprensible 9.- Valora en qué medida consideras adecuados contenidos abordados en los talleres: 1 = Nada adecuados 4 = Adecuados 2 = Poco adecuados 5 = Muy adecuados 3 = Algo adecuados 6 = Totalmente adecuados 10.- Valora en qué medida consideras adecuada la metodología empleada: 1 = Nada adecuada 4 = Adecuada 2 = Poco adecuada 5 = Muy adecuada 3 = Algo adecuada 6 = Totalmente adecuada 11.- En qué medida este programa te ha aportado conocimientos?: 1 = Muy deficiente 4 = Bien 2 = Insuficiente 5 = Notable 3 = Suficiente 6 = Sobresaliente 12.- En qué medida este programa te ha hecho reflexionar?: 1 = Muy deficiente 4 = Bien 2 = Insuficiente 5 = Notable 3 = Suficiente 6 = Sobresaliente 13.- En qué medida este programa te ha influido o va a influir en tu forma de actuar?: 1 = Muy deficiente 4 = Bien 2 = Insuficiente 5 = Notable 3 = Suficiente 6 = Sobresaliente 14.- A continuación valora del 1 al 6 la actuación de la profesional responsable de impartir el programa: 1 = Muy deficiente 4 = Bien 2 = Insuficiente 5 = Notable 3 = Suficiente 6 = Sobresaliente 17

180 2.3.- Administración del Instrumento de Medida El tercer paso es decidir cuándo y cómo se administra el instrumento de medida a los asistentes al programa. Si el programa tiene una duración corta, es decir entre 2 y 20 horas aproximadamente, y se hace de forma intensiva, lo más conveniente es pasarlo al finalizar la última sesión. Si, por el contrario, el programa tiene una duración amplia y se extiende mucho en el tiempo, lo aconsejable es hacer evaluaciones intermedias, teniendo en cuenta algún criterio de tiempo (una vez al mes) o de bloques (si el programa está dividido en módulos de temas diferenciados). Si los asistentes tienen un nivel cultural medio, es decir que son capaces de leer, comprender y escribir sin problemas, entonces lo ideal es pasar el instrumento de medida de forma auto-aplicada. Sin embargo, si los participantes tienen dificultades de lectura y comprensión, entonces lo más aconsejable es administrarlos de forma hetero-aplicada, es decir los participantes lo van cumplimentando con ayuda externa, por ejemplo de la persona responsable de pasar las escalas. Dentro de esta opción, la administración heteroaplicada puede hacerse con todo el grupo a la vez, de forma que el responsable de la evaluación va dando las instrucciones mientras que los participantes van respondiendo. También puede hacerse en forma de entrevista estructurada, es decir los participantes van respondiendo uno a uno la encuesta, con la ayuda de un profesional. El problema de esta última modalidad es que se requiere invertir mucho tiempo y recursos Análisis e Interpretación de Datos Una vez cumplimentadas las escalas, pasamos al análisis e interpretación de los datos. Para ello debemos de seguir una serie de pautas. La primera de ellas es la introducción de los datos de los cuestionarios en una base que nos permite analizarlos. El paquete estadístico más utilizado en el campo de las ciencias sociales es el SPSS, y es al que vamos a hacer referencia. Se recomienda el libro de Martín, Cabero y del Rosario (2007). Antes de nada a cada cuestionario cumplimentado asígnele un número correlativo (1, 2, 3, 4,..). A continuación para introducir los datos primero hay que preparar lo que se denomina la matriz de datos. Para ello abra el SPSS, y le aparecerá una pantalla en blanco, igual a la que se indica en la siguiente figura. Fíjese que en el ángulo inferior izquierdo hay dos pestañas, usted debe hacer clic en la pestaña que indica vista de variables y parece la ventana que se muestra en la figura 1. En realidad son dos ventanas 18

181 que están conectadas: una la de vista de variables y otra la de vista de datos. Figura 1 A continuación debemos diseñar la matriz de datos que consiste en introducir las preguntas del cuestionario en esta ventana de variables. Cada fila corresponde a la definición de un aspecto que a partir de ahora lo denominaremos variable. En la primera columna, denominado nombre, se indica el nombre de la variable y no debe contener espacios en blanco. Tomemos de ejemplo, la primera variable de nuestro estudio que le vamos a denominar sujeto, se refiere al número que le hemos asignado a cada cuestionario. La segunda final la reservamos para el sexo, de forma que el nombre será sexo. La columna denominada etiqueta sirve para explicar el acrónimo del nombre de la variable, que en este caso es obvio, sexo del sujeto. Y en la columna de valores, se indica la codificación de la variable. De forma que hacemos click en valores y aparece un cuadro de diálogo, donde en valor indicamos 1, etiqueta hombre, y damos añadir, y volvemos a indicar en valor 2, etiqueta mujer, damos a añadir, y aceptar. En la tercera fila hemos indicado la variable edad. Y en la cuarta la variable que le hemos dado el nombre de 19

182 1 2 3 Figura 2 Figura 3 20

183 valoración (paso 1), la etiqueta la hemos definido como valoración general del programa (paso 2), y en la columna de valores hemos introducido los 6 posibles rangos de respuesta (paso 3). En la figura 2, se ve como a modo de ejemplo hemos ido introduciendo las variables hasta la variable denominada valoración. Y seguimos este proceso con cada una de las variables del cuestionario (ver figura 3). Una vez construida la matriz de datos, hay que introducir los datos de los cuestionarios, para ello se debe hacer click en la pestaña del ángulo inferior izquierdo que pone vista de datos (paso 1), y se comienza a introducir en la primera fila todos los datos del sujeto o cuestionario 1, en la segunda los datos del sujeto 2, etc. (paso 2). Si alguna persona no ha respondido a una de las preguntas se deja en blanco (paso 3) (ver figura 4) Figura 4 21

184 Ahora pasamos a lanzar los análisis e interpretarlos. En este tipo de evaluación vamos a aplicar los estadísticos descriptivos. Antes de explicar cómo se lanzan, describiremos brevemente dos de ellos. Tendencia Central: Son valores que intentan representar a toda una muestra con un valor numérico hacia el cual tienden a agruparse los datos. Aquí vamos a hacer referencia a la Media ( X o M): Es el punto en la escala de valores que corresponde a la suma de los valores dividida entre el número total de ellos. Es el índice de tendencia central que suele referirse como promedio de los valores de la variable e indica el valor en el que tienden a agruparse los valores de la misma. Es la medida que se utiliza con mayor frecuencia. Muchas de las pruebas importantes de significación estadística se basan en la media. De Dispersión: Son valores que pretenden indicar el grado de variabilidad de los datos de la muestra. Aquí sólo vamos a hacer referencia a la desviación estándar o típica (S o DE). Este valor acompaña siempre a la media, y nos indica hasta qué punto las puntuaciones de los participantes se desvían de la media. Por ejemplo: un grupo de dos personas que tienen que valorar el programa de 0 a 10, uno puntúa 5 y el otro también, la media del grupo es 5, y la desviación típica 0, ya que todos los miembros del grupo califican el programa de la misma manera. Sin embargo otro grupo de dos personas, uno puntúa el programa con un 0 y otro con un10, la media del grupo también es 5, pero la desviación típica es 5, ya que es un grupo muy heterogéneo, a una persona le ha parecido muy positivo y a otro muy negativo. Por ello, junto a la media siempre se debe indicar la desviación típica para saber si se trata de un grupo homogéneo o heterogéneo. Tanto las medidas de tendencia central como las medidas de dispersión únicamente son aplicables a variables cuantitativas. La única forma de sintetizar los resultados de una variable cualitativa (por ejemplo el sexo) es mediante la frecuencia de sus categorías o en forma de porcentajes. A fin de analizar los datos, se debe hacer click en la pestaña superior que indica analizar (paso 1), otra vez haga click en la segunda opción que indica estadísticos (paso 2) y en la primera opción que indica frecuencias (paso 3) (ver figura 5). 22

185 1 2 3 Figura 5 Como se puede observar en la figura 6, al hacer click en frecuencias aparece un cuadro de diálogo, con dos ventanas, en la de la izquierda vienen indicadas todas las variables que hemos introducido en la matriz, se seleccionan todas aquellas que queramos analizar (paso 1), se hace click en la flecha que hay entre las dos ventanas (paso 2) y automáticamente las variables seleccionadas se sitúan en ventana de la derecha (paso 3). Una vez efectuado esto, se hace click en estadísticos (paso 4), y aparece otro cuadro de diálogo donde se hace click en media y desviación típica (paso 5), y se da a continuar (paso 6). Finalmente se da a aceptar en el cuadro de frecuencias (paso 7) y aparece otro archivo que está conectado con la matriz de datos, y que es el archivo de resultados. En este archivo se van anexando todos los resultados (ver figura 7). 23

186 Figura 6 Para interpretar los resultados, a modo de ejemplo se observa que en la primera tabla que pone estadísticos, se indica la media y desviación típica de cada variable cuantitativa (ver figura 7). De forma que en la valoración general, los participantes han otorgado una media de 5,28 y una desviación típica de 0,81 (paso 1). Si tenemos en cuenta que el rango de respuestas posibles era de 1=totalmente negativo a 6= totalmente positivo, se deduce que los participantes han hecho una valoración muy positiva del programa. En las siguientes tablas vienen las frecuencias y porcentajes de personas que han respondido a cada categoría o rango de respuestas. Si nos fijamos en la variable de evaluación global vemos que un 98,2% lo ha valorado de forma positiva (paso 2), por tanto el porcentaje de personas que lo ha valorado negativamente es mínimo. Y así se deberían interpretar cada uno de los aspectos o variables evaluadas. Hay que tener en cuenta que en variables de tipo cualitativo como el sexo, los estadísticos descriptivos que se utilizan es la frecuencia o el porcentaje de hombres y mujeres (la media no es el estadístico que se debe aplicar). 24

187 1 2 Figura 7 Finalmente, se debe elaborar un informe en el que se recoja toda la información que se desprende de la evaluación de proceso. Un posible índice de informe sería el siguiente (ver índice de informe de evaluación de resultados): Índice del Informe 1. Descripción breve del programa. 2. Descripción de objetivos. 3. Descripción de la muestra (los datos que se hayan recogido, como el sexo, la edad ). 4. Descripción del procedimiento de la evaluación: instrumento de medida, procedimiento de administración y mención de los análisis aplicados. 5. Descripción de los resultados (redactar los resultados y ejemplificarlos con tablas o gráficos). 6. Conclusiones. 3.- Evaluación de Resultados En general, la evaluación de resultados pretende determinar si se han alcanzado 25

188 los efectos deseados y no otros, y si los resultados se pueden atribuir al programa con un grado de certidumbre razonable. Como ya se ha indicado la evaluación de resultados se centra en el análisis valorativo a partir de tres criterios: eficacia (es decir si se logran los objetivos deseados), efectividad (si el programa tiene consecuencias directas múltiples) y eficiencia (si se logran resultados positivos a un coste razonable). Nosotros vamos hacer referencia al criterio de eficacia. La metodología más utilizada en las evaluaciones de resultado es de carácter cuantitativo, con el fin de establecer resultados conseguidos y los estándares de ejecución iniciales. Sin rechazar la posibilidad de emplear otro tipo de métodos, se defiende el uso de la metodología experimental y cuasi-experimental, en cuyo caso, el diseño experimental debe ser contemplado y aceptado desde la fase de planificación. Hoy por hoy para asegurarnos que los resultados que obtenemos son debidos al programa debemos aplicar los denominados diseños de evaluación. Aunque los diseños experimentales son los que presentan las mayores garantías de validez, aquí vamos a comenzar por dos diseños más sencillos: uno que hace referencia a un diseño preexperimental y otro a un diseño cuasi-experimental. Hay que señalar que con estos diseños difícilmente se podrían obtener inferencias de causa-efecto ya que los resultados obtenidos podrían deberse a una gran cantidad de factores ajenos al programa, pero son más factibles y son una buena forma de adentrarse en el mundo de la evaluación de programas. El diseño pre-experimental de un solo grupo con pruebas previa y posterior, en el que un único grupo de personas es medido en las variables objeto del programa antes y después de la aplicación de la intervención. Este diseño tiene muchas amenazas de validez. Este tipo de diseños tiene poca potencia debido a la gran cantidad de potenciales problemas de validez que plantea, de ahí que se use poco para generar inferencias causales. En general, este tipo de diseños usualmente sólo podría ser adecuado en aquellos casos en los que la variable medida sólo puede ser afectada por la intervención implementada, y que a la vez transcurra poco tiempo entre ambas medidas. En todo caso, las diferencias encontradas deberían ser tan evidentes que las potenciales amenazas, por sí solas, no pudieran explicar el cambio ocurrido tras la aplicación del programa de intervención. A pesar de los inconvenientes de este diseño, nosotros vamos a exponer un ejemplo basado en este tipo de diseño ya que es el más factible de todos. Otra posibilidad es el diseño cuasi-experimental de grupo control no equivalente 26

189 que es el más utilizado en la práctica ya que, además de las ventajas que presenta frente al caso anteriormente descrito, es relativamente fácil de aplicar. Este diseño se caracteriza por: 1. La existencia de un grupo experimental (que lo forman el conjunto de personas que recibe el programa o intervención) y control (que lo forman aquellas personas que no reciben el programa, y que son lo más similares posibles al grupo experimental). Los grupos vienen asignados no se forman de forma aleatoria. Ejemplo, en un centro escolar contamos con 4 grupos de 4º de la ESO, dos los asignamos a los grupos experimentales y dos a los grupos control. 2. La recogida de información se hace antes (es decir los llamados pre-test) y después (es decir los llamados post-tests) de la realización del programa. Para que los grupos control no se queden sin programa, se les da la intervención de forma postergada, es decir una vez que hayan cumplimentado las pruebas de evaluación (tanto las denominadas pre-test como post-test). Con este diseño se favorece una mejor medida de las variables en cuanto las amenazas pueden ser más controlables, es decir, menos plausibles, aunque no imposibles. Otra tercera propuesta de gran interés es el diseño de línea base no causal construida. En este caso, la media post-test del grupo experimental se compara con una muestra funcional o disfuncional. Este diseño cuasi-experimental se apoya en la comparación del cambio de medias de los grupos experimentales antes, y después de éste, en relación a una norma (generalmente los percentiles o deciles de una población comparable). De ahí su nombre de línea base (la distribución normativa del grupo de referencia) no causal (porque no se ha producido causalmente la diferencia entre el grupo experimental y el de control, sino que este último se usa como referencia pasiva, sin programa) y construida (porque generalmente la distribución normativa no existe y hay que construirla de una muestra del universo) (Ubillos 1996; Páez, Ubillos y León, 1996). Para construir una matriz de datos de una muestra funcional o disfuncional con la que comparar nuestros resultados, se pueden aprovechar los datos obtenidos en el pretest, cuando aplicamos el diseño pre-experimental mencionado previamente. Este diseño plantea dos supuestos importantes: la ausencia del efecto espontáneo 27

190 del paso del tiempo y la similitud entre el grupo experimental y la población de la que se extrae la distribución normativa. La primera premisa presupone que cuando no hay presencia de programa, la media en percentiles en el pre-test de un grupo control es igual a la media del post-test. El segundo postulado implica que los datos deben ser válidos para una población normativa similar a la del estudio, en cuanto a características socio-demográficas y culturales. A continuación como en el caso de la evaluación de proceso, vamos a plantear un ejemplo de evaluación de resultados desde el punto de vista de la eficacia, y con la aplicación de un diseño pre-experimental de un solo grupo con pruebas previa y posterior. Los pasos a seguir serían los siguientes (Ubillos, 1995): 1) Fundamentación teórica y objetivos del programa. 2) Aspectos, contenidos o variables a evaluar. 3) Seleccionar o diseñar los instrumentos de medida. 4) Administración de los instrumentos de medida. 5) Análisis e interpretación de datos. 6) Redacción del informe Fundamentación teórica y objetivos del programa El primer paso importante en este tipo de evaluaciones es que el programa se fundamente en teorías. En el caso de la prevención sexual del VIH/SIDA, las teorías que mejor explican la adopción de las conductas sexuales de riesgo son varias como (Ubillos, 2007): la Teoría de la Acción Razonada (Fishbein y Ajzen, 1975; Ajzen y Fishbein, 1980), la Teoría del Comportamiento Planificado (Ajzen, 1985, 2002), la Teoría del Aprendizaje Social (Bandura, 1986, 1997) y el Modelo de Creencias de Salud (Becker, 1974; Janz y Becker, 1984). Existen otros modelos como son el Modelo de Información-Motivación-Habilidades Conductuales (Fisher y Fisher, 1992), el Modelo de la Motivación de la Protección (Floyd, Prentice-Dunn, y Rogers, 2000) o el Modelo Precede (Green y Kreuter, 1999) que contemplan de una manera u otra los mismos constructos. En síntesis vienen a indicar que la información es necesaria pero no suficiente para que las personas adopten conductas sexuales más seguras, planteando la importancia que juegan las creencias sobre el uso del preservativo, las actitudes hacia las medidas preventivas, la percepción de riesgo, la percepción de 28

191 control y las habilidades de negociación, entre otros aspectos, a la hora de que las personas sean capaces de mantener relaciones sexuales más saludables (es decir tener relaciones coitales usando el preservativo). Si contamos con alguna teoría, de ahí se derivan los objetivos de nuestro programa. Objetivo General Disminuir las prácticas sexuales de riesgo, es decir disminuir el porcentaje de relaciones sexuales coitales sin uso del preservativo. Objetivos Específicos 1. Aumentar los conocimientos sobre el uso del preservativo y la transmisión del VIH/SIDA. 2. Aumentar las creencias positivas hacia el uso del preservativo (beneficios) y disminuir las creencias negativos hacia el uso de esta medida preventiva (costes). 3. Mejorar la actitud positiva hacia el uso del preservativo, y reforzar la actitud negativa hacia el uso del coito interrumpido. 4. Aumentar las habilidades de negociación o de autoeficacia para que las personas posean recursos para proponer prácticas de sexo más seguro Aspectos o contenidos a evaluar De la teoría y de los objetivos se derivan los aspectos o contenidos que se van a abordar en el programa y que van a ser evaluados. Cuando estos aspectos o contenidos son operacionalizados para poder ser evaluados se denominan variables. Siguiendo con nuestro ejemplo serían los que se especifican en el siguiente cuadro. 29

192 Aspectos a trabajar y evaluar 1. Conductas sexuales de riesgo y de prevención 2. Conocimientos 3. Creencias (costes y beneficios) sobre el uso del preservativo. 4. Actitudes hacia el uso del preservativo y el coito interrumpido 5. Autoeficacia o habilidades de negociación Seleccionar o diseñar los instrumentos de medida. El siguiente paso consiste en diseñar un instrumento de medida que nos permita recoger información sobre estos aspectos. Existen multitud de escalas para evaluar estos aspectos. Las búsquedas bibliográficas a través de la red, en bases de datos especializadas, en artículos científicos, en libros nos permiten localizar multitud de escalas que han sido previamente validadas y fiabilizadas, lo que nos da cierta garantía a la hora de evaluar nuestro programa. Se recomienda que se seleccionen estas escalas, que han sido validadas y fiabilizadas previamente, porque el diseñar instrumentos de evaluación que sean válidos y fiables requiere un manejo metodológico y estadístico muy elevado. A modo de ejemplo, se van a incluir en este apartado una serie de escalas ampliamente utilizadas en este campo (para más información véase Ubillos, 2005; Ubillos, Insúa y De Andrés, 1999, manual accesible en En estos manuales se da información sobre las escalas que se presentan en este apartado. Aquí hemos seleccionado una versión abreviada de la mayoría de las escalas para facilitar su aplicación. Hemos incluido una escala de evaluación de conocimientos, otra sobre creencias derivadas del uso del preservativo, otra sobre percepción de control y autoeficacia (habilidades de comunicación) y, finalmente, una de conductas sexuales preventivas y/o de riesgo. Es decir, hemos seleccionado una escala por cada una de las variables que se van abordar en la intervención y que van a ser evaluadas. 30

193 Lahia-Nahia Sexologia Elkartea ESCALA DE CONOCIMIENTOS A continuación, responde marcando con una x la respuesta que consideres correcta, es decir si cada una de las afirmaciones es verdadera, falsa o no sabes. Para usar bien el preservativo es necesario: 1. Colocarlo antes de la erección 2. Se puede abrir rompiendo la envoltura del plástico con la boca 3. Puede tener efectos secundarios 4. Colocarlo cuando el pene está en erección 5. Colocarlo justo en el momento de la eyaculación 6. Inflarlo de aire para comprobar si está pinchado 7. Dejar un espacio vacío en la punta del preservativo 8. Mirar la fecha de caducidad 9. No manipularlo hasta su colocación 10. Sujetar el condón por los bordes y retirar el pene de la vagina, justo después de la eyaculación 11. Utilizar uno nuevo cada vez que el chico introduce el pene en la vagina 12. Esperar dentro de la vagina a que el pene vuelva a su estado normal y después retirar el condón sujetándolo por los bordes Verdadero Falso No Sé Verdadero Falso No Sé Verdadero Falso No Sé Verdadero Falso No Sé Verdadero Falso No Sé Verdadero Falso No Sé Verdadero Falso No Sé Verdadero Falso No Sé Verdadero Falso No Sé Verdadero Falso No Sé Verdadero Falso No Sé Verdadero Falso No Sé Según tu opinión, el SIDA se puede "pillar": 13. A través de las relaciones coitales 14. Esnifando cocaina compartiendo el rulo 15. Esnifando cocaina sin compartir el rulo 16. Donando sangre 17. Utilizando piscinas públicas 18. Recibiendo sangre (transfusión) 19. A través de los cubiertos, vasos. 20. Besándose en la boca Verdadero Falso No Sé Verdadero Falso No Sé Verdadero Falso No Sé Verdadero Falso No Sé Verdadero Falso No Sé Verdadero Falso No Sé Verdadero Falso No Sé 31

194 21. Inyectándose heroína siempre con la propia jeringuilla. 22. Inyectándose heroína compartiendo la jeringuilla 23. A través de picaduras de insecto 24. A través de la saliva 25. A través de las lágrimas 26. Compartiendo objetos personales (cepillo de dientes, cuchillas...) 27. A través del coito interrumpido 28. De mujer embarazada a su hijo. Para no "pillar" el Sida, es necesario: 29. Acudir al médico para realizarse controles periódicos 30. Estar bien informado sobre lo que es el Sida 31. Tener siempre la misma pareja sexual 32. Utilizar el preservativo 33. No utilizar agujas ya usadas (piercing, tatuajes, etc.) 34. Tener relaciones sexuales sólo con gente conocida 35. Evitar el contacto con sangre de otros. 36. Tomar la píldora anticonceptiva 37. Fijarse en el aspecto exterior de la pareja 38. Utilizar cremas espermicidas 39. Informarse el estado de salud de la pareja 40. No existen medidas que nos protejan Verdadero Falso No Sé Verdadero Falso No Sé Verdadero Falso No Sé Verdadero Falso No Sé Verdadero Falso No Sé Verdadero Falso No Sé Verdadero Falso No Sé Verdadero Falso No Sé Verdadero Falso No Sé Verdadero Falso No Sé Verdadero Falso No Sé Verdadero Falso No Sé Verdadero Falso No Sé Verdadero Falso No Sé Verdadero Falso No Sé Verdadero Falso No Sé Verdadero Falso No Sé Verdadero Falso No Sé Verdadero Falso No Sé Verdadero Falso No Sé 32

195 Lahia-Nahia Sexologia Elkartea ESCALA DE CREENCIAS DEL PRESERVATIVO (COSTES Y BENEFICIOS) Desde tu punto de vista, señala tu grado de acuerdo o desacuerdo con las siguientes características relacionadas con los preservativos. Responde marcando con un círculo o con una x el número de la escala que mejor refleje tu respuesta, es decir tu grado de acuerdo o desacuerdo con las siguientes afirmaciones: 1= Totalmente en desacuerdo 2= Muy en desacuerdo 3= En desacuerdo 4= De Acuerdo 5= Muy de acuerdo 6= Totalmente de acuerdo LOS PRESERVATIVOS: 1. Previenen el embarazo Engorroso, incómodo, complicado de usar Tranquilizan y dan seguridad en la relación Crea dudas en el otro acerca de tu estado de salud Rompen con el romanticismo de la situación Interrumpe el acto sexual Da corte comentar que hay que "ponerlo" Previenen de enfermedades de transmisión sexual y SIDA Disminuye el placer Son fáciles de obtener Hay que preveer su uso, hay que pensar en tenerlo Me preocupa que lo encuentren en mi casa Son sencillos y fáciles de utilizar Se rompen fácilmente, son frágiles Su colocación es un juego erótico más Me da vergüenza comprarlo Si los llevas encima dan la sensación de que tienes relaciones con cualquier persona 18. Los chicos que los tienen dan la sensación de que buscan llegar a la relación sexual siempre

196 Lahia-Nahia Sexologia Elkartea ESCALA DE PERCEPCIÓN DE CONTROL Y AUTOEFICACIA Antes de contestar señala con una cruz el tipo de relación que mantienes en este momento: 0 Ninguna 1 Pareja/Novio estable 2 Pareja/Novio inestable 3 Varias Parejas estables 4 Varias Parejas inestables Contesta independientemente de que tengas o no experiencia sexual:.- Si tienes experiencia sexual, contesta recordando tu última relación sexual coital..- Si no tienes experiencia sexual coital, contesta como si estuvieras en esa situación. Responde marcando con un círculo o con una x el número de la escala que mejor refleje tu respuesta, es decir tu grado de acuerdo o desacuerdo con las siguientes afirmaciones: 1= Totalmente en desacuerdo 2= Muy en desacuerdo 4= De Acuerdo 5= Muy de acuerdo 3= En desacuerdo 6= Totalmente de acuerdo 1.- Cuando estoy con una pareja, me siento capaz de controlar lo que ocurra sexualmente con él o ella Si una pareja y yo estamos poco excitados sexualmente y yo no quiero llegar al coito, puedo decirle fácilmente que no Si una pareja y yo estamos muy excitados sexualmente y yo no quiero llegar al coito, puedo parar las cosas fácilmente, por lo tanto, no lo haremos Hay veces que me siento tan implicada/o personal y emocionalmente que puedo tener relaciones coitales incluso sin usar un método anticonceptivo (condón, pastillas...). 5.- A veces sigo adelante con lo que mi pareja quiere hacer sexualmente, porque siento que no puedo tomar las riendas de la situación y decir lo que yo quiero. 6.- Hay veces que me siento incapaz de hablar con mi pareja sobre la necesidad de que usemos un método anticonceptivo (condón, pastillas...)

197 Recuerda la última vez que estuviste con una pareja teniendo relaciones sexuales, os encontrabais muy excitados y yendo claramente hacia el coito. Has estado alguna vez en esta situación?: 0 NO 1 SI En caso de que no, imagina que estás en esa situación y contesta. 7.- Puedo/pude preguntarle fácilmente a mi pareja si usa algún método anticonceptivo o decirle que yo no uso ninguno (condón, pastillas...). 8.- Puedo/pude parar la situación para pedirle que se ponga un preservativo o para ponérmelo yo mismo. 9.- Puedo/pude negarme a seguir con la relación sexual coital si no estamos usando un método anticonceptivo (condón, pastillas...) Puedo/pude plantearle fácilmente a mi pareja otras formas de relación sexual, distintas al coito, si no estamos usando un método anticonceptivo (condón, pastillas...)

198 Lahia-Nahia Sexologia Elkartea ESCALA DE COMPORTAMIENTO SEXUAL Y PREVENTIVO Para responder a las preguntas que se te indican a continuación, marca con un círculo o con una x aquel número que mejor refleje tu respuesta. 1.- NIVEL DE EXPERIENCIA SEXUAL: 1 No he tenido ninguna experiencia sexual. A continuación se describen cinco niveles de experiencia sexual. Lee atentamente cada uno de ellos y pon una X en el nivel que tú te encuentres. Al margen de tus relaciones sexuales actuales indica la experiencia máxima que has tenido a lo largo de tu vida. 2 He besado en los labios y abrazado a una chica/o con caricias en las manos y por encima de la ropa. 3 He tenido intimidades sexuales, próximas al coito pero sin llegar a él. Esto incluye haber acariciado directamente y haber sido acariciado/a directamente en cualquier parte del cuerpo, incluido los genitales, con o sin orgasmos. 4 He tenido experiencia de haber llegado al coito, con una sola persona a lo largo de mi vida. 2.- En LOS ÚLTIMOS 4 MESES cómo es tu comportamiento sexual: 5 He tenido relaciones coitales con más de una persona a lo largo de mi vida. 1 No tengo relaciones sexuales. 2 Tengo relaciones sexuales que consisten en besos, caricias, caricias en los genitales, etc..., pero no tengo experiencia de coito. 3.- Sólo responde si has tenido o tienes algún tipo de relación sexual (besos, caricias, petting ), tienes o has tenido relaciones relaciones sexuales?: 4.- Qué intención tienes de utilizar el preservativo en una próxima relación sexual? 3 Tengo relaciones sexuales que incluyen el coito. 1 Sólo con personas del otro sexo. 2 Normalmente con personas del otro sexo y alguna vez con personas del mismo sexo. 3 Tanto con personas del otro sexo como con personas del mismo sexo. 4 Normalmente con personas del mismo sexo y alguna vez con personas del otro sexo. 5 Sólo con personas del mismo sexo. 1 Ninguna intención 2 Alguna intención 3 Poca intención 4 Bastante intención 5 Mucha intención 6 Total intención Las preguntas que van desde el número 5 hasta el 10 sólo deben ser respondidas por las personas que mantienen o han mantenido relaciones sexuales que incluyen el coito (la penetración). 36

199 5.- Cuando mantienes relaciones sexuales coitales, utilizas algún método preventivo?: 6.- Qué método utilizas? (Puedes señalar más de una respuesta). 7.- En el último mes, cuántas veces has mantenido relaciones sexuales coitales? (Indica aproximadamente el número de veces): 8.- De estas veces, cuántas veces has utilizado un método preventivo? (Indica aproximadamente el número de veces): 9.- Qué método habéis utilizado tú o tu pareja en estas ocasiones? (Si es más de un método señálalo): 10.- Por qué has elegido ese/os método/s preventivo/s? (Indica desde tu punto de vista la razón más importante. Sólo elige una respuesta): 1 SIEMPRE 2 A VECES 3 NUNCA 1 El coito interrumpido (La marcha atrás, Sacarlo antes de eyacular) 2 Píldoras anticonceptivas 3 Preservativo (Condones) 4 Otros, indica cuál 1 Prevenir el embarazo Nº VECES Nº VECES 2 Prevenir una enfermedad de transmisión sexual 3 Prevenir el SIDA 4 Otros Administración de los instrumentos de medida. El siguiente paso consiste en la administración de los instrumentos de medida en base al diseño de evaluación previsto. Por ejemplo, si contamos con un diseño preexperimental de grupo único con pruebas antes y después, se deberán pasar estas escalas antes del programa (pre-test) y después del programa (post-test). Por ello, es importante que tengamos previsto el diseño de evaluación, antes de empezar a aplicarlo. Las recomendaciones sobre las estrategias que se deben utilizar para administrar las escalas son las mismas que las mencionadas en la evaluación de proceso. 37

200 3.5.- Análisis e Interpretación de los datos Una vez que los participantes han contestado a las escalas, se deben introducir en una base de datos. En el caso de utilizar el SPSS se deberán seguir los mimos pasos que los expuestos en la evaluación de proceso. En este caso lo que se debe tener en cuenta que, en base al diseño pre-experimental aplicado en nuestro ejemplo, contamos con que cada sujeto tiene datos de todas las escalas administradas en el pre-test y posttest. Por ello, a la hora de introducir los datos, como ya hemos indicado, a cada sujeto se le asigna una fila, de forma que cuando hemos introducido todos los datos del pre-test, seguimos introduciendo los del post-test. Para diferencias los aspectos o variables del pre-test y post-test, se recomienda que el nombre utilizado para la variable sea el mismo pero le añadamos una a (pre-test) o una b (post-test). Por ejemplo, conocimiento1a (se puede referir a nuestra primera pregunta de conocimientos en el pre-test Para usar bien el preservativo hay que colocarlo antes de la erección ) y conocimiento1b (se referirá a nuestra primera pregunta de conocimientos en el post-test). Una vez dispongamos de la matriz de datos y hallamos introducido los datos pasaremos al análisis de datos e interpretación de los resultados. Voy a exponer un ejemplo con una de las escalas, en concreto con la de costes y beneficios. Primero se deben crear los indicadores globales de costes y beneficios, para ello se hace click en la opción superior que pone transformar (paso 1), y se pincha en la primera opción calcular variables (paso 2) (ver figura 8), de forma que aparece un cuadro de diálogo. En ese cuadro de diálogo en el ángulo superior izquierdo indicamos el nombre que le vamos a dar al indicador, p.e. costesa (paso 3). Hacemos click en donde indica tipo y etiqueta (paso 4), salta una ventana donde le indicamos el nombre de la variable, por ejemplo costes en el tiempo 0 (pre-test) (paso 5) y le damos a continuar (paso 6) (ver figura 9), de forma que volvemos al cuadro de diálogo anterior. En la ventana inferior izquierda vienen todas las variables que hemos introducido en la matriz y hemos evaluado, se seleccionan cada una de las variables que corresponden a los costes de la escala (paso 7), se pincha en la flecha para situarlas automáticamente en la ventana de expresión numérica (paso 8), se las suma (paso 9), se les pone entre paréntesis (paso 10) y se las divide por el número de preguntas, en nuestro caso son 12 (paso 11) para que el rango de respuesta de este indicador vuelva a situarse entre 1 y 6 (ver figura 10). Esto se hace tanto con las variables del pre como con las del post-test. 38

201 1 2 Figura Figura 9 39

202 Figura 10 Una vez que tengamos creados los indicadores se pasa a lanzar el análisis. En este caso lo aconsejable es un t-test que compara si hay una diferencia entre las puntuaciones medias del pre-test y del post-test. De forma específica se aplica la prueba T para muestras relacionadas ya que compara las medias de dos variables de un solo grupo, como en nuestro ejemplo. Es decir, nosotros queremos comparar la media obtenida por el grupo en el pre-test con la puntuación media obtenida en el post-test. Como se observa en la figura 11, se hace clic en analizar (paso 1), se hace clic en la opción de comparar medias (paso 2), lo que da lugar a que se desplieguen otras opciones y se hace clic en la de prueba test para muestras relacionadas (paso 3), de forma que aparecerá un cuadro de diálogo. 40

203 1 2 3 Figura 11 A continuación, en el cuadro de diálogo seleccionamos los dos indicadores, cuyas medidas queremos comparar, en nuestro ejemplo los costesa (costes en el pretest) con costesb (costes en el post-test) (paso 1), hacemos click en la flecha y de esta forma se sitúan en la ventana de variables emparejadas (paso 2), y le hacemos click a aceptar (paso 3) (ver figura 12). De forma que se abrirá otro archivo con los resultados, que está conectado con nuestra matriz de datos. De forma que así podemos comparar la media obtenida por nuestro grupo o grupos en el pre-test con la media obtenida en el post-test. Esto nos dará a conocer si la puntuación media después del programa ha mejorado con respecto a la media obtenida antes del programa. 41

204 Figura 12 Los resultados se interpretan de la siguiente manera. Primero hay que mirar lo que se denomina significatividad (bilateral) o p. Si el valor de la significatividad o de la p es menor que 0,050, significa que hay una diferencia estadísticamente significativa entre ambas medias (la del pre-test y la del post-test). Si el valor de p es mayor que 0,050, significa que no hay una diferencia estadísticamente significativa entre ambas medias. Una vez comprobado, si hay diferencias se pasa a analizar las dos medias. En nuestro caso, se observa que la media obtenida por el grupo en el pre-test es 3,12 (dt=0,63) y la del posttest 2,82 (dt=0,66). Por tanto, la puntuación media del post-test es significativamente menor que la del pre-test, es decir después del programa los participantes perciben menos costes derivados del uso del preservativo. La forma de registrar este resultado en los informes es la siguiente: t (120) =5,29, p<.0001 [t (gl o grados de libertad) ) =valor de la t, p<valor de la significatividad] (paso 3) (ver figura 13). Es importante tener en cuenta que con este tipo de diseño no podemos afirmar que el programa sea el que ha producido esta mejora en la percepción de los costes, sino que debemos ser cautelosos y concluir que: después de la intervención se observa una mejoría significativa en la percepción de costes derivados del uso del preservativo. 42

205 2 Grados de libertad 1 Figura Redacción del Informe Finalmente, se debe elaborar un informe en el que se recoja toda la información que se desprende de la evaluación de resultados. Este documento puede ser de uso interno o externo y puede tener múltiples funciones, entre otras podemos mencionar las siguientes: Para presentar todo el proceso y los resultados obtenidos a los usuarios del programa o de los servicios. Para presentar la documentación que justifique el trabajo realizado a las posibles entidades que financian el programa. Para analizar de forma interna cuáles son los puntos débiles y fuertes del programa, a fin de mejorarlo. En el caso de haber aplicado una evaluación de proceso y de resultados, un posible índice de informe sería el siguiente: Índice del Informe 43

206 1. Descripción breve del programa. 2. Descripción de objetivos (proceso y resultado). 3. Descripción de la muestra (los datos que se hayan recogido, como el sexo, la edad ). 4. Descripción del procedimiento de la evaluación de proceso y de resultados: instrumento de medida, procedimiento de administración y mención de los análisis aplicados. 5. Descripción de los resultados: proceso y resultados (redactar los resultados y ejemplificarlos con tablas o gráficos). 6. Conclusiones. 4.- Condiciones básicas de una buena evaluación El Joint Committe on Standars for Educational Evaluation (1981) se refiere a las condiciones básicas que ha de cumplir una buena evaluación. Las más relevantes son (Fernández Ballesteros y Hernández, 1995): a) Que sea útil, es decir, que esté en relación y se corresponda con lo que necesitan las personas implicadas en el programa a evaluar (responsables, profesionales, participantes, usuarios de la evaluación o clientes ). b) Que sea factible o viable, pudiéndose realizar en la práctica dentro de las posibilidades y la coyuntura que ofrezcan las circunstancias del momento. c) Realismo, ajustándose a los recursos disponibles. d) Eficiencia. La viabilidad de una evaluación también se mide en función de la relación existente entre los resultados pretendidos y los recursos o medios requeridos. e) Prudencia y moderación, sin que resulte peor el remedio que la enfermedad que se pretende curar. Antes de aplicar una evaluación conviene calcular y prever si sus resultados van a traer más ventajas (mejora del programa, de las relaciones, del clima de trabajo, etc.) que inconvenientes (reacciones negativas, conflictos, frustraciones, ansiedad, desánimo, etc.). g) Diplomacia. La evaluación ha de saberse llevar, tanto en su diseño como en su administración, así como en la difusión de los resultados. No se trata de falsear o escamotear cuestiones críticas, pero sí el plantearlas con delicadeza, respeto, y sobre todo con una actitud positiva y constructiva. h) Que sea ética, basada en la cooperación y protección de los derechos de las partes implicadas en la evaluación (institución, equipo de trabajo, participantes). Existe la obligación moral de devolver a la comunidad, de forma sistematizada (mediante el 44

207 informe final) aquello que se ha extraído de ella (información), y sin ningún tipo de manipulación. h) Que sea precisa o exacta. Se requiere una buena pericia y preparación de los evaluadores para prever y controlar una gran cantidad de factores que intervienen. En muchos casos, la compleja realidad con la que se trabaja hace imposible el control y aislamiento de numerosas e impredecibles variables que influyen y contaminan los resultados; sin embargo, sí que deberán utilizar procedimientos con los que minimizar o prever en lo posible los factores distorsionantes. i) Clara y directa. Cuando se trabaja en contextos aplicados con asuntos tan sensibles, es necesario que la comunicación entre el evaluador, el cliente y los diversos involucrados en el proceso sea clara y abierta. Existen una serie de vicios o errores usuales con los que nos encontramos frecuentemente, y que conviene desterrar de la práctica evaluativa. a) Pseudoevaluaciones, cuando no se lleva a cabo una auténtica evaluación por no haberse planteado previamente un objetivo ni una estrategia relativa a la recogida de información (es el que caso vamos a hacer esto y a ver que sale ). También se trata de pseudoevaluación cuando se realiza el proceso inverso, decidiendo de antemano qué es lo que quiero que salga, y dedicando después todos los esfuerzos a justificar con la evaluación lo que va a coincidir con lo que ya había prefijado (cuando al final de aplicar un programa se prepara una memoria de lo efectuado, y se presenta como evaluación) (Stufflebeam y Webster, 1980). b) Identificación de la medida con la evaluación. Se incurre en este error cuando se reduce la evaluación a una mera cuantificación de datos, incluso si no es reducible a cifras la realidad que se pretende evaluar. No se puede absolutizar los datos, porque en sí mismos, son insuficientes sin una referencia al contexto que les da sentido y relieve. Así, el número de jóvenes que ha participado en una determinada actividad en diversos centros escolares de una ciudad no es evaluable sin una alusión a la población de jóvenes existentes en todos los centros escolares del área, o sin saber a qué hora y en qué fecha se realizó, o si es la primera vez o se trata de un programa habitual. Se requiere completar los datos cuantitativos con referencias cualitativas y contextuales para poder valorarlos adecuadamente. c) Sectarismo o parcialidad. Suele aparecer debido a los prejuicios, intereses o apasionamiento que frecuentemente acompañan a las evaluaciones. Puede haber tendenciosidad tanto en la selección y obtención de informaciones como en el 45

208 momento de difundirla. d) Subjetivismo. Afecta a la evaluación cuando los datos no están convenientemente fundamentados o contextualizados. e) Confusión de niveles. Es necesario iniciar la evaluación sabiendo qué, para qué y a quién interesa esa evaluación. En función de la respuesta que se dé a cada una de estas preguntas se establecen distintos niveles e intereses. Así, a la institución que patrocina una determinada actividad comunitaria le puede interesar la relación coste/beneficio por participante, mientras que si al usuario le preocupa el grado de cumplimiento de sus expectativas, y el profesional puede estar interesado en la calidad del programa. En cada evaluación existen distintos y hasta contradictorios intereses, y el evaluador tiene que dar a cada uno lo suyo, sin confundir la perspectiva institucional con la comunitaria o la profesional. f) Burocratización. Es muy frecuente cuando la evaluación se realiza en instituciones muy normadas, en las que la rutina formal y los trámites administrativos pueden actuar a modo de barreras que retrasan y obstaculizan el proceso de evaluación. La evaluación de programas, dada su cualidad de investigación aplicada, está consagrada al principio de utilidad. Si no tiene influencia en las decisiones habrá sido una tarea inútil, un esfuerzo realizado en vano. Así, de acuerdo con Weiss (1975), la evaluación no merecerá la pena realizarse bajo circunstancias como las siguientes: a) Cuando no haya nada que preguntar acerca del programa; b) Cuando el programa no está claramente especificado (se improvisa); c) Cuando los responsables del programa no se ponen de acuerdo sobre qué se está tratando de lograr con el programa (metas indefinidas); d) Cuando no hay disponibilidad de recursos (personal o materiales). La evaluación es una estrategia más con la que debemos contar para potenciar los efectos de la prevención. La evaluación es una responsabilidad que debemos compartir todos los que trabajamos en la prevención del VIH. La evaluación se encuentra con multitud de obstáculos como son las actitudes reticentes de muchas de las personas involucradas, la falta de capacidad técnicas y recursos que sin duda alguna dificulta la acción en esta esfera fundamental, la aplicación de las estrategias evaluativas en el campo aplicado. No obstante, muchos profesionales han demostrado que estos 46

209 obstáculos se pueden superar en la medida que cada vez contamos con más posibilidades que hacen factible la evaluación de programas en contextos sociales aplicados. Desde mi punto de vista, a priori el mayor obstáculo con el que nos encontramos actualmente no se traduce en un esfuerzo de trabajo adicional sino en un cambio de actitud y de perspectiva. Recordemos para finalizar las palabras de León y Montero (2003): según las circunstancias, hagamos siempre lo que podamos pero, en cualquier caso, sepamos siempre lo que se hace. La lucha contra las ITS y el VIH/SIDA está en manos de todos, y la única lucha que se pierde es la que se abandona. 47

210 Referencias Bibliográficas Anguera, M.T., Chacon, S. y Blanco, A. (coords.) (2008). Evaluación de Programas Sociales y Sanitarios. Instituto Navarro de Administración Pública. Gobierno de Navarra (2008). Protocolo de Evaluabilidad de las políticas públicas en la Comunidad Foral de Navarra. Servicio de calidad de políticas y servicios públicos del Instituto Navarro de Administración Pública (INAP). 48

211 Evaluación del Proceso, de Resultados e Impacto Silvia Ubillos Landa y Eider Goiburu Moreno Universidad de Burgos Lahia-Nahia Sexologia Elkartea CAPACITANDO A LAS ONG/SIDA: MEJORANDO LA PREVENCIÓN DEL VIH (Barcelona 3, 4 y 5 de Marzo del 2010) Evaluación del Proceso, de Resultados e Impacto Silvia Ubillos Landa 1 y Eider Goiburu Moreno 2 1 Universidad de Burgos; 2 Asociación de Sexologia Lahia-Nahia Promocionar la evaluación es esencial para mejorar las intervenciones, para determinar si los programas llegan a las poblaciones destinatarias y cumplen sus objetivos, para comparar los resultados de diversos métodos o estrategias de prevención o para evaluar los efectos de la programación de la prevención en el estigma. La evaluación permite recopilar y analizar información a medida que se aplican y se amplían los programas, de forma que ayude a todas las personas implicadas en la prevención a sacar el máximo provecho de ella. Como dicen Vega y Ventosa (1993), a pesar de la diversidad conceptual sobre el término de evaluación, todas tienen en común que evaluar es atribuir cierto valor al objeto de la evaluación, es decir a los programas y estrategias preventivas. A continuación, vamos a referirnos a tres definiciones por subrayar tres dimensiones diferentes de la evaluación. Cronbach (1981) define la evaluación de programas como la provisión de información para la toma de decisiones sobre una intervención. Fernández-Ballesteros (1992) afirma que consiste en una sistemática investigación del mérito, valor o éxito de intervenciones realizadas para producir cambios comportamentales en el contexto social. Fernández del Valle (1996) considera que la evaluación de programas es una

212 exigencia metodológica para todas las intervenciones que cubre una triple exigencia: en primer lugar, es una exigencia profesional ya que es responsabilidad de todos los que intervienen en los programas el conocer y estudiar sus propios procesos y resultados de intervención a fin de mejorar su ejercicio; en segundo lugar, es una exigencia científica en cuanto que la intervención psicosocial es un campo en construcción que demanda un desarrollo teórico que necesariamente pasan por analizar rigurosamente las prácticas desarrolladas, contrastando y comprobando las nuevas aportaciones técnicas y teóricas; y finalmente, la evaluación de programas es una exigencia ética ya que permite el control de los efectos causados con una determinada intervención, y por tanto, garantiza la adecuación a ciertos principios prescriptivos como la igualdad de oportunidades, el respeto a las minorías, etc. Se considera que los tres objetivos básicos de la evaluación son: responsabilidad, mejora del programa y promoción de conocimientos básicos (Anguera, Chacon y Blanco, 2008). La finalidad de la evaluación de la responsabilidad es emitir un juicio sobre el valor relativo del programa o de sus componentes, enfatizando la medición de resultados, el logro de objetivos, y el cálculo de la efectividad y eficacia de las actividades en comparación con otras alternativas. Para el análisis de las relaciones causales, el método preferido por muchos sería el método experimental controlado y aleatorizado (ver apartado evaluación de resultados). Desde el punto de vista de la responsabilidad, la evaluación de programas ofrece una información valiosa para la toma de decisiones sobre: a) la posibilidad de generalizar o ampliar la aplicación de las acciones que componen el programa a otros contextos sociales; b) la necesidad de continuar invirtiendo recursos y esfuerzos en la dirección señalada por el programa evaluado; c) la conveniencia de reajustar los objetivos, las acciones o los recursos para un mejor logro de las metas; d) la posibilidad de reducir la intervención o e) darla por finalizada. Es difícil llegar a respuestas fiables a partir de procedimientos informales, no sistemáticos; los planificadores y los técnicos de programas tienden al optimismo, los agentes que desarrollan las acciones pueden tener un interés particular en concluir que el programa ha resultado exitoso, los usuarios suelen valorar positivamente los programas en los que reciben atención (sin ningún esfuerzo o compromiso por su parte), independientemente de la permanencia en el tiempo de los efectos o del logro de los 1

213 verdaderos objetivos que se buscaban. Los estados, los gobiernos locales, las instituciones y empresas (públicas o privadas), dado que disponen de unos recursos limitados necesitan información para decidir lo más acertadamente posible la asignación de sus inversiones; esta información debería permitir, por un lado, priorizar las necesidades que se deben satisfacer y por otro determinar la eficiencia de las acciones emprendidas. Cada vez es más aceptada la idea de que la utilización de los conocimientos y la metodología científica mejorará la toma de decisiones, dará lugar a que se planeen mejores programas y, así, rendirán un servicio a los participantes de los programas de un modo más beneficioso y eficiente. Desde la perspectiva de la mejora, la evaluación aspira orientar un mejoramiento y perfeccionamiento del programa. Persigue la mejora de las actividades, el fortalecimiento de la organización y el desarrollo de las capacidades de las personas que participan de distinto modo en los programas y en las organizaciones. Se considera que el programa continuará funcionando en un futuro previsible y por tanto la finalidad es lograr que el programa resulte más dinámico, eficiente, orientado al servicio y adaptado a las preocupaciones del cliente. El tercer propósito sustantivo es el del conocimiento básico. La evaluación persigue comprender ampliamente los fenómenos bajo estudio, analizando las causas de los problemas y los por qués del funcionamiento de los programas con el objetivo de aumentar o refinar el conocimiento disponible sobre los problemas y las posibilidades de intervención. Cabe por tanto considerar que uno de los objetivos fundamentales de todo proceso evaluativo sea generar la comprensión o explicación de los problemas sociales, lo cual significa resaltar la dimensión investigadora implícita en toda evaluación (Chelimsky, 1997). Una última consideración a tener en cuenta es no podemos hablar de auténtica evaluación mientras los implicados no participen activamente en la misma, de forma que se llegue al conocimiento a través de una construcción social en la que participen todos los sectores directamente afectados. Esta es la razón por la cual actualmente la investigación evaluativa utiliza soportes teóricos y metodológicos coherentes con este planteamiento, lo que ha dado lugar a una gran variedad y heterogeneidad de enfoques (evaluación pluralista, participativa, respondente, democrática, cluster evaluation, empowerment evaluation, etc-). El denominador común de estos enfoques se podría resumir en el hecho de que toda evaluación debe suponer, ante todo, un compromiso del 2

214 evaluador con la educación cívica, el desarrollo humano y la emancipación social (Fetterman, 1994; Smith, 1998). A continuación pasaremos a presentar los tipos de evaluación. Como se refleja en el cuadro, existen diferentes tipos de evaluación, pero nosotros vamos a hacer referencia a cuatro de ellos: evaluación de proceso, de resultados y de impacto, junto a la evaluación de la evaluabilidad (Anguera, Chacon y Blanco, 2008). 3

215 Tipos de la Evaluación Actividades Acción Juicio Identificación y Evaluación del Pertinencia formulación del contexto y necesidades problema Planificación Evaluación del Suficiencia diseño Adecuación Aplicación Seguimiento Evaluación del proceso Evaluación de Progreso Cobertura Eficacia Evaluabilidad resultados e Efectividad impacto Eficiencia La evaluación de proceso permite asegurarse de que el programa funciona como se quiere y al nivel que se quería, antes de atribuir efectos o consecuencias a un programa. Sus objetivos básicos son: a) averiguar y describir cómo funciona el programa y, b) analizar hasta qué punto hay diferencias entre el funcionamiento real y el previsto. Esta evaluación permite mejorar el programa sobre la marcha y establecer hasta qué punto los distintos elementos constituyentes del programa se están dispensando correctamente. Se tratará de analizar el progreso del programa, y es una medida que se realiza durante la aplicación del mismo o nada más finalizarlo, pretendiendo determinar cómo éste está actuando. La evaluación de resultados nos permite conocer los efectos del programa a corto plazo, mientras que la evaluación de impacto se refiere a los efectos que el programa provoca a largo plazo sobre la población no destinataria y sobre el contexto del programa. Estos dos tipos de evaluación son sinónimos de evaluación de la efectividad, eficacia o eficiencia de un programa: a) Eficacia. La evaluación de la eficacia trata de establecer si tras la aplicación del programa, los objetivos establecidos han sido alcanzados. Es una medida que nos permite conocer los resultados obtenidos en la población beneficiaria, en un periodo temporal 4

216 determinado, sin considerar los costos en los que incurre para obtenerlos. En caso de que el programa logre los objetivos marcados previamente, se considera que el programa es eficaz. b) Efectividad. La evaluación de la efectividad tiene por objetivo establecer si independientemente de los objetivos establecidos por el planificador de la intervención, el programa ha conseguido otros determinados efectos. Existen consecuencias no intencionadas de las intervenciones que en ocasiones van en la dirección deseada, pero en otras no. Cuando los efectos son positivos se puede considerar que el programa evaluado ha sido efectivo. c) Eficiencia. La evaluación de la eficiencia trata de indagar si los resultados obtenidos están en relación con los recursos y/o medios utilizados para conseguir unos determinados objetivos. Por tanto, implica su relación con los recursos invertidos y un análisis de costesbeneficios. Como las evaluaciones suelen ser costosas en tiempo y en recursos, de forma que antes de embarcarse en una evaluación es conveniente analizar si es posible realizarla de forma satisfactoria. Para ello se debe considerar la adecuación de la planificación del programa y las posibles barreras con que se puede topar el evaluador. Para establecer si merece la pena comprometerse en un estudio evaluativo, Wholey (1987) sugiere efectuar previamente una evaluación de la evaluabilidad que busca responder a dos cuestiones: a) es posible llevar a cabo la evaluación?; b) en qué medida es posible responder a las preguntas evaluativas con la información que hay sobre el programa y en la situación en que se encuentra?. 1.- Evaluación de la Evaluabilidad Comenzaremos por la evaluación de la evaluabilidad ya que debe ser previa a cualquiera de las evaluaciones mencionadas. Definiremos evaluabilidad como el análisis previo de la conveniencia de realizar la evaluación posterior de una intervención pública, valorando la existencia de las condiciones óptimas para llevarla a cabo y proponiendo las mejoras necesarias que preparen a dicha intervención para ser evaluada. Se estaría entonces en condiciones de poder determinar, en una fase posterior, el tipo de evaluación realizar. 5

217 Se usa deliberadamente el término análisis de evaluabilidad frente al concepto más estricto de evaluación de evaluabilidad para hacer referencia a un examen más rápido y sencillo de la intervención que no implique un trabajo de mucho calado ni consuma muchos recursos. El objetivo principal que persigue el análisis de evaluabilidad es reducir incertidumbres sobre la decisión de poner en marcha la evaluación, siendo aconsejable, sobre todo, cuando se piensa que la evaluación a realizar requerirá una inversión significativa de recursos. Con ello se evitarán gastos y esfuerzos innecesarios (Wholey, 1979). También sienta las bases para que las evaluaciones a realizar tengan más probabilidades de cumplir las expectativas de las personas promotoras, usuarias y/o destinatarias finales, pues acota el alcance de lo que puede llegar a ofrecerse con la evaluación, mejorando por tanto la utilización y utilidad de los resultados evaluativos. El análisis de evaluabilidad, como cualquier tipo de ejercicio evaluativo, tiene entre sus cometidos servir de herramienta al proceso de toma de decisiones públicas y a la mejora de las intervenciones ya que va a permitir determinar en qué ámbitos hay margen para mejorar, conocer qué circunstancias del evaluando y su contexto debe ser clarificado antes de evaluar y establecer una línea de base que pueda utilizarse a fin de que los resultados esperados de dicha intervención sean verificables de manera fiable y creíble. Ahora bien, la valoración de la evaluabilidad no debe concluir, exclusivamente, con la respuesta positiva o negativa sobre la conveniencia de evaluar la intervención, puesto que las recomendaciones del análisis de evaluabilidad deben permitir preparar a la intervención para ser evaluada, en caso de que se considere necesaria o sea obligatorio realizar la evaluación. Entre las preguntas que la evaluabilidad permite responder se encuentran las siguientes: Qué puede aportar la evaluación a esta intervención pública? Merece la pena evaluar esta intervención pública? Existen recursos suficientes para llevar a cabo el tipo de evaluación que se ha predeterminado? Qué elementos de la intervención pública deberían considerarse en la evaluación? Qué elementos de la intervención pública necesitan mejorarse para que ésta sea evaluable? 6

218 Aquí nosotros vamos a proponer el protocolo de evaluabilidad diseñado por el Instituto Navarro de Administración Pública del Gobierno de Navarra (2008) por proponer una herramienta que nos facilita la realización de este tipo de evaluación de intervenciones sociales. Para llevar a cabo este protocolo se propone recabar información sobre cinco criterios o dimensiones que deben cumplirse para garantizar la evaluabilidad de una intervención pública: calidad de la planificación, calidad del sistema de información, claridad en los propósitos de la evaluación, recursos destinados a la evaluación, implicación del personal relacionado con la intervención en el seguimiento y evaluación. Con el fin de facilitar la aplicación de estos criterios, se detallan las preguntas de evaluación relevantes que deben ser formuladas y que caracterizan las cinco dimensiones analizadas: calidad de la planificación (0% cuando no existe cumplimiento alguno, 25% si considera que se cumple de forma insuficiente y por tanto, necesariamente mejorable; 50% si considera que se cumple pero que es mejorable; 75% si se cumple pero es parcialmente mejorable; y 100% si se cumple de forma muy satisfactoria). Se describen en un formato de tabla, a modo de fichas y en base a una escala de evaluación, fundamentada en la valoración del cumplimiento de cada una de las cuestiones a través de la generación de evidencias. La metodología específica a aplicar se basa en la adaptación del denominado Enfoque del Marco Lógico 1. Antes de pasar a describir esta herramienta, es importante señalar que sus creadores parten del convencimiento de que será más provechoso el proceso de aplicación del Protocolo que los resultados que se obtengan. Esto es así puesto que las personas implicadas en su puesta en marcha aprenderán de la intervención, de su teoría, de los mecanismos articulados para su gestión y aplicación y de la adecuación de los sistemas de información disponibles para recopilar información sobre la evolución de lo realizado y sus efectos. Este Protocolo se ha diseñado para ser utilizado, fundamentalmente, de manera interna por el personal implicado en la elaboración del diseño, gestión y ejecución de las 1 El enfoque de marco lógico (EML) es una herramienta analítica, desarrollada en los años 1970, para la planificación de proyectos con una orientación hacia el cumplimiento de objetivos y es utilizado con frecuencia por organismos de cooperación internacional. En el EML se considera que la ejecución de un proyecto es consecuencia de un conjunto de acontecimientos con una relación casual interna: insumos, actividades, resultados, objetivo específico y global. 7

219 intervenciones públicas, y especialmente por las personas encargadas de gestionar y coordinar su seguimiento y evaluación Calidad de la planificación Uno de los factores que pueden determinan la evaluabilidad de una intervención es la calidad de la planificación. Cuanto más imperfecta sea la planificación (problemas no identificados, objetivos deficientemente definidos y relaciones de causalidad entre actuaciones y objetivos mal establecidas), más dificultades habrá para realizar la evaluación. Los elementos a considerar en la valoración de la calidad de la planificación son: calidad de la gestión, definición de objetivos y examen de la coherencia interna de la estrategia propuesta en la intervención. Las preguntas a responder para determinar la evaluabilidad de la intervención en relación con la calidad del diagnóstico (problemas, población objetivo y contexto operativo) son las siguientes: Calidad del Diagnóstico. Definición de problemas 0% 25% 50% 75% 100% Observaciones Existe un diagnóstico de los problemas que se pretenden resolver con la intervención? Se ha recogido el diagnóstico en algún documento programático de la intervención? Se identifican claramente los problemas y necesidades en el diagnóstico? Están cuantificados o son medibles? Se han definido indicadores que permitan establecer la situación de partida (línea de base) para la posterior valoración de la intervención en relación con la solución de los problemas identificados? Se cuenta con teorías de base que tratan de explicar los problemas que se quieren resolver? Se han identificado las causas de los problemas? Se ha acotado la cobertura de la intervención? Es decir, se han definido las dimensiones institucionales, temporales, sectoriales y geográficas de la intervención? Se ha hecho un análisis de los elementos relevantes del contexto operativo en el que se desarrolla la intervención? Se ha explicitado a quiénes afectan los problemas detectados de manera adecuada? Es decir, se ha definido la población objetivo? PROMEDIO 2 2 El promedio de cada subdimensión se calcula sumando el valor obtenido en cada pregunta y se divide por el número de preguntas 8

220 Las preguntas a responder para determinar la evaluabilidad de la intervención en relación con la definición de los objetivos son las siguientes: Definición de objetivos (para los diferentes niveles de objetivos) Se han definido explícitamente los objetivos perseguidos con la intervención? Son claros? Son concisos? Están cuantificados o son medibles o valorables? Responden los objetivos de la intervención a las necesidades y problemas detectados? Se ha definido el horizonte temporal en el que se pretenden alcanzar los objetivos? PROMEDIO 0% 25% 50% 75% 100% Observaciones Las preguntas a responder para determinar la evaluabilidad de la intervención en relación con la coherencia interna de la intervención son las siguientes: Coherencia interna Se han establecido distintos niveles de objetivos? La jerarquía de objetivos responde a relaciones causa-efecto lógicas? Son coherentes los objetivos entre sí? Es decir, la consecución de los objetivos de un nivel (por ejemplo, objetivos específicos) implica o puede implicar con bastante probabilidad el logro del objetivo del nivel superior de planificación (por ejemplo, objetivo final)? Se han concretado los objetivos en propuestas de actuación (actividades, acciones)? Son estas propuestas de actuación claras? Son concisas? Concretan un compromiso de acción? Son constatables, es decir, se pueden medir o valorar? Existe coherencia entre las actuaciones propuestas y los objetivos? Es decir, la puesta en marcha de las actividades implica o puede implicar con bastante probabilidad el logro de los objetivos planteados? Se han asignado responsabilidades y presupuesto en relación con la aplicación de las actuaciones? PROMEDIO 0% 25% 50% 75% 100% Observaciones 9

221 1.2.- Calidad del sistema de información Uno de los principales condicionantes de la viabilidad y alcance de la evaluación es la disponibilidad de información sobre la intervención a evaluar. La cuestión radica fundamentalmente en la ausencia de datos de calidad, organizados y estructurados adecuadamente, lo que dificulta conocer quién hace qué, cómo y cuándo; y sobre todo, limita conocer los elementos clave en el desarrollo de la intervención que pueden motivar sus resultados y efectos. Para evitar que esto ocurra debe haberse definido, desde el momento de planificar la intervención, un buen sistema de información que posibilite realizar el seguimiento periódico y sistemático de toda aquella información necesaria que facilite la posterior o posteriores evaluaciones. Las preguntas a responder para determinar la evaluabilidad de la intervención en relación con la calidad del sistema de información son las siguientes: Sistema de información Existe información suficiente sobre los aspectos de la intervención a evaluar que pueda suministrarse para la evaluación? Se ha definido algún procedimiento para la recogida de información sobre la intervención? Es fiable, eficaz, ágil y no muy costoso? Se han definido indicadores para recopilar sistemáticamente la información sobre la evolución de la intervención y sus actividades? Son relevantes los indicadores para la intervención? Son relevantes los indicadores para responder a las preguntas de evaluación que se han pensado? Hacen referencia a los objetivos definidos? Hacen referencia a las actividades definidas? Son los indicadores fiables? Son los indicadores fáciles de obtener? Son fáciles de interpretar? Se ha definido cuándo se debe recoger la información de cada indicador? Se han asignado recursos suficientes (financieros, materiales y humanos) para llevar a cabo el seguimiento? PROMEDIO 0% 25% 50% 75% 100% Observaciones 10

222 1.3.- Claridad en los propósitos de la evaluación La conveniencia de realizar una evaluación viene condicionada por la utilidad de sus resultados para la toma de decisiones y por su capacidad para influir en la intervención. Pues bien, la ausencia de un entendimiento claro sobre la utilidad de los procesos de evaluación es precisamente uno de los factores que dificultan y debilitan la práctica evaluativa. Las cuestiones a responder para determinar la evaluabilidad de la intervención en relación con la definición de los propósitos de la evaluación son las siguientes: Propósitos de la evaluación posterior Se han definido los propósitos de la evaluación? Se han definido las preguntas a las que la evaluación debe dar respuesta? Se ha identificado a los actores implicados en la intervención? Se ha realizado un análisis previo de los principales intereses y posibilidades de participación en el proceso de evaluación? En la formulación de preguntas de evaluación se ha tenido en cuenta o se tendrán en cuenta los intereses de los grupos más representativos relacionados con la intervención? Se han acotado las dimensiones (temporales, geográficas, institucionales, etc.) de la intervención que van a ser consideradas en la evaluación? Perciben los actores implicados en la intervención la utilidad de la evaluación? Se utilizará la información que suministre la evaluación? Podría la evaluación, si así se concluye, influir en la intervención? Se difundirán los resultados de la evaluación, especialmente entre las organizaciones y entidades implicadas? PROMEDIO 0% 25% 50% 75% 100% Observaciones 11

223 1.4.- Recursos destinados a la evaluación: coste, tiempo y recursos humanos Otro de los principales condicionantes del alcance de una evaluación, y por tanto, determinante de la conveniencia o no de llevarla a cabo, es la adecuación de los recursos económico-financieros, materiales y humanos, asignados a esta tarea en relación con las necesidades reales detectadas. Teniendo en cuenta las preguntas de evaluación formuladas y las dimensiones de la intervención que deben ser evaluadas, las cuestiones a responder para determinar la evaluación de la intervención en relación con los recursos destinados a la evaluación son las siguientes: Recursos destinados a la evaluación Es el presupuesto adecuado para llevar a cabo la evaluación? Es decir, es el presupuesto disponible un factor que puede limitar la evaluación? El tiempo asignado para realizar la evaluación es suficiente para llevarla a cabo? En definitiva, es el tiempo disponible un factor que puede limitar la evaluación? En caso de optar por realizar una evaluación interna, son los recursos humanos disponibles suficientes para llevar a cabo la evaluación? Cuando se espera recibir los productos de la evaluación? Estarán a tiempo para que puedan mejorar la intervención? Se va a establecer algún tipo de procedimiento para dar seguimiento a la incorporación de las recomendaciones de la evaluación? PROMEDIO 0% 25% 50% 75% 100% Observaciones Implicación del personal relacionado con la intervención en el seguimiento y evaluación Ya se han señalado los aspectos fundamentales que determinan la evaluabilidad de una intervención. Existen, sin embargo, otros factores relacionados con la actitud ante la evaluación y con las condiciones técnicas e institucionales de la organización responsable de la intervención y de la encargada de la evaluación. Entre ellos: Las preguntas a responder para determinar la evaluabilidad de la intervención en relación con la implicación del personal relacionado con la intervención en el seguimiento y la evaluación son las siguientes: 12

224 Implicación en la evaluación Hasta qué punto estarán implicados los agentes clave? Existe una actitud favorable hacia la evaluación en el personal técnico, gestores y políticos? Existen grupos de presión que puedan interferir en la independencia de la evaluación? Se facilitará al equipo de evaluación el acceso a toda la información y documentación relevante de la intervención, y a los agentes e informantes clave que deban participar en entrevistas, grupos de discusión o cualquier otra técnica de recopilación de información? Se facilitarán los canales de comunicación más adecuados para que el equipo de evaluación recopile la información necesaria? Se facilitará la participación de los actores implicados en el desarrollo de la evaluación? Existe o existirá un clima favorable de cooperación entre personas y entidades evaluadoras y evaluadas? Se tiene experiencia previa en el diseño, gestión o coordinación de una evaluación? Tiene el equipo encargado de gestionar la intervención, formación específica en evaluación?, y en la materia objeto de la evaluación? Se va a establecer algún tipo de procedimiento para dar seguimiento al desarrollo de la evaluación? Se van a asignar responsabilidades en relación con la ejecución, validación y control de calidad de las evaluaciones a realizar? PROMEDIO 0% 25% 50% 75% 100% Observaciones Orientaciones para la aplicación e interpretación del protocolo de evaluabilidad En primer lugar, se propone evaluar cada una de las dimensiones y subdimensiones de forma independiente. De forma que si una de las subdimenciones no supera el promedio de un 50%, se debe intentar mejorar aquellos aspectos que requieran atención antes de comenzar el proceso de evaluación. En segundo lugar, también se puede hacer una valoración global de todas las dimensiones, dándole a cada una de ellas un peso relativo. En las II Jornadas de Sensibilización y Formación sobre Evaluación de Políticas Públicas celebrada el mes de noviembre de 2008 por el INAP, se desarrolló un Taller de Trabajo en el que se propuso 13

225 a los asistentes la especificación y ponderación de cada uno de los ítemes presentados. Finalmente, el peso relativo asignado a cada una de las cinco dimensiones del Protocolo de Evaluabilidad se especifica en la siguiente tabla. Para una mejor comprensión, se ha definido de modo que la suma de todos ellos sea igual a 100. Se recomienda que sean los propios equipos de trabajo quienes establezcan el peso relativo de las dimensiones, ya que la ponderación que se presenta a continuación sólo es a modo orientativo. Ponderación Dimensiones Protocolo de Evaluabilidad % Calidad del Sistema de Información 50 Calidad de la Planificación 3 20 Recursos destinados a la evaluación 15 Implicación del personal relacionado con la intervención en el seguimiento y evaluación 10 Claridad en los propósitos de evaluación 5 La recomendación final del Protocolo es que para garantizar la evaluabilidad de una intervención pública las cinco dimensiones propuestas deben de estar evidenciadas de acuerdo al peso relativo determinado y con un nivel de cumplimiento, al menos, por encima del 50%. En caso contrario, se recomienda realizar acciones de mejora previas a abordar una evaluación. 2.- Evaluación de Proceso La evaluación de proceso se dirige a la comprobación de las actividades que se están desarrollando en la intervención y su congruencia con la planificación inicial, con vistas a la mejora continua y el apoyo a los responsables de la implementación. Esta evaluación es una actividad de evaluación interna que tiene un carácter continuo y suele ser realizada por los propios implicados en la marcha del programa, recogiendo información constante con el objetivo de gestionar y dirigir correctamente las acciones. La evaluación de proceso pretende conocer si el programa se está dispensando convenientemente, e implica dos objetivos: 3 Calidad de la Planificación. Para calcular el promedio conjunto de las tres subdimensiones que forman esta dimensión se aconseja sumar los tres promedios y dividirlos entre tres. 14

226 Establecer hasta qué punto los distintos elementos constituyentes del programa se han aplicado como se había previsto. Evaluar la opinión de los participantes sobre los distintos aspectos estructurales del programa. Entre los métodos de investigación útiles para este tipo de evaluación se pueden utilizar todo tipo de métodos y técnicas de investigación, incluyendo métodos cuantitativos y cualitativos, datos de archivo, estadísticas de indicadores clave, etc. Algunos prefieren las técnicas de tipo cualitativo porque ofrecen una información más rica para el seguimiento de la aplicación, recogiendo directamente las opiniones, percepciones o valoraciones que los implicados tienen sobre las actividades que se realizan, la dotación de recursos y los primeros efectos que se empiezan a producir. En general, se utilizan técnicas de observación o entrevista, aunque no se descarta, por ejemplo, el uso de cuestionarios o las hojas de registro, útiles para una recogida rápida de información entre el personal o los usuarios del programa. En este apartado vamos hacer referencia al segundo objetivo de la evaluación de proceso, es decir la evaluación de la opinión de los participantes sobre los distintos aspectos estructurales del programa. Para ello vamos a presentar un ejemplo de la evaluación de proceso de un programa de prevención del VIH/SIDA dirigido a jóvenes. Vamos a hacer una síntesis lo más sencilla posible de los pasos que se deben dar para llevar a cabo una evaluación de proceso (Ubillos, 2005): 1) Listado de Aspectos a Evaluar. 2) Selección o diseño de instrumento de medida 3) Administración del instrumento de medida. 4) Análisis e interpretación de datos. 5) Redacción de un informe de evaluación Listado de aspectos a evaluar En primer lugar, se debe realizar una descripción de qué es lo esencial del programa. Para ello, se elabora una lista del conjunto de rasgos y actividades que lo definen y constituyen. Por ejemplo, en un programa de prevención sexual del VIH dirigido a jóvenes o a usuarios de drogas serían el horario, el lugar físico, la asistencia y participación, los contenidos, etc. Todos ellos podrían ser aspectos del proceso que se 15

227 podrían evaluar. Muchos de los aspectos mencionados son genéricos, por tanto pueden ser seleccionados para evaluar muchos tipos de programas o talleres. Evaluación de Proceso: Listado de Aspectos a Evaluar Valoración general del Programa Grado de Satisfacción con el Programa Utilidad del Programa Tiempo destinado al Programa Interés suscitado por el Programa Implicación provocada por el Programa Participación de los asistentes Grado de comprensibilidad de la información proporcionada Adecuación de los contenidos Adecuación de la metodología Aportaciones del programa Selección o diseño del instrumento de medida En segundo lugar, hay que diseñar o seleccionar un instrumento de medida que nos p ermita recoger información sobre los aspectos que se quieren evaluar. Lo que se muestra a continuación es un ejemplo de instrumento de medida en el que se han incluido preguntas genéricas que pueden ser utilizadas en la mayoría de los programas o intervenciones. Se podrían incluir más preguntas sobre datos de identificación, como el curso o el centro donde se imparte el programa en el caso de que nuestros participantes sean estudiantes. Por tanto, además del sexo y la edad, el tipo de preguntas que consideremos relevantes para nuestra evaluación dependerá del tipo de usuarios de nuestro programa (ejemplo, homosexuales, transexuales, lesbianas, usuarios de drogas, etc.). Así mismo también se pueden incluir otras preguntas sobre aspectos más específicos del programa, como por ejemplo cuestiones sobre los distintos temas abordados en el programa (por ejemplo, normas de uso del preservativo, habilidades de comunicación y negociación, etc.), o sobre las distintas dinámicas aplicadas (por ejemplo, modelaje y entrenamiento para el uso del preservativo, role playing para las habilidades de comunicación y negociación). También se suelen introducir preguntas abiertas a fin de que los usuarios del programa puedan expresar de forma cualitativa los aspectos positivos y negativos de la intervención (Ubillos, 2005). 16

228 Lahia-Nahia Sexologia Elkartea ESCALA PARA EVALUAR EL PROCESO DEL PROGRAMA Atención: Para responder a las preguntas del cuestionario debes elegir tu respuesta y marcar con un círculo o marcar con una cruz el número que corresponde a dicha respuesta. Antes de nada no olvides indicar tu sexo y edad: Sexo: 1 Hombre 2 Mujer Edad: 1.- Haber realizado este programa me ha parecido: 1 = Totalmente negativo 4 = Positivo 2 = Muy negativo 3 = Negativo 2.- Señala el grado de satisfacción con el programa que has realizado: 5 = Muy positivo 6 = Totalmente positivo 1 = Totalmente insatisfecho 4 = Satisfecho 2 = Muy insatisfecho 3 = Insatisfecho 5 = Muy satisfecho 3.- Señala el grado de uti lidad que ha tenido para ti el realizar este programa: 1 = Nada útil 4 = Útil 2 = Poco útil 3 = Algo útil 4.- El tiempo empleado en la realización del programa, te ha parecido: 6 = Totalmente satisfecho 5 = Muy útil 6 = Totalmente útil 1 = Totalmente corto 5 = Largo 2 = Muy corto 3 = Corto 4 = Normal 5.- Señala tu grado de interés en el programa que has realizado: 1 = Nada interesado 2 = Poco interesado 3 = Algo interesado 6.- Señala tu grado de implicación en el programa: 1 = Nada implicado 2 = Poco implicado 3 = Algo implicado 6 = Muy largo 7 = Totalmente largo 4 = Interesado 5 = Muy interesado 6 = Totalmente interesado 4 = Implicado 5 = Muy implicado 6 = Totalmente implicado 17

229 7.- Señala tu grado de participación en el programa: 1 = Nada participativo 4 = Participativo 2 = Poco participativo 5 = Muy participativo 3 = Algo participativo 6 = Totalmente participativo 8.- La información te ha parecido: 1 = Totalmente incomprensible 4 = Comprensible 2 = Muy incomprensible 5 = Muy comprensible 3 = Incomprensible 6 = Totalmente comprensible 9.- Valora en qué medida consideras adecuados contenidos abordados en los talleres: 1 = Nada adecuados 4 = Adecuados 2 = Poco adecuados 5 = Muy adecuados 3 = Algo adecuados 6 = Totalmente adecuados 10.- Valora en qué medida consideras adecuada la metodología empleada: 1 = Nada adecuada 4 = Adecuada 2 = Poco adecuada 5 = Muy adecuada 3 = Algo adecuada 6 = Totalmente adecuada 11.- En qué medida este programa te ha aportado conocimientos?: 1 = Muy deficiente 4 = Bien 2 = Insuficiente 5 = Notable 3 = Suficiente 6 = Sobresaliente 12.- En qué medida este programa te ha hecho reflexionar?: 1 = Muy deficiente 4 = Bien 2 = Insuficiente 5 = Notable 3 = Suficiente 6 = Sobresaliente 13.- En qué medida este programa te ha influido o va a influir en tu forma de actuar?: 1 = Muy deficiente 4 = Bien 2 = Insuficiente 5 = Notable 3 = Suficiente 6 = Sobresaliente 14.- A continuación valora del 1 al 6 la actuación de la profesional responsable de impartir el programa: 1 = Muy deficiente 4 = Bien 2 = Insuficiente 5 = Notable 3 = Suficiente 6 = Sobresaliente 18

230 2.3.- Administración del Instrumento de Medida El tercer paso es decidir cuándo y cómo se administra el instrumento de medida a los asistentes al programa. Si el programa tiene una duración corta, es decir entre 2 y 20 horas aproximadamente, y se hace de forma intensiva, lo más conveniente es pasarlo al finalizar la última sesión. Si, por el contrario, el programa tiene una duración amplia y se extiende mucho en el tiempo, lo aconsejable es hacer evaluaciones intermedias, teniendo en cuenta algún criterio de tiempo (una vez al mes) o de bloques (si el programa está dividido en módulos de temas diferenciados). Si los asistentes tienen un nivel cultural medio, es decir que son capaces de leer, comprender y escribir sin problemas, entonces lo ideal es pasar el instrumento de medida de forma auto-aplicada. Sin embargo, si los participantes tienen dificultades de lectura y comprensión, entonces lo más aconsejable es administrarlos de forma hetero-aplicada, es decir los participantes lo van cumplimentando con ayuda externa, por ejemplo de la persona responsable de pasar las escalas. Dentro de esta opción, la administración heteroaplicada puede hacerse con todo el grupo a la vez, de forma que el responsable de la evaluación va dando las instrucciones mientras que los participantes van respondiendo. También puede hacerse en forma de entrevista estructurada, es decir los participantes van respondiendo uno a uno la encuesta, con la ayuda de un profesional. El problema de esta última modalidad es que se requiere invertir mucho tiempo y recursos Análisis e Interpretación de Datos Una vez cumplimentadas las escalas, pasamos al análisis e interpretación de los datos. Para ello debemos de seguir una serie de pautas. La primera de ellas es la introducción de los datos de los cuestionarios en una base que nos permite analizarlos. El paquete estadístico más utilizado en el campo de las ciencias sociales es el SPSS, y es al que vamos a hacer referencia. Se recomienda el libro de Martín, Cabero y del Rosario (2007). Antes de nada a cada cuestionario cumplimentado asígnele un número correlativo (1, 2, 3, 4,..). A continuación para introducir los datos primero hay que preparar lo que se denomina la matriz de datos. Para ello abra el SPSS, y le aparecerá una pantalla en blanco, igual a la que se indica en la siguiente figura. Fíjese que en el ángulo inferior 19

231 izquierdo hay dos pestañas, usted debe hacer clic en la pestaña que indica vista de variables y parece la ventana que se muestra en la figura 1. En realidad son dos ventanas que están conectadas: una la de vista de variables y otra la de vista de datos. Figura 1 A continuación debemos diseñar la matriz de datos que consiste en introducir las preguntas del cuestionario en esta ventana de variables. Cada fila corresponde a la definición de un aspecto que a partir de ahora lo denominaremos variable. En la primera columna, denominado nombre, se indica el nombre de la variable y no debe contener espacios en blanco. Tomemos de ejemplo la primera variable de nuestro estudio que le vamos a denominar sujeto, se refiere al número que le hemos asignado a cada cuestionario. La segunda final la reservamos para el sexo, de forma que el nombre será sexo. La columna denominada etiqueta sirve para explicar el acrónimo del nombre de la variable, que en este caso es obvio, sexo del sujeto. Y en la columna de valores, se indica la codificación de la variable. De forma que hacemos clic en valores y aparece un cuadro de diálogo, donde en valor indicamos 1, etiqueta hombre, y damos añadir, y volvemos a indicar en valor 2, etiqueta mujer, damos a añadir, y aceptar. En la tercera fila hemos indicado la variable edad. Y en la cuarta la variable que le hemos dado el nombre de 20

232 1 2 3 Figura 2 Figura 3 21

233 valoración (paso 1), la etiqueta la hemos definido como valoración general del programa (paso 2), y en la columna de valores hemos introducido los 6 posibles rangos de respuesta (paso 3). En la figura 2, se ve como a modo de ejemplo hemos ido introduciendo las variables hasta la variable denominada valoración. Y seguimos este proceso con cada una de las variables del cuestionario (ver figura 3). Una vez construida la matriz de datos, introducir los datos de los cuestionarios, para ello se debe hacer clic en la pestaña del ángulo inferior izquierdo que pone vista de datos (paso 1), y se comienza a introducir en la primera fila todos los datos del sujeto o cuestionario 1, en la segunda los datos del sujeto 2, etc. (paso 2). Si alguna persona no ha respondido a una de las preguntas se deja en blanco (paso 3) (ver figura 4) Figura 4 22

234 A continuación, hay que depurar la matriz de datos, ya que en su introducción puede haber errores que deben ser detectados antes de pasar a efectuar los análisis pertinentes. Los errores que se pueden detectar se refieren a aquellos valores que hemos introducido por error y que no se sitúan dentro del posible rango de respuesta de las variables. O que exceden el valor mínimo o máximo. Para llevar a cabo la depuración, como se refleja en la figura 5, hay que hacer clic en analizar (paso 1), de forma que se despliega una serie de opciones y se debe hacer clic en la segunda opción, es decir en estadísticos descriptivos (paso 2), lo que a su vez da lugar a otra serie de opciones y se hace clic en la que indica frecuencias (paso 3) y aparece un cuadro de diálogo. En este cuadro en la ventana izquierda se encuentran todas las variables de nuestra matriz, se seleccionan todas las variables (paso 4), se hace clic en la flecha y automáticamente todas las variables se sitúan en la ventana de la derecha (paso 5). En este mismo cuadro se hace clic en la opción de estadísticos (paso 6), y aparece otro cuadro de diálogo en el que señalamos valor mínimo y máximo (paso 7), damos a continuar (paso 8) y a aceptar (paso 9). Al hacer clic en aceptar aparece otro archivo denominado archivo de resultados que está conectado con la matriz de datos. Fíjese en la figura 6 que en el ejemplo que le mostramos, en la variable valoración global aparece como valor máximo 66, dato que es imposible, ya que el rango de respuesta posible de esta variable oscila entre 1 (totalmente negativo) y 6 (totalmente positivo), por lo que ninguna persona ha podido señalar el valor 66. Si nos fijamos en la tabla de frecuencias podemos observar que el valor 66 aparece en un caso (pudiera ser el caso de que el valor 66 por error lo hubiésemos introducido en vez de en una sola ocasión en varias ocasiones). Asimismo pueden aparecer errores en diversas variables de nuestra matriz. 23

235 Figura 5 Figura 6 24

236 En la figura 7 describimos cuál es el procedimiento que hay que llevar a cabo para poder corregir el error. Uno se sitúa en la matriz de datos, en vista de datos, selecciona la variable donde se encuentra el error, en nuestro caso en la variable valoración global del programa, cuyo acrónimo es evalua (paso 1), se hace clic en editar (paso 2), se abren una serie de opciones y se hace clic en buscar (paso 3), de forma que aparece un cuadro de diálogo. En la ventana que indica buscar ponemos el valor que queremos hallar, en este caso 66 (paso 4) y hacemos clic en buscar siguiente (paso 5) de forma que automáticamente el cursor se sitúa encima del valor 66 (paso 6). Comprobamos a que número de cuestionario se refiere, buscamos el cuestionario, revisamos el valor correcto y lo introducimos (paso 7) Figura 7 25

237 Ahora pasamos a lanzar los análisis e interpretarlos. En este tipo de evaluación vamos a aplicar los estadísticos descriptivos. Antes de explicar cómo se lanzan, describiremos brevemente dos de ellos. Tendencia Central: Son valores que intentan representar a toda una muestra con un valor numérico hacia el cual tienden a agruparse los datos. Aquí vamos a hacer referencia a la Media ( X o M): Es el punto en la escala de valores que corresponde a la suma de los valores dividida entre el número total de ellos. Es el índice de tendencia central que suele referirse como promedio de los valores de la variable e indica el valor en el que tienden a agruparse los valores de la misma. Es la medida que se utiliza con mayor frecuencia. Muchas de las pruebas importantes de significación estadística se basan en la media. De Dispersión: Son valores que pretenden indicar el grado de variabilidad de los datos de la muestra. Aquí sólo vamos a hacer referencia a la desviación estándar o típica (S o DE). Este valor acompaña siempre a la media, y nos indica hasta qué punto las puntuaciones de los participantes se desvían de la media. Por ejemplo: un grupo de dos personas que tienen que valorar el programa de 0 a 10, uno puntúa 5 y el otro también, la media del grupo es 5, y la desviación típica 0, ya que todos los miembros del grupo califican el programa de la misma manera. Sin embargo otro grupo de dos personas, uno puntúa el programa con un 0 y otro con un10, la media del grupo también es 5, pero la desviación típica es 5, ya que es un grupo muy heterogéneo, a una persona le ha parecido muy positivo y a otro muy negativo. Por ello, junto a la media siempre se debe indicar la desviación típica para saber si se trata de un grupo homogéneo o heterogéneo. Tanto las medidas de tendencia central como las medidas de dispersión únicamente son aplicables a variables cuantitativas. La única forma de sintetizar los resultados de una variable cualitativa (por ejemplo el sexo) es mediante la frecuencia de sus categorías o en forma de porcentajes. A fin de analizar los datos, se debe hacer clic en la pestaña superior que indica analizar (paso 1), otra vez haga clic en la segunda opción que indica estadísticos (paso 2) y en la primera opción que indica frecuencias (paso 3) (ver figura 8). 26

238 1 2 3 Figura 8 Como se puede observar en la figura 9, al hacer clic en frecuencias aparece un cuadro de diálogo, con dos ventanas, en la de la izquierda vienen indicadas todas las variables que hemos introducido en la matriz, se seleccionan todas aquellas que queramos analizar (paso 1), se hace clic en la flecha que hay entre las dos ventanas (paso 2) y automáticamente las variables seleccionadas se sitúan en ventana de la derecha (paso 3). Una vez efectuado esto, se hace clic en estadísticos (paso 4), y aparece otro cuadro de diálogo donde se hace clic en media y desviación típica (paso 5), y se da a continuar (paso 6). Finalmente se da a aceptar en el cuadro de frecuencias (paso 7) y aparece otro archivo que está conectado con la matriz de datos, y que es el archivo de resultados. En este archivo se van anexando todos los resultados (ver figura 10). 27

239 Figura 9 Para interpretar los resultados, a modo de ejemplo se observa que en la primera tabla que pone estadísticos, se indica la media y desviación típica de cada variable cuantitativa (ver figura 10). De forma que en la valoración global, los participantes han otorgado una media de 5,28 y una desviación típica de 0,81 (paso 1). Si tenemos en cuenta que el rango de respuestas posibles era de 1=totalmente negativo a 6= totalmente positivo, se deduce que los participantes han hecho una valoración muy positiva del programa. En las siguientes tablas vienen las frecuencias y porcentajes de personas que han respondido a cada categoría o rango de respuestas. Si nos fijamos en la variable de valoración global vemos que un 98,2% lo ha valorado de forma positiva (paso 2), por tanto el porcentaje de personas que lo ha valorado negativamente es mínimo. Y así se deberían interpretar cada uno de los aspectos o variables evaluadas. Hay que tener en cuenta que en variables de tipo cualitativo como el sexo, los estadísticos descriptivos que se utilizan es la frecuencia o el porcentaje de hombres y mujeres (la media no es el estadístico que se debe aplicar). 28

240 1 2 Figura 10 Finalmente, se debe elaborar un informe en el que se recoja toda la información que se desprende de la evaluación de proceso. Un posible índice de informe sería el siguiente (ver índice de informe de evaluación de resultados): Índice del Informe 1. Descripción breve del programa. 2. Descripción de objetivos. 3. Descripción de la muestra (los datos que se hayan recogido, como el sexo, la edad ). 4. Descripción del procedimiento de la evaluación: instrumento de medida, procedimiento de administración y mención de los análisis aplicados. 5. Descripción de los resultados (redactar los resultados y ejemplificarlos con tablas o gráficos). 6. Conclusiones. 29

241 3.- Evaluación de Resultados En general, la evaluación de resultados pretende determinar si se han alcanzado los efectos deseados y no otros, y si los resultados se pueden atribuir al programa con un grado de certidumbre razonable. Como ya se ha indicado la evaluación de resultados se centra en el análisis valorativo a partir de tres criterios: eficacia (es decir si se logran los objetivos deseados), efectividad (si el programa tiene consecuencias directas múltiples) y eficiencia (si se logran resultados positivos a un coste razonable). Nosotros vamos hacer referencia al criterio de eficacia. La metodología más utilizada en las evaluaciones de resultado es de carácter cuantitativo, con el fin de establecer resultados conseguidos y los estándares de ejecución iniciales. Sin rechazar la posibilidad de emplear otro tipo de métodos, se defiende el uso de la metodología experimental y cuasi-experimental, en cuyo caso, el diseño experimental debe ser contemplado y aceptado desde la fase de planificación. Hoy por hoy para asegurarnos que los resultados que obtenemos son debidos al programa debemos aplicar los denominados diseños de evaluación. Aunque los diseños experimentales son los que presentan las mayores garantías de validez, aquí vamos a comenzar por dos diseños más sencillos: uno que hace referencia a un diseño preexperimental y otro a un diseño cuasi-experimental. Hay que señalar que con estos diseños difícilmente se podrían obtener inferencias de causa-efecto ya que los resultados obtenidos podrían deberse a una gran cantidad de factores ajenos al programa, pero son más factibles y son una buena forma de adentrarse en el mundo de la evaluación de programas. El diseño pre-experimental de un solo grupo con pruebas previa y posterior, en el que un único grupo de personas es medido en las variables objeto del programa antes y después de la aplicación de la intervención. Este diseño tiene muchas amenazas de validez. Este tipo de diseños tiene poca potencia debido a la gran cantidad de potenciales problemas de validez que plantea, de ahí que se use poco para generar inferencias causales. En general, este tipo de diseños usualmente sólo podría ser adecuado en aquellos casos en los que la variable medida sólo puede ser afectada por la intervención implementada, y que a la vez transcurra poco tiempo entre ambas medidas. En todo caso, las diferencias encontradas deberían ser tan evidentes que las potenciales 30

242 amenazas, por sí solas, no pudieran explicar el cambio ocurrido tras la aplicación del programa de intervención. A pesar de los inconvenientes de este diseño, nosotros vamos a exponer un ejemplo basado en este tipo de diseño ya que es el más factible de todos. Otra posibilidad es el diseño cuasi-experimental de grupo control no equivalente que es el más utilizado en la práctica ya que, además de las ventajas que presenta frente al caso anteriormente descrito, es relativamente fácil de aplicar. Este diseño se caracteriza por: 1. La existencia de un grupo experimental (que lo forman el conjunto de personas que recibe el programa o intervención) y control (que lo forman aquellas personas que no reciben el programa, y que son lo más similares posibles al grupo experimental). Los grupos vienen asignados no se forman de forma aleatoria. Ejemplo, en un centro escolar contamos con 4 grupos de 4º de la ESO, dos los asignamos a los grupos experimentales y dos a los grupos control. 2. La recogida de información se hace antes (es decir los llamados pre-test) y después (es decir los llamados post-tests) de la realización del programa. Para que los grupos control no se queden sin programa, se les da la intervención de forma postergada, es decir una vez que hayan cumplimentado las pruebas de evaluación (tanto las denominadas pre-test como post-test). Con este diseño se favorece una mejor medida de las variables en cuanto las amenazas pueden ser más controlables, es decir, menos plausibles, aunque no imposibles. Otra tercera propuesta de gran interés es el diseño de línea base no causal construida. En este caso, la media post-test del grupo experimental se compara con una muestra funcional o disfuncional. Este diseño cuasi-experimental se apoya en la comparación del cambio de medias de los grupos experimentales antes, y después de éste, en relación a una norma (generalmente los percentiles o deciles de una población comparable). De ahí su nombre de línea base (la distribución normativa del grupo de referencia) no causal (porque no se ha producido causalmente la diferencia entre el grupo experimental y el de control, sino que este último se usa como referencia pasiva, sin programa) y construida (porque generalmente la distribución normativa no existe y hay que construirla de una muestra del universo) (Ubillos 1996; Páez, Ubillos y León, 1996). 31

243 Para construir una matriz de datos de una muestra funcional o disfuncional con la que comparar nuestros resultados, se pueden aprovechar los datos obtenidos en el pretest, cuando aplicamos el diseño pre-experimental mencionado previamente. Este diseño plantea dos supuestos importantes: la ausencia del efecto espontáneo del paso del tiempo y la similitud entre el grupo experimental y la población de la que se extrae la distribución normativa. La primera premisa presupone que cuando no hay presencia de programa, la media en percentiles en el pre-test de un grupo control es igual a la media del post-test. El segundo postulado implica que los datos deben ser válidos para una población normativa similar a la del estudio, en cuanto a características socio-demográficas y culturales. A continuación como en el caso de la evaluación de proceso, vamos a plantear un ejemplo de evaluación de resultados desde el punto de vista de la eficacia, y con la aplicación de un diseño pre-experimental de un solo grupo con pruebas previa y posterior. Los pasos a seguir serían los siguientes (Ubillos, 1995): 1) Fundamentación teórica y objetivos del programa. 2) Aspectos, contenidos o variables a evaluar. 3) Seleccionar o diseñar los instrumentos de medida. 4) Seleccionar un diseño de evaluación. 5) Administración de los instrumentos de medida. 6) Análisis e interpretación de datos. 7) Redacción del informe Fundamentación teórica y objetivos del programa El primer paso importante en este tipo de evaluaciones es que el programa se fundamente en teorías. En el caso de la prevención sexual del VIH/SIDA, las teorías que mejor explican la adopción de las conductas sexuales de riesgo son varias como (Ubillos, 2007): la Teoría de la Acción Razonada (Fishbein y Ajzen, 1975; Ajzen y Fishbein, 1980), la Teoría del Comportamiento Planificado (Ajzen, 1985, 2002), la Teoría del Aprendizaje Social (Bandura, 1986, 1997) y el Modelo de Creencias de 32

244 Salud (Becker, 1974; Janz y Becker, 1984). Existen otros modelos como son el Modelo de Información-Motivación-Habilidades Conductuales (Fisher y Fisher, 1992), el Modelo de la Motivación de la Protección (Floyd, Prentice-Dunn, y Rogers, 2000) o el Modelo Precede (Green y Kreuter, 1999) que contemplan de una manera u otra los mismos constructos. En síntesis vienen a indicar que la información es necesaria pero no suficiente para que las personas adopten conductas sexuales más seguras, planteando la importancia que juegan las creencias sobre el uso del preservativo, las actitudes hacia las medidas preventivas, la percepción de riesgo, la percepción de control y las habilidades de negociación, entre otros aspectos, a la hora de que las personas sean capaces de mantener relaciones sexuales más saludables (es decir tener relaciones coitales usando el preservativo). Si contamos con alguna teoría, de ahí se derivan los objetivos de nuestro programa. Objetivo General Disminuir las prácticas sexuales de riesgo, es decir disminuir el porcentaje de relaciones sexuales coitales sin uso del preservativo. Objetivos Específicos 1. Aumentar los conocimientos sobre el uso del preservativo y la transmisión del VIH/SIDA. 2. Aumentar las creencias positivas hacia el uso del preservativo (beneficios) y disminuir las creencias negativos hacia el uso de esta medida preventiva (costes). 3. Mejorar la actitud positiva hacia el uso del preservativo, y reforzar la actitud negativa hacia el uso del coito interrumpido. 4. Aumentar las habilidades de negociación o de autoeficacia para que las personas posean recursos para proponer prácticas de sexo más seguro Aspectos o contenidos a evaluar De la teoría y de los objetivos se derivan los aspectos o contenidos que se van a abordar en el programa y que van a ser evaluados. Cuando estos aspectos o contenidos son operacionalizados para poder ser evaluados se denominan variables. Siguiendo con nuestro ejemplo serían los que se especifican en el siguiente cuadro. 33

245 Aspectos a trabajar y evaluar 1. Conductas sexuales de riesgo y de prevención 2. Conocimientos 3. Creencias (costes y beneficios) sobre el uso del preservativo. 4. Actitudes hacia el uso del preservativo y el coito interrumpido 5. Autoeficacia o habilidades de negociación Seleccionar o diseñar los instrumentos de medida. El siguiente paso consiste en diseñar un instrumento de medida que nos permita recoger información sobre estos aspectos. Existen multitud de escalas para evaluar estos aspectos. Las búsquedas bibliográficas a través de la red, en bases de datos especializadas, en artículos científicos, en libros nos permiten localizar multitud de escalas que han sido previamente validadas y fiabilizadas, lo que nos da cierta garantía a la hora de evaluar nuestro programa. Se recomienda que se seleccionen estas escalas, que han sido validadas y fiabilizadas previamente, porque el diseñar instrumentos de evaluación que sean válidos y fiables requiere un manejo metodológico y estadístico muy elevado. A modo de ejemplo, se van a incluir en este apartado una serie de escalas ampliamente utilizadas en este campo (para más información véase Ubillos, 2005; Ubillos, Insúa y De Andrés, 1999, manual accesible en En estos manuales se da información sobre las escalas que se presentan en este apartado. Aquí hemos seleccionado una versión abreviada de la mayoría de las escalas para facilitar su aplicación. Hemos incluido una escala de evaluación de conocimientos, otra sobre creencias derivadas del uso del preservativo, otra sobre percepción de control y autoeficacia (habilidades de comunicación) y, finalmente, una de conductas sexuales preventivas y/o de riesgo. Es decir, hemos seleccionado una escala por cada una de las variables que se van abordar en la intervención y que van a ser evaluadas. 34

246 Lahia-Nahia Sexologia Elkartea ESCALA DE CONOCIMIENTOS A continuación, responde marcando con una x la respuesta que consideres correcta, es decir si cada una de las afirmaciones es verdadera, falsa o no sabes. Para usar bien el preservativo es necesario: 1. Colocarlo antes de la erección 2. Se puede abrir rompiendo la envoltura del plástico con la boca 3. Puede tener efectos secundarios 4. Colocarlo cuando el pene está en erección 5. Colocarlo justo en el momento de la eyaculación 6. Inflarlo de aire para comprobar si está pinchado 7. Dejar un espacio vacío en la punta del preservativo 8. Mirar la fecha de caducidad 9. No manipularlo hasta su colocación 10. Sujetar el condón por los bordes y retirar el pene de la vagina, justo después de la eyaculación 11. Utilizar uno nuevo cada vez que el chico introduce el pene en la vagina 12. Esperar dentro de la vagina a que el pene vuelva a su estado normal y después retirar el condón sujetándolo por los bordes Verdadero Falso No Sé Verdadero Falso No Sé Verdadero Falso No Sé Verdadero Falso No Sé Verdadero Falso No Sé Verdadero Falso No Sé Verdadero Falso No Sé Verdadero Falso No Sé Verdadero Falso No Sé Verdadero Falso No Sé Verdadero Falso No Sé Verdadero Falso No Sé Según tu opinión, el SIDA se puede "pillar": 13. A través de las relaciones coitales 14. Esnifando cocaina compartiendo el rulo 15. Esnifando cocaina sin compartir el rulo 16. Donando sangre 17. Utilizando piscinas públicas 18. Recibiendo sangre (transfusión) Verdadero Falso No Sé Verdadero Falso No Sé Verdadero Falso No Sé Verdadero Falso No Sé Verdadero Falso No Sé 35

247 19. A través de los cubiertos, vasos. 20. Besándose en la boca 21. Inyectándose heroína siempre con la propia jeringuilla. 22. Inyectándose heroína compartiendo la jeringuilla 23. A través de picaduras de insecto 24. A través de la saliva 25. A través de las lágrimas 26. Compartiendo objetos personales (cepillo de dientes, cuchillas...) 27. A través del coito interrumpido 28. De mujer embarazada a su hijo. Para no "pillar" el Sida, es necesario: 29. Acudir al médico para realizarse controles periódicos 30. Estar bien informado sobre lo que es el Sida 31. Tener siempre la misma pareja sexual 32. Utilizar el preservativo 33. No utilizar agujas ya usadas (piercing, tatuajes, etc.) 34. Tener relaciones sexuales sólo con gente conocida 35. Evitar el contacto con sangre de otros. 36. Tomar la píldora anticonceptiva 37. Fijarse en el aspecto exterior de la pareja 38. Utilizar cremas espermicidas 39. Informarse el estado de salud de la pareja 40. No existen medidas que nos protejan Verdadero Falso No Sé Verdadero Falso No Sé Verdadero Falso No Sé Verdadero Falso No Sé Verdadero Falso No Sé Verdadero Falso No Sé Verdadero Falso No Sé Verdadero Falso No Sé Verdadero Falso No Sé Verdadero Falso No Sé Verdadero Falso No Sé Verdadero Falso No Sé Verdadero Falso No Sé Verdadero Falso No Sé Verdadero Falso No Sé Verdadero Falso No Sé Verdadero Falso No Sé Verdadero Falso No Sé Verdadero Falso No Sé Verdadero Falso No Sé Verdadero Falso No Sé Verdadero Falso No Sé 36

248 Lahia-Nahia Sexologia Elkartea ESCALA DE CREENCIAS DEL PRESERVATIVO (COSTES Y BENEFICIOS) Desde tu punto de vista, señala tu grado de acuerdo o desacuerdo con las siguientes características relacionadas con los preservativos. Responde marcando con un círculo o con una x el número de la escala que mejor refleje tu respuesta, es decir tu grado de acuerdo o desacuerdo con las siguientes afirmaciones: 1= Totalmente en desacuerdo 2= Muy en desacuerdo 3= En desacuerdo 4= De Acuerdo 5= Muy de acuerdo 6= Totalmente de acuerdo LOS PRESERVATIVOS: 1. Previenen el embarazo Engorroso, incómodo, complicado de usar Tranquilizan y dan seguridad en la relación Crea dudas en el otro acerca de tu estado de salud Rompen con el romanticismo de la situación Interrumpe el acto sexual Da corte comentar que hay que "ponerlo" Previenen de enfermedades de transmisión sexual y SIDA Disminuye el placer Son fáciles de obtener Hay que preveer su uso, hay que pensar en tenerlo Me preocupa que lo encuentren en mi casa Son sencillos y fáciles de utilizar Se rompen fácilmente, son frágiles Su colocación es un juego erótico más Me da vergüenza comprarlo Si los llevas encima dan la sensación de que tienes relaciones con cualquier persona 18. Los chicos que los tienen dan la sensación de que buscan llegar a la relación sexual siempre

249 Lahia-Nahia Sexologia Elkartea ESCALA DE PERCEPCIÓN DE CONTROL Y AUTOEFICACIA Antes de contestar señala con una cruz el tipo de relación que mantienes en este momento: 0 Ninguna 1 Pareja/Novio estable 2 Pareja/Novio inestable 3 Varias Parejas estables 4 Varias Parejas inestables Contesta independientemente de que tengas o no experiencia sexual:.- Si tienes experiencia sexual, contesta recordando tu última relación sexual coital..- Si no tienes experiencia sexual coital, contesta como si estuvieras en esa situación. Responde marcando con un círculo o con una x el número de la escala que mejor refleje tu respuesta, es decir tu grado de acuerdo o desacuerdo con las siguientes afirmaciones: 1= Totalmente en desacuerdo 2= Muy en desacuerdo 4= De Acuerdo 5= Muy de acuerdo 3= En desacuerdo 6= Totalmente de acuerdo 1.- Cuando estoy con una pareja, me siento capaz de controlar lo que ocurra sexualmente con él o ella Si una pareja y yo estamos poco excitados sexualmente y yo no quiero llegar al coito, puedo decirle fácilmente que no Si una pareja y yo estamos muy excitados sexualmente y yo no quiero llegar al coito, puedo parar las cosas fácilmente, por lo tanto, no lo haremos Hay veces que me siento tan implicada/o personal y emocionalmente que puedo tener relaciones coitales incluso sin usar un método anticonceptivo (condón, pastillas...). 5.- A veces sigo adelante con lo que mi pareja quiere hacer sexualmente, porque siento que no puedo tomar las riendas de la situación y decir lo que yo quiero. 6.- Hay veces que me siento incapaz de hablar con mi pareja sobre la necesidad de que usemos un método anticonceptivo (condón, pastillas...)

250 Recuerda la última vez que estuviste con una pareja teniendo relaciones sexuales, os encontrabais muy excitados y yendo claramente hacia el coito. Has estado alguna vez en esta situación?: 0 NO 1 SI En caso de que no, imagina que estás en esa situación y contesta. 7.- Puedo/pude preguntarle fácilmente a mi pareja si usa algún método anticonceptivo o decirle que yo no uso ninguno (condón, pastillas...). 8.- Puedo/pude parar la situación para pedirle que se ponga un preservativo o para ponérmelo yo mismo. 9.- Puedo/pude negarme a seguir con la relación sexual coital si no estamos usando un método anticonceptivo (condón, pastillas...) Puedo/pude plantearle fácilmente a mi pareja otras formas de relación sexual, distintas al coito, si no estamos usando un método anticonceptivo (condón, pastillas...)

251 Lahia-Nahia Sexologia Elkartea ESCALA DE COMPORTAMIENTO SEXUAL Y PREVENTIVO Para responder a las preguntas que se te indican a continuación, marca con un círculo o con una x aquel número que mejor refleje tu respuesta. 1.- NIVEL DE EXPERIENCIA SEXUAL: 1 No he tenido ninguna experiencia sexual. A continuación se describen cinco niveles de experiencia sexual. Lee atentamente cada uno de ellos y pon una X en el nivel que tú te encuentres. Al margen de tus relaciones sexuales actuales indica la experiencia máxima que has tenido a lo largo de tu vida. 2 He besado en los labios y abrazado a una chica/o con caricias en las manos y por encima de la ropa. 3 He tenido intimidades sexuales, próximas al coito pero sin llegar a él. Esto incluye haber acariciado directamente y haber sido acariciado/a directamente en cualquier parte del cuerpo, incluido los genitales, con o sin orgasmos. 4 He tenido experiencia de haber llegado al coito, con una sola persona a lo largo de mi vida. 2.- En LOS ÚLTIMOS 4 MESES cómo es tu comportamiento sexual: 5 He tenido relaciones coitales con más de una persona a lo largo de mi vida. 1 No tengo relaciones sexuales. 2 Tengo relaciones sexuales que consisten en besos, caricias, caricias en los genitales, etc..., pero no tengo experiencia de coito. 3.- Sólo responde si has tenido o tienes algún tipo de relación sexual (besos, caricias, petting ), tienes o has tenido relaciones relaciones sexuales?: 4.- Qué intención tienes de utilizar el preservativo en una próxima relación sexual? 3 Tengo relaciones sexuales que incluyen el coito. 1 Sólo con personas del otro sexo. 2 Normalmente con personas del otro sexo y alguna vez con personas del mismo sexo. 3 Tanto con personas del otro sexo como con personas del mismo sexo. 4 Normalmente con personas del mismo sexo y alguna vez con personas del otro sexo. 5 Sólo con personas del mismo sexo. 1 Ninguna intención 2 Alguna intención 3 Poca intención 4 Bastante intención 5 Mucha intención 6 Total intención 40

252 Las preguntas que van desde el número 5 hasta el 10 sólo deben ser respondidas por las personas que mantienen o han mantenido relaciones sexuales que incluyen el coito (la penetración). 5.- Cuando mantienes relaciones sexuales coitales, utilizas algún método preventivo?: 6.- Qué método utilizas? (Puedes señalar más de una respuesta). 7.- En el último mes, cuántas veces has mantenido relaciones sexuales coitales? (Indica aproximadamente el número de veces): 8.- De estas veces, cuántas veces has utilizado un método preventivo? (Indica aproximadamente el número de veces): 9.- Qué método habéis utilizado tú o tu pareja en estas ocasiones? (Si es más de un método señálalo): 10.- Por qué has elegido ese/os método/s preventivo/s? (Indica desde tu punto de vista la razón más importante. Sólo elige una respuesta): 1 SIEMPRE 2 A VECES 3 NUNCA 1 El coito interrumpido (La marcha atrás, Sacarlo antes de eyacular) 2 Píldoras anticonceptivas 3 Preservativo (Condones) 4 Otros, indica cuál 1 Prevenir el embarazo Nº VECES Nº VECES 2 Prevenir una enfermedad de transmisión sexual 3 Prevenir el SIDA 4 Otros Seleccione un diseño de evaluación. Para evaluar los resultados e impacto de un programa son necesarios los diseños de investigación con el fin de garantizar la validez de nuestros resultados. Nosotros nos vamos a centrar en la validez interna, es decir, aquella que pretende demostrar de un modo inequívoco que existen o no una serie de resultados debidos al programa y no a otros factores o variables extrañas. Los diseños de investigación se dividen en 4 grupos: 1. Los diseños experimentales son los que presentan mayores garantías de validez. 2. Los diseño pre-experimentales son los que presentan mayores problemas a la hora de controlar las VV. extrañas. 3. Los diseños cuasi-experimentales presentan problemas en el control de las VV. extrañas. 41

253 4. Los diseños cualitativos-naturalistas que no nos dan información sobre las relaciones de causalidad, sino información sobre las experiencias de las personas y nos ayudan a comprender en detalle la implementación del programa. El diseño experimental se caracteriza por dos condiciones: 1. La existencia de un grupo experimental (que lo forman el conjunto de personas que recibe el programa o intervención) y control (que lo forman aquellas personas que no reciben el programa, y que son lo más similares posibles al grupo experimental). Los grupos son creados por asignación aleatoria. 2. La recogida de información se hace antes (es decir los llamados pre-test) y después (es decir los llamados post-tests) de la realización del programa. La aleatorización es una técnica para asegurar la comparabilidad de los grupos experimental y control; es la propuesta clave para garantizar que los grupos de comparación sean lo más similares o equivalentes posibles, y poder descartar las VV. extrañas relacionadas con las diferencias individuales. En estos diseños se comparan los resultados obtenidos en el post-test por ambos grupos con las puntuaciones obtenidas en el pre-test. Los diseños pre-experimentales presentan los principios a partir de los cuales se han desarrollado diseños más complejos, como los cuasi-experimentales. Con estos diseños difícilmente se podrían obtener inferencias de causa-efecto ya que los resultados obtenidos podrían deberse a una gran cantidad de las potenciales amenazas a la validez. Nosotros vamos a hacer referencia al diseño de un solo grupo con pruebas previa y posterior, en el que un único grupo de personas es medido en las variables objeto del programa antes y después de la aplicación de la intervención. Este tipo de diseños tiene poca potencia debido a la gran cantidad de potenciales problemas de validez que plantea, de ahí que se use poco para generar inferencias causales. En general, este tipo de diseños usualmente sólo podría ser adecuado en aquellos casos en los que la variable medida sólo puede ser afectada por la intervención implementada, y que a la vez transcurra poco tiempo entre ambas medidas. En todo caso, las diferencias encontradas deberían ser tan evidentes que las potenciales amenazas, por sí solas, no pudieran explicar el cambio ocurrido tras la aplicación del programa de intervención. No obstante este diseño es uno de los más factibles cuando no se tiene formación específica en evaluación o faltan recursos. 42

254 Cuando los diseños experimentales no se consideren una buena opción, y los pre-experimentales no son muy aconsejables se puede recurrir a diversas alternativas dentro de los diseños cuasi-experimentales. Estos diseños son habitualmente utilizados en evaluación de programas sociales y sanitarios, ya que aportan información relevante para el estudio de relaciones causales entre variables de interés en contextos de intervención. El diseño de grupo control no equivalente es el más utilizado en la práctica ya que, además de las ventajas que presenta frente a los casos anteriormente descritos, es relativamente fácil de implementar. En los diseños de grupo control no equivalente la lógica es semejante a la de los diseños experimentales de grupos aleatorios, aunque mantiene con ellos una diferencia esencial: la formación de los grupos de comparación se realiza por procedimientos distintos a la asignación aleatoria; la regla de asignación no es conocida. Sin embargo, el evaluador debe aplicar los procedimientos necesarios para tratar que los grupos que se comparen sean los más similares posibles. El diseño implica realizar registros antes y después de la intervención en ambos grupos, es decir, tanto en el grupo objeto de la intervención como en el grupo control no equivalente. En este diseño se toman las medidas previas con objeto de evaluar la posible no equivalencia entre ambos grupos, de este modo se dispone de un referente más a partir del cual abordar el estudio de uno de los problemas principales de los estudios cuasi-experimentales, es decir la comparabilidad de los grupos conformados. Campbell y Stanley (1966) plantaban el uso de grupos naturales de los que se sabe que son similares entre sí, como p.e., los grupos de clase consecutivos de 3º de ESO en los colegios. Otro diseño cuasi-experimental es el diseño de línea base no causal construida. En este diseño la media post-test del grupo experimental se compara con una muestra funcional o disfuncional. Este diseño se apoya en la comparación del cambio de medias de los grupos experimentales antes, y después de éste, en relación a una norma (generalmente los percentiles o deciles de una población comparable). De ahí su nombre de línea base (la distribución normativa del grupo de referencia) no causal (porque no se ha producido causalmente la diferencia entre el grupo experimental y el de control, sino que este último se usa como referencia pasiva, sin programa) y construida (porque generalmente la distribución normativa no existe y hay que construirla de una muestra del universo). Este diseño plantea dos supuestos importantes: la ausencia del efecto espontáneo del paso del tiempo y la similitud entre el grupo 43

255 experimental y la población de la que se extrae la distribución normativa. La primera premisa presupone que cuando no hay presencia de programa, la media en percentiles en el pre-test de un grupo control es igual a la media del post-test. El segundo postulado implica que los datos deben ser válidos para una población normativa similar a la del estudio, en cuanto a características socio-demográficas y culturales Administración de los instrumentos de medida. El siguiente paso consiste en la administración de los instrumentos de medida en base al diseño de evaluación previsto. Por ejemplo, si contamos con un diseño preexperimental de grupo único con pruebas antes y después, se deberán pasar estas escalas antes del programa (pre-test) y después del programa (post-test). Por ello, es importante que tengamos previsto el diseño de evaluación, antes de empezar a aplicarlo. Las recomendaciones sobre las estrategias que se deben utilizar para administrar las escalas son las mismas que las mencionadas en la evaluación de proceso Análisis e Interpretación de los datos Una vez que los participantes han contestado a las escalas, se deben introducir en una base de datos. En el caso de utilizar el SPSS se deberán seguir los mimos pasos que los expuestos en la evaluación de proceso. En este caso lo que se debe tener en cuenta que, en base al diseño pre-experimental aplicado en nuestro ejemplo, contamos con que cada sujeto tiene datos de todas las escalas administradas en el pre-test y posttest. Por ello, a la hora de introducir los datos, como ya hemos indicado, a cada sujeto se le asigna una fila, de forma que cuando hemos introducido todos los datos del pre-test, seguimos introduciendo los del post-test. Para diferencias los aspectos o variables del pre-test y post-test, se recomienda que el nombre utilizado para la variable sea el mismo pero le añadamos una a (pre-test) o una b (post-test). Por ejemplo, conocimiento1a (se puede referir a nuestra primera pregunta de conocimientos en el pre-test Para usar bien el preservativo hay que colocarlo antes de la erección ) y conocimiento1b (se referirá a nuestra primera pregunta de conocimientos en el post-test). Una vez dispongamos de la matriz de datos y hallamos introducido los datos pasamos al análisis de datos e interpretación de resultados. Voy a exponer un ejemplo con una de las escalas, en concreto con la de costes y beneficios. Primero se deben crear 44

256 los indicadores globales de costes y beneficios, para ello se hace clic en la opción superior que pone transformar (paso 1), y se pincha en la primera opción calcular variables (paso 2) (ver figura 11), de forma que aparece un cuadro de diálogo. En ese cuadro de diálogo en el ángulo superior izquierdo indicamos el nombre que le vamos a dar al indicador, p.e. costesa (paso 3). Hacemos clic en donde indica tipo y etiqueta (paso 4), salta una ventana donde le indicamos el nombre de la variable, por ejemplo costes en el tiempo 0 (pre-test) (paso 5) y le damos a continuar (paso 6) (ver figura 12), de forma que volvemos al cuadro de diálogo anterior. En la ventana inferior izquierda vienen todas las variables que hemos introducido en la matriz, se seleccionan cada una de las variables que corresponden a los costes de la escala (paso 7), se pincha en la flecha para situarlas automáticamente en la ventana de expresión numérica (paso 8), se las suma (paso 9), se les pone entre paréntesis (paso 10) y se las divide por el número de preguntas, en nuestro caso son 12 (paso 11) para que el rango de respuesta de este indicador vuelva a situarse entre 1 y 6 (ver figura 13). Esto se hace tanto con las variables del pre como con las del post-test. 1 2 Figura 11 45

257 Figura Figura 13 46

258 Una vez que tengamos creados los indicadores se pasa a lanzar el análisis. En este caso lo aconsejable es un t-test que compara si hay una diferencia entre las puntuaciones medias del pre-test y del post-test. De forma específica se aplica la prueba T para muestras relacionadas ya que compara las medias de dos variables de un solo grupo, como en nuestro ejemplo. Es decir, nosotros queremos comparar la media obtenida por el grupo en el pre-test con la puntuación media obtenida en el post-test. Como se observa en la figura 14, se hace clic en analizar (paso 1), se hace clic en la opción de comparar medias (paso 2), lo que da lugar a que se desplieguen otras opciones y se hace clic en la de prueba test para muestras relacionadas (paso 3), de forma que aparecerá un cuadro de diálogo Figura 14 47

259 A continuación, en el cuadro de diálogo seleccionamos los dos indicadores, cuyas medidas queremos comparar, en nuestro ejemplo los costesa (costes en el pretest) con costesb (costes en el post-test) (paso 1), hacemos clic en la flecha y de esta forma se sitúan en la ventana de variables emparejadas (paso 2), y le hacemos clic a aceptar (paso 3) (ver figura 15). De forma que se abrirá otro archivo con los resultados, que está conectado con nuestra matriz de datos. De forma que así podemos comparar la media obtenida por nuestro grupo o grupos en el pre-test con la media obtenida en el post-test. Esto nos dará a conocer si la puntuación media después del programa ha mejorado con respecto a la media obtenida antes del programa Figura 15 Los resultados se interpretan de la siguiente manera. Primero hay que mirar lo que se denomina significatividad (bilateral) o p. Si el valor de la significatividad o de la p es menor que 0,050, significa que hay una diferencia estadísticamente significativa entre ambas medias (la del pre-test y la del post-test). Si el valor de p es mayor que 0,050, 48

260 significa que no hay una diferencia estadísticamente significativa entre ambas medias. Una vez comprobado, si hay diferencias se pasa a analizar las dos medias. En nuestro caso, se observa que la media obtenida por el grupo en el pre-test es 3,12 (dt=0,63) y la del posttest 2,82 (dt=0,66). Por tanto, la puntuación media del post-test es significativamente menor que la del pre-test, es decir después del programa los participantes perciben menos costes derivados del uso del preservativo. La forma de registrar este resultado en los informes es la siguiente: t (120) =5,29, p<.0001 [t (gl o grados de libertad) ) =valor de la t, p<valor de la significatividad] (paso 3) (ver figura 16). Es importante tener en cuenta que con este tipo de diseño no podemos afirmar que el programa sea el que ha producido esta mejora en la percepción de los costes, sino que debemos ser cautelosos y concluir que: después de la intervención se observa una mejoría significativa en la percepción de costes derivados del uso del preservativo. 2 Grados de libertad 1 Figura 16 49

261 3.6.- Redacción del Informe Finalmente, se debe elaborar un informe en el que se recoja toda la información que se desprende de la evaluación de resultados. Este documento puede ser de uso interno o externo y puede tener múltiples funciones, entre otras podemos mencionar las siguientes: Para presentar todo el proceso y los resultados obtenidos a los usuarios del programa o de los servicios. Para presentar la documentación que entidades que financian el programa. justifique el trabajo realizado a las posibles Para analizar de forma interna cuáles son los puntos débiles y fuertes del programa, a fin de mejorarlo. En el caso de haber aplicado una evaluación de proceso y de resultados, un posible índice de informe sería el siguiente: Índice del Informe 1. Descripción breve del programa. 2. Descripción de objetivos (proceso y resultado). 3. Descripción de la muestra (los datos que se hayan recogido, como el sexo, la edad ). 4. Descripción del procedimiento de la evaluación de proceso y de resultados: instrumento de medida, procedimiento de administración y mención de los análisis aplicados. 5. Descripción de los resultados: proceso y resultados (redactar los resultados y ejemplificarlos con tablas o gráficos). 6. Conclusiones. 4.- Condiciones básicas de una buena evaluación El Joint Committe on Standars for Educational Evaluation (1981) se refiere a las condiciones básicas que ha de cumplir una buena evaluación. Las más relevantes son (Fernández Ballesteros y Hernández, 1995): a) Que sea útil, es decir, que esté en relación y se corresponda con lo que necesitan las personas implicadas en el programa a evaluar (responsables, profesionales, participantes, usuarios de la evaluación o clientes ). 50

262 b) Que sea factible o viable, pudiéndose realizar en la práctica dentro de las posibilidades y la coyuntura que ofrezcan las circunstancias del momento. c) Realismo, ajustándose a los recursos disponibles. d) Eficiencia. La viabilidad de una evaluación también se mide en función de la relación existente entre los resultados pretendidos y los recursos o medios requeridos. e) Prudencia y moderación, sin que resulte peor el remedio que la enfermedad que se pretende curar. Antes de aplicar una evaluación conviene calcular y prever si sus resultados van a traer más ventajas (mejora del programa, de las relaciones, del clima de trabajo, etc.) que inconvenientes (reacciones negativas, conflictos, frustraciones, ansiedad, desánimo, etc.). g) Diplomacia. La evaluación ha de saberse llevar, tanto en su diseño como en su administración, así como en la difusión de los resultados. No se trata de falsear o escamotear cuestiones críticas, pero sí el plantearlas con delicadeza, respeto, y sobre todo con una actitud positiva y constructiva. h) Que sea ética, basada en la cooperación y protección de los derechos de las partes implicadas en la evaluación (institución, equipo de trabajo, participantes). Existe la obligación moral de devolver a la comunidad, de forma sistematizada (mediante el informe final) aquello que se ha extraído de ella (información), y sin ningún tipo de manipulación. h) Que sea precisa o exacta. Se requiere una buena pericia y preparación de los evaluadores para prever y controlar una gran cantidad de factores que intervienen. En muchos casos, la compleja realidad con la que se trabaja hace imposible el control y aislamiento de numerosas e impredecibles variables que influyen y contaminan los resultados; sin embargo, sí que deberán utilizar procedimientos con los que minimizar o prever en lo posible los factores distorsionantes. i) Clara y directa. Cuando se trabaja en contextos aplicados con asuntos tan sensibles, es necesario que la comunicación entre el evaluador, el cliente y los diversos involucrados en el proceso sea clara y abierta. 51

263 Existen una serie de vicios o errores usuales con los que nos encontramos frecuentemente, y que conviene desterrar de la práctica evaluativa. a) Pseudoevaluaciones, cuando no se lleva a cabo una auténtica evaluación por no haberse planteado previamente un objetivo ni una estrategia relativa a la recogida de información (es el que caso vamos a hacer esto y a ver que sale ). También se trata de pseudoevaluación cuando se realiza el proceso inverso, decidiendo de antemano qué es lo que quiero que salga, y dedicando después todos los esfuerzos a justificar con la evaluación lo que va a coincidir con lo que ya había prefijado (cuando al final de aplicar un programa se prepara una memoria de lo efectuado, y se presenta como evaluación) (Stufflebeam y Webster, 1980). b) Identificación de la medida con la evaluación. Se incurre en este error cuando se reduce la evaluación a una mera cuantificación de datos, incluso si no es reducible a cifras la realidad que se pretende evaluar. No se puede absolutizar los datos, porque en sí mismos, son insuficientes sin una referencia al contexto que les da sentido y relieve. Así, el número de jóvenes que ha participado en una determinada actividad en diversos centros escolares de una ciudad no es evaluable sin una alusión a la población de jóvenes existentes en todos los centros escolares del área, o sin saber a qué hora y en qué fecha se realizó, o si es la primera vez o se trata de un programa habitual. Se requiere completar los datos cuantitativos con referencias cualitativas y contextuales para poder valorarlos adecuadamente. c) Sectarismo o parcialidad. Suele aparecer debido a los prejuicios, intereses o apasionamiento que frecuentemente acompañan a las evaluaciones. Puede haber tendenciosidad tanto en la selección y obtención de informaciones como en el momento de difundirla. d) Subjetivismo. Afecta a la evaluación cuando los datos no están convenientemente fundamentados o contextualizados. e) Confusión de niveles. Es necesario iniciar la evaluación sabiendo qué, para qué y a quién interesa esa evaluación. En función de la respuesta que se dé a cada una de estas preguntas se establecen distintos niveles e intereses. Así, a la institución que patrocina una determinada actividad comunitaria le puede interesar la relación coste/beneficio por participante, mientras que si al usuario le preocupa el grado de cumplimiento de sus expectativas, y el profesional puede estar interesado en la 52

264 calidad del programa. En cada evaluación existen distintos y hasta contradictorios intereses, y el evaluador tiene que dar a cada uno lo suyo, sin confundir la perspectiva institucional con la comunitaria o la profesional. f) Burocratización. Es muy frecuente cuando la evaluación se realiza en instituciones muy normadas, en las que la rutina formal y los trámites administrativos pueden actuar a modo de barreras que retrasan y obstaculizan el proceso de evaluación. La evaluación de programas, dada su cualidad de investigación aplicada, está consagrada al principio de utilidad. Si no tiene influencia en las decisiones habrá sido una tarea inútil, un esfuerzo realizado en vano. Así, de acuerdo con Weiss (1975), la evaluación no merecerá la pena realizarse bajo circunstancias como las siguientes: a) Cuando no haya nada que preguntar acerca del programa; b) Cuando el programa no está claramente especificado (se improvisa); c) Cuando los responsables del programa no se ponen de acuerdo sobre qué se está tratando de lograr con el programa (metas indefinidas); d) Cuando no hay disponibilidad de recursos (personal o materiales). La evaluación es una estrategia más con la que debemos contar para potenciar los efectos de la prevención. La evaluación es una responsabilidad que debemos compartir todos los que trabajamos en la prevención del VIH. La evaluación se encuentra con multitud de obstáculos como son las actitudes reticentes de muchas de las personas involucradas, la falta de capacidad técnicas y recursos que sin duda alguna dificulta la acción en esta esfera fundamental, la aplicación de las estrategias evaluativas en el campo aplicado. No obstante, muchos profesionales han demostrado que estos obstáculos se pueden superar en la medida que cada vez contamos con más posibilidades que hacen factible la evaluación de programas en contextos sociales aplicados. Desde mi punto de vista, a priori el mayor obstáculo con el que nos encontramos actualmente no se traduce en un esfuerzo de trabajo adicional sino en un cambio de actitud y de perspectiva. Recordemos para finalizar las palabras de León y Montero (2003): según las circunstancias, hagamos siempre lo que podamos pero, en cualquier caso, sepamos siempre lo que se hace. La lucha contra las ITS y el VIH/SIDA está en manos de todos, y la única lucha que se pierde es la que se abandona. 53

265 Referencias Bibliográficas Aguilar, Mª J. y Ander-Egg, E. (1992). Evaluación de servicios y programas sociales. Madrid: Siglo XXI, pp Alvira, F. (1991) Metodología de la Evaluación de Programas, Madrid: Centro de Investigaciones Sociológicas. Colección Cuadernos Metodológicos, nº 2. Anguera, M.T., Chacon, S. y Blanco, A. (coords.) (2008). Evaluación de Programas Sociales y Sanitarios. Apodaca, P.M. (1999). Evaluación de los Resultados y del Impacto. Revista de Investigación Evaluativa, 17, 2, Chelimsky, E. (1997). The political Enviroment of Evaluation and What It Means for the Development of the Field,. En E., Chelimsky y W.R. Shadish (eds.), Evaluation for the 21st Century (pp ). A Handbook, Sage. Cronbach, L.J. (1981). Toward a reform of program evaluation. San Francisco: Jossey-Bass. De Miguel Díaz, M. (1999). La Evaluación de Programas: entre el conocimiento y el compromiso. Revista de Investigación Evaluativa, 17, 2, Fernández Ballesteros, R. (1992). Introducción a la evaluación psicológica, vol. 2. Madrid: Pirámide. Fernández del Valle, J. (1996). Roles y estrategias en evaluación de programas. Intervención psicosocial: Revista sobre igualdad y calidad de vida, 5 (14), pp Fernández-Ballesteros, R. (1995). Evaluación de Programas. Una guía práctica en ámbitos sociales, educativos y de salud. Madrid: Síntesis. Fernández-Ballesteros, R. y Hernández, J.M. (1995). Listado de Cuestiones Relevantes en Evaluación de Programas (L.C.R.E.P.). En R. Fernández-Ballesteros (ed.). Evaluación de programas: Una guía práctica. Madrid: Síntesis. Fetterman, D.M. (1994). Empowerment evaluation. Evaluation Practice, 15, Gambara, H. y Vargas, E. (2007). Evaluación de programas de intervención psicosocial. En A. Blanco Y Fodríguez, J. (coord.), Intervención Psicosocial (pp ). Madrid: Pearson. Prentice Hall. Gómez Serra, M. (2002). La evaluación de servicios y programas sociales: un elemento de control o de transformación de la acción social?. Revista de Servicios Sociales y Política Social. Madrid, Consejo General de Colegios Oficiales de Diplomados en Trabajo Social, 57, Gómez Serra, M. (2004). La evaluación de los servicios y programas sociales: una cuestión urgente. Barcelona: Gedisa. Guba, E.G. y Lincoln, Y.S. (1989). Fourth Generation Evaluation. California: Sage Publication. 54

266 Instituto Navarro de Administración Pública. Gobierno de Navarra (2008). Protocolo de Evaluabilidad de las políticas públicas en la Comunidad Foral de Navarra. Servicio de calidad de políticas y servicios públicos del Instituto Navarro de Administración Pública (INAP). Joint Committee on Standards for Educational Evaluation (1981). Standards for evaluations of educational programs, projects, and materials. New York: McGraw-Hill. Joint Committee on Standards for Educational Evaluation (1988). The personnel evaluation standards. Thousand Oaks, CA: Corwin Press. Joint Committee on Standards for Educational Evaluation (1994). The program evaluation standards. Thousand Oaks, CA: Sage Publications. León, O. G. y Montero, I. (2003). Métodos de investigación en Psicología y Educación (3ª ed.). Madrid: McGraw-Hill. López de la Llave, A. y Pérez-Llantada, Mª C. (2004). Evaluación de Programas en Psicología Aplicada (Salud, Intervenciones Sociales, Deporte, Calidad ). Madrid: Dykinson- Psicología. Martín, Cabero y del Rosario (2007). Tratamiento estadístico de datos con SPSS. Prácticas resueltas y comentadas. Madrid: Thomson. Páez, D., Ubillos, S. y León, M. (1996). Evaluación del Cambio de Actitudes y Conductas ante el SIDA. En N. Basabe, D. Páez, R. Usieto, H. Paicheler, H. y J.C. Deschamps (eds.), El Desafío Social del SIDA (pp ). Madrid: Fundamentos. Rebolloso, E. Fernández-Ramírez, B. y Cantón, P. (2008). Evaluación de Programas de Intervención Social. Madrid: Síntesis. Rossi, P.H., Freeman, H.E. y Lipsey, M.W. (1999). Evaluation. A systematic Approach (Sith Edition). California: Sage Publications. Smith, M (1998). Empowerment evaluation: Theoretical and methodological considerations, Evaluation and Program Planning, 21, Stufflebeam, D. y Webster, W. (1980). An analysis of alternative approaches to evaluation. Educational Evaluation and Policy Analysis, 2 (3), Ubillos, S. (1995). Guía de Educación Sexual para Jóvenes (II): Recursos para Diseñar un Programa. San Sebastián: Diputación Foral de Guipúzcoa. DL SS 627/95. Ubillos, S. (1996). Objetivos Programáticos, Modelos de Actitudes y Conductas de Salud e Intervención Psicosocial: Prevención entre Jóvenes No Escolarizados. En C. San Juan (ed.), Intervención Psicosocial. Elementos de Programación y Evaluación Socialmente Eficaces (pp ). Colombia: Fundamentos. Ubillos, S. (2007). Intervención psicosocial frente al VIH. En A. Blanco y J. Rodríguez Marín (coords), Intervención Psicosocial (pp ). Madrid: Pearson Educación. 55

267 Ubillos, S., Insúa, P. y De Andrés, M. (1999). Parte I: Aspectos Teóricos y Prácticos de los Talleres de Sexo Más Seguro y de Consumo de Menos Riesgo. Evaluación de los Talleres. En P. Insúa (dir.), Programa de Formación para la Prevención de los Programas de Salud Asociados al Consumo de Drogas. Manual de Educación Sanitaria: Recursos para Diseñar Talleres con Usuarios de Drogas (pp ). Zarauz: Delegación del Gobierno para el Plan Nacional sobre Drogas, Plan Nacional sobre el SIDA y Universidad del País Vasco. Vedung, E. (1997). Evaluación de Políticas Públicas y Programas. Madrid: Ministerio de Trabajo y Asuntos Sociales. Instituto Nacional de Servicios Sociales (INSERSO). Vega, F. J. y Ventosa, J. (1993). Programar, acompañar, evaluar. MADRID. CCS. Vilà Baños, Ruth. (2006). Cómo hacer un análisis cuantitativo de datos de tipo descriptivo con el paquete estadístico SPSS?. Butlletí LaRecerca. Weiss, C.H. (1975). Investigación Evaluativa. Métodos para determinar la eficacia de los programas de acción. México: Trillas. Wholey, J. S., (1987). Evaluability assessment: Developing program theory. En L. Bickman (ed.), Using program theory in evaluation. New Directions for Program Evaluation, 33. Jossey-Bass, San Francisco. Wholey, J.S. (1979). Evaluation: Promise and Performance. Washington, DC.: The Urban Institute. 56

268 Evaluación del Proceso, de Resultados e Impacto Fichas de Ejercicios Silvia Ubillos Landa y Eider Goiburu Moreno Universidad de Burgos Lahia-Nahia Sexologia Elkartea

269 Ficha de ejercicios prácticos: Evaluación de Evaluabilidad Las fichas que se presentan en este ejercicio práctico han sido diseñadas por el Instituto Navarro de Administración Pública del Gobierno de Navarra (2008). Este protocolo recaba información sobre cinco criterios o dimensiones que deben cumplirse para garantizar la evaluabilidad de una intervención pública: calidad de la planificación (calidad del diagnóstico, definición de objetivos y coherencia interna), calidad del sistema de información, claridad en los propósitos de la evaluación, recursos destinados a la evaluación, implicación del personal relacionado con la intervención en el seguimiento y evaluación. Con el fin de facilitar la aplicación de estos criterios, se detallan las preguntas de evaluación relevantes que deben ser formuladas y que caracterizan las cinco dimensiones analizadas. Como señalan sus autores el proceso de aplicación del protocolo en sí mismo será más provechoso que los resultados que se obtengan. Las personas que se impliquen en su puesta en marcha aprenderán de la intervención, de su teoría, de los mecanismos articulados para su gestión y aplicación y de la adecuación de los sistemas de información disponibles para recopilar información sobre la evolución de lo realizado y sus efectos. Este protocolo se ha diseñado para ser utilizado, fundamentalmente, de manera interna por el personal implicado en la elaboración del diseño, gestión y ejecución de las intervenciones públicas, y especialmente por las personas encargadas de gestionar y coordinar su seguimiento y evaluación Responda estas cuestiones señalando en qué medida se confirman las preguntas que se plantean en los siguientes cuadros. 0% cuando no existe cumplimiento alguno. 25% si considera que se cumple de forma insuficiente y por tanto, necesariamente mejorable. 50% si considera que se cumple pero que es mejorable. 75% si se cumple pero es parcialmente mejorable. 100% si se cumple de forma muy satisfactoria.

270 Una vez que responda a cada uno de los ítemes, el procedimiento para hallar los promedios de cada una de las dimensiones de forma independiente es el siguiente: Por ejemplo, si en calidad del diagnóstico que consta de 10 ítemes, en uno de ellos se ha obtenido una puntuación de 0, en dos de ellos 25, en tres 50, en tres 75 y en uno 100, se suman todas las puntuaciones, lo que da 525, y se divide entre 10, lo que supone un valor de 52,5. Si alguna de las subdimensiones o dimensiones no supera el promedio de un 50%, se deberá intentar mejorar aquellos aspectos que requieran atención antes de comenzar el proceso de evaluación. El procedimiento para hallar el promedio global de todas las dimensiones se describe a continuación. Para ello se ha incluido en el siguiente cuadro el peso relativo asignado a cada una de las cinco dimensiones del Protocolo de Evaluabilidad por un grupo de trabajo llevado a cabo en las II Jornadas de Sensibilización y Formación sobre Evaluación de Políticas Públicas celebrada el mes de noviembre de 2008 por el INAP. Para una mejor comprensión, se ha definido de modo que la suma de todos ellos sea igual a 100. Esta ponderación se incluye a modo orientativo, ya que los propios equipos de trabajo pueden establecer el peso relativo de las dimensiones. Ponderación Dimensiones Protocolo de Evaluabilidad % Calidad del Sistema de Información 50 Calidad de la Planificación 20 Recursos destinados a la evaluación 15 Implicación del personal relacionado con la intervención en el seguimiento y evaluación Claridad en los propósitos de evaluación 5 10 A fin de hallar el promedio global de las cinco dimensiones, antes de nada se debe calcular el promedio general de la dimensión de calidad de la planificación que está formada por tres subdimensiones (calidad del diagnóstico, definición de objetivos y coherencia interna). Para ello se aconseja sumar los tres promedios y dividirlos entre

271 tres. Una vez obtenidos los promedios de las cinco dimensiones, puede pasar a calcular el promedio global teniendo en cuenta los pesos relativos asignados a cada una de las dimensiones. A continuación vamos a exponer un ejemplo para calcular el promedio general según la ponderación indicada. Una vez obtenidos los promedios de cada una de las dimensiones, se calcula cuál es su valor en función de su valor de ponderación. Por ejemplo, en calidad del sistema de la información, el promedio obtenido ha sido de 50%, como el peso relativo adjudicado ha sido de 50%. El valor final supone 35%. Ponderación Dimensiones Protocolo de Evaluabilidad % Promedio Promedio según ponderación Calidad del Sistema de Información Calidad de la Planificación Recursos destinados a la evaluación ,25 Implicación del personal relacionado con la intervención en el seguimiento y evaluación Claridad en los propósitos de evaluación , Total 54,75 Como recomendación final es preciso dejar constancia que para garantizar la evaluabilidad de una intervención pública el peso relativo de los criterios debería estar fundamentado de acuerdo a este orden de importancia asignado y las preguntas que caracterizan cada una de las dimensiones evidenciarse, al menos, por encima del 50% de cumplimiento. No obstante, tal y como se ha indicado, esta premisa no tiene porqué darse necesariamente en todas ellas.

272 1.- Calidad de la planificación Calidad del Diagnóstico. Definición de problemas Existe un diagnóstico de los problemas que se pretenden resolver con la intervención? Se ha recogido el diagnóstico en algún documento programático de la intervención? Se identifican claramente los problemas y necesidades en el diagnóstico? Están cuantificados o son medibles? Se han definido indicadores que permitan establecer la situación de partida (línea de base) para la posterior valoración de la intervención en relación con la solución de los problemas identificados? Se cuenta con teorías de base que tratan de explicar los problemas que se quieren resolver? Se han identificado las causas de los problemas? Se ha acotado la cobertura de la intervención? Es decir, se han definido las dimensiones institucionales, temporales, sectoriales y geográficas de la intervención? Se ha hecho un análisis de los elementos relevantes del contexto operativo en el que se desarrolla la intervención? Se ha explicitado a quiénes afectan los problemas detectados de manera adecuada? Es decir, se ha definido la población objetivo? PROMEDIO 0% 25% 50% 75% 100% Observaciones Definición de objetivos (para los diferentes niveles de objetivos) Se han definido explícitamente los objetivos perseguidos con la intervención? Son claros? Son concisos? Están cuantificados o son medibles o valorables? Responden los objetivos de la intervención a las necesidades y problemas detectados? Se ha definido el horizonte temporal en el que se pretenden alcanzar los objetivos? PROMEDIO 0% 25% 50% 75% 100% Observaciones

273 Coherencia interna Se han establecido distintos niveles de objetivos? La jerarquía de objetivos responde a relaciones causa-efecto lógicas? Son coherentes los objetivos entre sí? Es decir, la consecución de los objetivos de un nivel (por ejemplo, objetivos específicos) implica o puede implicar con bastante probabilidad el logro del objetivo del nivel superior de planificación (por ejemplo, objetivo final)? Se han concretado los objetivos en propuestas de actuación (actividades, acciones)? Son estas propuestas de actuación claras? Son concisas? Concretan un compromiso de acción? Son constatables, es decir, se pueden medir o valorar? Existe coherencia entre las actuaciones propuestas y los objetivos? Es decir, la puesta en marcha de las actividades implica o puede implicar con bastante probabilidad el logro de los objetivos planteados? Se han asignado responsabilidades y presupuesto en relación con la aplicación de las actuaciones? PROMEDIO 0% 25% 50% 75% 100% Observaciones

274 2.- Calidad de sistema de información Sistema de información Existe información suficiente sobre los aspectos de la intervención a evaluar que pueda suministrarse para la evaluación? Se ha definido algún procedimiento para la recogida de información sobre la intervención? Es fiable, eficaz, ágil y no muy costoso? Se han definido indicadores para recopilar sistemáticamente la información sobre la evolución de la intervención y sus actividades? Son relevantes los indicadores para la intervención? Son relevantes los indicadores para responder a las preguntas de evaluación que se han pensado? Hacen referencia a los objetivos definidos? Hacen referencia a las actividades definidas? Son los indicadores fiables? Son los indicadores fáciles de obtener? Son fáciles de interpretar? Se ha definido cuándo se debe recoger la información de cada indicador? Se han asignado recursos suficientes (financieros, materiales y humanos) para llevar a cabo el seguimiento? PROMEDIO 0% 25% 50% 75% 100% Observaciones

275 3.- Claridad en los propósitos de la evaluación Propósitos de la evaluación posterior Se han definido los propósitos de la evaluación? Se han definido las preguntas a las que la evaluación debe dar respuesta? Se ha identificado a los actores implicados en la intervención? Se ha realizado un análisis previo de los principales intereses y posibilidades de participación en el proceso de evaluación? En la formulación de preguntas de evaluación se ha tenido en cuenta o se tendrán en cuenta los intereses de los grupos más representativos relacionados con la intervención? Se han acotado las dimensiones (temporales, geográficas, institucionales, etc.) de la intervención que van a ser consideradas en la evaluación? Perciben los actores implicados en la intervención la utilidad de la evaluación? Se utilizará la información que suministre la evaluación? Podría la evaluación, si así se concluye, influir en la intervención? Se difundirán los resultados de la evaluación, especialmente entre las organizaciones y entidades implicadas? PROMEDIO 0% 25% 50% 75% 100% Observaciones

276 4.- Recursos destinados a la evaluación: Coste, tiempo y recursos humanos. Recursos destinados a la evaluación Es el presupuesto adecuado para llevar a cabo la evaluación? Es decir, es el presupuesto disponible un factor que puede limitar la evaluación? El tiempo asignado para realizar la evaluación es suficiente para llevarla a cabo? En definitiva, es el tiempo disponible un factor que puede limitar la evaluación? En caso de optar por realizar una evaluación interna, son los recursos humanos disponibles suficientes para llevar a cabo la evaluación? Cuando se espera recibir los productos de la evaluación? Estarán a tiempo para que puedan mejorar la intervención? Se va a establecer algún tipo de procedimiento para dar seguimiento a la incorporación de las recomendaciones de la evaluación? PROMEDIO 0% 25% 50% 75% 100% Observaciones

277 5.- Implicación del personal relacionado con la intervención en el seguimiento y evaluación Implicación en la evaluación Hasta qué punto estarán implicados los agentes clave? Existe una actitud favorable hacia la evaluación en el personal técnico, gestores y políticos? Existen grupos de presión que puedan interferir en la independencia de la evaluación? Se facilitará al equipo de evaluación el acceso a toda la información y documentación relevante de la intervención, y a los agentes e informantes clave que deban participar en entrevistas, grupos de discusión o cualquier otra técnica de recopilación de información? Se facilitarán los canales de comunicación más adecuados para que el equipo de evaluación recopile la información necesaria? Se facilitará la participación de los actores implicados en el desarrollo de la evaluación? Existe o existirá un clima favorable de cooperación entre personas y entidades evaluadoras y evaluadas? Se tiene experiencia previa en el diseño, gestión o coordinación de una evaluación? Tiene el equipo encargado de gestionar la intervención, formación específica en evaluación?, y en la materia objeto de la evaluación? Se va a establecer algún tipo de procedimiento para dar seguimiento al desarrollo de la evaluación? Se van a asignar responsabilidades en relación con la ejecución, validación y control de calidad de las evaluaciones a realizar? PROMEDIO 0% 25% 50% 75% 100% Observaciones

278 Ficha de ejercicios prácticos: Evaluación de Proceso El objetivo de este ejercicio es que las distintas asociaciones y entidades comiencen a diseñar una evaluación de proceso para sus programas o servicios. Si en su entidad están llevando a cabo varias intervenciones o servicios, primero elija uno de ellos para planificar esta evaluación. 1.- Listado de aspectos a evaluar. Realice una descripción de qué es lo esencial del programa o del servicio. Para ello, elabore una lista del conjunto de rasgos y actividades que lo definen y constituyen. En el siguiente ejemplo, se indican una serie de aspectos genéricos que están presentes en muchas de las intervenciones y servicios. Además de poder seleccionar algunos de estos rasgos, seleccione otros que sean específicos de su programa o servicio. Ejemplo: Listado de Aspectos a Evaluar Valoración general del Programa Grado de Satisfacción con el Programa Utilidad del Programa Tiempo destinado al Programa Interés suscitado por el Programa Implicación provocada por el Programa Participación de los asistentes Grado de comprensibilidad de la información proporcionada Adecuación de los contenidos Adecuación de la metodología Aportaciones del programa

279 2.- Selección o diseño del instrumento de medida. A continuación debe seleccionar un instrumento de medida ya diseñado y utilizado previamente por otros equipos o diseñarlo usted mismo. Este instrumento medirá los aspectos que ha seleccionado en el listado de aspectos a evaluar. A continuación se ha incluido un pequeño ejemplo que está más desarrollado en la documentación teórica sobre evaluación de proceso. Ejemplo: Escala para evaluar el Proceso del Programa Atención: Para responder a las preguntas del cuestionario debes elegir tu respuesta y marcar con un círculo o marcar con una cruz el número que corresponde a dicha respuesta. Antes de nada no olvides indicar tu sexo y edad: Sexo: 1 Hombre 2 Mujer Edad: 1.- Haber realizado este programa me ha parecido: 1 = Totalmente negativo 2 = Muy negativo 3 = Negativo 4 = Positivo 5 = Muy positivo 6 = Totalmente positivo 2.- Señala el grado de satisfacción con el programa que has realizado: 1 = Totalmente insatisfecho 2 = Muy insatisfecho 3 = Insatisfecho 4 = Satisfecho 5 = Muy satisfecho 6 = Totalmente satisfecho 3.- Señala el grado de utilidad que ha tenido para ti el realizar este programa: 1 = Nada útil 2 = Poco útil 3 = Algo útil 4 = Útil 5 = Muy útil 6 = Totalmente útil 3.- Administración de instrumento de medida. Planifique en base al diseño de su programa cuándo y cómo se administrará el instrumento de medida: 1) Cuándo: En base al tipo de programa o servicios decida si será administrado una sola vez al finalizar el programa o varias veces durante la aplicación del programa o servicio. Si es varias veces piense en el criterio más aconsejable (tiempo o bloques)

280 2) Cómo: En función de las características de los usuarios del programa o servicio decida si la modalidad para administrar el instrumento de medida va a ser autoaplicada o heteroaplicada. Si es heteroaplicada decida si será colectiva o individual (entrevista estructurada). 4.- Diseño de los análisis estadísticos a realizar. Planifique cuáles van a ser los análisis estadísticos que va a aplicar para la interpretación posterior de los resultados. 5.- Realización del informe Para este último ejercicio práctico se incluyen una serie de ejemplos de análisis de un programa con el fin de poder practicar la descripción y presentación de los resultados y las conclusiones. Índice del Informe 1. Descripción breve del programa. 2. Descripción de objetivos. 3. Descripción de la muestra (los datos que se hayan recogido, como el sexo, la edad ). 4. Descripción del procedimiento de la evaluación: instrumento de medida, procedimiento de administración y mención de los análisis aplicados. 5. Descripción de los resultados (redactar los resultados y ejemplificarlos con tablas o gráficos). 6. Conclusiones.

281

282

283 Ficha de ejercicios prácticos: Evaluación de Resultados 1.- Fundamentación teórica y objetivos del programa. a) Cuáles son las teorías explicativas en que se basa su programa? b) Son teorías con un bagaje empírico que muestran su eficacia a la hora de explicar los aspectos que quiere trabajar en su programa? c) Cuáles son el objetivo general y los específicos de su programa? Si no los Ejemplo: tiene definidos defínalos. Objetivo General Disminuir las prácticas sexuales de riesgo, es decir disminuir el porcentaje de relaciones sexuales coitales sin uso del preservativo. Objetivos Específicos 1. Aumentar los conocimientos sobre el uso del preservativo y la transmisión del VIH/SIDA. 2. Aumentar las creencias positivas hacia el uso del preservativo (beneficios) y disminuir las creencias negativos hacia el uso de esta medida preventiva (costes). 3. Mejorar la actitud positiva hacia el uso del preservativo, y reforzar la actitud negativa hacia el uso del coito interrumpido. 4. Aumentar las habilidades de negociación o de autoeficacia para que las personas posean recursos para proponer prácticas de sexo más seguro. 2.- Aspectos o contenidos a evaluar. Haga un listado con los aspectos o contenidos que se van a abordar en el programa y que van a ser evaluados derivados de los objetivos y las teorías explicativas.

284 Ejemplo: Aspectos o contenidos a trabajar y evaluar 1. Conductas sexuales de riesgo y de prevención 2. Conocimientos 3. Creencias (costes y beneficios) sobre el uso del preservativo. 4. Actitudes hacia el uso del preservativo y el coito interrumpido 5. Autoeficacia o habilidades de negociación. 3.- Selección o diseño de instrumentos de medida. Realice una búsqueda de instrumentos de medida y selecciones los instrumentos que midan lo que usted va a medir. Puede realizar la búsqueda en el material de Evaluación del Proceso, de Resultados e Impacto y en entre otras bases de datos y referencias. 4.- Selección del diseño de evaluación. Es muy importante que seleccione un diseño para evaluar el programa o servicio, ya que en función del diseño se decide cuándo se van administrar los instrumentos de medida. Por ejemplo si hemos seleccionado el diseño pre-experimental de grupo único con pruebas antes y después, de aquí se infiere que los instrumentos de medida se administrarán antes y después del programa solamente en el grupo en el que se va intervenir. 5.- Administración de instrumentos de medida. En esta fase decida cuándo (en qué momento del programa y nº de veces) y cómo (autoaplicado-heteroaplicado) va a administrar los instrumentos. 1) Cuándo: En base al diseño de evaluación seleccionado se decidirá que el instrumento de medida será administrado sólo en un grupo experimental o en los grupos

285 experimentales o, en los grupos experimentales y al mismo tiempo en los controles. También se decidirá si sólo antes del programa, o antes y después del programa. 2) Cómo: En función de las características de los usuarios del programa o servicio decida si la modalidad para administrar el instrumento de medida va a ser autoaplicada o heteroaplicada. Si es heteroaplicada decida si será colectiva o individual (entrevista estructurada). 6.- Análisis e interpretación de datos. En esta fase se decide cuáles van a ser los análisis estadísticos que se va a aplicar para la interpretación posterior de los resultados. Los análisis estadísticos dependerán del diseño seleccionado. En el caso del diseño pre-experimental de grupo único con pruebas antes y después los análisis más pertinentes son los t-test. 7.- Redacción del informe. Finalmente debe elaborar un informe en el que se recoja toda la información que se desprende de la evaluación de proceso y resultados, para ello se indica un posible índice..índice del Informe 1. Descripción breve del programa. 2. Descripción de objetivos (proceso y resultado). 3. Descripción de la muestra (los datos que se hayan recogido, como el sexo, la edad ). 4. Descripción del procedimiento de la evaluación de proceso y de resultados: instrumento de medida, procedimiento de administración y mención de los análisis aplicados. 5. Descripción de los resultados: proceso y resultados (redactar los resultados y ejemplificarlos con tablas o gráficos). 6. Conclusiones.

286 Para este último ejercicio práctico se incluyen una serie de ejemplos de análisis de un programa con el fin de poder practicar la descripción y presentación de los resultados y las conclusiones. En este primer ejemplo, se evalúa si después del programa hay un cambio significativo en el nivel de conocimientos sobre la prevención sexual del VIH de los asistentes (rango de respuesta de 0 a 40).

287 En este segundo y tercer ejemplo, se evalúa si después del programa hay un cambio significativo en la percepción de costes y beneficios derivados del uso del preservativo de los asistentes (rango de respuesta de 1 a 6).