PASOS A SEGUIR PARA LA PUESTA EN MARCHA DE UN PROGRAMA PREVENTIVO. LA EVALUACIÓN DE LA PREVENCIÓN

Transcripción

1 PRESIDENCIA. REPÚBLICA ORIENTAL DEL URUGUAY JUNTA NACIONAL DE DROGAS CUSO TALLER PREVENCIÓN DEL CONSUMO PROBLEMÁTICO DE DROGAS PASOS A SEGUIR PARA LA PUESTA EN MARCHA DE UN PROGRAMA PREVENTIVO. LA EVALUACIÓN DE LA PREVENCIÓN Prof. Dr. Elisardo Becoña Iglesias Universidad de Santiago de Compostela Facultad de Psicología Santiago de Compostela, Galicia, España 2007

2 PASOS PARA EL DESARROLLO DE UNA INTERVENCIÓN PREVENTIVA Definición del problema y actuaciones que se pueden poner en marcha para solucionar el mismo Cuál es el problema? Qué podemos hacer? La explicación del fenómeno: Por qué se consumen drogas? La explicación del consumo de drogas Factores responsables de seguir consumiendo una droga La necesidad de una intervención preventiva

3 PASOS PARA EL DESARROLLO DE UNA INTERVENCIÓN PREVENTIVA La delimitación del grupo o grupos objetivo Objetivos de nuestra intervención Métodos y técnicas específicas de intervención Recursos disponibles Evaluación Difusión de resultados Análisis de todo el proceso, detección de puntos fuertes y débiles del programa y nuevas propuestas de actuación

4 1. DEFINICIÓN DEL PROBLEMA Y ACTUACIONES QUE SE PUEDEN PONER EN MARCHA PARA SOLUCIONAR EL MISMO Cuál es el problema? Análisis de la situación Datos epidemiológicos Quien hace la demanda Qué podemos hacer? Nivel de intervención (escolar, familiar, comunitario, etc.) Prevención/reducción de riesgos Planificación (qué, cómo, cuándo y en qué tiempo)

5 EVOLUCIÓN DEL CONSUMO DE TABACO, ESTUDIANTES DE SECUNDARIA Ultimos 30 dias Varones Mujeres

6 EVOLUCIÓN DEL CONSUMO DE ALCOHOL, ESTUDIANTES DE SECUNDARIA Ultimos 30 dias Varones Mujeres

7 EVOLUCIÓN DEL CONSUMO DE CANNABIS, POBLACIÓN GENERAL Ultimos 30 dias Varones Mujeres

8 EVOLUCIÓN DEL CONSUMO DE CANNABIS, ESTUDIANTES DE SECUNDARIA, 12 meses Ultimos 12 meses Varones Mujeres

9 EVOLUCIÓN DEL CONSUMO DE COCAÍNA, POBLACIÓN GENERAL 4,5 4 3,5 3 2,5 2 1,5 1 0, Ultimo año Varones Mujeres

10 EVOLUCIÓN DEL CONSUMO DE COCAÍNA, ESTUDIANTES DE SECUNDARIA Ultimo año Varones Mujeres

11 2. LA EXPLICACIÓN DEL FENÓMENO: POR QUÉ SE CONSUMEN DROGAS? La explicación del consumo de drogas Teoría o modelo explicativo Factores de riesgo y protección Factores responsables de seguir consumiendo una droga Teoría o modelo explicativo Factores de riesgo y protección

12 Por qué las personas consumen drogas? Factores de predisposición fvv Ambiente social Socialización Personalidad del individuo Factores de riesgo y protección Disponibilidad, coste, facilidad de obtención de drogas Compañeros y amigos del barrio y de la escuela (consumidores/no consumidores Fam ilia: actitudes y conductas sobre el consumo de drogas Estrategias de afrontamiento; Autocontrol Escuela Publicidad sobre drogas y consideraciones de los medios de comunicación sobre ellas Tolerancia social hacia las drogas Estado emocional PRUEBA/NO PRUEBA DE LA SUSTANCIA Vida recreativa (salidas, ocio, diversión) Interacción con otras sustancias Norm as legales y control de su cum plim iento Consecuencias: - Personales - Am igos - Fam ilia - Sociales Factores de riesgo y protección Sigue sin probar la sustancia Nuevas pruebas de la sustancia Interacción con otras sustancias USO, ABUSO Y DEPENDENCIA

13

14

15 INDIVIDUO BIOLOGÍA PROCESOS PSICOLÓGICOS CULTURA IGUALES, AMIGOS PERSONALIDAD AMBIENTE FAMILIA

16

17 FACTORES DE RIESGO Y PROTECCIÓN

18

19 3. LA NECESIDAD DE UNA INTERVENCIÓN PREVENTIVA Explicación de dicha necesidad Operativizarla y cuantificarla Medios de que se dispone A quién va dirigida Quién participará Coordinación del programa El proceso de planificación

20

21 4. LA DELIMITACIÓN DEL GRUPO O GRUPOS OBJETIVO A quien o quienes se dirige la intervención preventiva (población diana) Grupo objetivo final (los beneficiarios) y grupo objetivo intermedio (ej., profesores, padres de alumnos, profesionales) A qué número de personas se dirige la intervención (número, contexto y grupos de edad) Grupo objetivo y tipo de intervención (ej., escolar, familiar, comunitaria, etc.)

22

23 5. OBJETIVOS DE LA INTERVENCIÓN Objetivos generales y específicos Para qué personas, grupos y colectivos a los que se dirige Que sean realizables, adecuados a las necesidades y cuantificables Objetivos de resultados y objetivos del proceso

24 PREVENCIÓN POR OBJETIVOS Una estrategia de prevención por objetivos debe estar orientada a la consecución de unos resultados. Los objetivos consisten en declaraciones específicas y medibles relativas al resultado final que quiere alcanzarse en el programa preventivo. Debe contemplar también el período de tiempo en el que deben alcanzarse esos resultados así como las condiciones que exigen la realización de los objetivos que afectan a los medios utilizados para lograrlos. Los objetivos deben referirse a todas y cada una de las fases, estrategias, medidas y destinatarios del programa por lo que deben presentarse siguiendo un gradación y una secuencia que van desde lo más general a lo más específico.

25 PREVENCIÓN POR OBJETIVOS Hay que precisar algunos conceptos para facilitar la siempre compleja labor de definir objetivos. Meta: Se trata de un enunciado más amplio que el objetivo que otorga la dirección al plan del programa sin especificar aspectos concretos. Objetivo general: Es un enunciado que describe los resultados esperados antes que el procedimiento o los medios para alcanzar estos resultados. Objetivo específico: Son aquellos que matizan y concretan el objetivo general. Para lograr desarrollar esta tarea eficazmente es importante detenernos en el análisis de ese proceso así como sus características y exigencias:

26 PREVENCIÓN POR OBJETIVOS Proceso: Los objetivos deben presentarse en forma de árbol. La descomposición gradual de un objetivo en sub-objetivos deberá ir acompañada de un aumento progresivo de la precisión. Las especificaciones se harán en: los comportamientos (utilizando verbos de acción cada vez más precisos), los contenidos (una descripción cada vez mayor de los objetos) y las circunstancias (una mejor descripción de las situaciones) Características: La primera y fundamental característica de los objetivos es que sean realizables, por lo tanto, alcanzables y realistas. Otras características que deben reunir son: ser medibles, poseer plazos bien delimitados, incluir la movilización de recursos que conllevan y ser acordes con la estrategia general que se persigue.

27 PREVENCIÓN POR OBJETIVOS Exigencias: Para evitar algunos de los errores más frecuentes en la formulación de objetivos, se considera que deben tenerse en cuenta las siguientes exigencias básicas: No confundir los objetivos generales con las metas. No confundir los objetivos específicos con las actividades. No confundir los objetivos específicos con los recursos. Mantener la máxima coherencia entre los objetivos generales y los específicos que se les derivan. Finalmente, conviene distinguir claramente también entre: los objetivos de resultados, es decir, los objetivos relacionados con los objetivos esperados, y los objetivos de proceso que tienen que ver con los medios, procedimientos o métodos utilizados para lograr los resultados.

28 PREVENCIÓN POR OBJETIVOS Es preciso plantear en primer lugar cuáles son las metas globales del programa: Rebajar las prevalencias de consumo entre la población objetivo final. Retrasar las edades de inicio al consumo del grupo objetivo final de drogas. Reducir los daños asociados al consumo entre los jóvenes. Dotar a los adolescentes y jóvenes que componen el grupo objetivo de los conocimientos y competencias necesarios para enfrentarse a la presión de la oferta de esa droga. Fomentar un ocio saludable entre los jóvenes incompatible con el consumo de drogas. Limitar la disponibilidad de drogas para esta población adolescente y juvenil. Sensibilizar e implicar al grupo objetivo intermedio y a la población general en la problemática y en las acciones que se lleven a cabo.

29 PREVENCIÓN POR OBJETIVOS En cuanto a los objetivos generales que se derivan de estas grandes metas, deben agruparse en función de la población específica a la que vayan dirigidos. 1) Dirigidos al grupo objetivo final: Aumentar la percepción del riesgo, es decir, que el consumo favorece la aparición de consecuencias negativas importantes. Incrementar la percepción de que un estilo de vida y un uso del ocio libre de drogas tiene consecuencias positivas importantes. Adquirir conocimientos y modificar actitudes, creencias y estereotipos sobre drogas. Aumentar las habilidades personales y sociales que fomenten estilos de vida y patrones de diversión saludables. Incidir en el patrón de consumo de fin de semana para modificar hábitos, reducir ingestas y abordar precozmente las dificultades que se planteen.

30 PREVENCIÓN POR OBJETIVOS 2) Dirigidos al grupo objetivo intermedio: Padres: Aumentar en los padres la percepción del daño asociado con el consumo de drogas por los adolescentes. Hacerles conscientes de que sus hijos están en riesgo de consumir alcohol y otras drogas y son vulnerables a las consecuencias negativas producidas por estos consumos. Aumentar la percepción de la eficacia personal para prevenir el consumo de drogas por los adolescentes (por ejemplo, permitir a los familiares conocer cómo sus comportamientos pueden marcar la diferencia). Desarrollar estrategias familiares simples y efectivas, incluyendo habilidades de comunicación y autoridad en la familia, que ayudan a prevenir el consumo de drogas entre los adolescentes.

31 PREVENCIÓN POR OBJETIVOS 2) Dirigidos al grupo objetivo intermedio: Comunidad: Sensibilizar y concienciar a los diferentes mediadores acerca del consumo inadecuado de drogas en los jóvenes modificando sus conocimientos y actitudes sobre el tema. Promover la participación de los servicios y organizaciones sociales en las acciones específicas que se desarrollen en la comunidad. Ordenar y coordinar la participación de los distintos frentes de entrada de la comunidad.

32 PREVENCIÓN POR OBJETIVOS 2) Dirigidos al grupo objetivo intermedio: Comunidad: Potenciar alternativas saludables al consumo de drogas para este sector de la población mediante el aprovechamiento de los recursos comunitarios. Adecuar los servicios públicos y los establecimientos de ocio para reducir los daños asociados al consumo de drogas de fin de semana. Fomentar estrategias para limitar la exposición a riesgos e incidiendo en la responsabilidad de los promotores y expendedores. Disminuir la siniestralidad y los problemas de salud asociados en la conducción provocada por el consumo juvenil de alcohol y drogas de síntesis durante el fin de semana.

33 PREVENCIÓN POR OBJETIVOS 2) Dirigidos al grupo objetivo intermedio: Población general: Sensibilizar a la población general sobre la importancia del consumo de alcohol en los jóvenes. Hacer llegar al conjunto de los ciudadanos las medidas que se aplican para la prevención de esta problemática. Siguiendo esta secuencia que se señaló anteriormente, se procederá a la elaboración de los objetivos específicos.

34 6. MÉTODOS Y TÉCNICAS ESPECÍFICAS DE INTERVENCIÓN Para conseguir los objetivos hay que poner en práctica un programa preventivo Programas escolares, familiares, comunitarios, etc., eficaces Técnicas específicas de prevención eficaces Formación de profesores, escuela de padres, programas psicosociales de entrenamiento en habilidades, de otros colectivos, etc. Cronograma de la intervención (de varios años)

35 MÉTODOS Y TÉCNICAS ESPECÍFICAS DE INTERVENCIÓN EN NUESTRO EJEMPLO Contexto escolar Programas psicosociales de entrenamiento en habilidades Formación del profesorado Si es posible, escuela de padres (escuela, barrio, centro cultural, etc.) Ambito comunitario Medios de comunicación de masas Colectivos específicos (policía local, hosteleros, asociaciones juveniles, etc.) Métodos y técnicas específicas para cada contexto

36 Los cuatro elementos centrales del programa son: informativo, educativo, ocio alternativo y reducción de la oferta Estrategia informativa Las actividades a desarrollar en este ámbito responderán a los objetivos anteriores dirigidos a mejorar la información y sensibilización, tanto de la población objetivo final e intermedia como la comunidad en su conjunto. Utilizaremos al respecto los medios de comunicación de masas y se hará, fundamentalmente, mediante la radio y televisión locales. También se recurrirá a soportes exteriores y sistemas de difusión convencionales (vallas, carteles, folletos, etc.).

37 Los cuatro elementos centrales del programa son: informativo, educativo, ocio alternativo y reducción de la oferta Estrategia educativa A nivel operativo, los jóvenes escolarizados recibirán un programa preventivo que se aplicará en las horas dedicadas a tutorías. Para alcanzar esta fase de implantación del programa educativo, el equipo impulsor del programa llevará a cabo al menos los siguientes requisitos previos: Selección del programa a aplicar. Presentación del programa municipal a los responsables educativos y de prevención de drogas (Plan Autonómico sobre Drogas) de la Comunidad Autónoma. Presentación del programa en los centros educativos (Dirección, Consejo Escolar, Asociación de Padres y Madres...).

38 Los cuatro elementos centrales del programa son: informativo, educativo, ocio alternativo y reducción de la oferta Estrategia educativa: Planificación de la intervención escolar (formación y seguimiento del profesorado, evaluación previa, período de aplicación, distribución de materiales, evaluación al final del programa, ). Cursos de formación del profesorado. Cursos de formación para padres. Los cursos de formación para padres, de 14 horas de duración, abordarán las siguientes temáticas: información sobre el alcohol, sus patrones de consumo y consecuencias; identificación de factores de riesgo y protección; nociones sobre desarrollo evolutivo y adolescencia; técnicas de comunicación y técnicas para establecer acuerdos familiares.

39 Los cuatro elementos centrales del programa son: informativo, educativo, ocio alternativo y reducción de la oferta Estrategia de promoción de ocio alternativo. Basadas en el aprovechamiento de los recursos comunitarios durante las noches de fin de semana, se ofertarán una serie de actividades atractivas: Deportivas: piscina, baloncesto, fútbol sala, tenis de mesa, etc. De ocio: cine, bailes, talleres de yoga, etc. Cultura: música, exposiciones, lectura, etc.

40 Los cuatro elementos centrales del programa son: informativo, educativo, ocio alternativo y reducción de la oferta Estrategia de reducción de la oferta. Están encaminadas a limitar la exposición a riesgos y los daños vinculados a ellos. En este sentido, se solicitará la colaboración de la policía municipal en el seguimiento a establecimientos que incumplen la normativa de venta de alcohol a menores y en la realización de controles de alcoholemia tanto en las salidas como en el interior de la población durante las noches de los fines de semana.

41 ESTRUCTURA DE COORDINACIÓN COMUNITARIA Se creará un mecanismo de coordinación de la participación comunitaria en el programa. Se trata de una estructura estable de coordinación en la que participarán los recursos públicos y la iniciativa social del municipio que están dispuestos a implicarse en el programa. Puesta en común e intercambio de conocimientos sobre el problema que nos ocupa y experiencias previas en prevención. Organizar la formación teórica y metodológica de los mediadores sociales del programa sobre la problemática del alcohol y estrategias de intervención comunitaria. Sensibilización a los frentes de entrada comunitarios que representan cada uno de sus miembros. Participación en el proceso de planificación, implementación y evaluación del programa.

42

43

44 CÓMO ORGANIZAR TODO LO ANTERIOR A LO LARGO DEL TIEMPO? La temporalización

45

46 7. RECURSOS DISPONIBLES Humanos El personal del equipo preventivo Otros (profesores, técnicos de los servicios sanitarios y sociales, asociaciones ciudadanas, voluntarios, jóvenes, etc.) Económicos Materiales Local, teléfono, fotocopiadora, mesas, sillas, armarios, material, libros, etc. Técnicos A los que podemos acudir sin formar parte del staff, como técnicos de la administración, de gestión, informática, profesionales del Centro de Drogodependencias, evaluadores externos, etc.

47 PRESUPUESTO Personal de plantilla Personal vinculado por contratos Formación de mediadores sociales Ayudas directas a organizaciones sociales Edición de material y documentación Adaptación de locales y mobiliario Material informático Consumibles Viajes y dietas

48 8. EVALUACIÓN Evaluación del proceso Evaluación del resultado Instrumentos a utilizar Quién la hará

49 9. DIFUSIÓN DE RESULTADOS Memoria de actividades Análisis del proceso y del resultado A quién se dirige (administración, prensa, reunión de técnicos, etc.) Brevedad y claridad del informe Evaluación del impacto

50 10. ANÁLISIS DE TODO EL PROCESO, DETECCIÓN DE PUNTOS FUERTES Y DÉBILES DEL PROGRAMA Y NUEVAS PROPUESTAS DE ACTUACIÓN Análisis de todo el proceso Detección de los puntos fuertes (lo que funciona) Detección de los puntos débiles (lo que no funciona) Nuevas propuestas de actuación en función de toda la información disponible

51 LA EVALUACIÓN DE LA PREVENCIÓN

52 DEFINICIÓN DE EVALUACIÓN La evaluación es una forma de investigación social aplicada, sistemática, planificada y dirigida; encaminada a identificar, obtener y proporcionar de manera válida y fiable, datos e información suficiente y relevante, en que apoyar un juicio acerca del mérito y el valor de los diferentes componentes de un programa (tanto en la fase de diagnóstico, programación o ejecución), o de un conjunto de actividades específicas que se realizan, se han realizado o realizarán, con el propósito de producir efectos y resultados concretos; comprobando la extensión y el grado en que dichos logros se han dado, de forma tal, que sirva de base o guía para una toma de decisiones racional e inteligente entre cursos de acción, o para solucionar problemas y promover el conocimiento y la comprensión de los factores asociados al éxito o al fracaso de los resultados (Aguilar y Enger-Egg, 1993, p. 18)

53 RAZONES PARA LLEVAR A CABO LA EVALUACIÓN DE LA PREVENCIÓN Para determinar la efectividad de los programas en los participantes Para comprobar que los objetivos del programa se han cumplido Para proporcionar información sobre la prestación del servicio que será útil tanto para el staff del programa como para otras personas Para permitir al staff del programa hacer cambios que mejoren la efectividad del mismo

54 ALGUNOS ASPECTOS BÁSICOS DE LA EVALUACIÓN EN LA PREVENCIÓN DE LAS DROGODEPENDENCIAS Evaluación del proceso Evaluación del resultado Instrumentos a utilizar Quién la hará

55 Distintas actividades que suelen incluirse en los programas preventivos y que pueden evaluarse Concretar los servicios que se requieren Establecer los objetivos del programa y decidir la evidencia particular (tal como el conocimiento, actitudes o conducta específica) que demuestre que se cumplirán esos objetivos. Una evaluación de programas exitosa la constituyen un conjunto de objetivos del programa claros, medibles y realistas Desarrollar o seleccionar de entre los distintos programas alternativos existentes el que se utilizará Poner en marcha un sistema de seguimiento para comprobar que se cumplen los objetivos del programa Poner a prueba y evaluar nuevos diseños de programas. a gran escala o a una escala importante, por los costes a corto plazo que va a tener y los resultados previsibles a corto, medio y largo plazo.

56 PARA QUÉ O PARA QUIÉN QUEREMOS LA EVALUACIÓN? El tipo de información que interesa recoger en la evaluación variará según vaya dirigida a, o solicitada por: Administradores Evaluación continua para el staff del proyecto Evaluación de la eficiencia del proyecto Evaluación para los responsables del proyecto Evaluación para el desarrollo y diseminación de nuevos programas

57 TIPOS DE EVALUACIÓN Evaluación para la Administración Cuando la evaluación se realiza para la administración, especialmente para el organismo financiador o de quien depende funcionalmente la actividad o el programa preventivo, lo que más le interesa es la cantidad de actividades realizadas y la extensión de las mismas o las personas que han participado en ellas. Le interesa menos, o en muchos casos no le interesa, si con dichas actividades se ha conseguido el objetivo preventivo. Aquí la cantidad prima sobre la calidad.

58 TIPOS DE EVALUACIÓN Evaluación continua para el equipo del programa En este caso la evaluación sirve para comprobar si se van cumpliendo los objetivos, así como que haya una conexión entre metas, objetivos y servicios. Esto es, si tal como se ha planificado la actividad preventiva o el programa preventivo a los resultados que se obtienen con el mismo hay una adecuación o concordancia entre lo primero y lo segundo.

59 TIPOS DE EVALUACIÓN Evaluación de la eficiencia del programa Este tipo de evaluación se hace con el objetivo de proporcionar un mejor servicio o mejorar la coordinación entre varios componentes del programa, reduciendo el coste del servicio. En los últimos años este tipo de evaluación ha cobrado una gran relevancia en el campo de la salud y más y más va llegando al campo preventivo, tanto en drogodependencias como en otro tipo de actividades preventivas. Es de una gran relevancia cuando queremos generalizar el programa a grupos amplios de personas, ya que en este caso precisamos saber la relación coste-eficiencia para ver si es posible o no implantarlo a gran escala o a una escala importante, por los costes a corto plazo que va a tener y los resultados previsibles a corto, medio y largo plazo.

60 TIPOS DE EVALUACIÓN Evaluación para los responsables del programa Este tipo de evaluación es la que se hace desde fuera del programa por parte de grupos de padres, los organismos o asociaciones que lo financian, políticos, expertos, etc. Evaluación para el desarrollo y diseminación de nuevos programas En estos casos es imprescindible la evaluación a largo plazo de los nuevos programas antes de pasar a la diseminación del mismo.

61 DIMENSIONES DE LA EVALUACIÓN DE LOS PROGRAMAS PREVENTIVOS Evaluación del proceso (materiales y actividades del programa) Evaluación del resultado (logros y efectos del programa) Evaluación del impacto (resultados inmediatos y a largo plazo sobre política, educación o servicios, así como los efectos no deseados del programa)

62 LA EVALUACIÓN DEL PROCESO Y DEL RESULTADO La evaluación del proceso describe lo que se ha hecho a lo largo del programa, tanto a nivel cualitativo como cuantitativo, por qué se ha hecho lo que se ha hecho y durante cuánto tiempo se ha hecho eso (horas, días, semanas, meses). Igualmente, la evaluación del proceso nos indicaría los motivos por los que se ha hecho cada cosa, por qué se tomaron decisiones concretas a lo largo del proceso de implantación del programa. Suele incluir esta evaluación las características de los participantes, del personal que ha participado en el programa o quien ha aplicado el mismo, el nivel de asistencia que ha tenido, si se ha implementado el programa del modo en que se diseñó o hubo que hacer algún tipo de cambio sobre la marcha, las tareas realizadas, cómo se implementó el mismo, las dificultades que fueron surgiendo a lo largo del mismo, la satisfacción que se ha logrado con el programa en los participantes, los que lo han aplicado y los que lo han diseñado, qué cambios se han apreciado con la mera aplicación del mismo, etc. (CSAP, 2001).

63 LA EVALUACIÓN DEL PROCESO Y DEL RESULTADO La evaluación del proceso debe ir en paralelo a la evaluación del resultado o debe hacerse antes del mismo para conocer más sobre el programa preventivo, cómo se ha implantado, los resultados que hemos obtenido con el mismo, dificultades que un análisis de resultados no van a apreciar y que puede incidir en los resultados, etc. Si la evaluación queda sólo en la evaluación del proceso, pudiendose hacer una evaluación de resultados, la evaluación que hacemos es pobre. De ahí que haya que planificar desde el principio, cuando vamos a llevar a cabo una intervención preventiva, ya el proceso de evaluación (Muraskin, 1993). En las tablas 42 y 43 mostramos las preguntas esenciales que nos tenemos que hacer para la planificación de la evaluación del proceso y del resultado, tal como sugieren Kröger et al., (1998).

64 Preguntas esenciales que hay que hacerse en la evaluación del proceso Qué variables e indicadores proporcionarán información útil sobre el modo en que se ha llevado a cabo la intervención?, qué tipo de información (cualitativa y cuantitativa) desea valorar al evaluar el proceso? Qué métodos e instrumentos se utilizarán (entrevistas, cuestionarios, instrumentos de observación, etc.)? Dónde, cuándo y con qué frecuencia se recogerán datos sobre el proceso? (diseño). Quién suministrará la información necesaria para la evaluación del proceso? Cómo se prevé analizar los datos? Fuente: Kröger et al. (1998).

65 EVALUACIÓN DEL PROCESO Y DEL RESULTADO A diferencia de la evaluación del proceso, en la evaluación de resultados lo que analizamos son los cambios que se han producido habitualmente desde antes y después de aplicar la intervención preventiva, en las actitudes, valores, conductas, características psicológicas o cualquier otro proceso o variable que se ha seleccionado como elemento de cambio que se produce con dicha intervención preventiva y que a su vez podemos evaluar cuantitativamente. Habitualmente esta evaluación continuará a más largo plazo, en los seguimientos, evaluando esos mismos elementos, para comprobar si los resultados positivos, si se han obtenido, con el programa después de aplicar el mismo, se mantienen a lo largo del tiempo. En el resto del capítulo la evaluación se dirige fundamentalmente a la evaluación del resultado, y más específicamente a los estudios experimentales y cuasiexperimentales.

66 Preguntas esenciales en la planificación de la evaluación del resultado (1) Qué indicadores se han elegido respecto a los resultados y cómo prevé medirlos? Se propone adoptar un planteamiento cuantitativo o cualitativo al recabar información sobre los resultados?, qué indicadores e instrumentos pretende utilizar para recoger datos?. La clasificación siguiente puede resultar útil: a) indicadores e instrumentos que midan la conducta de consumo de sustancias del grupo objetivo final, b) indicadores e instrumentos que midan las variables mediadoras relacionadas con la conducta de consumo de sustancias en el grupo objetivo final, c) indicadores e instrumentos que midan otras variables mediadoras del grupo objetivo final, d) indicadores e instrumentos que midan objetivos respecto al grupo objetivo intermedio.

67 Preguntas esenciales en la planificación de la evaluación del resultado (2) Qué sabe de la calidad de los instrumentos (objetividad, fiabilidad, validez)?, tiene previsto comprobar la aplicabilidad de los instrumentos? De qué fuentes, cuándo y con qué frecuencia prevé recoger información sobre los resultados? (diseño). Cómo prevé analizar la información que ha recogido?, qué métodos estadísticos son adecuados para comprobar la calidad de los datos y el diseño? Fuente: Kröger et al. (1998).

68 EVALUACIÓN DEL IMPACTO Mientras que la evaluación del proceso y del resultado se refiere a los efectos del programa, la evaluación del impacto se refiere a los efectos acumulados o agregados a nivel comunitario. En este caso lo que nos interesa es ver qué cambios se han producido en la prevalencia e incidencia en el consumo de drogas, la morbimortalidad relacionadas con las drogas, el cambio en las políticas y programas institucionales, el grado, o incremento del grado, de implicación de la comunidad, los padres y otras instituciones en la prevención de las drogodependencias, el número de accidentes de tráfico, las tasas de alcoholemia, etc. Es el mejor sistema de evaluación de la eficacia de la prevención en su más amplio sentido. Es el tipo de evaluación que hacen los Planes Autonómicos de Drogodependencias o el Plan Nacional sobre Drogas de un país, ya que utiliza datos epidemiológicos, estudios de incidencia y prevalencia, número de delitos relacionados con las drogas, personas encarceladas por tráfico de drogas, número de ingresos en urgencias por consumo de drogas, etc. En las publicaciones del Observatorio Español sobre Drogas pueden verse estos ejemplos (ej., Plan Nacional sobre Drogas, 2002).

69 FACTORES QUE INFLUYEN EN EL IMPACTO DE UN PROGRAMA PREVENTIVO Contenido del programa Participantes (población diana) Aplicadores Medio en que se aplica el programa Calidad de la aplicación Contexto

70 EL PROCESO DE DIFUSIÓN DE PROGRAMAS Diseminación. Proceso mediante el cual se intenta que las escuelas en las que se desea implantar el programa sepan que éste existe y se encuentren inclinadas a integrarlo en la planificación de sus actividades para el curso Adopción. Actividades dirigidas a que los colegios se comprometan en el desarrollo del programa Implementación. Fase en la que se realizan las intervenciones necesarias para que los profesores apliquen el programa de acuerdo a las indicaciones de éste Mantenimiento. Una vez que el programa ha sido adoptado por los colegios, se inicia esta fase en la que se incluyen las acciones necesarias para promover que los colegios mantengan el programa dentro de su programación de actividades a lo largo del tiempo

71 Problemas prácticos en la planificación e implementación de la evaluación Regulaciones para obtener la información (ej. confidencialidad, permiso de los padres). Dificultad en determinar los grupos apropiados para comparar los resultados (grupo de control) en los grupos en los que se aplicó el programa. Las fuentes de datos existentes pueden ser de baja calidad para ser utilizadas en la evaluación (ej. faltas de disciplina, inasistencia escolar, etc.). Las tareas de evaluación suelen invariablemente llevar más tiempo del inicialmente previsto. Los evaluadores deben estar preparados para la contingencia de que el modo de obtención de datos no pueda realizarse tal como se planificó.

72 Factores que atentan contra la validez interna 1) Historia: Los acontecimientos específicos ocurridos durante la investigación entre la medición pretratamiento y la postratamiento (ej., separación de sus padres). 2) Maduración: Procesos internos de los sujetos que se producen como consecuencia del paso del tiempo (ej., entrar en la pubertad). 3) Medición: Cualquier cambio que pueda ser atribuido a la administración de las pruebas de evaluación. 4) Instrumentación: Los cambios que se producen por los instrumentos de medida o en el procedimiento evaluativo.

73 Factores que atentan contra la validez interna 5) Regresión estadística: Fenómeno que se produce como consecuencia de eligir sujetos para formar los grupos en base a puntuaciones extremas. 6) Sesgos de selección: Cualquier diferencia entre los grupos que sea debido a la selección diferencial en el proceso de asignación a los grupos. 7) Atrición: Pérdida de sujetos en el transcurso de la investigación. 8) Difusión del tratamiento: Ocurre cuando la intervención aplicada al grupo experimental es inadvertidamente también proporcionada al grupo control. Adaptado a partir de Cook y Campbell (1979).

74 Factores que atentan contra la validez externa 1) Generalización a través de los sujetos: El alcance con el que los resultados de nuestra investigación pueden generalizarse a otros sujetos. 2) Generalización a través de las situaciones: El alcance con el que los resultados obtenidos se pueden generalizar a otras situaciones. 3) Generalización a través de las medidas de respuesta: Hasta qué punto se puede extender nuestros resultados a otras conductas distintas de las que hemos medido. 4) Generalización a través del tiempo: El alcance que pueden tener los efectos conseguidos más allá del período que hemos utilizado en una investigación dada.

75 Factores que atentan contra la validez externa 5) Generalización a través de los agentes de cambio de conducta: Hasta qué punto pueden administrar el mismo programa otras personas diferentes a las que lo hicieron en una investigación particular. 6) Reactividad a la situación experimental: La posibilidad de que los sujetos puedan manifestar determinadas reacciones fruto del conocimiento de estar participando en una investigación. 7) Evaluación reactiva: Las influencias derivadas del conocimiento de los sujetos de que están siendo evaluados.

76 Factores que atentan contra la validez externa 8) Sensibilización pretest: La posibilidad de que al evaluar los sujetos antes de la intervención, los sensibilice de cara a la intervención subsiguiente. 9) Interferencia de múltiples intervenciones: Cuando los sujetos se exponen a más de una intervención, las inferencias acerca de una intervención particular pueden estar limitadas por el hecho de que no sabemos con precisión si el cambio observado se debe a esa o a otra intervención. 10) Novedad de la intervención: Posibilidad de que los efectos de una intervención puedan en parte depender de la novedad de la misma, más que a la eficacia de la intervención en sí. Adaptado a partir de Cook y Campbell (1979)

77 Pasos de una investigación en la evaluación de un programa preventivo 1. Planteamiento del problema y evaluación de necesidades 2. Revisión de la literatura científica sobre el tema en cuestión 3. Modelo teórico del que partimos 4. Formulación de las hipótesis 5. Definición de las variables variables dependientes e independientes variables de evaluación variables del programa variables de los sujetos variables de los aplicadores del programa 6. Control de las variables extrañas validez interna validez externa

78 Pasos de una investigación en la evaluación de un programa preventivo 7. Selección del diseño de investigación 8. Muestra: selección y asignación de los sujetos a los grupos de intervención y de control 9. El procedimiento experimental Evaluación preintervención Aplicación de la intervención preventiva Evaluación postintervención Evaluación de seguimiento 10. Resultados: tratamiento estadístico de los datos 11. Elaboración de inferencias desde las hipótesis en función de los resultados 12. La generalización de los resultados 13. Elaboración del informe de la investigación

79 Puntos que debe abarcar el informe de investigación o un artículo con el resumen de la misma 1. Título, nombre del autor o autores, institución donde se ha llevado a cabo el estudio y agradecimientos 2. Resumen del estudio 3. Introducción Introducción Desarrollo de los antecedentes existentes en la literatura Marco teórico del que partimos Propósito y racionalidad del estudio que se va a realizar Hipótesis 4. Método Sujetos Materiales e instrumentos de evaluación Procedimiento Diseño experimental Programa (s) preventivo (s) utilizados Análisis estadístico

80 Puntos que debe abarcar el informe de investigación o un artículo con el resumen de la misma 5. Resultados Resumen de los datos obtenidos. Tratamiento estadístico de los datos Tablas y figuras 6. Discusión Evaluar e interpretar los resultados en función de las hipótesis de que se ha partido Plantear las siguientes cuestiones: En que he contribuido con este estudio? Este estudio ayuda a resolver el problema original? Qué conclusiones e implicaciones teóricas puedo extraer del estudio? 7. Referencias bibliográficas 8. Apéndice

81 ALGUNAS LAGUNAS EN LA INVESTIGACIÓN SOBRE PROGRAMAS PREVENTIVOS La evaluación de programas se ha hecho sobre todo en tabaco. Suele evaluarse la eficacia del programa sólo en los que acuden regularmente al colegio. Los que tienen mayor riesgo de consumo son los que más faltal al mismo Los estudios experimentales controlan rigurosamente la aplicación del programa. Cuando se baja el control los profesores lo aplican laxamente Son escasos los estudios con seguimientos largos, superiores a dos años

82 LA EVALUACIÓN ES UNA LABOR INTENSIVA, QUE IMPLICA AL MENOS Planificar la evaluación Recoger los datos (cuestionarios, entrevistas, otros) Codificar los datos Analizar los datos Elaborar el informe

83 PROBLEMAS PRÁCTICOS EN LA PLANIFICACIÓN E IMPLEMENTACIÓN DE LA EVALUACIÓN Regulaciones para obtener la información (ej., confidencialidad, permiso de los padres) Dificultad en determinar los grupos apropiados para comparar los resultados (grupo de control) con los grupos en los que se aplicó el programa Las fuentes de datos existentes pueden ser de baja calidad para ser utilizadas en la evaluación (ej., falta de disciplina, inasistencia escolar, etc.) Las tareas de evaluación suelen invariablemente llevar más tiempo del inicialmente previsto Los evaluadores deben estar preparados para la contingencia de que el modo de obtención de datos no pueda realizarse tal como se planificó

84 LA EVALUACIÓN EN MARCHA Qué evaluar El diseño La muestra El cuestionario Los recursos económicos disponibles

85 LA IMPLEMENTACIÓN DEL PROGRAMA PREVENTIVO. ELEMENTOS BÁSICOS A TENER EN CUENTA Si el staff del programa recibió entrenamiento sobre el mismo Si los profesores que recibieron entrenamiento están dispuestos a usar el programa Si los profesores que recibieron entrenamiento pusieron en práctica el programa, cómo lo implantaron e incidencias del mismo Si los elementos asociados al programa (materiales, medidas en la escuela, medidas sociales, escuela de padres, etc) han estado disponibles o se han puesto en práctica

86 EL DISEÑO Diseños experimentales Diseño de grupo control pretest-postest Diseño de grupo control con solo postest Diseño de cuatro grupos de Solomon Diseños factoriales Diseños cuasiexperimentales Diseño cuasiexperimental de grupo control pretest-postest Diseño cuasiexperimental de grupo control con solo postest

87 EL PROBLEMA DEL GRUPO DE CONTROL Objetivo del grupo control: poder contestar a la pregunta qué alcance tendría la mejora de la persona sin la aplicación del programa preventivo? Las dificultades de utilizar un grupo de control y las limitaciones teóricas, éticas y prácticas para tener grupos de control Grupos de control utilizados: Grupo control de no intervención Grupo control de lista de espera Grupo control no asignado aleatoriamente

88 EL CUESTIONARIO Objetivos de la evaluación Qué queremos evaluar Mejor utilizar un cuestionario ya existente Ejemplos de cuestionarios

89 ASPECTOS METODOLOGICOS QUE HAY QUE SUBSANAR La validez de los datos autoinformados Diseños de investigación Comparabilidad de los grupos La mortalidad experimental

90 CUESTIONES QUE HAY QUE INVESTIGAR Mejorar la calidad de los diseños experimentales Mejorar el conocimiento de los factores de riesgo y protección Diseñar estrategias (modificación del contexto) Discriminar qué intervenciones son más útiles y para qué Sloboda y David (1997)

91 RECOMENDACIONES PARA ELABORAR UN BUEN PROGRAMA PREVENTIVO (1) Uso de actividades con participación de iguales Estrategias y programas de prevención de carácter global Un modelo psicosocial o de influencias sociales para la planificación de la prevención Alternativas al consumo tales como la planificación educativa Actividades preventivas teóricamente fundamentadas Evaluación de la efectividad de las intervenciondes Supervisión de la calidad de la aplicación del programa Facilitación de programas de prevención en la comunidad, que se extiendan más allá de las aulas

92 RECOMENDACIONES PARA ELABORAR UN BUEN PROGRAMA PREVENTIVO (2) Adaptación de los materiales y los mensajes a las necesidades de los estudiantes Empleo de grupos de discusión o de actividades de aprendizaje cooperativo Utilización de personal de salud mental o escolar para la aplicación de las estrategias preventivas Uso de la política pública y escolar para controlar el consumo de alcohol, tabaco y otras drogas Implicación de los padres y de las familias en los esfuerzos preventivos Consideración de los múltiples determinantes del consumo y el establecimiento de múltiples objetivos en el programa Werch (1995)

93 LOS PROFESIONALES, QUIEREN EVALUAR LOS PROGRAMAS PREVENTIVOS? No siempre No suele ser un elemento prioritario en la implantación de programas La evaluación suele posponerse y en muchos casos no hacerse Suelen estar frecuentemente presentes dificultades reales para realizarla, por falta de preparación, carencia de medios técnicos o recursos económicos para ella

94 LOS PROFESIONALES, QUIEREN EVALUAR LOS PROGRAMAS PREVENTIVOS? Los profesionales que aplican el programa deben participar en el diseño de la evaluación y en la interpretación de los resultados del mismo La evaluación puede interferir con las actividades del programa (por ej., la aplicación de cuestionarios) Los resultados de la evaluación pueden ser utilizados inadecuadamente, especialmente en aspectos como la efectividad del mismo, presentaciones ambiguas, etc., incidiendo sobre la credibilidad del mismo

95 PROBLEMAS CON LOS QUE SE ENCUENTRA LA EVALUACIÓN DE LOS PROGRAMAS PREVENTIVOS No siempre hay un interés profesional en evaluar. Se parte de que el programa como tal programa tiene que funcionar y ser efectivo Costes de la evaluación Carencia de presuesto para la evaluación La evaluación es una labor intensiva y especializada Hay distintos problemas prácticos para realizarla con criterios de calidad (ej., asignación del programa al azar a un grupo teniendo otro de control) Problemas de tiempo Necesidad de evaluaciones a largo plazo (3-5 años)

96 DIFUSIÓN DE RESULTADOS Memoria de actividades Análisis del proceso y del resultado A quién se dirige (administración, prensa, reunión de técnicos, etc.) Brevedad y claridad del informe Evaluación del impacto

97 ANÁLISIS DE TODO EL PROCESO, DETECCIÓN DE PUNTOS FUERTES Y DÉBILES DEL PROGRAMA Y NUEVAS PROPUESTAS DE ACTUACIÓN Análisis de todo el proceso Detección de los puntos fuertes (lo que funciona) Detección de los puntos débiles (lo que no funciona) Nuevas propuestas de actuación en función de toda la información disponible

98

99

100