INSTRUMENTOS PARA LA EVALUACIÓN DE LOS PROGRAMAS INCLUIDOS EN LA CARTERA DE SERVICIOS EN MATERIA DE PREVENCIÓN DE LAS DROGODEPENDENCIAS

Transcripción

1 INSTRUMENTOS PARA LA EVALUACIÓN DE LOS PROGRAMAS INCLUIDOS EN LA CARTERA DE SERVICIOS EN MATERIA DE PREVENCIÓN DE LAS DROGODEPENDENCIAS CONSELLERÍA DE SANIDADE DE LA XUNTA DE GALICIA Dirección General de Innvación y Gestión de Salud Pública Subdirección General de Fment de Prgramas de Estils de Vida Saludables Servici de Drgdependencias y Trastrns Adictivs AUTOR Lrenz Sánchez Pard CONSULTORÍA, ESTUDIOS Y GESTIÓN DE PROYECTOS S.L. COORDINACIÓN Servici de Drgdependencias y Trastrns Adictivs

2 Instruments para la evaluación de ls prgramas de prevención 2 ÍNDICE 1. INTRODUCCIÓN LA RELEVANCIA DE LA EVALUACIÓN DE LAS INTERVENCIONES PREVENTIVAS EN DROGODEPENDENCIAS 5 2. A MODO DE RECORDATORIO: SIGNIFICADO Y CONTENIDOS DE LA EVALUACIÓN DE PROCESOS Y RESULTADOS Qué es la evaluación? 2.2. Las mdalidades de evaluación de prgramas 2.3. Qué sn ls indicadres de prces y resultads? 3. RELACION DE INSTRUMENTOS DE APLICACIÓN PARA LA EVALUACIÓN DE LOS PROGRAMAS DE LA CARTERA DE SERVICIOS 3.1. Prgrama de prevención (universal) del cnsum de drgas en el ámbit educativ (PPCDE) 3.2. Cinensin. Prgrama universal de prevención esclar 3.3. N pasa nada, pasa alg? Prgrama selectiv de prevención esclar 3.4. Odisea. Prgrama selectiv de prevención en Centrs de Garantía Scial 3.5. Más que un tech. Prgrama universal de prevención familiar 3.6. Entre tds. Prgrama indicad de prevención familiar 3.7. Activa. Prgrama de prevención universal para jóvenes 3.8. Cambi de sentid. Prgrama de prevención del cnsum de alchl en la cnducción de vehículs 3.9. Alternativa. Prgrama selectiv de prevención dirigid a mzs/as cn denuncias pr cnsum psesión de drgas en lugares públics Creative. Prgrama selectiv de prevención juvenil del cnsum de alchl y tras sustancias en espacis urbans públics Al alcance. Prgrama universal de prevención del cnsum de drgas en el ámbit labral Sísif. Prgrama de precz cn drgdependientes en situación de emergencia scial Itínere. Prgrama de prevención indicada e incrpración scilabral para drgdependientes excarcelads Penélpe. Prgrama de prevención del cnsum de drgas dirigid a mujeres Acais. Prgrama de prevención de cnsum y hábits n saludables dirigids a la cmunidad gitana

3 Instruments para la evaluación de ls prgramas de prevención 3 4. ESCALAS Y CUESTIONARIOS DE EVALUACIÓN DE USO OBLIGATORIO 4.1. Instruments para la evaluación del PPCDE 4.2. Instruments para la evaluación del prgrama Cinensin 4.3. Instruments para la evaluación del prgrama N pasa nada, pasa alg? 4.4. Instruments para la evaluación del prgrama Odisea 4.5. Instruments para la evaluación del prgrama Más que un tech 4.6. Instruments para la evaluación del prgrama Entre tds 4.7. Instruments para la evaluación del prgrama Activa 4.8. Instruments para la evaluación del prgrama Cambi de sentid 4.9. Instruments para la evaluación del prgrama Alternativa Instruments para la evaluación del prgrama Creative Instruments para la evaluación del prgrama Al alcance Instruments para la evaluación del prgrama Sísif Instruments para la evaluación del prgrama Itínere Instruments para la evaluación del prgrama Penélpe Instruments para la evaluación del prgrama Acais ESCALAS Y CUESTIONARIOS DE EVALUACIÓN DE USO VOLUNTARIO RESEÑAS BIBLIOGRÁFICAS 252

4 Instruments para la evaluación de ls prgramas de prevención 4 1. INTRODUCCIÓN: LA RELEVANCIA DE LA EVALUACIÓN DE LAS INTERVENCIONES PREVENTIVAS EN DROGODEPENDENCIAS Pr qué evaluar ls prgramas de prevención? La evaluación ha sid señalada cm el mtr de la ciencia (BORDENS, K. S. y ABBOTT, B.B. 1999) y cnstituye una herramienta esencial para la prmción de intervencines preventivas basadas en evidencias. Entre ls cmpnentes básics de ls prgramas de prevención basads en evidencias se incluyen (VILLALBÍ, J.R. 2001): Su fundamentación en un mdel teóric cherente y sólid. Cntar cn unas intervencines prtclizadas, definidas y repetibles, que hagan psible su estandarización. Dispner de una eficacia cncida y relevante (evidencia empírica de su efectividad), dad que demstrar la utilidad de las actuacines realizadas es un requisit básic para que puedan ampliarse y extenderse. Pr tant, cntar cn una evaluación integrada dentr de la preventiva es un element esencial para cualquier prgrama de calidad. A este respect, cnviene recrdar que la evaluación es una fase central de la planificación, que cntribuye a la actualización y mejra permanente de las intervencines a desarrllar en el marc de un prgrama plan determinad. Aunque tradicinalmente la evaluación se ascia cn la verificación de ls resultads btenids cn una determinada, la misma cumple funcines que trascienden dich ámbit, ayudand a establecer la naturaleza y extensión de ls prblemas a ls que deben hacer frente ls prgramas de prevención y a la identificación de la pblación diana de ls misms (evaluación de la planificación), a cmprbar si ls prgramas se implementan en la práctica tal y cm fuern diseñads (evaluación de prcess) y si las intervencines están cubriend ls bjetivs prevists y sn n eficaces (evaluación de resultads) En el ámbit de la prevención la evaluación permite cmprbar la efectividad de ls prgramas en ls grups destinataris y el grad de cumplimient de ls bjetivs prpuests (verificar si nuestras intervencines sn n eficaces), cn la finalidad de que el equip respnsable del prgrama intrduzca ls cambis prtuns para mejrar su efectividad a la vista de ls dats aprtads pr la evaluación. El establecimient de sistemas de evaluación en el ámbit de la prevención de las drgdependencias hace psible la tma de decisines sbre las intervencines a desarrllar basadas en evidencias. Pr ell la evaluación cumple en el camp de la prevención imprtantes bjetivs, entre ls que destacan (ALVIRA, F. 2002):

5 Instruments para la evaluación de ls prgramas de prevención 5 a) La selección previa de la estrategia preventiva más adecuada para hacer frente al prblema sbre el que se desea intervenir. b) La mejra de la calidad y el diseñ de ls prgramas de prevención. c) Facilita la aplicación del prgrama, permitiend que el mism llegue a la pblación destinataria y haciend que incrpre las actividades necesarias. d) Ayuda a decidir si la estrategia de prevención inicialmente seleccinada funcina n, si l hace de la manera más eficiente psible. En el ámbit específic de la evaluación de prcess y de resultads la evaluación debe ser capaz de cntestar las siguientes preguntas (NIDA, 2004): Cóm se llevó a cab el prgrama? Se realizó el prgrama según se planeó? Cuánt del prgrama recibiern ls participantes? Qué se lgró cn el prgrama? Hay alguna cnexión entre la cantidad del prgrama recibid (la intensidad de la ) y ls resultads? Lgró el prgrama l esperad en el crt plaz? Prduj el prgrama ls efects deseads a larg plaz? En suma, la evaluación permite cncer ls resultads btenids cn la aplicación de ls prgramas para mejrarls, cesar su aplicación. De ahí que para diseñar y/ rerientar ls prgramas preventivs resulte esencial cncer las evidencias aprtadas pr las investigacines dirigidas a la identificación de ls factres asciads al cnsum de drgas y a la evaluación de la efectividad de ls prgramas preventivs. Per además de las raznes expuestas, que justifican la necesidad de la evaluación de ls prgramas de prevención en aras a mejrar su eficacia (cm element refrzadr de la calidad de las intervencines preventivas), existen raznes de tip estratégic que acnsejan la práctica sistemática de la evaluación en el cntext de ls prgramas de prevención, y que se relacinan cn la necesidad de mejrar sus prcedimients técnics y su sprte científic. La tdavía breve histria de la prevención en drgdependencias hace que su bagaje científic-investigadr sea tdavía limitad, mtiv pr el cual resulta necesari intrducir la evaluación cm métd de trabaj, nrmalizand su us en tdas y cada una de las actuacines preventivas implementadas. Ell debe hacer psible la inclusión de la prevención en el ámbit de las disciplinas que pueden ser medidas y verificadas, además de prducir un cambi cultural entre el cnjunt de las institucines y ls prfesinales que trabajan en el camp de las drgdependencias, que marque el pas de la imprvisación y la experimentación descntrlada a una fase más cnsciente y cncreta. Ell ayudará sin duda a valrar el nivel de eficacia y de eficiencia de ls prgramas y a incrprar prcess cada vez más rigurss desde el punt de vista científic en el ámbit de la prevención (TINARELLI, A. et al., 2000).

6 Instruments para la evaluación de ls prgramas de prevención 6 En esta línea vienen trabajand desde hace añs distintas rganizacines internacinales, cm el NIDA el Observatri Eurpe de las Drgas y las Txicmanías. Esta última institución ha prmvid diversas actuacines para prpiciar la aplicación de métds de evaluación científics en el camp de la prevención del cnsum de drgas, a fin de mejrar la calidad de las intervencines en este ámbit. Entre las actuacines realizadas destacan pr su relevancia la elabración de una Guía para la evaluación de las intervencines preventivas en el ámbit de las drgdependencias (KRÖGER, C. et al, 1998), la creación de un banc de dats sbre intervencines preventivas desarrllas en Eurpa, denminad Intercambi sbre Accines de Reducción de la Demanda de Drgas (EDDRA) y del Banc de Instruments para la evaluación de intervencines preventivas (BIP). A pesar de la indiscutible relevancia que la evaluación tiene en el cntext de ls prgramas de prevención, existen una serie de factres que dificultan frenan su realización. Ests factres sn de muy diversa índle, destacand entre trs: La ausencia de tradición de una cultura evaluativ en algunas institucines prfesinales, que n incrpran la evaluación cm una actuación rutinaria. La ausencia de recurss humans, técnics financiers para llevar a cab la evaluación. El temr de muchs prfesinales al us que pueda darse a ls resultads de la evaluación pr parte de las institucines. Una lectura inadecuada de ls resultads de la efectividad de un prgrama puede cmprmeter la cntinuidad de la acción preventiva, en lugar de cntribuir a su perfeccinamient rerientación. Las dificultades técnicas que supne el diseñ de las evaluacines destinadas a aislar el impact de ls prgramas en determinadas dimensines áreas (cmpetencias persnales y sciales, etc.) que requieren de instruments sfisticads y la neutralización de variables externas, prcess que escapan al cntrl de numerss prfesinales. La falta de frmación cualificación suficiente de alguns prfesinales para participar en el diseñ y/ ejecución de ls prcedimients de evaluación que sería precis acmeter para cncer la efectividad y el impact de ls prgramas preventivs. Cn frecuencia la evaluación preventiva exige cncimients de tip psicmétrics, para la selección e interpretación de ls instruments a utilizar en la recgida de infrmación, y estadístics, para la cdificación y análisis de ls misms. De tdas las raznes expuestas es la inseguridad cn la que alguns prfesinales abrdan la evaluación de su trabaj la que sin duda más limitacines supne en el necesari prces de acumulación de evidencias en trn a ls prgramas de prevención. Pr ell el bjetiv básic del presente dcument n es tr que el de facilitar al máxim la evaluación del cnjunt de prgramas que se incluyen en la Cartera de Servicis en materia de prevención, cuy impuls y crdinación viene siend asumid pr el Servici de Drgdependencias y Trastrns Adictivs.

7 Instruments para la evaluación de ls prgramas de prevención 7 Para ell se han seleccinad una serie de instruments de referencia cn ls cuales cubrir el prces de recgida de la infrmación necesaria para cmpletar la evaluación del prces y ls resultads, adaptads a la metdlgía, bjetivs y cntenids de cada prgrama. Una labr que se cmplementa cn la incrpración de una serie de instruccines que permitan cmprender e interpretar sus resultads. Es precis recrdar que la efectividad de ls prgramas de prevención viene determinada, además de pr factres relacinads cn el diseñ y ls cntenids de ls misms (elección de un mdel teóric adecuad que aprte evidencias suficientes que avalen la capacidad de las estrategias y cntenids seleccinads para reducir la vulnerabilidad de la pblación frente a las drgas, intensidad de las intervencines, etc.), pr la prpia capacidad de ls prgramas para medir el impact que prvcan sbre la pblación diana. La elección de uns indicadres de evaluación y de uns instruments para la recgida de infrmación adecuads resulta esencial a la hra de enjuiciar ls resultads btenids pr un determinad prgrama. La selección de uns instruments adecuads para medir ls cambis inducids pr la es pr tant un element crític en el diseñ de la evaluación de resultads. Ls instruments a utilizar deben ser sensibles (capaces de detectar tdas las variacines atribuibles al prgrama), fiables, válids y cntar cn uns cntenids adaptads al prgrama bjet de evaluación, aprtand infrmación sbre las distintas dimensines en las que pretende incidir a través de la. En cnsecuencia, la selección de ls instruments de evaluación que se incrpran a cada un de ls prgramas que incluye la Cartera de Servicis ha estad determinada pr ds criteris: la sencillez y validez de ls instruments, prcurand el us de herramientas estandarizadas, y la cmpletitud de ls ámbits de análisis. Siempre que existen dispnibles instruments de evaluación (escalas, cuestinaris, etc.) cn ls que están ya familiarizads ls técnics de prevención, que sn de us general entre ls prfesinales del sectr, se ha ptad pr su inclusión, cn frecuencia declinand el us de instruments más cmplejs, específics cn mayr ptencia descriptiva. Esta decisión se ha adptad partiend de la base de que la evaluación es una tarea añadida para uns prfesinales cn una imprtante carga de trabaj, l que bliga a un ejercici de pragmatism institucinal, que asegure la recpilación del mayr vlumen de infrmación estandarizada, para permitir su cmparación y expltación general. Pr esta razón, y atendiend al hech de que la primera cndición que debe reunir la evaluación es que la misma sea factible viable, en casines se ha renunciad a diseñs evaluativs más ambiciss, que sin duda pdrán ser acmetids a medi plaz, cuand el us de ls actuales instruments se haya generalizad. El recurs a instruments de us cmún entre tras institucines y prfesinales tiene cm ventaja añadida el que, en su mayría, han sid previamente validads entre las pblacines destinatarias de las intervencines preventivas.

8 Instruments para la evaluación de ls prgramas de prevención 8 Cn el segund de ls criteris de selección se ha prcurad realizar un esfuerz de cherencia interna para evaluar tdas aquellas dimensines sbre las que incide cada prgrama. Ante la disyuntiva de centrar la evaluación de resultads en las variables directas que persigue mdificar un prgrama determinad (pr ejempl, el nivel de experimentación cn una sustancia cncreta), ampliar la evaluación a las variables mediadras, se ha ptad pr incrprar instruments que permitan medir ls cambis en tdas las dimensines/variables sbre las que inciden ls prgramas. Ell a sabiendas que n siempre resulta sencill aislar medir el impact que las actuacines preventivas tienen en ciertas variables mediadras (habilidades de resistencia, autestima, etc.). La presente prpuesta de instruments pretende satisfacer las necesidades que, en el terren de la evaluación de ls prgramas de prevención, presentan de frma ctidiana ls técnics de prevención y de ls servicis centrales de la Cnsellería de Sanidade encargads de su prmción, seguimient y crdinación. La rientación eminentemente práctica de ls instruments que se relacinan a cntinuación resulta cmpatible cn la realización de investigacines de carácter cuasi-experimental, rientadas específicamente a verificar el impact de las estrategias preventivas que se vienen ensayand en ámbits claves cm el esclar el familiar. El diseñ y ejecución de estas investigacines de tip evaluativ crrespndería a ls servicis centrales de la Cnsellería de Sanidade y debería incluir, de frma periódica, la evaluación exhaustiva de al mens ls principales prgramas incluids en la Cartera de Servicis de. A md meramente rientativ se prpne el siguiente calendari: Prgramas Prgrama de prevención del cnsum de drgas en el ámbit educativ Cinensin. Prgrama universal de prevención esclar N pasa nada, pasa alg? Prgrama selectiv de prevención esclar Más que un tech. Prgrama universal de prevención familiar Entre tds. Prgrama indicad de prevención familiar Prpuesta de calendari de las investigacines para la evaluación de su efectividad e impact Frecuencia investigación: cuatrienal Añ de realización 1ª investigación: 2010 Frecuencia investigación: cuatrienal Añ de realización 1ª investigación: 2010 Frecuencia investigación: cuatrienal Añ de realización 1ª investigación: 2010 Frecuencia investigación: cuatrienal Añ de realización 1ª investigación: 2011 Frecuencia investigación: cuatrienal Añ de realización 1ª investigación: 2011

9 Instruments para la evaluación de ls prgramas de prevención 9 2. A MODO DE RECORDATORIO: SIGNIFICADO Y CONTENIDOS DE LA EVALUACIÓN DE PROCESOS Y RESULTADOS 2.1. Qué es la evaluación? Existen múltiples definicines de la evaluación de prgramas, cada una de las cuales enfatiza en mayr menr medida la finalidad que persigue, sus cntenids y la sistemática de su ejecución: La evaluación de una, un pryect un prgrama supne la recgida, análisis e interpretación sistemática de la infrmación relativa a su funcinamient y a sus psibles efects. Ls dats recgids suelen utilizarse para decidir cóm mejrar la y si debe ampliarse abandnarse (KRÖGER, C. et al, 1998). La evaluación es en l esencial un juici de valr respect de diverss aspects que afectan al desarrll de una actividad de un prgrama, que debe servirns para intrducir mdificacines que ayuden a perfeccinar prgramacines futuras. La evaluación, pr tant, debe ser cnsiderada cm una herramienta destinada al cntrl de la realidad generada cn la, estand estrechamente vinculada a la planificación, puest que le sirve de base (evaluación de necesidades) y de instrument de permanente actualización prgres" (SÁNCHEZ, L. 1994). Un prcedimient racinal y empíric de análisis y enjuiciamient de ls misms, ya sea de su prces de aplicación, de sus recurss, de sus resultads. Este prcedimient queda definid pr la lógica de planificación/ejecución en que se inscribe el análisis de prgramas cncrets que se aplican y pr su intencinalidad práctica para la tma de decisines. Para ell, la evaluación de prgramas utiliza el cnjunt de métds científics que garantizan el rigr de prcedimients de recgida de dats y su psterir análisis (SILVA, A. 1994). Prcedimient cnjunt de prcedimients que permiten estimar el valr de un prgrama,, acción plítica. Prces que intenta determinar de frma sistemática y bjetiva la relevancia, eficacia, efectividad impact de determinadas actividades a la luz de sus bjetivs (ALONSO, C. et al 2004).

10 Instruments para la evaluación de ls prgramas de prevención Las mdalidades de evaluación de prgramas Existen diferentes tiplgías de evaluación, en función del criteri utilizad para su clasificación (prcedencia de ls evaluadres, destinataris de la evaluación, mment de realización, cntenids, etc.). En base a su cntenid es psible distinguir ls siguientes tips de evaluación (ALVIRA, F, 1991 y SÁNCHEZ, L. 1994): Evaluación de necesidades. Integra el cnjunt de actividades dirigidas a cncer la naturaleza y extensión de ls prblemas en una cmunidad clectiv determinads y a establecer las priridades existentes, cn la intención de respnder de manera adecuada a ls misms. Sus hallazgs pueden ser utilizads para implantar prgramas, establecer plíticas tmar decisines de tip presupuestari. Es esencial en la planificación de la acción preventiva, al facilitar el prces de tma de decisines respect a ls recurss a mvilizar para superar ls prblemas y necesidades existentes. Evaluación del diseñ y/ la cnceptualización del prgrama. Pretende señalar, mediante un análisis lógic, la existencia de prblemas cnceptuales en el prgrama en relación cn el prblema que se quiere slucinar. Evaluación de la implementación prces. Cnsiste en analizar si las actuacines diseñadas han funcinad en la práctica tal cm habían sid previstas si, pr el cntrari, se han prducid divergencias entre el diseñ y l realizad. Su bjetiv es cncer la instrumentalización del prgrama. Evaluación de la cbertura. Analiza si el prgrama está incidiend llegand a la pblación bjet de (pblación diana), si pr el cntrari se prducen sesgs en la cbertura. Evaluación de resultads. Supne dar a respuesta a una dble pregunta: se están cnsiguiend ls resultads prevists?, ls resultads btenids pueden ser atribuids cn un grad de certidumbre raznable a la realización de las actividades previstas en el prgrama? La evaluación de resultads se rienta a verificar la existencia de una relación inequívca entre las actuacines que integran ls prgramas y ls resultads btenids. Evaluación del impact. Establece ls efects prducids pr la, y n slamente ls cambis btenids en relación a ls bjetivs prpuests cm hace la evaluación de resultads, de la que difiere tant en sus cntenids cm, cn frecuencia, en la pblación a la que se le aplica Si la evaluación de resultads mide las mdificacines inmediatas que un prgrama intrduce en la pblación destinataria del mism, la evaluación del impact analiza ls efects acumulads del prgrama en tras pblacines en el medi y larg plaz. Evaluación ecnómica (relación cste beneficis). Analiza la rentabilidad del cnjunt de actividades que integran un prgrama. Para que sea viable es precis cuantificar tds ls cstes que casina las ejecución del prgramas, para pder cnfrntar ests cn ls beneficis btenids.

11 Instruments para la evaluación de ls prgramas de prevención 11 Cn la finalidad de simplificar y armnizar ls prcess de evaluación de ls prgramas de prevención, el Observatri Eurpe de las Drgas y las Txicmanías prpus la siguiente tiplgía de evaluación, en función del mment de su realización: Evaluación de la planificación del prgrama (previa a la aplicación del prgrama). Evaluación del prces (durante la aplicación del prgrama). Evaluación de ls resultads (tras la ejecución del prgrama). En la evaluación de la planificación, se establece el prblema que hay que atender mediante el prgrama a desarrllar, valrand su magnitud, y se pryecta y diseña la preventiva. Este tip de evaluación, que incrpra ls cntenids de la evaluación de necesidades y del diseñ, anterirmente descrits, incluye: La definición del prblema/fenómen que se quiere abrdar. La necesidad de preventiva. El grup bjetiv pblación diana. Ls bjetivs perseguids cn la. Las estrategias y métds a utilizar (cóm se llevará a cab la ). Ls recurss dispnibles a utilizar en la. La planificación del md en que se llevarán a cab las evaluacines de prcess y resultads, anticipand ls prcedimients e indicadres a utilizar. La evaluación del prces describe cóm se ha desarrllad el prgrama y si se ha seguid el Plan de implementación previst. Determina el grad de fidelidad de ls prcedimients seguids en la ejecución del prgrama cn respect a l planificad, permitiend btener una idea clara de l que ha currid realmente durante la. La evaluación del prces incluye: Verificar si tdas las intervencines preventivas prgramadas tuviern n lugar. Describir cóm se llevarn a cab las intervencines y si su diseñ funcinó n (detallar qué se ha hech, cn qué frecuencia e intensidad y pr qué se adptarn determinadas decisines cambis durante la implementación del prgrama). Cmprbar a quién alcanzó la (las características de ls participantes y su nivel de participación) y si la misma ha llegad al grup bjetiv previst. Valrar la calidad de la en base a las reaccines y actitudes del grup bjetiv (satisfacción de ls participantes y de ls prfesinales encargads de su ejecución, etc.). Analizar ls resultads aprtads pr la evaluación del prces, cmparand ls misms cn la planificación teórica y bservand ls punts de cnvergencia y divergencia existentes para intrducir mejras en futuras intervencines. La evaluación de resultads tiene pr bjetiv valrar ls efects de una, estableciend si tras la aplicación del prgrama se han alcanzad ls bjetivs esperads, fijads al inici del prces de planificación.

12 Instruments para la evaluación de ls prgramas de prevención 12 Habiend previst en la fase de evaluación de la planificación cóm medir ls resultads del prgrama, se aplicarán las estrategias planificadas, valrand si se han cnseguid ls bjetivs perseguids y mediante qué fuentes se ha btenid esta infrmación. La evaluación de ls resultads permite establecer las cnclusines respect de la y las psibles mejras futuras. La evaluación de resultads incluye: La descripción del prcedimient previst para medir el grad de cumplimient de ls resultads del prgrama. La descripción de cóm se ha realizad en la práctica la evaluación. La identificación de las fuentes y ls prcedimients a través de las cuales se ha btenid la infrmación sbre ls resultads. La descripción de ls efects de la sbre el grup bjetiv (tant en las cnductas relacinadas cn el cnsum de drgas cm sbre determinadas variables mediadras). Ls diferentes efects que la pueda tener entre ls integrantes del grup bjetiv, en función de variables cm la edad, el sex, etc. La redacción de un infrme de resultads dnde se detallen las principales cnclusines aprtadas pr la evaluación, pniéndlas en relación cn ls resultads de tras evaluacines Qué sn ls indicadres de prces y resultads? Ls indicadres de prces y de resultads pueden ser definids del siguiente md (XUNTA DE GALICIA, 2008): Un indicadr de prces es tda medida simple (unidimensinal) que puede ser utilizada de frma directa para representar y medir si el prgrama se ha realizad de acuerd al Plan de implementación previst, si se ha mdificad. Se aplica a tda variable susceptible de ser medida directamente (númers absluts, prcentajes tasas), que refleja la realización de las actividades de acuerd al frmat previst. Un indicadr de resultads es tda medida simple que puede ser utilizada de frma directa para medir el cambi experimentad en un fenómen, inicialmente descrit, tras la aplicación de un prgrama. Se aplica a tda variable susceptible de ser medida directamente, que refleja el cambi entre la situación que inicialmente define a la pblación destinataria de un prgrama y la situación que la define tras la aplicación del mism. Ests indicadres pueden centrarse en cmparar ls cambis bservables en el grad, la intensidad la frecuencia de us de una drga en tras variables relevantes para la prevención cm, pr ejempl, las mdificacines bservables en ls factres de riesg prtección identificads al inici del prgrama.

13 Instruments para la evaluación de ls prgramas de prevención RELACION DE INSTRUMENTOS DE APLICACIÓN PARA LA EVALUACIÓN DE LOS PROGRAMAS DE LA CARTERA DE SERVICIOS 3.1. Prgrama de (universal) del Cnsum de Drgas en el Ámbit Educativ (PPCDE). EVALUACIÓN DEL PROCESO Metdlgía para la implementación del Prgrama Ls equips de sn ls encargads de presentar el prgrama y sus materiales a ls centrs educativs que están dentr de su ámbit gegráfic. Una vez realizada la presentación cada centr decide vluntariamente si se adhiere al prgrama. En cas de que un centr decida implementar el prgrama se prcede a cnstituir una estructura de cmunicación y crdinación entre el centr educativ y la estructura técnica del Prgrama para cnseguir que ls cntenids y materiales del PPCDE se integren en el Pryect Educativ del Centr, de md que queden incrprads en la prgramación curricular. El prfesrad del centr educativ es el encargad de aplicar el prgrama en el aula. A ls prfesres interesads en implementar el prgrama se les ferta la pción de incrprarse a un curs de frmación para dtarles de ls cncimients y herramientas necesaris para asegurar la crrecta implementación del prgrama y la utilización de ls materiales de apy al mism. Asimism, el prfesrad y ls centrs educativs cuentan cn la clabración de ls técnics de prevención, a fin de que les prveerles del material del prgrama, apyar su aplicación y realizan el seguimient el mism. La cmunicación entre el prfesr y el técnic de prevención es fundamental para cnseguir la adecuada implantación del prgrama. La duración del Prgrama es variable, siend cada centr esclar prfesr quien decide sbre la utilización del prgrama y su duración, en función de sus necesidades cncretas. N bstante, se cnsidera necesari dedicarle un mínim de entre 10 y 20 hras cada curs, para que el prgrama sea mínimamente eficaz. El PPCDE n plantea un prcedimient estandarizad y estructurad de aplicación de las sesines que l integran. Para asegurar una buena implantación del prgrama, deben tenerse en cuenta ls siguientes elements de apy: Actividades de apy a la implementación del prgrama Frmación del prfesrad. Implantación prgresiva del material en el prgrama educativ del centr. Infrmación, sensibilización y frmación de AMPA. Seminaris permanentes de frmación. Crdinación permanente entre dcentes y técnics de prevención.

14 Instruments para la evaluación de ls prgramas de prevención Indicadres seleccinads para la evaluación del prces Indicadres de cbertura Tasa de cbertura del prgrama entre ls centrs de Educación Infantil: cciente entre el númer de centrs de Infantil que han implementad el prgrama en un ámbit gegráfic determinad (municipi, prvincia, cmunidad autónma) sbre el ttal de centrs de Educación Infantil. Tasa de cbertura del prgrama entre ls centrs de Educación Primaria. Tasa de cbertura del prgrama entre ls centrs de Educación Secundaria. Tasa de cbertura del prgrama entre ls centrs de Educación Pst- Obligatria. Tasa glbal de cbertura del prgrama sbre ls centrs que imparten Educación Infantil, Primaria, Secundaria Educación Pst-Obligatria. Númer de aulas de Educación Infantil, Primaria, Secundaria Pst- Obligatria dnde se ha implementad el prgrama sbre el ttal de aulas existentes en ls respectivs niveles educativs. Númer de prfesres de Educación Infantil, Primaria, Secundaria y Pst- Obligatria que desarrllan el prgrama en su aula sbre el ttal de dcentes existentes en ls respectivs niveles educativs. Númer de alumns de Educación Infantil, Primaria, Secundaria y Pst- Obligatria beneficiaris directs del prgrama sbre el ttal de alumns existentes en ls respectivs niveles educativs. Madres y padres de alumns de Educación Infantil, Primaria, Secundaria y Pst-Obligatria participantes en el Prgrama sbre madres y padres de alumns existentes en ls respectivs niveles educativs. Indicadres de actividades realizadas a) Actividades de prmción, crdinación y seguimient del prgrama Númer de centrs esclares a ls que ls técnics de prevención han presentad el Prgrama. Númer de centrs esclares (nuevs) que aceptan la implementación del prgrama. Númer de reunines mantenidas pr ls técnics de cn las direccines de ls centrs educativs, miembrs del Cnsej Esclar, AMPAs y prfesres para la implementación y seguimient del prgrama. b) Actividades de frmación Númer de curss sbre prevención en drgdependencias para dcentes realizads pr el CEFORE u hmlgads pr la Cnsellería de Educación. Númer de prfesres participantes según nivel educativ. Númer de seminaris permanentes de frmación para dcentes realizads. Númer y prcedencia de ls participantes en ls seminaris de frmación permanente. Númer actividades de infrmación, sensibilización y frmación realizadas para integrantes de las AMPAs.

15 Instruments para la evaluación de ls prgramas de prevención 15 Númer de miembrs de AMPAs participantes en actividades de infrmación, sensibilización y frmación y características scidemgráficas de ls misms. c) Difusión de materiales Númer de Guías para el centr, Guías para el prfesr y Cuaderns de trabaj para ls alumns (de Educación Infantil, Educación Primaria, Educación Secundaria y Educación Pst-Obligatria) distribuidas. d) Ajuste/fidelidad de las actividades a ls cntenids prevists en el prgrama Númer de sesines/móduls desarrllads en el aula pr ls prfesres y duración de las mismas. Grad de ajuste en la ejecución del prgrama a las previsines del mism. Implicación de ls participantes. Númer y tip de incidencias n previstas. e) Calidad de las intervencines Valración de las actividades pr parte de ls prfesres. Valración del prgrama pr ls alumns. Valración del prgrama pr las madres y padres de alumns.

16 Instruments para la evaluación de ls prgramas de prevención Frecuencia de recgida de ls indicadres de prces INDICADOR FRECUENCIA RESPONSABLE DE REGISTRO INDICADORES DE COBERTURA Tasa de cbertura del prgrama entre ls centrs de Educación Infantil. Anual Servici DD y trs T. Adictivs Tasa de cbertura del prgrama entre ls Anual Servici DD centrs de Educación Primaria. Tasa de cbertura del prgrama entre ls Anual Servici DD centrs de Educación Secundaria. Tasa de cbertura del prgrama entre ls Anual Servici DD centrs de Educación Pst-Obligatria. Ttal glbal de cbertura del prgrama sbre Anual Servici DD ls centrs que imparten Educación Infantil, Primaria, Secundaria Pst-Obligatria.. Nº de aulas de Educación Infantil, Primaria, Anual Servici DD Secundaria y Pst-Obligatria dnde se ha implementad el prgrama sbre el ttal de aulas de ls respectivs niveles educativs. Nº de prfesres de Educación Infantil, Primaria, Anual Servici DD Secundaria y Pst-Obligatria que desarrllan el prgrama en su aula sbre el ttal de dcentes existentes en ls respectivs niveles educativs. Nº de alumns de Educación Infantil, Primaria, Anual Servici DD Secundaria y Pst-Obligatria beneficiaris directs del prgrama sbre el ttal de alumns existentes en ls respectivs niveles educativs. Nº de madres/padres de alumns de Educación Anual Servici DD Infantil, Primaria, Secundaria y Pst-Obligatria participantes en el Prgrama sbre madres y padres de alumns existentes en ls respectivs niveles educativs. INDICADORES DE ACTIVIDADES DE PROMOCIÓN, COORDINACIÓN Y SEGUIMIENTO Centrs esclares a ls que ls técnics de prevención han presentad el Prgrama. Anual Técnic Nº de centrs esclares (nuevs) que aceptan la implementación del prgrama. Anual Técnic Nº reunines cn directres/as, miembrs del Después de Técnic Cnsej Esclar, AMPAs y prfesres para la cada reunión implementación y seguimient del prgrama. INDICADORES DE ACTIVIDADES DE FORMACIÓN Númer de curss para dcentes realizads Anual Cnsellería de Educación Númer de prfesres participantes según nivel educativ y área de prcedencia. Anual Cnsellería de Educación Númer de seminaris permanentes de Anual Cnsellería de frmación para dcentes realizads. Educación Númer y prcedencia de ls participantes en ls seminaris de frmación permanente. Anual Cnsellería de Educación Nº actividades de infrmación, sensibilización y frmación realizadas para miembrs de AMPAs. Anual Técnic Nº de miembrs de AMPAs participantes en actividades infrmación, sensibilización y frmación. Anual Técnic

17 Instruments para la evaluación de ls prgramas de prevención 17 INDICADOR FRECUENCIA RESPONSABLE DE REGISTRO INDICADORES DE ACTIVIDADES DE DIFUSIÓN DE MATERIALES Númer de Guías para el centr, Guías para el Anual Servici DD prfesr y Cuaderns de trabaj para ls alumns (de Educación Infantil, Educación Primaria, Educación Secundaria y Educación Pstbligatria) distribuidas. INDICADORES DE AJUSTE DE LAS ACTIVIDADES REALIZADAS A LO PLANIFICADO Númer de sesines/móduls desarrllads en Después de Prfesres el aula pr ls prfesres y duración. cada sesión Grad de ajuste en la ejecución del prgrama Anual Prfesres a las previsines del mism. Implicación de ls participantes. Anual Prfesres/ Técnics Númer y tip de incidencias n previstas. Anual Técnic INDICADORES DE LA CALIDAD DE LAS INTERVENCIONES Valración de las actividades pr parte de ls A cnclusión Prfesres prfesres. de la actividad Valración del prgrama pr ls alumns. A cnclusión de la actividad Alumns Valración del prgrama pr las madres y padres de alumns. A cnclusión de la actividad Instruments a utilizar para la evaluación del prces a) Para la evaluación de la cbertura Madres y padres Estadística de las Enseñanzas n Universitarias: aprta dats sbre el númer de centrs y aulas existentes en cada nivel educativ, además de ls alumns matriculads. Esta infrmación, desagregada pr municipis, está dispnible en el prtal educativ de la Xunta de Galicia ( Ests misms dats, agregads para Galicia, están accesibles en la Web del Mº de Educación, Plítica Scial y Deprte ( Dats estadístics del Padrón Municipal de Habitantes sbre hgares cn pblación ptencialmente beneficiaria de ls prgramas. Listad de centrs, aulas, prfesres y alumns dnde se desarrlla el Prgrama en cada curs académic (cn referencia a su antigüedad). b) Para la evaluación del prces y la valración del prgrama Hja de registr sistemátic de actividades realizadas (Anex 4.1). Escala de valración del prces para prfesres (Anex 4.2). Escala de valración del prces (Fidelidad al Plan) para técnics de prevención (Anex 4.3). Escala de satisfacción cn el prgrama para alumns (Anex 4.4.). Escala de satisfacción cn el prgrama para madres/padres (Anex 4.5).

18 Instruments para la evaluación de ls prgramas de prevención 18 EVALUACIÓN DE RESULTADOS Objetivs y cmpnentes del prgrama Ls bjetivs asignads al Prgrama sn: Mdificar las creencias y actitudes de ls esclares sbre las drgas (incrementand el riesg percibid, reduciend las actitudes favrables al cnsum y la permisividad ante el mism y mdificand ls mits existentes acerca de las distintas drgas). Reducir las intencines futuras de cnsum. Mdificar ls hábits de cnsum, reduciend la prevalencia, frecuencia y cantidades cnsumidas de las diferentes drgas. Ls cmpnentes que incrpra el Prgrama sn: Infrmación sbre el alchl el tabac y tras drgas. Desarrll de la autestima. Habilidades sciales y de resistencia. Fment de valres saludables. Tma de decisines. Cntrl emcinal. Fment de actividades de ci saludables Indicadres para la evaluación de resultads Nivel de riesg atribuid pr ls alumns al cnsum de tabac, alchl y drgas ilícitas. Cnsecuencias esperadas expectativas sbre ls efects de las drgas. Actitudes ante el cnsum de tabac, alchl y drgas ilícitas de ls participantes en el prgrama. Nivel de aceptabilidad del cnsum de tabac, alchl y drgas ilícitas. Nivel de cncimient sbre las drgas y las cnsecuencias y riesgs de su cnsum. Intencines futuras de cnsum de tabac, alchl y drgas ilícitas. Hábits de cnsum de drgas: niveles de experimentación cn las diferentes sustancias, frecuencia de us en ls últims 30 días y cantidades cnsumidas en dich períd. Niveles de autestima de ls participantes en el prgrama. Niveles de cntrl emcinal de ls participantes en el prgrama. Niveles de habilidades para la vida de ls participantes en el prgrama. Niveles de resistencia a la presión grupal. Niveles de adherencia a valres saludables de ls participantes en el prgrama. Nivel de habilidades para la tma de decisines de ls participantes en el prgrama. Hábits de cupación de ci de ls participantes en el prgrama.

19 Instruments para la evaluación de ls prgramas de prevención Frecuencia de recgida de ls indicadres de resultads INDICADOR Nivel de riesg atribuid al cnsum de tabac, alchl y drgas ilícitas. FRECUENCIA DE REGISTRO Previ y psterir a la Expectativas sbre ls efects de las drgas. Previ y psterir Actitudes ante el cnsum de tabac, alchl y drgas ilícitas. Nivel de aceptabilidad del cnsum de tabac, alchl y drgas ilícitas. Nivel de cncimient sbre las drgas y las cnsecuencias y riesgs de su cnsum. Intencines futuras de cnsum de tabac, alchl y drgas ilícitas. Hábits de cnsum de drgas: niveles de experimentación, frecuencia de us en últims 30 días y cantidades cnsumidas. Niveles de autestima de ls participantes en el prgrama. Previ y psterir a la Previ y psterir a la Previ y psterir a la Previ y psterir a la Previ y psterir a la Previ y psterir a la Niveles de cntrl emcinal. Previ y psterir a la Niveles de habilidades para la vida. Previ y psterir a la Niveles de habilidades de resistencia a la presión grupal. Previ y psterir a la Niveles de adherencia a valres saludables. Previ y psterir a la Nivel de habilidades para la tma de decisines. Previ y psterir a la Hábits de cupación de ci. Previ y psterir a la RESPONSABLE Técnic Técnic Técnic Técnic Técnic Técnic Técnic Técnic Técnic Técnic Técnic Técnic Técnic Técnic De frma cmplementaria a la evaluación de resultads que realicen ls diferentes prfesinales participantes en el desarrll y/ seguimient del Prgrama en sus respectivs ámbits gegráfics, cn carácter cuatrienal el Servici de Drgdependencias y Trastrns Adictivs prmverá la realización de un estudi de evaluación de resultads del prgrama. Dich estudi incluirá un diseñ cuasiexperimental, cn medicines pretest y pstest y grup de cntrl n equivalente.

20 Instruments para la evaluación de ls prgramas de prevención Instruments a utilizar para la evaluación de resultads El prgrama debe incluir una evaluación sistemática y estandarizada, cn medicines previas y psterires a la sbre las variables que pretende mdificar el prgrama (actitudes, creencias y hábits de cnsum), así cm sbre ciertas cmpetencias de tip persnal y scial entre ls participantes en el prgrama (autestima, cntrl e inteligencia emcinal, habilidades para la vida y de resistencia, tma de decisines) y ls hábits de ci. Para ell se aplicarán, cn carácter bligatri, ls siguientes instruments: Escala de Familiaridad y cncimient sbre drgas (Anex 4.6). Escala de Actitudes ante el cnsum de drgas (Anex 4.7). Escala de Percepción de riesgs asciads al cnsum (Anex 4.8). Escala de Intención de cnsum (Anex 4.9). Escala de Cnsum de drgas (Anex 4.10). Escala de Evaluación de resultads para prfesres (Anex 4.11). Escala de Evaluación de resultads para técnics de prevención (Anex 4.12). Aquells técnics de prevención que deseen prfundizar en la evaluación de resultads, y cm psibles ampliacines de la misma, pdrán utilizar cn carácter vluntari las siguientes escalas y cuestinaris incluids en el capítul 5 (Escalas y cuestinaris de us vluntari): Escala de Creencias sbre las cnsecuencias esperadas sbre ls efects de las drgas (Anex 5.1). Escala de Autestima (Anex 5.2). Escala de Habilidades para tmar decisines (Anex 5.3). Escala de Inteligencia emcinal y de Cntrl emcinal (Anex 5.4). Escala de Asertividad (Anex 5.5). Escala de resistencia a la presión scial para cnsumir drgas (Anex 5.6). Cuestinari de hábits de ci y tiemp libre (Anex 5.7). Escala de Empatía (Anex 5.8). Escala de Actitudes hacia las drgas legales (Anex 5.9). Escala de Actitudes hacia la salud (Anex 5.10).