Objetivos de aprendizaje Comprender los objetivos de la evaluación de la campaña en los medios masivos de comunicación Comprender el proceso para desarrollar la evaluación de la campaña antitabaco en los medios masivos de comunicación Evaluación de campañas antitabaco en los medios masivos de comunicación Marc Boulay, PhD Centro para los programas de comunicación Facultad de Salud Pública Bloomberg de la Universidad Johns Hopkins Comprender los enfoques básicos utilizados para evaluar los efectos de una campaña antitabaco en los medios masivos de comunicación 2 El papel de las campañas en los medios masivos de comunicación en el control del tabaco Las intervenciones integrales de control del tabaco a menudo incluyen campañas en los medios masivos de comunicación Evaluamos estas campañas para saber: Si el programa disuadió a las personas de comenzar a fumar y si alentó a quienes fuman de abandonar el hábito Estas intervenciones generalmente intentan disuadir a las personas de comenzar a fumar y alentar a quienes fuman a abandonar el hábito Los canales de los medios masivos de comunicación permiten transmitir mensajes antitabaco a una cantidad muy grande de personas De qué manera el programa afectó las decisiones relacionadas con el tabaquismo Qué se podría haber hecho para que la campaña fuera más efectiva Cuando estas campañas dan resultado, pueden reducir el tabaquismo a gran escala con un costo relativamente bajo 3 4 Pasos en el desarrollo de una evaluación Paso 1: Identificación del modelo conceptual 1. Identificar el modelo conceptual que se utiliza como guía del programa Todos los programas cuentan con una teoría subyacente que especifica el modo en el que el programa espera alcanzar sus objetivos 2. Definir los indicadores para medir los elementos en el modelo conceptual 3. Diseñar el estudio para medir y analizar estos indicadores Para los programas de comunicación, esta teoría generalmente describirá los factores psicosociales que: Influencian la conducta resultante (es decir, el tabaquismo) Se espera que estén influenciados por la exposición a los mensajes del programa 5 6 1
Un modelo conceptual ilustrativo Cómo identificar el modelo conceptual de la campaña Las investigaciones formativas (entre otras, las revisiones bibliográficas, los estudios cualitativos con grupos de audiencia y los análisis secundarios de datos existentes) deberían guiar el desarrollo de este modelo conceptual Reunirse con los creadores del programa y las partes interesadas para identificar el modelo conceptual Cuáles son los objetivos conductuales de la campaña? A qué factores psicosociales relacionados con el tabaquismo están dirigidos los mensajes de la campaña? A qué factores no están dirigidos los mensajes de la campaña? Cuál es el público y de qué forma se le están transmitiendo los mensajes (es decir, canal, tiempo, frecuencia, etc.)? Qué factores contextuales también pueden afectar al tabaquismo? 7 8 Beneficios de utilizar un modelo conceptual Paso 2: Definición de indicadores El modelo conceptual: Les permitirá saber lo que necesitan medir Ampliará el éxito del programa más allá del resultado final Mejorará la capacidad de atribuir efectos al programa Brindará una comprensión detallada de cómo funcionó o no funcionó el programa Es necesario contar con un indicador para cada elemento en el modelo conceptual Estos indicadores deben ser EMART Específicos Medibles Alcanzables Resultados como objetivo Tiempo limitado 9 10 Medición de la implementación de un programa Indicadores para medir la implementación de un programa Monitorear la implementación de un programa para garantizar que las actividades de la comunicación se llevan a cabo según lo planeado (evaluación del proceso) Por lo general, esto se lleva a cabo durante todo el período de implementación del programa Los indicadores para la implementación del programa a menudo se basan en datos existentes o de fácil acceso que permiten realizar evaluaciones frecuentes (es decir, mensuales o trimestrales) Ejemplo de indicadores para los resultados de un programa Cantidad de anuncios televisivos transmitidos en el último mes Cantidad de pósteres distribuidos en el último mes Si es posible, intenten identificar las fuentes de datos disponibles para monitorear el alcance del programa Introduzcan preguntas en encuestas existentes Lleven registros de la cantidad de llamadas telefónicas realizadas al número publicitado 11 12 2
Medición del efecto de un programa Medición de la exposición al programa Por lo general, las encuestas de audiencia se utilizan para medir los elementos restantes del modelo conceptual y evaluar los efectos del programa (evaluación sumativa) La exposición generalmente se mide pidiéndole a los encuestados que notifiquen si han escuchado o visto los materiales de la campaña en el período de implementación del proyecto La exposición a los mensajes del programa es la medida esencial para vincular los efectos observados en el tabaquismo con la campaña También puede ser útil medir la exposición a las publicidades a favor del tabaco como una variable contextual Los efectos de esta exposición se pueden clasificar como resultados intermedios o sinópticos: Los resultados intermedios son los efectos directos de la exposición sobre los conocimientos, las actitudes y las creencias que afectan a las decisiones relacionadas con el tabaquismo Los resultados sinópticos son los efectos indirectos de la exposición (a través de los efectos intermedios) sobre el tabaquismo en sí 13 14 Mediciones con o sin ayuda de la exposición del programa Las preguntas sin ayuda les piden a las personas recordar mensajes antitabaco sin brindarles información específica sobre la campaña Estas preguntas se consideran elementos de medición más fuertes que requieren que se involucren en mayor medida con el material de la campaña Puede ser que no identifique individuos con niveles bajos de exposición Las preguntas con ayuda les piden a las personas recordar publicidades de una campaña específica Estas preguntas se consideran elementos de medición más débiles que pueden estar sujetas a la parcialidad por cortesía Pueden ser más útiles para campañas con bajos niveles de implementación Preguntas con o sin ayuda de la exposición del programa Preguntas sin ayuda Han visto publicidades antitabaco en el último año? De ser así, por favor describan cuáles vieron Si pueden describir suficientemente la publicidad de la campaña, los individuos se identifican como expuestos a la campaña Preguntas con ayuda Han visto alguna publicidad antitabaco en el último año que haya tenido el lema X? 15 16 Indicadores para medir la exposición de un programa Medición de los efectos intermedios de una campaña El porcentaje de encuestados que recuerda cualquier publicidad de una campaña en un período determinado (utilizar el período de implementación) El porcentaje de encuestados que recuerda [ninguna/una pequeña cantidad/una gran cantidad] de publicidades de una campaña en un período determinado Para examinar la relación dosis-respuesta Los programas de comunicación afectan las conductas durante el proceso de toma de decisiones El modelo conceptual debe describir los factores psicosociales que afectan las decisiones relacionadas con el tabaquismo Consultar estudios anteriores para identificar enfoques existentes validados y utilizarlos para medir estos factores Garantizar que las preguntas coincidan con los mensajes de la campaña 17 18 3
Medición del tabaquismo Se han desarrollado varias preguntas para la medición del tabaquismo y del hecho de dejar de fumar Ha fumado en el último mes? Fumó al menos 100 cigarrillos en toda su vida? Fumó en el último año, pero no fumó en el último mes? Indicó que ha dejado de fumar en los últimos seis meses? Etc. Paso 3: Diseño de estudio El diseño de estudio estándar para evaluar publicidades antitabaco pretende responder tres preguntas principales: El tabaquismo y los factores relacionados con él, sufrieron cambios después de la implementación del programa? El tabaquismo y los factores relacionados con él, fueron asociados a la exposición al programa? Las respuestas de las preguntas uno y dos permanecen iguales cuando justificamos las explicaciones alternativas? La elección de la medición puede depender de los objetivos de la campaña Dejar de fumar o prevenir el tabaquismo Jóvenes o adultos 19 20 Cambio de la medición con el tiempo Comparación entre las encuestas de referencia y final Lleven a cabo una encuesta de referencia antes de iniciar la campaña y una encuesta final después de concluir la campaña En las dos encuestas Utilicen mediciones idénticas para los indicadores en el modelo conceptual para medir el cambio con el tiempo Utilicen estrategias de muestreo idénticas para descartar la posibilidad de que las diferencias de la muestra hayan causado el cambio Monitoreen los cambios en contexto (es decir, cambios en los precios, nuevos impuestos, etc.) 21 22 Exposición y resultados Distribución de individuos en grupos de exposición Los diseños experimentales que distribuyen de forma aleatoria individuos a grupos expuestos o no expuestos, generalmente no son factibles para programas de comunicación a gran escala Dos enfoques para distribuir a las personas en grupos de exposición: Enfoques casi experimentales que identifican los lugares en los que no se transmitieron las publicidades antitabaco Autodistribución basada en la exposición al programa que las mismas personas informan Seleccionen dos tipos de áreas para llevar a cabo encuestas de evaluación Áreas de intervención en las que se transmitieron las publicidades Áreas de comparación en las que no se transmitieron las publicidades Una mayor reducción del tabaquismo en las áreas de intervención con respecto a las áreas de comparación sugeriría un efecto del programa Eviten la parcialidad de la autoselección Pero, las áreas de comparación pueden diferir de las áreas de intervención en formas fundamentales 23 24 4
Comparación entre las áreas de intervención y las de comparación Autodistribución en grupos de exposición Realicen encuestas en el área de transmisión Utilicen las mediciones informadas por los mismos encuestados sobre su exposición Los niveles de tabaquismo más bajos entre los encuestados expuestos en comparación con los encuestados no expuestos sugerirían un efecto del programa Parcialidad posible: individuos ya motivados a dejar de fumar pueden mostrar una mayor tendencia a recordar publicidades Esto aumenta la importancia de comprender las diferencias subyacentes entre los grupos expuestos y los no expuestos 25 26 Comparación: Encuestados expuestos y no expuestos Análisis adicionales El análisis de los cambios con el tiempo y las asociaciones con exposición para el tabaquismo evaluará si el programa alcanzó su objetivo final Lleven a cabo análisis similares con resultados intermedios para identificar otras lecciones Los efectos sobre los resultados intermedios sugerirán de qué forma el programa ha afectado las decisiones relacionadas con el tabaquismo Los resultados intermedios que permanecen sin cambios sugerirán áreas para mejorar en los programas subsiguientes 27 28 Resumen Evalúen las campañas en los medios masivos de comunicación para evaluar su efectividad y desarrollar lecciones que aporten datos para los programas futuros Utilicen el modelo conceptual del programa para determinar los indicadores relevantes para medir la evaluación Identificar los efectos de la campaña mediante: La comparación entre las mediciones de referencia y las finales para evaluar el cambio con el tiempo La comparación entre grupos expuestos y no expuestos para vincular el cambio a la campaña 29 5