Agenda Big picture What it is Example Components How to Importance 2
Medición en las evaluaciones experimentales Cristián Larroulet Gerente de investigación, J-PAL LAC clarroulet@povertyactionlab.org 3
Objetivo Big picture What it is Example Components How to Importance Revisión del aspecto de medición que involucra la evaluación de impacto. Especialmente útil para quienes no hayan trabajado o no hayan tenido formación en medición. 4
Índice Global Big picture What it is 1. Contexto Example Components How to Importance 2. Diseño de la medición 3. 4. 5. Planificación del levantamiento 6. Monitoreo del levantamiento 7. Digitación 8. Documentación 9. Costos y presupuestos 5
1. Contexto: la necesidad de medir en torno a la evaluación
Contextualizar la necesidad de medir en torno a la evaluación
Contextualizar la necesidad de medir en torno a la evaluación Por qué medir en línea de base? Diagnóstico de la situación Revisar el balance entre los grupos T y C Reducir la varianza de la estimación de impacto. Permite estudiar efectos heterogéneos según características de línea de base
Contextualizar la necesidad de medir en torno a la evaluación Medición de procesos La evaluación de procesos apunta a dar luces sobre el cumplimiento de los distintos pasos de la teoría de cambio (fidelidad). Ahora bien, no necesariamente se restringe a evaluar la fidelidad de la intervención, también ofrece una instancia para investigar cualitativamente mecanismos y variables de resultados no previstos en la investigación.
Contextualizar la necesidad de medir en torno a la evaluación Mediciones de seguimiento (distintos plazos) Evaluar el impacto Se pueden pensar impactos En distintos plazos (corto, medio, largo) En distintos contextos (económico-laboral: bonanza económica, crisis económica).
Contextualizar la necesidad de medir en torno a la evaluación Datos administrativos? Son datos recolectados por los gobiernos u otras instituciones, como parte de sus procedimientos. Son altamente utilizados por temas de costos. Algunos pueden ser muy precisos Ej. consumo de electricidad medida por la compañía en vez de en una encuesta. Pero los datos levantados en encuestas no están exentos de errores de medición, tal como todas las mediciones. No siempre son pertinentes para el estudio en cuestión.
2. Diseño de la medición
Diseño de la medición Introducción a la calidad de la medición En los 40 y 50, en la literatura de metodología de encuestas (survey methodology) la pregunta por la calidad de la encuesta era la pregunta por el muestreo. Hoy en día: desarrollo de marco conceptual llamado Error Total de Encuestas (Total survey error).
Diseño de la medición Panorama general de la calidad Criterios de calidad Históricamente: la precisión, entendida ampliamente como la distancia entre el verdadero parámetro y la estimación. Hoy: nuevos actores => criterios más amplios. La calidad se puede definir simplemente como la idoneidad para su uso (fitness for use). En el contexto de una encuesta, esto se traduce al requerimiento de que los datos sean tan precisos como sea necesario para alcanzar la meta propuesta, estar disponible en el tiempo en que se necesita y ser accesible para quienes fue realizada. (Biemer & Lyberg 2003, p. 13)
Diseño de la medición Panorama general de la calidad Ahora revisaremos el proceso de medición completo, donde aparecerán los distintos aspectos de la calidad, y luego profundizaremos en algunos de esos aspectos. El ciclo completo de una medición puede ser visto desde distintas perspectivas. Revisaremos las perspectivas del proceso del diseño y de la calidad.
Diseño de la medición: proceso Perspectiva del proceso del diseño: Apunta a los pasos en el desarrollo de la medición. Fuente: CURSO: ENCUESTAS PARA LAS POLÍTICAS PÚBLICAS, APUNTE Nº1: Encuestas: Características Generales, Profesora: Sandra Quijada Javer.
Diseño de la medición: proceso 1. Definir el objetivo de la investigación. 2. Luego, comienza el trabajo de diseño de la medición: Éste se inicia con la especificación de la población relevante y de los conceptos o constructos. Fuente: CURSO: ENCUESTAS PARA LAS POLÍTICAS PÚBLICAS, APUNTE Nº1: Encuestas: Características Generales, Profesora: Sandra Quijada Javer. 3. Definir lo que tiene que ver con el modo en que se medirán los conceptos: Encuesta cara a cara, encuesta telefónica, cuestionario autoreportado, observación directa.
Diseño de la medición: proceso 4. Luego viene la traducción de los conceptos a variables medibles (operacionalización) y la definición del diseño muestral. 5. Por último, viene la recolección, procesamiento y análisis de los datos. Fuente: CURSO: ENCUESTAS PARA LAS POLÍTICAS PÚBLICAS, APUNTE Nº1: Encuestas: Características Generales, Profesora: Sandra Quijada Javer.
Diseño de la medición: calidad Perspectiva de la calidad: Apunta a una clasificación conceptual de errores que pueden aparecer en el proceso. Fuente: Groove et al 2004, mostrado en Casas Cordero 2004
Diseño de la medición: calidad Mediciones: De la respuesta editada a un concepto relevante para un entrevistado cualquiera. Fuente: Groove et al 2004, mostrado en Casas Cordero 2004 Validez de la medida: habilidad del instrumento para medir lo que pretende medir.
Confiabilidad Contexto Diseño de la medición: calidad Validez Fuente: Groove et al 2004, mostrado en Casas Cordero 2004
Diseño de la medición: calidad Mediciones: De la respuesta editada a un concepto relevante para un entrevistado cualquiera. Fuente: Groove et al 2004, mostrado en Casas Cordero 2004 El Error de medición ocurre en el levantamiento del dato.
Diseño de la medición: calidad Representación: De la estimación que se hace en base a los datos obtenidos a la población objetivo. Fuente: Groove et al 2004, mostrado en Casas Cordero 2004
Definición de los conceptos: Antes de comenzar la medición se requiere: Definir nominalmente cada concepto relevante. Típicamente, en una evaluación de impacto, son los conceptos contenidos en la teoría de cambio. Definición precisa. Detallar cada dimensión que se considera como parte del concepto. Detallar cada dimensión que no se considera como parte del concepto. En conexión con la literatura relevante
Operacionalización: Desafío: Vincular la pregunta concreta al concepto de interés. Definición: Proceso deductivo donde los conceptos teóricos son traducidos en indicadores (preguntas), que permiten medirlos empíricamente.
Operacionalización: Ejemplos: Ingresos a. Cuánto dinero gana usted al mes en su actual empleo? b. En el último mes, cuántos días a la semana consumió alguna bebida alcohólica? c. Cuál es el ingreso total de su hogar durante el último año? Consumo de alcohol a. Durante el día de ayer, consumió usted bebidas alcohólicas como cerveza, vino? b. En el último mes, cuántos días a la semana consumió alguna bebida alcohólica?
Operacionalización:
Operacionalización: Fuente: CURSO: ENCUESTAS PARA LAS POLÍTICAS PÚBLICAS, APUNTE Nº1: Encuestas: Características Generales, Profesora: Sandra Quijada Javer
Operacionalización: Fuente: CURSO: ENCUESTAS PARA LAS POLÍTICAS PÚBLICAS, APUNTE Nº1: Encuestas: Características Generales, Profesora: Sandra Quijada Javer
Operacionalización: Fuente: CURSO: ENCUESTAS PARA LAS POLÍTICAS PÚBLICAS, APUNTE Nº1: Encuestas: Características Generales, Profesora: Sandra Quijada Javer
Diseño del instrumento Categorías de respuestas Dos criterios: deben ser exhaustivas y mutuamente excluyentes. Exhaustividad: las categorías de una pregunta deben incluir todas las respuestas que pueden esperarse Ejemplo: Qué nivel educativo alcanzó? o Educación básica o Educación media o Educación Universitaria o Postítulos/otros grados académicos o Ninguno Está completo? o Grados incompletos?
Diseño del instrumento Categorías de respuestas Dos criterios: deben ser exhaustivas y mutuamente excluyentes. Mutuamente excluyentes: las categorías de una pregunta no pueden superponerse. Ejemplo: Cuántas horas al día trabaja? o Menos de una hora o Entre una y tres horas o Entre tres y cinco horas o Más de cinco horas y él/la que trabaja 3 horas?
Diseño del instrumento Categorías de respuestas: dudas comunes Cuántas categorías de respuestas ofrecer? Muchas=confusión? Pocas=no distingo entre los sujetos? Lógicamente que depende de la pregunta, pero pensando en preguntas que se prestan para preguntar con harto matiz. La literatura ha recomendado entre 5 y 7 para encuestas cara a cara, donde el entrevistador puede recurrir a tarjetas para facilitar la respuesta. En encuestas telefónicas sería recomendable menos categorías
Diseño del instrumento Categorías de respuestas: dudas comunes Categorías de respuestas numéricas o adjetivos? Numérica = más fácil de aplicar? Adjetivos = mayor precisión del significado? En preguntas de percepción, queda más preciso el significado de la respuesta: o Últimamente, ha sido capaz de disfrutar de sus actividades normales de cada día? Utilice una escala del 1 al 10 considerando que 1 es Mucho menos de lo habitual y 10 es Más de lo habitual. o Ha sido capaz de disfrutar de sus actividades normales de cada día? 1. Mucho más de lo habitual 2. Más de lo habitual 3. Igual que lo habitual 4. Menos que lo habitual 5. Mucho menos que lo habitual
Diseño del instrumento Categorías de respuestas: dudas comunes Categorías de respuestas numéricas o adjetivos? Numérica = más fácil de aplicar? Adjetivos = mayor precisión del significado? En preguntas de evaluación, es razonable usar una escala familiar (1 a 7 en Chile) o Utilizando una escala del 1 al 7, donde un 1 es muy malo y un 7 es muy bueno, Cómo calificaría usted la gestión que ha realizado en su comuna el alcalde XXX durante el actual período? o Cómo calificaría usted la gestión que ha realizado en su comuna el alcalde XXX durante el actual período? 1. Muy mala 2. Mala 3. Regular 4. Buena 5. Muy buena
Diseño del instrumento Categorías de respuestas: Problemas frecuentes Vaguedad de la pregunta Conceptos ambiguos: tienen más de un significado Conceptos vagos: tienen rangos imprecisos de aplicación Ejemplos: Vive usted con algún adolescente? o Dar una breve explicación del significado antes de hacer la pregunta. Cuál es el ingreso total de usted y de todos los miembros de su familia que viven con usted en su casa, por trabajos y otras fuentes durante el último año? Enfermedad versus remedio?
Diseño del instrumento Categorías de respuestas: Problemas frecuentes Multidimensionalidad de la pregunta La pregunta incluye más de una pregunta Ejemplo: Está de acuerdo con la decisión del gobierno de tomar medidas en contra de la delincuencia y aumentar el número de carabineros en las calles?
Diseño del instrumento Categorías de respuestas: Problemas frecuentes Supuestos en las preguntas La pregunta supone cosas del sujeto que no necesariamente son ciertas Ejemplos: Cuán a menudo se ve con sus hermanos? Cuánto gana en su trabajo?. Esto es más común de lo que podría pensarse.
Diseño del instrumento Categorías de respuestas: Problemas frecuentes Deseabilidad social Hay temas que llevan a dar respuestas socialmente aprobadas Hay distintas razones (Fowler 1995): o Tendencia de los encuestados de querer verse bien o evitar verse mal. o Preguntas vistas como una amenaza para los entrevistados o La respuesta que ofrece la pregunta no coincide con la imagen que los encuestados quieren tener de sí mismos. Ayuda: o En la presentación, dejar en claro el objetivo de la investigación (sentido público) o Recalcar la confidencialidad en el uso de los datos o Redactar introducciones que hagan menos probable este sesgo
Diseño del instrumento Categorías de respuestas: Problemas frecuentes Deseabilidad social Ejemplo: Fuente: CURSO: ENCUESTAS PARA LAS POLÍTICAS PÚBLICAS, APUNTE Nº1: Encuestas: Características Generales, Profesora: Sandra Quijada Javer
Diseño del instrumento Categorías de respuestas: Problemas frecuentes Deseabilidad social En la literatura experimental también se habla del experimenter demand, que es responder de la manera en que el experimentador quiere que uno responda. Puede ser porque el que recibió el tratamiento conoce/deduce la hipótesis de investigación o por gratitud hacia quien administró la intervención (que se confunde con el investigador) Esto es más grave, dado que amenaza la validez interna del impacto en las variables en que se da esto.
Diseño del instrumento Categorías de respuestas: Problemas frecuentes Deseabilidad social Ayudas: o Aclarar, cuando se puede, que quienes están evaluando no son quienes dieron el programa. o Tener mediciones de comportamiento observado (no reportado) o Incluir preguntas para testear el nivel de esto Encuesta cara a cara: Utilizando una escala del 1 al 7, en la que 1 significa muy sencillo y 7 muy complicado, qué tan complicada de responder le pareció esta encuesta. Número de contactos dados por el sujeto
Diseño del instrumento Categorías de respuestas: Problemas frecuentes Preguntas direccionadas La redacción influye en la respuesta obtenida Ejemplos: Está de acuerdo con la decisión del gobierno de construir un puente en [lugar]? Sería distinto a: Está de acuerdo con que se construya un puente en [lugar]? Está usted de acuerdo o en desacuerdo con la siguiente afirmación: dado la cantidad de crímenes que existen hoy en día, tiene sentido no caminar solo por las noches Fuente: CURSO: ENCUESTAS PARA LAS POLÍTICAS PÚBLICAS, APUNTE Nº1: Encuestas: Características Generales, Profesora: Sandra Quijada Javer
Diseño del instrumento Categorías de respuestas: Problemas frecuentes Negaciones Puede generar confusión Ejemplos: Considera usted que personas del mismo sexo no pueden casarse legalmente? o 1.- Si o 2.- No Se debe permitir el matrimonio entre personas del mismo sexo? Fuente: CURSO: ENCUESTAS PARA LAS POLÍTICAS PÚBLICAS, APUNTE Nº1: Encuestas: Características Generales, Profesora: Sandra Quijada Javer
Diseño del instrumento Categorías de respuestas: Problemas frecuentes Orden del cuestionario El orden sí importa: Sesgos o Preguntas sobre percepción de riesgo de uso del computador por parte de los adolescentes luego de preguntar sobre páginas de adultos Confianza o Dejar las preguntas de ingreso y otras más delicadas para el final.
? Cuál es el rol de la medición cualitativa en una evaluación de impacto? Evaluación de los instrumentos de medición Teoría de Cambio: interpretación de los resultados o Qué es lo que pasó y porqué o Por qué no pasó lo que podría haber pasado Resultados pensados y no pensados
: Evaluación de Instrumentos Cada vez se le reconoce mayor importancia a la evaluación del instrumento antes de aplicarlo a gran escala Las personas dividen la realidad de la manera en que el investigador lo hace? (supuestos del marco conceptual) Las personas entienden las preguntas y los conceptos del mismo modo en que el investigador lo hace? (ambigüedad, diferencias culturales, etc ) Las personas son capaces de hacer lo que le requiere la encuesta? (recordar, calcular, imaginar, etc )
: Evaluación de Instrumentos Cada vez se le reconoce mayor importancia a la evaluación del instrumento antes de aplicarlo a gran escala Técnicas: Grupos Focales Entrevistas en profundidad Pre-test (replica el procedimiento a utilizar)
: Evaluación de Instrumentos Ejemplos de preguntas en la entrevista en profundidad Tiene Ud. reglas acerca del tiempo que el/la estudiante puede pasar en el computador? Si No o Qué asocia usted al termino reglas acerca del tiempo? Pensando en la semana pasada, y en un día normal del fin de semana, aproximadamente cuántas horas utilizó el/la estudiante algún computador? Cuando se utiliza el término de la última semana en qué periodo de tiempo piensa usted (a partir de ayer o a partir del penúltimo último lunes o domingo) Qué procedimiento utiliza usted para realizar este cálculo, por ejemplo si un día lo usa mucho o poco? Distingue usted claramente el comportamiento entre fin de semana y días de semana? Es constante este comportamiento durante el año?
: Evaluación de Instrumentos Pre-test La idea es probar el instrumento tal cual sería aplicado. Un número razonable que permita sacar conclusiones (10 o más). Esto permitirá adelantarse a los problemas que podrían ocurrir durante el encuestaje y que ya no tendrían solución o Una pregunta que los sujetos no entienden o Una pregunta en la que todos responden la categoría más alta o En ambos casos nos quedamos con preguntas inútiles. También se habla de Piloto, cuando se aplica a un número suficiente como para evaluar la logística del diseño
: Evaluación de Instrumentos Pre-test Recomendaciones: Registrar problemas de cada pregunta: o Tuvo que leer de manera distinta el enunciado para que se entienda la pregunta o Tuvo que explicarle de nuevo la pregunta o Tuvo que nombrarle de nuevo las respuestas o Le interrumpieron la pregunta Revisar las categorías de respuestas o Revisar las respuestas codificadas como otro o Revisar las que no responden o responden no sabe
: Exploración de mecanismos y resultados Vamos a ilustrar la importancia de la investigación cualitativa para la exploración de mecanismos y resultados con un ejemplo: La evaluación experimental del programa Moving to Opportunity (Kling, Leibman y Katz 2004). a. Resumen del programa: Cuál es el efecto de vivir en un barrio más acomodado?
: Exploración de mecanismos y resultados b. Cuáles podrían ser los impactos de este programa? c. Economistas dedicados al mercado laboral, pensaron que los efectos serían: Niño(a)s: Educación. Había literatura previa (Experimento de Gautreaux) sobre que la mayor razón por querer ir a vivir en un barrio mejor era poder optar a mejores colegios (1/3) y mejores casas (1/4). Padres: empleo, capacitación laboral e ingresos. Mayor cercanía con los lugares de empleo
: Exploración de mecanismos y resultados d. Sin embargo, los datos de línea de base mostraron una realidad que les invitó a cambiar sus intuiciones: i. Razón principal: alejarse de las bandas y las drogas ii. Alta frecuencia de asaltos sufridos por los participantes. iii. Apareció el miedo como un fenómeno muy relevante.
: Exploración de mecanismos y resultados e. Decidieron llevar a cabo una investigación cualitativa con tres objetivos: i. Entender los detalles de la intervención. ii. iii. Explorar con mayor profundidad la importancia de las bandas y las drogas. Escuchar con detalle las historias de las familias para pensar en aspectos de la investigación que no habían incluido.
: Exploración de mecanismos y resultados f. Qué hicieron? i. Entrevistas en profundidad a los que recibieron el tratamiento. ii. Eran abiertas, pero con un guion para revisar que se agotaran los conceptos que ellos traían.. Una mezcla de apertura a lo nuevo con profundizar en el marco ya planteado.
: Exploración de mecanismos y resultados g. Qué apareció? i. Confirmó lo que apareció en línea de base sobre el miedo por la seguridad de los niños como la motivación primordial para querer cambiarse de barrio. ii. Sugirió que este miedo podía tener influencias fuertes en el comportamiento de los adultos y de los niño(a)s.
: Exploración de mecanismos y resultados g. Qué apareció? iii. Ante el cambio de residencia, surgió: Paz mental para los adultos, dado a que si bien no dejaron de ser muy cuidadosos con los niños, era con mayor tranquilidad. Mayor independencia para los niño(a)s. h. Entonces estas entrevistas modificaron la encuesta de seguimiento, agregándole al tema laboral y educacional dimensiones de seguridad y de salud. i. Además, llevó a desarrollar un marco conceptual para el mecanismo a través del cual el programa podía llevar a cambios en los adultos y los niño(a)s.
: Exploración de mecanismos y resultados j. Qué apareció en los resultados de la medición cuantitativa? ADULTOS: 1. Menor violencia en el barrio a. Mayor bienestar emocional (salud en general y paz) b. Mayor confianza en los vecinos c. Menor nivel de monitoreo parental d. Mayor empleo e. Mayor capacitación laboral
: Exploración de mecanismos y resultados j. Qué apareció en los resultados de la medición cuantitativa? NIÑO(A)S: 1. Menor violencia en el barrio a. Menor violencia recibida (menor tasa de asaltos violentos, menor tasa de lesión (por vidrios rotos, agujas), menor comportamientos negativos[resultado solo en niños]) b. Menor asma (por el menor estrés, entre otros) c. Menor nivel de monitoreo parental.
: Exploración de mecanismos y resultados Conclusión: Esta investigación cualitativa tuvo un impacto profundo en nuestra investigación acerca del MTO Reorientó a las variables en las que sí habían resultados (seguridad y salud). Les dio un macro conceptual para explicar esos efectos. Otros Dio luces de la validez externa y evitó algunas interpretaciones erróneas. Ojo: Esto se refiere a la primera ola de seguimiento del programa. Luego siguieron midiendo y aparecieron otras cosas. El sentido de esto no era hablar de los efectos del programa, sino de los efectos de incluir evaluación cualitativa en la evaluación del programa.
Referencias Robert M. Groves y Lars Lyberg Total survey error past, present, and future en Public Opinion Quarterly, Vol. 74, No. 5, 2010, páginas 849 879. Fowler (1995) Improving Survey Questions. Design and Evaluation, Sage Publications. Edith d. De Leeuw, New technologies in data collection, questionnaire design and quality, 2004, p. 13, disponible en http://www.eustat.es/prodserv/vol44_c.html#axzz2teh1gs3rt Apuntes del curso: ENCUESTAS PARA LAS POLÍTICAS PÚBLICAS, APUNTE Nº1: Encuestas: Características Generales, Profesora: Sandra Quijada Javer, Centro Microdatos, Universidad de Chile. Apuntes del curso SOL3062, Pontificia Universidad Católica de Chile, 2014, Profesora Carolina Casas-Cordero. Jeffrey R. Kling, Jeffrey B. Liebman y Lawrence F. Katz Bullets Don t Got No Name: Consequences of Fear in the Ghetto en Discovering Successful Pathways in Children's Development: Mixed Methods in the Study of Childhood and Family Life. Edited by Thomas S. Weisner. Chicago: The University of Chicago Press, 2004. 63