CRITERIOS DE CALIDAD DE LAS

Transcripción

1 CRITERIOS DE CALIDAD DE LAS ENCUESTAS EN INVESTIGACIONES BIOMÉDICAS Jose Miguel Carot 2º Encuentro Iberoamericano de Biometría Veracruz 2009

2 ÍNDICE Introducción Fases Formulación Diseño del problema Administración del cuestionario Tratamiento de la información Análisis de la información 2

3 INTRODUCCIÓN Encuestas en Investigaciones biomédicas En algunas áreas se usan para recoger datos de los individuos que participan en el estudio En otras áreas son la herramienta más importante (psiquiatría) Algunos ejemplos Psiquiatría: i enfermedades d mentales, personalidad, d depresión, Salud pública: hábitos alimenticios, Farmacología: datos de caracterización del individuo 3

4 INTRODUCCIÓN Importancia creciente de la calidad en la sociedad Calidad en encuestas Criterios definidos por: Pero: ESOMAR (Asociación Europea de Estudios de Mercado y Opinión) ió AEDEMO (Asociación Española de Estudios de Mercado, Marketing y Opinión) AENOR (Asociación Española de Normalización y Certificación) qué se entiende e e por calidad en la investigación mediante encuesta? Cuándo puede decirse que una encuesta cumple criterios i de calidad? d? 4

5 CRITERIOS DE CALIDAD Y ERRORES En la realización de una encuesta se pueden producir intencionadamente o no actuaciones erroneas que afectan a la calidad Criterios de calidad Validez Fiabilidad Tipos de error De medición De no observación 5

6 VALIDEZ La validez es la medida en que una escala o conjunto de medidas representa con precisión el concepto de interés Validez Interna: el control de explicaciones alternativas en las relaciones causa-efecto Validez externa: la generalización de los datos de encuesta, que depende de la presencia de los errores de no observación Validez de conclusión estadística: ti referida al análisis álii estadístico de los datos Validez de constructo: o adecuación de la medición de los conceptos principales del estudio, que dependerá de la existencia de errores de medición y de especificación 6

7 FIABILIDAD La fiabilidad se define como el grado de consistencia entre las múltiples medidas de una variable La fiabilidad se relaciona con la estabilidad Fuentes de error que afectan a la fiabilidad: Errores de medición Errores de no observación La forma más habitual de comprobar: aplicación reiterada del mismo cuestionario 7

8 FIABILIDAD Una forma de medir la consistencia interna: Los ítems individuales o indicadores de la escala deberían estar midiendo las mismas cosas y por lo tanto t estar altamente t correlacionadas Alfa de Cronbach Donde k es el número de ítems de la prueba, S i2 es la varianza de los ítems (desde 1...i) y S 2 sum2 es la varianza de la prueba total La obtención de coeficientes elevados se relaciona con: Observación de muestras amplias y heterogéneas Operacionalización múltiple Eliminación de ítems no relevantes Incremento de opciones de respuesta en las preguntas 8

9 ERRORES DE NO OBSERVACIÓN Errores Posibles soluciones 9

10 ERRORES DE MEDICIÓN Errores Posibles soluciones 10

11 FASES Formulación del problema Diseño de la encuesta Administración del cuestionario Tratamiento de la información Análisis de la información 11

12 FASES Y CRITERIOS 1. Formulación del problema Objetivos (C1) 2. Diseño de la encuesta Tipo de diseño (C2) Población de estudio (C3-4) Diseño muestral (C5-8) Método de encuesta según modo de administración (C9) Elaboración del cuestionario (C10 13) 3. Administración del cuestionario Recogida de información -Trabajo de campo (C14-15) 4. Tratamiento de la información Depuración de datos (C16) 5. Análisis de la información (C17 C25) 12

14 FORMULACIÓN DEL PROBLEMA C1. Los objetivos están claramente definidos? Formulación de los objetivos de la encuesta: Claridad Precisión ió Sin ambigüedades En términos mensurables Evitar errores de especificación por falta de correspondencia entre las preguntas y los conceptos que se pretende medir 14

16 DISEÑODELAENCUESTA C2. El tipo de diseño o estudio es adecuado para los objetivos de la investigación? Tipo de diseño: Descriptivo o analítico Dimensión temporal: Longitudinal o transversal Según objetivos de la encuesta: Explorar Describir una característica de la Predecir Explicar Evaluar población a partir de datos de una muestra representativa 16

17 DISEÑODELAENCUESTA C3. La población (o universo) de estudio ha sido delimitada con precisión? Población de estudio: Conjunto de unidades para las que se desea obtener la información establecida en los objetivos y realizar inferencias Debe ser definida con criterios operativos y precisos, detallando: - Las unidades que la componen - Características sociodemográficas esenciales que la diferencian de otras poblaciones - Ubicación temporal y espacial - Otras Consecuencias de una selección imprecisa de la población: Errores de muestreo Errores de no cobertura Tasas elevadas de no respuesta 17

18 DISEÑODELAENCUESTA C4. La unidad de análisis (unidad de la población de estudio) especificada es la adecuada para el objetivo principal del estudio? Unidad de análisis = cada uno de los elementos o sujetos que componen la población y que por tanto podrían ser encuestados (unidad básica sobre la cual se captará información) En muchas ocasiones la unidad de muestreo coincide con la unidad de análisis Una unidad de análisis inadecuada produce: Errores de no respuesta Errores de medición 18

19 DISEÑODELAENCUESTA C5. Se utilizó un muestreo probabilístico (aleatorio)? Los muestreos probabilísticos se fundamentan en la aleatorización aeato acó como o criterio para a la selección ecc de las unidades de la muestra Cada unidad de la población tiene la misma probabilidad de ser seleccionada que el resto En los muestreos no probabilísticos la elección de las unidades de la muestra se realiza mediante un proceso subjetivo o arbitrario La probabilidad de selección de cada unidad de la población no es conocida 19

20 DISEÑODELAENCUESTA C5. Se utilizó un muestreo probabilístico (aleatorio)? Los muestreos probabilísticos permiten: - Usar procedimientos de inferencia estadística - Estimar la magnitud real del error muestral Los muestreos no probabilísticos (o los probabilísticos mal realizados): -Afectan a la representatividad de la muestra por errores de no observación -No cobertura -Muestreo -No respuesta 20

21 DISEÑODELAENCUESTA C5. Se utilizó un muestreo probabilístico (aleatorio)? Métodos de Muestreo Probabilístico Muestreo aleatorio simple Muestreo sistemático Muestreo estratificado Afijación simple Afijación proporcional Afijación óptima Muestreo por conglomerados Métodos de Muestreo no Probabilístico Muestreo por cuotas Muestreo opinático o intencional Muestreo causal o incidental 21 Bola de nieve

22 DISEÑODELAENCUESTA C6. En el caso de que no sea un muestreo probabilístico, Esta justificada su utilización? No permiten extrapolar los resultados a la población Se utilizan cuando: No se conoce el marco muestral En investigaciones no dirigidas a hacer inferencia estadística Estudios cualitativos Estudio exploratorios (estudios piloto) Investigaciones sobre poblaciones marginales 22

23 DISEÑODELAENCUESTA C7. El procedimiento seguido para la selección de las unidades de la muestra es correcto? Una vez decidido el tipo de muestreo deben elegirse las unidades d muestrales Una elección correcta evita que afecte a la representatividad En particular hay que prestar atención cuando las muestras seleccionadas no son muestras aleatorias simples, sino muestras de diseño complejo sustituciones no aleatorias o utilizar procedimientos pseudosaleatorios. 23

24 DISEÑODELAENCUESTA C8. El tamaño muestral es adecuado al estudio? Para el cálculo del tamaño muestral se suele elegir el o los parámetros más importantes (una encuesta suele diseñarse para estimar diversos parámetros) En la decisión del tamaño de la muestra se deben considerar: La varianza o heterogeneidad de la población El margen de error máximo admisible para la estimación de los parámetros poblacionales El nivel de confianza de las estimaciones i muestrales La diversidad de los análisis estadísticos previstos La modalidad d de muestreo Tamaño muestral inadecuado Aumento del error muestral Imprecisión en la estimación de parámetros Conclusiones erróneas 24

25 DISEÑODELAENCUESTA C9. El método de encuesta atendiendo al modo de administración del cuestionario fue adecuado a la población de estudio? Métodos de realizar el pase de la encuesta Online Llamadas telefónicas Correo postal Visitas domiciliarias Cada método implica unas exigencias i y conocimientos i de la población que se desea encuestar Adaptación del nivel del cuestionario a: Perfil sociodemográfico Nivel de formación de la población Complejidad del tema 25 Accesibilidad

26 DISEÑODELAENCUESTA C10. Las preguntas del cuestionario se adecuan a los objetivos de la investigación? Cuando el concepto implicado en las preguntas del cuestionario difiere de aquel que debería medirse según los objetivos de la encuesta, se produce un error de especificación y sesgos de información Debe comprobarse: Validez del cuestionario para medir aquello para lo que ha sido diseñado d Relevancia de las preguntas formuladas 26

27 DISEÑODELAENCUESTA C11. Se observa una ausencia de errores asociados al diseño del cuestionario o a la redacción de las preguntas? El diseño del cuestionario es la principal fuente de error en las estimaciones de la encuesta Un incorrecto diseño del cuestionario o redacción de las preguntas puede producir errores de medición Debe tenerse en cuenta: Evitar ambigüedades o preguntas de difícil comprensión Usar un registro de lenguaje adecuado a los encuestados Prestar atención al orden Evitar aquiescencia, primacía Evitar fatiga del encuestado 27

28 DISEÑODELAENCUESTA C12. El cuestionario fue probado (estudio piloto) en una muestra de la población de estudio antes de ser utilizado en la encuesta? Finalidad del estudio piloto: Identificar problemas que puedan afectar al correcto desarrollo de la encuesta en relación con el diseño y administración i ió del cuestionario i con las peculiaridades de la población que va a responderlo No es necesario que la muestra para este pretestado o pilotaje sea elevada, ni elegida siguiendo procedimientos aleatorios. 28

29 DISEÑODELAENCUESTA C13. Si el cuestionario contiene alguna escala, test o instrumento de medida, su fiabilidad y validez se encuentran debidamente acreditadas? d Los instrumentos de medida garantizan que medimos lo que queremos medir? (Validez) Y que lo hacen con un error de medición lo más pequeño posible? (Fiabilidad) Si el cuestionario contiene alguna escala o instrumento de medida deben aportarse las características psicométricas 29

31 ADMINISTRACIÓN DEL CUESTIONARIO C 14. Se empleó algún método para reducir la tasa de no respuesta? La no respuesta puede ser: total (o de unidad) de ítem (o pregunta) Deben contemplarse actuaciones preventivas para la reducción de la tasa de no respuesta por no contacto o rechazo: adecuación del trabajo de campo a las peculiaridades de la población a encuestar prenotificación ió de la encuesta recontacto o seguimiento de la muestra gratificar la participación incrementar el tamaño de la muestr sustituciones por unidades equiparables, etc 31 Si no se reduce con esto: ponderación e imputación

32 ADMINISTRACIÓN DEL CUESTIONARIO C 15. Se realizó algún control de calidad en la recogida de la información? Para comprobar si la recogida de la información (trabajo de campo) se llevó a efecto como se diseñó Se recomienda: La selección, formación y supervisión de los entrevistadores La supervisión o control de la actuación del entrevistador durante la recogida de la información Errores de cumplimentación Falsificación Control del diseño muestral Los entrevistadores pueden contribuir a los errores de encuesta al error de medición (desviación de la respuesta obtenida de los valores verdaderos ) a los errores de no observación (de no cobertura, muestreo y no 32 respuesta)

34 TRATAMIENTO DE LA INFORMACIÓN C16. Se utilizó algún método para depurar los posibles errores de grabación de los datos? Los errores de grabación pueden reducirse con un adecuado diseño del cuestionario mejorando la formación y supervisión de las personas responsables de la grabación de los cuestionarios Una vez grabados los datos pueden detectarse errores de grabación: contrastando respuestas de preguntas relacionadas realizando análisis cruzados de preguntas filtro, y mediante análisis univariantes exploratorios Cuando esto no es posible el error de grabación se traduce en errores en la estimación de los parámetros error de no respuesta cuando responde a fallos en la cumplimentación ió del cuestionario i no detectadosd 34

36 ANÁLISIS DE LA INFORMACIÓN C17. La tasa de no respuesta total (o de unidad) permite la generalización de los resultados al conjunto de la población? Se entiende por tasa de no respuesta total el cociente entre los no participantes en la encuesta (no elegibles, no contactados y los que rechazan participar) y la muestra original Límite máximo de tasa de no respuesta: entre 10% y 25% Para apreciar su verdadera magnitud se deben conocer las características diferenciales entre respondientes y no respondientes y su motivos, ya que pueden suponer un sesgo Es necesario incorporar esta información al informe 36 de la encuesta

37 ANÁLISIS DE LA INFORMACIÓN C18. Se estima el error de muestreo de la muestra final obtenida? Durante el transcurso de la encuesta pueden surgir imprevistos que alteren el diseño inicialmente previsto Por eso es necesario estimar el error de muestreo en la muestra real finalmente obtenida Este error depende de: Tamaño de la muestra Varianza poblacional Nivel de confianza adoptado Método de muestreo aplicado 37

38 ANÁLISIS DE LA INFORMACIÓN C19. Los análisis estadísticos utilizados son adecuados para los objetivos o hipótesis de la investigación? Deben estar previstos y justificados en el diseño de la encuesta Principios básicos: Interpretabilidad Significado lógico Parsimonia i 38

39 ANÁLISIS DE LA INFORMACIÓN C20. Se aplicaron correctamente las pruebas o métodos estadísticos de análisis? Es necesario que los datos de la encuesta satisfagan las condiciones de aplicación y los supuestos básicos que exige la técnica estadística elegida Tras el análisis exploratorio hay que comprobarlos: Normalidad Homocedasticidad Linealidad... Realizar transformaciones si son necesarias Correcciones en comparaciones múltiples (Bonferroni) 39

40 ANÁLISIS DE LA INFORMACIÓN C21. Se proporcionan los intervalos de confianza (u otras estimaciones de la variabilidad) de los datos para los resultados principales? i Cuando se dispone de una muestra sólo se pueden calcular estimadores muestrales que permiten obtener el valor aproximado de alguna característica de la población El intervalo de confianza proporciona un rango de valores que contiene el valor verdadero de un parámetro poblacional con una cierta probabilidad 40

41 ANÁLISIS DE LA INFORMACIÓN C22. Se describen las características diferenciales entre respondientes y no respondientes, en las variables disponibles más relacionadas con el tema del estudio? Para apreciar la verdadera magnitud de la no respuesta Algunas técnicas; comparar los sujetos que responden y los que no lo hacen por las variables disponibles comparar los que responden a la primera llamada de los investigadores con los que lo hacen en llamadas sucesivas comparar las características sociodemográficas de los respondientes con los datos censales disponibles de la población de estudio y si apenas se aprecian diferencias i entre ellos, se presupone que el error de no respuesta es mínimo (para asegurar que no hay sesgo de no respuesta) 41 (es el método más utilizado)

42 ANÁLISIS DE LA INFORMACIÓN C23. Se puede asumir que los sujetos de la muestra obtenida son representativos de la población de estudio? Una muestra será representativa de la población de la que fue tomada si la suma de sus características se aproxima al conjunto de características de la población Un principio i i básico del muestreo probabilístico bilí es que una muestra será representativa de la población de la que procede si todos los miembros de esta última tienen la misma probabilidad de ser elegidos El tamaño muestral adecuado y la selección aleatoria de la muestra aseguran la ausencia de sesgos en el 42 proceso de selección de la muestra

43 ANÁLISIS DE LA INFORMACIÓN C24. Los resultados obtenidos justifican las conclusiones realizadas? Las conclusiones realizadas en el informe final deben ser congruentes con los resultados obtenidos. Deben evitarse: Interpretaciones injustificadas Extrapolaciones Generalizaciones no verificadas Conjeturas Comparaciones teóricas sin fundamento 43

44 ANÁLISIS DE LA INFORMACIÓN C25. Se especifican las limitaciones o los distintos errores que se hayan detectado en el curso de la investigación? Debe explicitarse la posible presencia de limitaciones, sesgos y/o errores como una explicación alternativa a los resultados observados También se debe aclarar la posible influencia de los mismos sobre los resultados observados. 44

45 FASES Y CRITERIOS 1. Formulación del problema Objetivos (C1) 2. Diseño de la encuesta Tipo de diseño (C2) Población de estudio (C3-4) Diseño muestral (C5-8) Método de encuesta según modo de administración (C9) Elaboración del cuestionario (C10 13) 3. Administración del cuestionario Recogida de información -Trabajo de campo (C14-15) 4. Tratamiento de la información Depuración de datos (C16) 5. Análisis de la información (C17 C25) 45

46 CRITERIOS DE CALIDAD DE LAS ENCUESTAS EN INVESTIGACIONES BIOMÉDICAS Jose Miguel Carot 2º Encuentro Iberoamericano de Biometría Veracruz 2009