Valoración de la calidad de una investigación y de los resultados obtenidos Fernando Navarro Mateu Unidad Docente de Salud Mental Subdirección General de Salud Mental Servicio Murciano de Salud Objetivos del Taller Sensibilizar sobre la importancia de la valoración de la calidad de las investigaciones Introducción general a la Atención Sanitaria Basada en Evidencias (ASBE) Lectura crítica de un Ensayo clínico Revisión sistemática. Esquema 1. Introducción 2. Valoración de la calidad a) Análisis de diferentes componentes de la calidad metodológica b) Escalas de calidad metodológica c) Aproximación propuesta por la MBE ECAs Revisiones Sistemáticas 3. Conclusiones 1.- Introducción Revisión bibliográfica en investigación, para qué? Por qué es importante valorar la calidad de los estudios científicos? Preguntas clave Cómo diferenciar las investigaciones buenas de las malas? Qué es una buena investigación? Fraudes científicos históricos www.museumofhoaxes.com Una investigación de calidad suficiente como para apoyar los resultados (independientemente de si son + ó -)
Validez del estudio: Analizar... Resumen estructurado Apartado Metodología Formato IMRAD: Introducción Métodos Resultados And Discusión Oxford Centre for Evidence-based Medicine Levels of Evidence (May 2001) Level Therapy/Prevention, Prognosis Diagnosis Differential diagnosis/symptom Economic and decision analyses prevalence study Aetiology/Harm 1a SR (with homogeneity*) of RCTs SR (with homogeneity*) of inception SR (with homogeneity*) of Level 1 SR (with homogeneity*) of SR (with homogeneity*) of Level 1 cohort studies; CDR validated in diagnostic studies; CDR with 1b prospective cohort studies economic studies different populations studies from different clinical centres 1b Individual RCT (with narrow Individual inception cohort study with Validating** cohort study with Prospective cohort study with good Analysis based on clinically sensible Confidence Interval ) > 80% follow-up; CDR validated in good reference standards; or follow-up**** costs or alternatives; systematic a single population CDR tested within one clinical review(s) of the evidence; and centre including multi-way sensitivity analyses 1c All or none All or none case-series Absolute SpPins and SnNouts All or none case-series Absolute better-value or worse-value analyses 2a SR (with homogeneity*) of cohort SR (with homogeneity*) of either SR (with homogeneity*) of Level >2 SR (with homogeneity*) of 2b and SR (with homogeneity*) of Level >2 studies retrospective cohort studies or diagnostic studies better studies economic studies untreated control groups in RCTs 2b Individual cohort study (including low Retrospective cohort study or followup Exploratory** cohort study with Retrospective cohort study, or poor Analysis based on clinically sensible quality RCT; e.g., <80% follow-up) of untreated control patients in an good reference standards; CDR follow-up costs or alternatives; limited RCT; Derivation of CDR or after derivation, or validated only on review(s) of the evidence, or single validated on split-sample only split-sample or databases studies; and including multi-way sensitivity analyses 2c "Outcomes" Research; Ecological "Outcomes" Research Ecological studies Audit or outcomes research studies 3a SR (with homogeneity*) of casecontrol SR (with homogeneity*) of 3b and SR (with homogeneity*) of 3b and SR (with homogeneity*) of 3b and studies better studies better studies better studies 3b Individual Case-Control Study Non-consecutive study; or without Non-consecutive cohort study, or Analysis based on limited consistently applied reference very limited population alternatives or costs, poor quality standards estimates of data, but including sensitivity analyses incorporating clinically sensible variations. 4 Case-series (and poor quality cohort Case-series (and poor quality Case-control study, poor or nonindependent Case-series or superseded Analysis with no sensitivity analysis and case-control studies ) prognostic cohort studies***) reference standard reference standards 5 Expert opinion without explicit critical Expert opinion without explicit critical Expert opinion without explicit critical Expert opinion without explicit critical Expert opinion without explicit critical appraisal, or based on physiology, appraisal, or based on physiology, appraisal, or based on physiology, appraisal, or based on physiology, appraisal, or based on economic bench research or "first principles" bench research or "first principles" bench research or "first principles" bench research or "first principles" theory or "first principles" Produced by Bob Phillips, Chris Ball, Dave Sackett, Doug Badenoch, Sharon Straus, Brian Haynes, Martin Dawes since November 1998. Jerarquía de las evidencias Escalas jerárquicas en función del rigor científico del diseño y en su vulnerabilidad hacia los sesgos. Son guías aproximadas Jerarquía de las evidencias Limitaciones (Jiménez, 2000): no suelen discriminar entre las diferencias de calidad y rigor científico en el mismo nivel de evidencia científica. un estudio de categoría inferior puede ser de mayor calidad que otro superior. El efecto de la intervención en ECAs pequeños pero con una secuencia de asignación correcta y oculta, con doble ciego no difieren de los hallados en ECAs más grandes. (Kjaergard y cols, Ann Intern Med 2001; 135: 982-989) Factores de calidad en ECAs que tienden a sobrestimar el efecto terapéutico Valoración crítica de un artículo Requiere: Detección del objetivo de la publicación Comprensión básica de los puntos débiles y fuertes del estudio para valorar: la validez y la importancia ( utilidad en la práctica clínica?)
Concepto de Validez de un artículo científico Cuánto se aproxima a la verdad? Método Epidemiológico Validez interna (VI): control de sesgos Validez externa (VE): generalización de los resultados en otras circunstancias La VI es imprescindible para la VE Errores: Aleatorios Sistemáticos Tipos de errores: Error aleatorio o de muestreo (E.A( E.A.).) Por variabilidad inherente al proceso de muestreo. T.M. E.A. Consecuencias: Falta de precisión que puede evaluarse con pruebas de significación estadística A precisión papel del azar Cálculo previo del TM adecuado Tipos de errores: Error Sistemático (E.S( E.S.).) No relacionados con las muestras (no con TM). Relacionados con el diseño del estudio La ausencia de sesgos garantiza la validez de una estimación. Validez del estudio La evaluación final de la validez no es nunca una decisión dicotómica de sí o no y ha de ser subjetiva en cierta medida.
Valoración de la calidad La calidad es un concepto complejo Existe un gran número de herramientas para valorar la calidad de los estudios científicos Preferentemente ECAs Menor nº para estudios observacionales La única forma de valorar la calidad de un estudio depende de la información escrita en la publicación 2. Valoración crítica de un artículo 1. Análisis de diferentes componentes de la calidad metodológica 2. Escalas de calidad metodológica 3. Aproximación propuesta por la MBE Análisis de diferentes componentes de la calidad metodológica Elaboración de cuestionarios ad hoc con diferentes componentes de la calidad Preguntas esenciales Es original el estudio? Sobre quién/qué va el estudio? Está bien diseñado? Se minimizó o se evitaron los sesgos sistemáticos? Se realizó a ciegas? Se tuvieron en consideración algunas disquisiciones estadísticas preliminares? Sobre quién va el estudio? (I) Puedo aplicar estos resultados a mi paciente? Diferencias entre los pacientes del ECA y los míos: más o menos enfermos diferentes grupos étnicos o estilos de vida reciben diferentes atención durante el estudio de lo que le puede ofertar a diferencia de mis pacientes, no tienen otras enfermedades ninguno de ellos fuma, bebe o está tomando anticonceptivos Sobre quién va el estudio? (II) Preguntas básicas Cómo fueron reclutados los participantes? Quién fue incluído? Quién fue excluído? Fueron estudiados en circunstancias de la vida real?
Está bien diseñado? Qué se está estudiando y con qué se compara?. Es relevante?, aporta algo? Cómo se evalúa el resultado? Subrrogate end points ( variables de valoración indirectas ) Medición del resultado previamente validados Se minimizaron o evitaron los sesgos sistemáticos? Cada tipo de estudio utilizan diferentes estrategias para reducir los sesgos: ECA... Aleatorización Estudios no aleatorizados:...el sentido común para decidir si las diferencias basales entre ambos grupos son lo suficientemente grandes como para invalidar los efectos encontrados. Efectos de la aleatorización en la estimulación eléctrica nerviosa transcutánea Características de un buen esquema de aleatorización La asignación a los grupos de tratamiento debe ser desconocida e impredecible El proceso de asignación debe ser reproducible y estar documentado Debe basarse en propiedades matemáticas conocidas No debe permitir que se prevenga la secuencia de los tratamientos (Galende y cols, Med Clin (Barc) 1994; 102: 465-470.) Fuentes de sesgos en los ECAs Población diana Se realizó a ciegas? Tipos de enmascaramiento Sesgo de selección Sesgo de actuación Sesgo de exclusión Aleatorización Experimental Control Intervención No intervención Seguimiento Seguimiento Simple ciego Doble ciego Triple ciego Sesgo de detección Resultado Resultado
Cegamiento y acupuntura en el dolor de espalda Disquisiciones estadísticas preliminares? Cálculo previo del tamaño muestral Duración del seguimiento suficiente para obtener el efecto esperado Abandonos... Análisis por intención de tratar Consideraciones estadísticas a posteriori? 1. No dejarse fascinar por la p: describir los resultados con independencia de su significación estadística (tablas, figuras). 2. Calcular la magnitud de la asociación, diferencia o riesgo. 3. Calcular su grado de significación y los intervalos de confianza. 4. Si la diferencia no es estadísticamente significativa, calcular el poder estadístico. 5. Juzgar la relevancia clínica de los resultados, tanto si son estadísticamente significativos como si no. Preguntas preliminares básicas 1) Por qué se hizo el estudio y qué hipótesis se están testando? 2) Qué tipo de estudio se ha realizado? 3) El diseño utilizado es el más apropiado para el tipo de investigación realizado?. 2. Valoración de la calidad 1. Análisis de diferentes componentes de la calidad metodológica 2. Escalas de calidad metodológica 3. Aproximación propuesta por la MBE Escalas de Calidad Metodológica nº escalas (>25 para ECAs) Incluyen entre 3 y 57 elementos y requieren entre 10 y 45 minutos (o más ) Basados en criterios aceptados Problemas. Se tiende a confundir la calidad de los informes con la validez del diseño y su realización La calificación se basa en si algo se informó y no en si se hizo apropiadamente Contienen elementos no directamente relacionados con la validez (cálculo de la potencia estadística, ) No se ha demostrado que las escalas más complejas proporcionen puntuaciones de validez más fiables
Escalas de evaluación n de la calidad en investigación No hay un patrón oro para determinar la validez real de un estudio Para evaluar la validez es preferible usar métodos sencillos que puedan informarse cláramente Las más conocidas: CONSORT (CONsolidated Standards for Reporting of Trials) QUORUM (Quality Of Reporting Of Meta-analyses) AGREE (Appraisal of Guidelines REsearch & Evaluation) Escala de Jadad o de Oxford de 5 puntos The Oxford Pain Validity Scale (OPVS) Escala de calidad en estudios observacionales Mejor descripción de la metodología (Plint y cols, MJA 2006; 185: 263-267) Escala de valoración de la calidad de Jadad 1. Tiene el estudio una asignación aleatorizada? 2. Cumple los criterio de doble ciego? 3. Están descritas las retiradas y abandonos) Sumar un punto adicional 1 punto por cada sí o 0 puntos por cada no Restar un punto adicional Si aleatorización/ cegamiento apropiado Si aleatorización/ cegamiento inaapropiado Rango puntuación: 0-5 Calidad pobre < 3
Preguntas preliminares básicas 1) Por qué se hizo el estudio y qué hipótesis se están testando? 2) Qué tipo de estudio se ha realizado? 2. Valoración de la calidad 1. Análisis de diferentes componentes de la calidad metodológica 2. Escalas de calidad metodológica 3. Aproximación propuesta por la MBE 3) El diseño utilizado es el más apropiado para el tipo de investigación realizado?. Medicina... Basada en... Evidencias M.B.E.: Sólo lectura de artículos?... mucho más...... utilización consciente, explícita y juiciosa de la mejor evidencia científica clínica disponible para tomar decisiones sobre el cuidado de pacientes individuales...es la lectura crítica del artículo correcto en el momento adecuado y, en consecuencia, tomar la mejor decisión posible. (Greenhalgh, T. How to read a paper. BMJ, 1997) Medicina Basada en Evidencias? El circuito de la MBE Experiencia clínica El Paciente (4) Decisión compartida Las mejores evidencias Preferencias del paciente (3) Evaluación crítica (1) Formulación del Problema (Adaptado de Haynes y cols. Med Clin (Barc) 2000; 115; 7: 258-260) 260) (2) Búsqueda
El circuito de la MBE Estilos de práctica de la MBE El Paciente (4) Decisión compartida Estilo completo (3) Evaluación crítica (1) Formulación del Problema Estilo replicativo Estilo de búsqueda selectiva (2) Búsqueda (Sackett y cols. Evidence-Based Medicine.How to Practice and Teach EBM. 2º Ed. 1999) El circuito de la MBE: Estilo evaluativo o completo El circuito de la MBE: Estilo de búsqueda selectiva El Paciente (4) Decisión compartida El Paciente (4) Decisión compartida (3) Evaluación crítica (2) Búsqueda (1) Formulación del Problema (2) Búsqueda selectiva (1) Formulación del Problema El circuito de la MBE: Estilo replicativo Experto El Paciente (4) Decisión compartida (1) Formulación del Problema Con autoridad vs autoritario Son válidas estas evidencias sobre...? Diagnóstico Tratamiento o prevención Efectos nocivos Pronóstico Revisión de conjunto Análisis de decisión clínica Guías de práctica clínica Recomendaciones de asistencia sanitaria Variaciones de los resultados de los servicios sanitarios Utilización clínica... Guías para usuarios de la literatura médica (JAMA)
Aproximación crítica a la evidencia: Preguntas básicas A) Son válidos los resultados del estudio? MBE: Lectura crítica de artículos científicos sobre Tratamiento (ECA) B) Cuales son los resultados? C) Me ayudarán los resultados en el cuidado de mi paciente? Son válidas estas evidencias sobre...? Diagnóstico... Tratamiento o prevención Efectos nocivos Pronóstico Revisión de conjunto Análisis de decisión clínica Guías de práctica clínica Recomendaciones de asistencia sanitaria Variaciones de los resultados de los servicios sanitarios Utilización clínica... Guías para usuarios de la literatura médica (JAMA) Aproximación crítica a la evidencia (MBE): Preguntas básicas A) Son válidos los resultados del estudio? Validez Interna B) Cuales son los resultados? Significación y precisión C) Me ayudarán los resultados en el cuidado de mi paciente? Validez Externa A) Son válidas estas evidencias sobre un tratamiento? (I) Criterios Primarios A.C.1a) Se ha realizado de forma aleatoria y enmascarada la asignación de los tratamientos a los pacientes? Asignación aleatoria y en secreto A.C.1b) Se han tenido en cuenta adecuadamente todos los pacientes incluidos en el ensayo y se ha realizado un seguimiento completo? Seguimiento completo de todos los pacientes A.C.1c) Se han analizado los pacientes en los grupos a los que fueron asignados aleatoriamente? Análisis por intención de tratar A) Son válidas estas evidencias sobre un tratamiento? (II) Criterios secundarios A.C.2a) Se ha mantenido un diseño ciego respecto al tratamiento aplicado? Simple, doble,... A.C.2b) Eran similares los grupos al inicio del ensayo? En todos los factores o análisis ajustado A.C.2c) Aparte de la intervención experimental, se ha tratado a los grupos de la misma forma? Similar Tto basal
B) Cuales son los resultados del estudio? (I) 1.- Cual ha sido la magnitud del efecto? RRR, RRA y NNT 2.- Con qué precisión se ha estimado el efecto? IC95% C.1) Puedo aplicar estos resultados a mi paciente?? (I) Integración evidencia + experiencia clínica para : Evaluar el impacto del Tto en pacientes con características idénticas Tan importante es la diferencia entre mi paciente y los del ECA para que sus resultados no puedan aplicarse? C.1) Puedo aplicar estos resultados a mi paciente?? (II) Recoger valores y preferencias del paciente Tiene una valoración clara de sus preferencias y valores? Se ajustan el Tto y sus consecuencias a esta valoración? MBE: Lectura crítica de artículos científicos sobre Revisiones Sistemáticas o Metaanálisis Escenario Clínico A: Escenario Clínico Recientemente se han organizado unas sesiones bibliográficas en su centro de trabajo y le toca presentar una sesión el próximo mes. Ha pensado revisar la eficacia de las sales de litio en la prevención de recaídas en el trastorno bipolar, dado que recuerda haber leído u oído algo sobre las dudas que determinados profesionales se plantean sobre el tema. Ejemplos de revisiones tradicionales (I) Evidence Based Medicine (British Journal of Psychiatry, 1997): Moncrieff J: Lithium: evidence reconsidered. 171: 113-119 Cookson J: Lithium: balancing risks and benefits. 171: 120-124 Evidencias sobre la efectividad del litio Escasas Suficientes
Ejemplos de revisiones tradicionales (II) Diferente número de referencias (93 en Moncrieff y 72 en Cookson), de las que sólo comparten 14. No se menciona: el método de selección de artículos. Cómo se valoró la calidad de los mismos. Difícilmente se puede valorar cual se acerca más a la realidad Revisiones tradicionales: limitaciones No exhaustividad en la selección de artículos. Carecen de método sistemático de evaluación de la evidencia Incorporación frecuente de opiniones subjetivas Frecuentes sesgos (ej: publicación,...) Revisiones sistemáticas Metodología científica reproducible y explícita para: selección de artículos, evaluación de su calidad agrupación de los datos y análisis cuantitativo de los mismos (meta-análisis) Diseño y objetivos del estudio Tipo de investigación Estudio Cualitativo Transversal Casos y controles Cohortes EAC Revisión Sistemática Diagnóstico X XXX Cribaje X XXX Tratamiento X X XX XXX Pronóstico X X XX XXX Etiología X XX X( ) XXX Calidad X X X X XXX Preguntas clínicas: Escenario A Es eficaz el tratamiento con sales de litio en el tratamiento de mantenimiento de los trastornos bipolares? Tipo de pregunta: Tratamiento Estudio: Meta-análisis
Estrategia de búsqueda Determinar Fuentes de evidencias Estrategia de búsqueda Descriptores a utilizar Lithium Med-line (Pub Med) Cochrane Operadores boreanos? MBE: Lectura crítica de artículos científicos sobre Revisiones Sistemáticas o Metaanálisis Fichas sobre los criterios para la evaluación de un artículo sobre...? Diagnóstico Tratamiento o prevención Efectos nocivos Pronóstico Revisión de conjunto Análisis de decisión clínica Guías de práctica clínica Recomendaciones de asistencia sanitaria Variaciones de los resultados de los servicios sanitarios Utilización clínica... Guías para usuarios de la literatura médica (JAMA)
Aproximación crítica a la evidencia: Preguntas básicas A) Son válidos los resultados del estudio? Validez Interna B) Cuales son los resultados? Significación y precisión C) Me ayudarán los resultados en el cuidado de mi paciente? Validez Externa A) Son válidas estas evidencias sobre una Revisión Sistemática o un Meta- análisis? (I) Criterios Primarios 1) Se aborda un tema específico? 2) Fueron apropiados los criterios utilizados para la inclusión de los artículos a seleccionar? A) Son válidas estas evidencias sobre una Revisión Sistemática o un Meta- análisis? (II) Criterios secundarios 3) Es poco probable que se pasaran por alto estudios relevantes importantes? 4) Se evaluó la validez y calidad de los estudios incluidos? 5) Fueron reproducibles las evaluaciones de los estudios? 6) Fueron similares los resultados de estudio a estudio?. Se hizo una prueba de homogeneidad? B) Cuales son los resultados del estudio? (I) 1.- Cuáles han sido los resultados globales de la revisión de conjunto? 2.- Con qué precisión se han estimado los resultados? C) Me resultarán útiles los resultados para la asistencia a mis pacientes? Resolución del escenario 1.- Se consideraron todos los resultados clínicamente importantes? 2.- Los beneficios compensan los inconvenientes o los costes?
3.- Conclusiones En la actualidad, es imprescindible, independientemente de nuestra orientación (clínica y/o investigadora): Valorar la calidad de los artículos científicos Entrenarse en habilidades de lectura crítica de la literatura científica La formación en MBE mejora las habilidades de los clínicos y de los investigadores de una forma estructurada: elaboración de preguntas, estrategias de búsqueda, lectura crítica, aplicación de resultados, La práctica de la M.B.E. es... un proceso de aprendizaje de por vida, autodirigido, y basado en problemas Preguntas, comentarios y... Muchas gracias...