Lectura crítica de información científica biomédica Elsa González Lagos
Contenidos Recursos para búsqueda de información Pautas para lectura crítica Diseños de estudio y jerarquía de información Evaluación de la validez del estudio Condicionantes de resultados equívocos Medidas de efecto
Dos situaciones ineludibles a) Volumen creciente de información N 8000 6000 PubMed: publicaciones relacionadas con vacunas b) Calidad heterogénea de la información científica 4000 2000 0 1970 1980 1990 2000 2010 Año
Problemas con la calidad de las publicaciones? 1987 Evaluación metodológica de 50 revisiones publicadas entre 1985-1986 Fuentes: Annals of Internal Medicine, Archives of Internal Medicine, JAMA, NEJM Resultados: 17 satisfacían 3/8 criterios, 32: 4-5/8 criterios, 1: 6/8 criterios Ann Intern Med 1987;106:485-88 1999 Artículos, % 30 20 10 0 0 1 2 3 4 >5 Criterios satisfechos Ann Intern Med 1999;131:947
Búsqueda de información
Selección e identificación Información pertinente Decisión Interpretación crítica Circunstancias personales Evidencia experimental Preferencias, valores y derechos Enfoque GRADE en inmunizaciones Vaccine 2011;29(49):9171-6.
Cómo buscar para seleccionar? Estrategia PICO Selección e identificación Información pertinente P: el grupo de pacientes y el problema de interés I: la intervención principal C: las alternativas a comparar O: outcomes o resultados de interés
Dónde buscar? TRIP http://www.tripdatabase.com/ EBM en línea http://clinicalevidence.com Biblioteca Cochrane http://www.thecochranelibrary.com/ MEDLINE/Pubmed http://www.ncbi.nlm.nih.gov/pu bmed/ EMBASE http://www.embase.com/ Scielo http://www.scielo.org.
Lectura crítica: pautas
Lectura crítica de publicaciones biomédicas: dos claves 1. El estudio es válido? 2. Si lo es, resulta relevante para mi práctica? Validez interna Resultado Aplicabilidad
Entre la pregunta de investigación y el estudio PREGUNTA DE INVESTIGACION Diseño PLAN DE ESTUDIO Ejecución ESTUDIO REAL Población Objetivo Errores Sesgos Confusores Muestra planificada Errores Sesgos Confusores Sujetos reales Fenómeno de interés Inferencia Variables previstas Inferencia Mediciones reales VERDAD EN EL UNIVERSO VERDAD DEL ESTUDIO HALLAZGOS DEL ESTUDIO Hulley et al. Designing clinical research 3rd ed, 2009
Investigación biomédica Estudios (Pub. Primarias) Literatura integrativa (Pub. Secundarias) Experimentales Ensayos clínicos Analíticos Casos y Controles Cohortes Observacionales Descriptivos Series de casos E.Ecológicos Transversales Revisiones sistemáticas Meta-análisis Análisis de decisiones Análisis de costoefectividad Guías clínicas
Más Riguroso Jerarquía de la Evidencia Menos Riguroso Revisiones sistemáticas (RS) de ensayos clínicos Ensayos clínicos RS de estudios observacionales Estudios analíticos Estudios descriptivos
Literatura integrativa: artículos de revisión Revisiones narrativas Sin descripción de métodos Suelen reflejar la opinión de expertos Las más frecuentes (~65%) Razonables para discusiones generales de un tópico. Revisiones sistemáticas Con metodología estructurada Pregunta específica Cualitativas: Resultados resumidos Cuantitativa (Meta- Análisis): resultados de estudios combinados y analizados con pruebas estadísticas
Meta-análisis Revisión sistemática que emplea técnicas estadísticas para combinar resultados de > 2 estudios Incrementa poder estadístico ( muestra) Problemas principales Delimitación del tema Heterogeneidad entre estudios Información considerada
Sí Estudio experimental Exposición asignada por investigador? No Estudio observacional Asignación aleatoria (AA)? Grupo de comparación? Sí No Sí No Ensayo clínico con AA Ensayo clínico sin AA Estudio analítico Estudio descriptivo
Ensayo clínico con asignación aleatoria (RCT) Población Muestra Asignación aleatoria Asignación secreta Igualdad al inicio Con intervención Sin intervención Igualdad al inicio Enmascaramiento Seguimiento no diferencial ITT Seguimiento no diferencial Bueno Malo Bueno Malo
Estudios observacionales Expuestos Con Evento Población en riesgo Muestra R Asignación natural Tiempo para ocurrencia de eventos No expuestos Sin Evento Con Evento Sin Evento
Cohortes concurrentes o prospectivas Expuestos Con Evento Población en riesgo Muestra R Asignación natural Tiempo para ocurrencia de eventos No expuestos Presente Sin Evento Con Evento Sin Evento Futuro Secuencia para recolección de datos
Cohortes retrospectivas Expuestos Con Evento Sin Evento Población en riesgo Muestra R Asignación natural Tiempo para ocurrencia de eventos No expuestos Presente Con Evento Sin Evento Pasado o presente Secuencia para recolección de datos
Estudio de casos y controles Expuestos Con Evento Población en riesgo Muestra R Asignación natural Tiempo para ocurrencia de eventos No expuestos Sin Evento Con Evento Sin Evento
Lectura crítica de publicaciones biomédicas: dos claves 1. El estudio es válido? 2. Si lo es, resulta relevante para mi práctica? Validez interna Resultado Aplicabilidad
1. El estudio es válido? Los resultados pueden ser equívocos? Si no lo son, cuáles y cuán importantes son los resultados?
Errores Resultados equívocos debido a Debidos al azar: afectan en la misma medida a los grupos del estudio. Sesgos Errores sistemáticos : afectan desigualmente a los grupos del estudio Confusión (confounding) El efecto reportado se debe en realidad a un factor diferente a la exposición considerada.
Sesgos Sesgo de selección Excepto por la exposición, los grupos de estudio son similares en todos los aspectos importantes? Sesgo de medición La información se ha recolectado de la misma forma en los grupos de estudio? Los grupos han sido seguidos en forma similar? (Calidad y patrones de atención, cointervenciones)
Factores de confusión Anticonceptivos orales Riesgo de IMA Tabaquismo Anticonceptivos orales Riesgo de IMA Riesgo de IMA Tabaquismo
Ensayo clínico con asignación aleatoria (RCT) Población Muestra Asignación aleatoria Asignación secreta Igualdad al inicio Con intervención Sin intervención Igualdad al inicio Enmascaramiento Seguimiento no diferencial ITT Seguimiento no diferencial Bueno Malo Bueno Malo
RCT como el gold standard de diseños primarios Mejor control de variables confusoras (conocidas y desconocidas) Seguimiento indistinto entre grupos Sin embargo: Diseño no siempre aplicable Limitaciones de validez externa Involucra participantes voluntarios Condiciones controladas habitualmente ideales
1. El estudio es válido? Los resultados pueden ser equívocos? Si no lo son, cuáles y cuán importantes son los resultados?
Valoración de los resultados Recordar que en el efecto observado subyacen: Sesgos Azar valor p Poder del estudio Efecto real Considerar Magnitud del efecto (ej: riesgo relativo) Precisión del efecto (intervalos de confianza)
Valoración de los resultados Valor p: probabilidad que la asociación responda meramente al azar; el valor < 0.05 es solo una convención. Poder del estudio: probabilidad de encontrar una magnitud de asociación específica entre las variables resultado y predictora si tal asociación existe en realidad.
Valoración de los resultados: precisión del efecto Intervalos de confianza El rango de valores estadísticamente compatible con el estimado puntual del resultado Reducción de mortalidad del 10% (IC 95% 5-15) : los datos son compatibles con un efecto tan pequeño como 5% y tan alto como 15%, con un nivel de significancia de 95%.
Medidas de efecto
Medidas de efecto 1. Ratio (razón): fracción en la que el numerador no necesariamente es parte del denominador 2. Odds : la razón entre las probabilidades que no ocurra y que ocurra el evento Odds de obtener # par: 1 a 1 Odds de obtener un # 6: 5 a 1
Medición de efecto: cohortes Con resultado de interés Sin resultado de interés Expuestos No expuestos a c b d Riesgo relativo Frecuencia eventos en expuestos Frecuencia eventos en no expuestos = a / (a + b) c / (c + d)
Interpretación del riesgo relativo Si RR = 1 Riesgo en expuestos igual al riesgo en noexpuestos (no existe asociación) Si RR > 1 Riesgo en expuestos mayor que riesgo en no expuestos Si RR < 1 Riesgo en expuestos menor que riesgo en no expuestos (sugiere rol protector) 40
Medición de efecto: casos y controles Con resultado de interés Sin resultado de interés Expuestos No expuestos a c b d Odds ratio Odds exposición en grupo sin resultado de interés Odds exposición en grupo con resultado de interés = (b/d) = b x c (a/c) a x d
Ensayos clínicos: medidas de eficacia 1. Reducción de riesgo Absoluta (ARR) Relativa (RRR) 2. Incremento del beneficio / del riesgo 3. Número necesario para obtener beneficios / riesgos (NNT / NNH)
Eficacia: Definiciones Básicas Evento de interés + Evento de interés - Grupo Intervención a c Grupo Control b d Efecto Intervención (Experimental Event Rate) EER = a / a + c Efecto Control (Control Event Rate) CER = b / b + d Reducción absoluta de riesgo (ARR) ARR = EER-CER Reducción relativa de riesgo (RRR) RRR = EER-CER / CER
Reducción / Incremento absoluto de riesgo (ARR) Grupo control 200 Bueno Grupo experimental 800 Bueno Malo Malo 800 R1: 800 / 1000 = 0.8 (80%) 200 R2: 200 / 1000 = 0.2 (20%) ARR: 0.8 0.2 = 0.6 (60%)
Reducción / Incremento absoluto de riesgo (ARR) Grupo control 200 Bueno Grupo experimental 800 Bueno Malo Malo 800 R1: 800 / 1000 = 0.8 (80%) 200 R2: 200 / 1000 = 0.2 (20%) RRR: (0.8 0.2) / 0.8 = 0.75 (75%)
Eficacia de tratamiento: NNT y NNH El número necesario a tratar (NNT): # que se necesita tratar para prevenir un resultado perjudicial NNT = 1 / ARR El número necesario para daño (NNH): # expuesto a los riesgos de la intervención antes que alguna resulte dañada NNH = 1 / ARI Sencillos de entender
Efecto control (CER) Efecto intervención (EER) Riesgo relativo (RR), % Reducción riesgo relativo (RRR) Diferencia de riesgo (RD) NNT 0.02 0.01 50 50 0.01 100 0.4 0.2 50 50 0.2 5 0.04 0.02 50 50 0.02 50 0.04 0.03 75 25 0.01 100 0.4 0.3 75 25 0.1 10 RR= EER / CER RRR = 1 - RR RD = CER - IER NNT = 1 / RD
Efecto control (CER) Efecto intervención (EER) Riesgo relativo (RR), % Reducción riesgo relativo (RRR) Diferencia de riesgo (RD) NNT 0.02 0.01 50 50 0.01 100 0.4 0.2 50 50 0.2 5 0.04 0.02 50 50 0.02 50 0.04 0.03 75 25 0.01 100 0.4 0.3 75 25 0.1 10 RR= EER / CER RRR = 1 - RR RD = CER - IER NNT = 1 / RD
Medidas de efecto: meta-análisis Estudio Intervención Control Medida de efecto (ej: RR) Estudio A Estudio B Total 99/1607 115/1564 108/1953 142/1957 207/3560 257/3521 Prueba de heterogeneidad X 2 = 0.27, p=0.60 Línea de no diferencia 0.5 0.7 1 1.7
Pautas específicas para la lectura crítica de una revisión sistemática 1. Enfoque suficientemente delimitado? 2. Métodos exhaustivos para? Búsqueda de todos los artículos relevantes Evaluación de la calidad y validez de cada estudio 3. Los estudios son consistentes? Fueron combinados apropiadamente? 4. Cuán robustos son los resultados?
Pautas específicas para la lectura crítica de un RCT 1. Asignación aleatoria? 2. Análisis de intención a tratar? 3. Al inicio, los grupos fueron similares? 4. Los grupos fueron tratados de igual forma? 5. El seguimiento fue completo? 6. El cegamiento fue apropiado?
Pautas específicas para la lectura crítica de un estudio de cohortes Excepto por la exposición, el riesgo para el evento se mantuvo igual para ambos grupos a lo largo de todo el estudio? Circunstancias y métodos para la detección del resultado idénticos en ambos grupos? El seguimiento fue suficientemente completo, en duración y cobertura?
Lectura crítica de publicaciones biomédicas: dos claves 1. El estudio es válido? 2. Si lo es, Validez interna Resultado resulta relevante para mi práctica? Aplicabilidad
Valores y estudios de vacunas Los Valores determinan la percepción de la importancia relativa de los resultados en su relación con los beneficios, daños y costos. Ej: convulsiones febriles asociadas a vacunas
Mensajes finales La información científica debe ser abordada con espíritu científico Aproximación crítica es fundamental Atención a potenciales sesgos y factores de confusión que limiten la validez de los resultados y las conclusiones reportadas Idealmente optar por revisiones sistemáticas y meta-análisis
Preguntas, críticas, comentarios Elsa.Gonzalez@upch.pe Gracias por su atención