diagnosticas David Epstein Universidad de York, Inglaterra

Transcripción

1 La evaluación de pruebas diagnosticas David Epstein Universidad de York, Inglaterra 1

2 Indice 2 Introducción Parte 1 La sensibilidad y especificidad Parte 2 La probabilidad de enfermedad La fórmula de Rvdo. Dr. Bayes Parte 3 La curva de rendimiento diagnóstico (ROC) Parte 4 El criterio de positivismo óptimo para una prueba Caso Práctico 1 Parte 5 El meta-análisisanálisis Caso práctico 2 Resumen, preguntas y conclusiones

3 Bibliografía Deeks J. Systematic reviews in health care: systematic reviews of evaluations of diagnostic and screening tests. BMJ. 2001;323: Hennekens C, Buring J. Epidemiology in medicine. Philadelphia: Lippincott; Weinstein i M, Fineberg H. Clinical i l Decision i Analysis. Philadelphia: W B Saunders; Jaimes, Fabián. Diagnostic tests: use and interpretation. Acta Med Colomb, Jan./Mar. 2007, vol.32, no.1, p

4 Una prueba es un separador La prueba Un método para buscar más datos de un paciente Histórico, físico, químico, radiográfico Los resultados de la prueba Separar pacientes en grupos con diferentes probabilidades de tener una enfermedad 4

5 Características de una prueba Normalmente una prueba tiene 2 características Una variable de medición Por ejemplo, la presión diastólica de sangre Un criterio de positivismo El valor para separar el normal de la enfermedad Por qué hacemos una dicotomización? 5

6 Resultados de un estudio de la relación entre el nivel de la enzima SGOT y una infarto de miocardio reciente Prop porción de pacien ntes 25% 0% 25% 50% 25% 12/48 80% 37/46 23% 11/48 19% 9/48 Con IM N=48 8% 4/48 8% 4/48 17% 8/ % 5/46 9% 4/46 Sin IM N=46 SGOT unidades/litro 6 75% SGOT: Glutamic oxaloacetic transaminase

7 La prueba SGOT para el infarto de miocardio Variación en los valores de SGOT en pacientes con y sin IM Los valores en los grupos se solapan Elegir un criterio de positivismo para separar los pacientes Por ejemplo SGOT 100 unidades /litro Tabla 2 x 2 7

8 Los resultados en una tabla 2x2 con un criterio de positivismo de SGOT 100 Con IM Sin IM Total SGOT 100 VP FN P+ SGOT<100 FP VN P- Total E+= 48 E- = 46 N= 94 8

9 Los resultados en una tabla 2x2 con un criterio de positivismo de SGOT 100 Con IM Sin IM Total SGOT 100 VP=25 FN=4 P+ =29 SGOT<100 FP=23 VN=42 P- =65 Total E+= 48 E- = 46 N= 94 9

10 Definiciones Sensibilidad = sensitivity = tasa de verdadero positivos= Pr[P+ E+] = VP / E+ Especificidad = specificity = tasa de verdadero negativos= Pr[P- E-] = VN / E- 10

11 Cociente de verosimilitud : Likelihood ratio Definiciones Cocientes de verosimilitud; Likelihood ratio LR+ = sensibilidad/(1-especificidad) LR- = (1-sensibilidad)/ especificidad = Razon de probabilidades 11

12 Ejercicio. Calcular sensibilidad y especificidad Cálculo Sensibilidad Especificidad LR + LR - Interpretación Exactidud o precisión de la prueba Insuficiente para tomar una decisión 12

13 Parte 2 La revisión de la probabilidad de la enfermedad 13

14 Ejercicio. Probabilidad de una enfermedad Una prueba tiene Una sensibilidad de 99% Una especificidad de 90% La prevalencia (frecuencia de la enfermedad en la población de interés) es 10% Le diste la prueba a un paciente y resultó P+. Cuál es la probabilidad de que el paciente tiene la enfermedad? A. 10% B. 50% C. Entre 90 y 99% D. 100% 14

15 La revisión de la probabilidad Imaginad un cohorte de personas De ellos, 100 tiene la enfermedad, 900 no la tiene Sensibilidad 99% 99 P+, 1 P- 90 P+, 810 P- En el cohorte de personas Especificidad 90% = 189 P = 811 P- 15 Pr(E+ P+) = 99/189 = 51% Pr(E- P-) = 810/811

16 16 Rev. Thomas Bayes (c )

17 Teorema de Bayes (skip) Pr(P+)= Pr(P+ E+)*Pr(E+) + Pr(P+ E-)*Pr(E-) ) Sensibilidad Prevalencia 1-Especificidad 1-Prevalencia Pr(E+ P+ ) = Pr(P + E + )* Pr(E+) / Pr( P+) Probabilidad posterior 17

18 Ejercicio. Revisar la probabilidad de un paciente que tuvo un IM (skip) SGOT 50 Sensibilidad 75%, especificidad 80% Prevalencia. A. Supone que es 50% B. Supone que es 20% Usar ambos métodos : el método cohorte y la formula de Bayes 18

19 Cálculo (skip) Prevalencia (probabilidad prior) =50% P(P+) = Probabilidad posterior = 0.375/0.475= 79% Prevalencia =20% P(P+) = Probabilidad posterior = 0.15/0.31=48% 19

20 Formula de Bayes Difícil calcular rápidamente No es muy intuitiva Afortunadamente hay una forma más sencilla 20

21 Odds Definiciónes Odds Odds = Probabilidad / (1-probabilidad) Probabilidad = odds / (1 + odds) 21

22 Cociente de verosimilitud : Likelihood ratio Definiciones Cocientes de verosimilitud; Likelihood ratio LR+ = sensibilidad/(1-especificidad) LR- = (1-sensibilidad)/ especificidad 22

23 Fórmula de Bayes: más sencillo P( Pr( E + P + ) P( Pr( E + ) P( Pr( P + E + ) = * Pr( E P+ ) Pr( E ) Pr( P+ E ) Odds posterior = Odds prior x likelihood ratio(+) LR+. Cambiar (aumentar) la probabilidad de la enfermedad en pacientes con un resultado positivo 23 LR-. Cambiar (disminuir) la probabilidad de la enfermedad d en pacientes con un resultado negativo

24 Calculad la probabilidad de la enfermedad en un paciente con un resultado positivo Umbral de SGOT = 50 Sensibilidad 75%, especificidad 80% Prevalencia = probabilidad prior de que la paciente tuvo un IM Supone que es 50% odds prior = 0.5 / 0.5 = 1 LR+ = 0.75 / 0.2 = 3.75 odds posterior = 1 x 3.75 = 3.75 probabilidad posterior P(E+ P+) = 3.75 / Calculad la probabilidad de la enfermedad en un paciente con un resultado positivo si P(E+)=20% Calculad la probabilidad de la enfermedad en un paciente con un resultado NEGATIVO si P(E+)=20% 24

25 Ejercicio JAIMES, Fabián. Diagnostic tests: use and interpretation. Acta Med Colomb, Jan./Mar. 2007, vol.32, no.1, p

26 Odds posterior En el análisis anterior calculamos el odds posterior dado un resultado positivo de la prueba (P+) También se puede calcular el odds posterior de la enfermedad dado un valor X de SGOT eg X= 75 26

27 Likelihood ratios. Cocientes de verosimilitud. Calcular dentro de cada rango de SGOT SGOT x E+ E- LR(x) (12/48)/(37/46)=0, Total 48 46

28 Likelihood ratios SGOT E+ E- LR(x) x ,31 LR <1 disminuir la ,11 probabilidad de la enfermedad (dado el resultado de la prueba) ,16 LR >1 aumentar la Inf. 28 Total probabilidad de la enfermedad (dado el resultado de la prueba)

29 La fórmula de Bayes para calcular el odds posterior dado un valor X de SGOT Pr( E+ X) Pr( E+ ) Pr( X E+ ) = * Pr( E X ) Pr( E ) Pr( X E ) 29

30 Odds posterior de IM SGOT E+ E- LR(X) Odds Probabilidad X posterior posterior , , , Inf. 30 Total 48 46

31 Cálculo de odds posterior cuando SGOT=75 y la prevalencia = 20% LR (50<SGOT<100) = 2,11 Prevalencia = 20% Odds prior de la enfermedad= Pr(E+)/P(E-)= 0,25 Odds posterior = Pr(E+ X) / Pr(E- X) = 0,25 x 2,11= 0,53 Probabilidad posterior = 0,53/1,53, = 35% 31

32 Odds posterior de IM cuando la prevalencia = 20% SGOT E+ E- LR(X) Odds Probabilidad X posterior posterior , ,11 0,53 0, , Inf. 32 Total 48 46

33 Odds posterior de IM cuando la prevalencia = 20% SGOT x E+ E- LR(x) Odds Probabilidad posterior posterior ,31 0,08 0, ,11 0,53 0, ,16 0,54 0, Inf. Inf. 1,00 33 Total 48 46

34 Parte 3 La relación entre sensibilidad y especificidad La curva de ROC 34

35 Relación entre sensibilidad y especificidad Sensibilidad está medida en pacientes con la enfermedad Especificidad está medida en pacientes sin la enfermedad Por tanto, son independientes DADO UN CRITERIO DE POSITIVISMO Una prueba tendría una sensibilidad alta y especificidad alta, o sensibilidad baja y especificidad baja o sensibilidad baja y especificidad alta. etc 35

36 Cambiar el criterio de positivismo En SGOT, la elección de un criterio de positivismo más alto, reduciría la sensibilidad y mejoraría la especificidad Cambiar el criterio de positivismo vincular sensibilidad y especificidad: a trade-off Ejercicio. Calcular sensibilidad y especificidad para SGOT 50 & SGOT

37 SGOT 50 Con IM SGOT SGOT< Total Sensibilidad. 36/48 = 0,75 Especificidad. 37/46 = 0,804 Sin IM 37

38 SGOT 100 Con IM SGOT SGOT< Total Sensibilidad. 25/48=0,521 Especificidad. 42/46=0,913 Sin IM 38

39 SGOT 150 Con IM SGOT SGOT< Total Sensibilidad. 32/48 = 0,333 Especificidad. 46/46 = 1 Sin IM 39

40 Resumen de resultados en función del criterio de positivismo Criterio Sensibilidad Especificidad SGOT , ,80 SGOT 100 0,52 0,91 SGOT 150 0,33 1,00 40

41 La curva de rendimiento diagnóstico (ROC) Tasa de VP (sensibilidad) Umbral = Umbral = Umbral = Tasa de falsos positivos (1-especificidad)

42 Ejercicio. Dibujar e interpretar la curva de ROC para cada prueba A, B, C E + E + E- Resultado de la prueba A E- Resultado de la prueba C E + 42 E- Resultado de la prueba B

43 Interpretación de curva de ROC 1 sensibilidad Área bajo la curva (AUC) = 0,5 45º especificidad

44 Interpretación de curva de ROC 1 sensibilidad Área = 1 45º especificidad

45 Interpretación de curva de ROC 1 sensibilidad 0,5 < Área < 1 Área = Probabilidad de hacer un buen diagnóstico de 2 personas, una con la enfermedad y otra sin la enfermedad d 45º especificidad

46 Interpretación de curva de ROC 1 sensibilidad Gradiente de la curva de ROC = LR a esta coordinada 45º McNeil et al (1975) NEJM 293: especificidad

47 Likelihood ratios. Cocientes de verosimilitud. Calcular dentro de cada rango de SGOT SGOT x E+ E- LR (x) (12/48)/(37/46)=0, Total 48 46

48 Likelihood ratios SGOT E+ E- LR(x) ,31 LR <1 disminuir la ,11 probabilidad de la enfermedad (dado el resultado de la prueba) ,16 LR >1 aumentar la Inf. probabilidad de la enfermedad (dado el resultado de la prueba) 48 Total 48 46

49 La relación entre la curva de ROC y el LR Tasa de VP (sensibilidad) Umbral = 50 LR = 0, Umbral = Umbral = Tasa de falsos positivos (1-especificidad)

50 Ejercicio Dibujar una curva ROC para la prueba de presión ocular ( Schiotz tonometría ) para identificar pacientes con glaucoma 50

51 Presión ocular 0.3 E+ Probabilidad Presión intra- ocular más baja (menos riesgo de ceguera) E_

52 Presión ocular 52 Resultado de la prueba E+ (%) E- (%) Total 1 1

53 Presión ocular Resultado de la prueba E+ E- FP VP LR

54 Curva ROC Curva ROC Valo or VP <Criterio<8 Sensibilidad=0,75 Especificidad=1-0,19=0,81 19=0 8<Criterio<9 Sensibilidad=1 Especificidad=1-0,58=0, Valor FP 54

55 Parte 4. El criterio de positivismo óptimo para una prueba Por ejemplo. Pacientes sospechosos de IM Tu hospital tiene una prueba para IM El hospital usa la prueba con un LR+ = 2 Se trata el paciente según el resultado de la prueba Supón que la probabilidad previa = 20% Después de una prueba P+, la probabilidad bilid d posterior E+ P+ 33% El hospital quiere que revises su política Es correcto su criterio de positivismo? De que factores depende tu decisión? 55

56 La elección del criterio de positivismo optimo E+ FN Resultado de la prueba E- FP 56 Resultado X1

57 La elección del criterio de positivismo optimo E+ FN Resultado de la prueba E- FP 57 X2 es un separador más especifico que X1

58 La elección del criterio de positivismo optimo E+ FN LR(X2) mayor que LR(X1) Resultado de la prueba E- FP 58 X2 es un separador más especifico que X1

59 Factores relevantes para la decisión Prevalencia de la enfermedad (rara o común) Consecuencias de errores: falsos positivos y falsos negativos Efectividad de tratamientos Riesgos de tratamientos Costes de los tratamientos? 59

60 Ejercicio: Consecuencias de error Qué criterio de postivismo (más especifico / más sensible) elegirías si El tratamiento t t tiene más riesgo? Las consecuencias sin tratamiento son más graves? La prevalencia disminuye? La prevalencia aumenta? El tratamiento es más caro? 60

61 Consecuencias de error Qué X elegirías si El tratamiento es arriesgado? Consecuencias peores para un FP X más especifico Las consecuencias sin tratamiento son graves? Para evitar FN X más sensible La prevalencia disminuye? FP más probable X más especifico para evitar FP La prevalencia aumenta? FN más probable X más sensible para evitar FN 61

62 Ejemplo: Criterio de positivismo óptimo de un prueba para encontrar IM Consecuencias VN : Buena salud FP : Adversos efectos de fármacos (hemorragia) Tasa de mortalidad 3 por 100 personas VP : Prognosis bastante buena Tasa de mortalidad 20 por 100 personas FN : Riesgo alto de mortalidad Tasa de mortalidad 50 por 100 personas Objetivo: Minimizar la tasa de mortalidad 62

63 Análisis de la decisión para la elección del criterio de positivismo óptimo 63 Resultado de la prueba = X Decisión Designación de X como una P+ Designación de X como una P- E- P(E- X) E+ Consecuencias de VP P(E+ X) E+ P(E+ X) E- P(E- X) Consecuencias de FP Consecuencias de FN Consecuencias de VN

64 Probabilidad posterior de IM cuando la prevalencia = 20% SGOT E+ E- LR(X) Odds Probabilidad X posterior posterior , ,11 0,53 0,35 =(11/48)/ (5/46) , Inf. 64 Total =(0,2/0,8)*2,11 =0,53/1,53

65 Análisis de la decisión para la elección del criterio de positivismo optimo Prevalencia 20% Designación P+ E ,35 65 Resultado de la prueba SGOT = Decisión E- 0, E Designación P- E- 0,65 0,35 0

66 Análisis de la decisión para la elección del criterio de positivismo optimo 66 Prevalencia 20% Tasa media de mortalidad = 0,09 Resultado de la prueba SGOT = Decisión Designación P+ E- 0,65 E , E Tasa media de mortalidad d = 017 0,17 Designación P- E- 0,65 0,35 0

67 Análisis de la decisión para la elección del criterio de positivismo optimo 50< SGOT <100 debe designar una resultado positivo Ejercicio Comparar las tasas de mortalidad si determinas un valor de SGOT < 50 como negativo frente a la opción de determinar un valor de SGOT < 50 como positivo 67

68 Criterio de positivismo óptimo. Prevalencia = 20% SGOT LR(X) Probabilidad Mortalidad Mortalidad X posterior de si X P+ si X Penfermedad la d ,31 0, ,11 0,35 0,089 0, ,16 0,35 0,090 0, Inf. 1,

69 La fórmula de Bayes para calcular el Likelihood Ratio óptimo Pr( X E + ) Pr( E ) * CVN CFP = Pr( X E ) Pr( E+ ) CVP CFN LR óptimo = ( 1/ Odds prior ) * consecuencias Por ejemplo: LR óptimo = 0.8/0.2 * (0-0,03) / (0,2 0,5) LR óptimo = 4 x 0,1 = 0,4 69 Weinstein M, Fineberg H. Clinical Decision Analysis. Philadelphia: W B Saunders; 1980.

70 Likelihood Ratio y el criterio de positivismo óptimo Cómo cambiaría sus conclusiones en el caso de que: La tasa de prevalencia de IM es más baja El prognosis después el tratamiento de un IM sea mejor? Qué otros factores son importantes en la decisión? ió 70

71 Caso Practico 1 Apendectomía 71

72 Parte 5 Meta-análisisanálisis Síntesis de los resultados de varios estudios 4 Métodos Unir los datos Análisis de sensibilidad y especificidad independientemente Análisis de Likelihood Ratios Análisis de Diagnostic Odds Ratio 72

73 Unir los datos? Calcular sensibilidad y especificidad para cada estudio y los datos agrupados. Comentar. 73 Estudio1 P E+ E- Sens Espec P Total Estudio2 P P Total Total P P Total

74 Unir los datos? Calcular sensibilidad y especificidad para cada estudio y los datos agrupados. Comentar. 74 Estudio1 P E+ E- Sens Espec P Total ,25 0,9 Estudio2 P P Total ,75 0,5 Total P P Total ,29 0,63

75 Método 1. Problema con datos agrupados. 1 sensibilidad Estudio 2 Datos agrupados 45º Estudio especificidad

76 Datos de sensibilidad y especificidad de 20 estudios. Deeks Estimates from 20 studies of sensitivity and specificity of measurement of endometrial thicknesses of more than 5 mm using endovaginal ultrasonography for detecting endometrial cancer..

77 Desafíos de un meta-análisis Variabilidad en los resultados De carácter aleatorio De carácter sistemático Debido a diferencias entre los estudios (p.e características de los pacientes) Debido a diferencias en el criterio de positivismo entre los estudios 77

78 Heterogenidad entre los estudios Tasa de VP Tasa de FP

79 Método 2 Meta-análisis análisis independientes de los datos de sensibilidad y los datos de especificidad Resultados Sensibilidad 0,96 ( 95% intervalo de confianza 0,93 a 0,99) Especificidad 0,61 ( 95% intervalo de confianza 0,55 a 0,66) 79

80 Heterogenidad entre los estudios Tasa de VP Tasa de FP

81 Problemas del meta-análisis de sensitividad y especificidad por separado No se tuvo en cuenta la heterogeneidad sistemática entre los estudios 81

82 Método 3. Promedios de los Likelihood ratios positivos y negativos Supone que los Likelihood Ratios son similares entre los estudios Resultados Likelihood Ratio positivo 2,54 ( 95% intervalo de confianza 2,16 a 2,98) Likelihood Ratio negativo 0,09 ( 95% intervalo de confianza 0,06 a 0,13) 82

83 Meta-análisis con Likelihood Ratios constante. (Sensibilidad estimado) Tasa de VP LR- constante = 0, LR+ constante = 2, Tasa de FP

84 Interpretar los resultados de LR+ y LR- Supone que la prevalencia de cáncer endometrial en esta populación es 13% Calcular el odds posterior de la enfermedad de un paciente quien resultó P+ Calcular el odds posterior de la enfermedad de un paciente quien resultó P- 84

85 Odds posterior P( Pr( E+ P+ ) Pr( P( E+ ) P( Pr( P+ E+ ) = * Pr( E P + ) Pr( E ) Pr( P + E ) Si resultó P+ Odds posterior de enfermedad = (0,13/0,87)*2,54 = 0,38 Probabilidad posterior = 0,38 / 1,38 = 28% Si resultó P- 85 Odds posterior de enfermedad = (0,13/0,87) 87)*0,0909 =0014 0,014 Probabilidad posterior = 0,014 / 1,014 = 1,3%

86 Meta-análisis de Likelihood ratios La interpretación de LR+ y LR- es intuitiva y útil en la práctica clínica Problemas en el meta-análisis Cómo elegiría entre LR+ constante o LRconstante? Otra vez el análisis no tuvo en cuenta la diferencia i en el criterio i de positivismo i entre los estudios 86

87 Método 4. Odds ratio diagnostico (Diagnostic odds ratio) Supone que los odds ratio diagnositicos son similares entre los estudios Definición DOR = LR + / LR = sensibilidad / (1- sensibilidad) especificidad / (1- especificidad) 87

88 Diagnostic odds ratio Es poco probable que el LR no varia entre estudios, porque el LR varia en función del criterio de positivismo Es más probable que el DOR no varia en función del criterio de positivismo ya que es una característica de la tecnología Pero resulta difícil aplicar el DOR a la practica clínica La fórmula para calcular el SROC 88

89 Relación entre DOR y la curva de SROC (Summary ROC) Si el DOR es constante en los estudios (o todo la variación en el DOR es aleatoria): Podemos calcular la sensibilidad en función de especificidad y DOR Odds(TVP) = DOR * odds(tfp) Donde TVP = tasa de verdadero positivo = sensibilidad TFP = tasa de falso positivo = 1-especificidad Odds(x) = x/(1-x) 89

90 Summary ROC. Sensibilidad prevista 1 Tasa de VP DOR constante = (95% IC 18,2 a 43,2) 0.6 El criterio de positivismo variaría entre estudios El análisis supone que otra variabilidad es aleatoria Tasa de FP

91 Conclusión Meta-análisisanálisis Síntesis de los resultados de varios estudios Los supuestos son inevitables Es importante explorar factores que resultan en la variabilidad entre estudios Un factor sería el criterio de positivismo, por ejemplo, debido a diferencias en la calibración de las máquinas 91

92 Comparación entre dos opciones Diseño del estudio Ensayo clínico aleatorio Validez interna alta Caro y difícil Validez externa puede ser baja Estudio de modelización Utilizar datos de prevalencia, sensibilidad, especificidad Tener en cuenta que las diferencias en sens y espec pueden ser por diferencias en el criterio de positivismo Modelizar las consecuencias de FP, FN etc. 92

93 Ensayo clínico aleatorio: la angina Overall, death or MI was reduced in the routine invasive group [compared with the selective group ; Odds ratio 0.82, 95% CI ] 93

94 Caso práctico 2: Evaluación de Telemedicina (modelización) Pacientes con lesiones de la piel sospechosas de melanoma maligno Opciones para el cribado Telemedicina en atención primaria con una cámara digital y conexión electrónica para enviar las imágenes a un especialista Atención especializada con una cámara digital (dermatoscopia) Evaluar las opciones y hacer recomendaciones para el sistema sanitario 94

95 Datos de eficacia Estudio VP Total E+ FP Total E- Telemedicina Browns Moreno Ramirez Atención Cristofolini Especialista Soyer Benelli e Carli Krahn Stanganelli Lorentzen Drummer

96 Otros datos Prevalencia de melanoma maligno en esta populación es 22% Consecuencias Tasa de mortalidad con tratamiento correcto 2% Tasa de mortalidad sin tratamiento precoz 3,6% Tasa de mortalidad con tratamiento innecesaria? Qué otros factores sería importantes? 96