Mónica López Ratón BIOSTATECH, Advice, Training & Innovation in Biostatistics, S.L. Abril monica.lopez.raton@usc.es

Transcripción

1 Mónica López Ratón BIOSTATECH, Advice, Training & Innovation in Biostatistics, S.L. Abril 2013

2 Selección de puntos de corte óptimos en los tests diagnósticos

3 Índice 1. Motivación - Tests diagnósticos - Medidas de eficacia de los tests diagnósticos 2. Métodos de selección del punto de corte óptimo - Criterios basados en la Sensibilidad y la Especificidad - Criterios basados en los Valores Predictivos - Criterios basados en costes-beneficios 3. Software disponible 4. Aplicación a datos reales 5. Bibliografía 3

4 4 1. Motivación

5 1. Motivación: Tests diagnósticos Qué es una prueba o test diagnóstico? Un test diagnóstico es cualquier prueba médica para ayudar en el diagnóstico o detección de una enfermedad. Los tests diagnósticos a menudo se utilizan para discriminar entre los individuos sanos y enfermos. 5

6 1. Motivación: Tests diagnósticos Un test diagnóstico continuo T toma valores en una escala continua, como por ejemplo, los niveles de glucosa en sangre de un individuo. Cómo realizar la clasificación en sanos y en enfermos a partir del valor de un test diagnóstico continuo? Es útil seleccionar un punto de corte o valor de discriminación c que permita definir cuando el paciente es clasificado como sano o como enfermo a partir del resultado del test. 6

7 1. Motivación: Tests diagnósticos En general asumiendo que valores elevados del test se asocian con enfermedad: T c: paciente clasificado como enfermo. T < c: paciente clasificado como sano 7

8 1. Motivación: Medidas de eficacia de los tests diagnósticos Enfermo Sano Positivo (T c) Verdadero Positivo Falso Positivo Test Negativo (T< c) Falso Negativo Verdadero Negativo Paciente incorrectamente clasificado como sano Paciente correctamente clasificado como enfermo Paciente incorrectamente clasificado como enfermo Paciente correctamente clasificado como sano 8

9 1. Motivación: Medidas de eficacia de los tests diagnósticos Para cada valor de corte c se pueden definir: Probabilidades de acierto Sensibilidad: Se(c)= P [T c Enfermo] Especificidad: Sp(c)= P [T < c Sano] Probabilidades de fallo 1-Sensibilidad: 1-Se(c)= P [T < c Enfermo] 1-Especificidad: 1-Sp(c)= P [T c Sano] 9

10 1. Motivación: Medidas de eficacia de los tests diagnósticos La elección del valor de corte dará Valor de corte : Falsos positivos Especificidad Falsos negativos Sensibilidad 10

11 sensibilidad Motivación: Medidas de eficacia de los tests diagnósticos Para cualquier valor c del biomarcador, la curva ROC: ROC(.) 1 Sp( c), Se( c) Estimación p-splines especificidad Índice resumen de la curva ROC: área bajo la curva (AUC) (Swets 1979) 1 AUC ROC t dt 0 11

12 1. Motivación: Medidas de eficacia de los tests diagnósticos En general el clínico no dispone de información a priori del status del paciente y le interesan las probabilidades: Valor Predictivo Positivo: probabilidad de que si el resultado del test es positivo, el paciente esté realmente enfermo. PPV(c)= P [Enfermo T c] Valor Predictivo Negativo: probabilidad de que si el resultado del test es negativo, el paciente esté realmente sano. NPV(c)= P [Sano T < c] Dependen de la prevalencia de la enfermedad y miden la fiabilidad o seguridad del test diagnóstico. 12

13 2. Métodos de selección del punto de corte óptimo 13

14 2. Métodos de selección del punto de corte óptimo Objetivo: Seleccionar el punto de corte óptimo que mejor discrimine entre los pacientes sanos y enfermos. El punto de corte óptimo va a depender del objetivo que se persiga con la elección de ese valor óptimo. Varios criterios para la selección del punto de corte óptimo (ver por ejemplo, Amaro et al. 1995; Feinstein 1975; Metz 1978; Vermont et al. 1991; Greiner 1995) 14

15 2. Métodos de selección del punto de corte óptimo Criterios basados en la Sensibilidad y Especificidad Valor mínimo para la Sensibilidad, Especificidad o ambas Igualdad entre la Sensibilidad y la Especificidad: c: min{ Se(c)-Sp(c) } Índice de Youden: c: max{se(c)+sp(c)-1} Maximizar suma de Sensibilidad y Especificidad Punto + cercano al punto (0,1) sobre la curva ROC: c: min{(se(c)-1) 2 +(Sp(c)-1) 2 } Maximizar la Eficiencia o % clasificados correctamente: c: min{pse(c)+(1-p)sp(c)} 15

16 2. Métodos de selección del punto de corte óptimo Criterios basados en los Valores Predictivos Valor mínimo para el Valor Predictivo Positivo, Valor Predictivo Negativo o ambos Igualdad entre el Valor Predictivo Positivo y el Valor Predictivo Negativo: c: min{ PPV(c)-NPV(c) } Punto + cercano al punto (0,1) sobre la curva PROC (PPV versus 1-NPV): c: min{(ppv(c)-1) 2 +(NPV(c)-1) 2 } 16

17 2. Métodos de selección del punto de corte óptimo Criterios basados en la metodología costes-beneficios Tienen en cuenta costes de las clasificaciones del diagnóstico y la prevalencia de la enfermedad Calcular el valor óptimo como aquel que tiene una pendiente de la curva ROC igual a p C C Minimizar el término que mide el coste de las clasificaciones incorrectas (MCT) c: min CFN CFP S 1 p p( 1 Se( c)) (1 p)(1 Sp( c)) C FP FN C TN TP 17

18 18 3. Software disponible

19 3. Software EN R (Software de libre distribución, Varios paquetes que permiten seleccionar el punto de corte óptimo en los tests diagnósticos: PresenceAbsence (Freeman y Moisen 2008, 12 criterios de selección), DiagnosisMed (Brasil 2008, 10 criterios), proc (Robin et al. 2011, 2 criterios) y SDMTools (VanDerWal et al. 2012, 8 criterios). Ninguno de los paquetes anteriores incorporan criterios basados, por ejemplo, en los Valores Predictivos. 19

20 3. Software Más reciente: OptimalCutpoints (López-Ratón y Rodríguez-Álvarez 2012): 35 criterios diferentes para la selección del punto de corte óptimo en los tests diagnósticos. Incluye todos los criterios de los paquetes anteriores. Criterios basados en los Valores Predictivos y otras medidas. Cálculo del punto de corte óptimo según los niveles de una covariable categórica. 20

21 3. Software Paquete OptimalCutpoints 1. Instalación del paquete OptimalCutpoints 2. Carga del paquete OptimalCutpoints 21

22 3. Software Paquete OptimalCutpoints 3. Consulta de la ayuda de la función principal del paquete optimal.cutpoints (methods, data, marker, status, tag.healthy, categorical.cov = NULL, pop.prev = NULL, control = control.cutpoints(), ci.fit = FALSE, conf.level = 0.95, trace = TRUE) 22

23 3. Software Paquete OptimalCutpoints Criterio de selección Datos Variable que Indica el test diagnóstico Variable que indica el status de enfermedad Valor de la variable status que indica que el paciente está sano 23

24 3. Software Paquete OptimalCutpoints Valor de la prevalencia de la enfermedad. Por defecto se estima como la prevalencia muestral Covariable categórica Salida de la función control.cutpoints que indica los valores de los parámetros opcionales de algunos métodos. 24

25 3. Software Paquete OptimalCutpoints Si es TRUE, se calculan intervalos de confianza de las medidas de eficacia. Nivel de confianza Si es TRUE, indica información del proceso en pantalla 25

26 4. Aplicación a datos reales Datos Estudio de seguimiento de 141 pacientes atendidos en el Servicio de Cardiología del Hospital Clínico de Santiago de Compostela (Amaro et al. 1995). Objetivo: evaluar la utilidad clínica de la elastasa de leucocitos en el diagnóstico de enfermedad coronaria arterial (CAD). Variables marker tag.healthy elas: elastasa de leucocitos status status: status de enfermedad (0: sano; 1: enfermo) gender: género ( Male and Female ) categorical.cov 26

27 4. Aplicación a datos reales El fichero de datos está incluido en el paquete: Como trace=true Se muestra información del proceso 27

28 4. Aplicación a datos reales Resultados numéricos: Función summary Descriptivo en mujeres Descriptivo en hombres 28

29 4. Aplicación a datos reales Resultados numéricos: Función summary Punto de corte óptimo: elas 46: ENFERMO elas < 46: SANO 29

30 4. Aplicación a datos reales Resultados numéricos: Función summary Punto de corte óptimo: elas 38: ENFERMO elas < 38: SANO 30

31 Sensitivity Sensitivity Aplicación a datos reales Resultados gráficos: Función plot Curva ROC ROC Curve. Criterion: Youden Female ROC Curve. Criterion: Youden Male (0.182, 0.667) (0.261, 0.654) AUC: (0.684, 0.952) AUC: (0.612, 0.831) Specificity Specificity 31

32 Positive predictive value Positive predictive value Aplicación a datos reales Resultados gráficos: Función plot Curva PROC PROC Curve. Criterion: Youden Female PROC Curve. Criterion: Youden Male (0.622, 0.898) (0.217, 0.714) Negative predictive value Negative predictive value 32

33 Optimal criterion Optimal criterion Aplicación a datos reales Resultados gráficos: Función plot Criterio: Índice de Youden Criterion: Youden Female (46, 0.485) Criterion: Youden Male (38, 0.393) Cutoffs values Cutoffs values 33

34 4. Aplicación a datos reales Interpretación y conclusiones La elastasa de leucocitos es un buen marcador diagnóstico de CAD, sobre todo en mujeres (elevada AUC). El punto de corte óptimo mediante el índice de Youden fue superior en mujeres que en hombres. En hombres, el valor óptimo permite detectar correctamente al 65% de los enfermos y al 74% de los sanos. En mujeres, el valor óptimo permite detectar correctamente al 67% de los enfermos y al 82% de los sanos. 34

35 35 5. Referencias/Bibliografía

36 5. Referencias bibliográficas Amaro A, Gude F, Gonzalez-Juanatey R, Iglesias F, Fernandez- Vazquez F, Garcia-Acuna J, Gil M (1995). Plasma Leukocyte Elastase Concentration in Angiographically Diagnosed Coronary Artery Disease. European Heart Journal 16: Feinstein SH (1975). The Accuracy of Diver Sound Localization by Pointing. Understanding Biomedical Research 2(3): Greiner M (1995). Two-graph Receiver Operating Characteristic (TG-ROC): A Microsoft-EXCEL Template for the Selection of Cut-O Values in Diagnostic Tests. Journal of Immunological Methods, 185(1):

37 5. Referencias bibliográficas Amaro A, Gude F, Gonzalez-Juanatey R, Iglesias F, Fernandez- Vazquez F, Garcia-Acuna J, Gil M (1995). Plasma Leukocyte Elastase Concentration in Angiographically Diagnosed Coronary Artery Disease. European Heart Journal 16: Metz CE (1978). Basic Principles of ROC Analysis. Seminars in Nuclear Medicine 8: Vermont J, Bosson JL, Fran Cois P, Robert C, Rue A, Demongeot J (1991). Strategies for Graphical Threshold Determination. Computer Methods and Programs in Biomedicine 35: