SESIÓN PRÁCTICA DE BIOESTADÍSTICA: EVALUACIÓN DE CRITERIOS DIAGNÓSTICOS. DISCRIMINACIÓN.

Transcripción

1 SESIÓN PRÁCTICA DE BIOESTADÍSTICA: EVALUACIÓN DE CRITERIOS DIAGNÓSTICOS. DISCRIMINACIÓN. CURVA ROC OBJETIVOS Si disponemos de una variable continua (por ejemplo una determinación de un valor analítico), la selección del valor que diferencia la presencia o ausencia de la positividad del diagnóstico es importante como referencia en la práctica clínica La capacidad que tiene una prueba diagnóstica de diferenciar entre sanos y enfermos (positivos y negativos) se denomina DISCRIMINACIÓN. Si disponemos de varias pruebas para un mismo problema, también es interesante saber cual de ellas es mejor en esta capacidad. En esta práctica discutiremos estos conceptos y nos introduciremos en la metodología de las llamadas curvas ROC (del inglés Receiver Operating Characteristic curves). Conceptos básicos Para poder entender esta práctica, el alumno debe repasar y comprender los siguientes conceptos: Recodificación de variables Sensibilidad y Especificidad de una prueba diagnóstica Concepto de Tabla de contingencia Capacidad de Explorar una variable continua Histograma de una muestra de una variable continua Estimación de parámetros en la distribución normal BIOESTADÍSTICA: EVALUACIÓN DE CRITERIOS DIAGNÓSTICOS 1

2 Actividades de preparación de la práctica Como actividad previa a la realización de la práctica, el alumno debe buscar la siguiente información: Leer y entender los capítulos 6 (insistir en páginas ) y 9 ( ). Leer los artículos seleccionados y prepara la discusión de los mismos. Buscar otros artículos que utilicen la misma metodología. Buscar información teórica sobre las curvas ROC. Recomendamos el siguiente artículo: Burgueño MJ, Garcia-Bastos JL y Gonzalez-Buitrago JM. Las curvas ROC en la evaluación de las pruebas diagnósticas. Med Clin (Barc) 1995; 104: Pensar en posibles utilidades reales en la práctica clínica de un médico. Desarrollo de la práctica 1) Explicación del archivo de datos que emplearemos en la práctica 2) Realizar histogramas y exploración de las variables (Sesión práctica anterior) 3) Recodificar las variables según diferentes puntos de corte (puntos diagnósticos) elegidos. Las nuevas variables creadas diferencian la positividad de la prueba según se este por encima o por debajo del punto diagnóstico elegido. 4) Realizar Tablas de Contingencia 5) Realizar los cálculos sobre las Tablas de Contingencia. Sensibilidad, Especificidad, VPP, VPN, VG. 6) Introducir el concepto de DISCRIMINACIÓN 7) Introducir el concepto de Curva ROC y Área bajo la Curva ROC (ABC). 8) Selección del mejor punto diagnóstico (punto de corte óptimo) 9) Comparación de dos curvas ROC 10) Comentar y discutir los artículos elegidos como ejemplos. 11) Simulaciones en el programa de prácticas 12) Discusión global y conclusiones BIOESTADÍSTICA: EVALUACIÓN DE CRITERIOS DIAGNÓSTICOS 2

3 Orientación metodológica Presentación del archivo de datos que emplearemos El archivo tiene las siguientes características: BIOESTADÍSTICA: EVALUACIÓN DE CRITERIOS DIAGNÓSTICOS 3

4 Presentación del primer ejercicio La determinación de Urea plasmática (variable - urea) medida en mg/dl es un indicador de la función renal. En este archivo se han recogido los valores de 504 pacientes. Este valor de urea puede servir para diferenciar que pacientes presentaran posteriormente una insuficiencia renal (variable irenal) (que motivará un tratamiento específico). La variable Urea puede representarse con este histograma: Desv. típ. = Media = 64.8 N = UREA Si diferenciamos según presenten posteriormente Insuficiencia renal: 140 Histograma Para IRENAL= No 20 Histograma Para IRENAL= Si Frecuencia Desv. típ. = Media = 51 N = Frecuencia Desv. típ. = Media = 126 N = UREA UREA BIOESTADÍSTICA: EVALUACIÓN DE CRITERIOS DIAGNÓSTICOS 4

5 Esto puede representarse (asumiendo distribuciones normales) también así: I. RENAL NO SI x 10 mg/dl Y representando por medio de histogramas: VN FP NO I. RENAL mg/dl I. RENAL F N Xc VP PUNTO DE CORTE BIOESTADÍSTICA: EVALUACIÓN DE CRITERIOS DIAGNÓSTICOS 5

6 Recodificación de variables Creación de la variable recodificada: BIOESTADÍSTICA: EVALUACIÓN DE CRITERIOS DIAGNÓSTICOS 6

7 Construcción de las Tablas de Contingencia Esto produce la siguiente Tabla de Contingencia: Tabla de contingencia IRENAL * UREA90 Recuento IRENAL Total No Si UREA90 < 90 mg/dl > 90 mg/dl Total Que de acuerdo con el gráfico de la página 5 se puede interpretar así: Tabla de contingencia IRENAL * UREA90 Recuento IRENAL Total No Si UREA90 < 90 mg/dl > 90 mg/dl Total VN FP 410 FN VP BIOESTADÍSTICA: EVALUACIÓN DE CRITERIOS DIAGNÓSTICOS 7

8 Cálculos sobre la Tabla de Contingencia Podemos calcular los siguientes conceptos: Sensibilidad (SEN), Especificidad (ESP), Valor Predictivo Positivo (VPP), Valor Predictivo Negativo (VPN) y Valor Global (VG): SEN VP = VP + FN VN ESP = VN + FP VP VPP = VP + FP VPN VN = VN + FN VP + VN VG = VP + FP + VN + FN Para el punto de corte de Urea = 90 mg/dl: SEN = 0.77 ESP = 0.92 VPP = 0.69 VPN = 0.94 y VG = 0.89 Si cambiamos el punto de corte a 50 y 130 mg/dl obtenemos las siguientes Tablas y Cálculos: Tabla de contingencia IRENAL * UREA50 Recuento IRENAL Total No Si UREA50 < 50 mg/dl > 50 mg/dl Total Para el punto de corte de Urea = 50 mg/dl: SEN = 0.98 ESP = 0.60 VPP = 0.36 VPN = 0.99 y VG = 0.67 Tabla de contingencia IRENAL * UREA130 Recuento IRENAL Total No Si UREA130 < 130 mg/dl > 130 mg7dl Total Para el punto de corte de Urea = 130 mg/dl: SEN = 0.44 ESP = 0.97 VPP = 0.75 VPN = 0.88 y VG = 0.87 BIOESTADÍSTICA: EVALUACIÓN DE CRITERIOS DIAGNÓSTICOS 8

9 Construcción de la curva ROC Recorriendo todo el rango de valores posibles de los puntos de corte (puntos diagnósticos) obtendremos una serie de pares Sensibilidad-Especificidad que definirán cada prueba diagnóstica. Se define el punto óptimo diagnóstico como el que tiene el mejor par Sensibilidadespecificidad. Puede interesarnos elegir este punto bajo otros criterios dependiendo del problema que se este valorando. La representación gráfica de todos estos puntos define la curva ROC. Se utiliza el par Sensibilidad (1-Especificidad) para su representación gráfica. BIOESTADÍSTICA: EVALUACIÓN DE CRITERIOS DIAGNÓSTICOS 9

10 La gráfica de la curva ROC es la siguiente: 1,00 Curva COR,75,50 Sensibilidad,25 0,00 0,00,25,50,75 1, Especificidad La línea de puntos expresa la nula capacidad de discriminación. Cuanto más se acerque la curva al extremo superior izquierdo de la cuadrícula la prueba diagnóstica tendrá más capacidad de discriminación. La curva ROC es la representación grafica de la discriminación. Se entiende como Área Bajo la Curva ROC (ABC) la probabilidad de clasificar correctamente un par de individuos sano y enfermo (positivo o negativo) seleccionados al azar. Verdadera ABC ROC = Prob (X positivo > X negativo ) Los valores del ABC ROC van entre 0.5 (igual al azar) y el máximo que es 1. Se suele aceptar como valor aceptable de discriminación cuando supera el 0.7. La forma de cálculo se realiza por método trapezoidal. Coincide con la suma de rangos obtenida con la prueba de comparación de medias de Wilcoxon (versión Mann- Whitney). Área bajo la curva Variables resultado de contraste: UREA Intervalo de confianza asintótico al 95% Límite Área Error típ. Sig. asintótica Límite inferior superior BIOESTADÍSTICA: EVALUACIÓN DE CRITERIOS DIAGNÓSTICOS 10

11 Comparación de dos curvas ROC Siguiendo con el ejemplo de este ejercicio, vemos que las cifras de Urea sirven para discriminar que pacientes padecerán Insuficiencia Renal posteriormente; pero podemos preguntarnos si otra variable (Creatinina medida en mg/dl) puede, o no, mejorar esta capacidad discriminatoria. 1,00 Curva COR,75,50 Procedencia de la cu Sensibilidad,25 0,00 0,00,25,50,75 1,00 Línea de referencia CREATIN UREA 1 - Especificidad Área bajo la curva Variables resultado de contraste UREA CREATINA Intervalo de confianza asintótico al 95% Límite Área Error típ. Sig. asintótica Límite inferior superior BIOESTADÍSTICA: EVALUACIÓN DE CRITERIOS DIAGNÓSTICOS 11

12 Segundo ejercicio Siguiendo con el mismo fichero de datos, describimos el segundo ejercicio. Si medimos la Tensión Arterial Sistólica (mmhg) de un paciente, puede ayudarnos a diferenciar los que presentarán un fallo cardiaco (variable cardiaca). En la base de datos tenemos 504 pacientes con esta medida. La diferencia con el ejercicio anterior sólo radica que en este caso un valor más bajo de tensión arterial es el que tiende a aumentar la posibilidad de problema cardiaco. 40 Histograma Para CARDIACA= Histograma Para CARDIACA= Frecuencia 10 0 Desv. típ. = Media = 102 N = Frecuencia Desv. típ. = Media = 134 N = TAS TAS CARDIACA INOTROPO SI NO x BIOESTADÍSTICA: EVALUACIÓN DE CRITERIOS DIAGNÓSTICOS 12

13 Hay que elegir la opción en el cuadro de diálogo: Comparamos la tensión arterial al ingreso (variable tasingre) con la Tensión arterial peor obtenida en las primeras 24 horas de ingreso (variable tas) 1.00 Curva COR Sensibilidad Línea de referencia TAS2 TAS1 1 - Especificidad Área bajo la curva Variables resultado de contraste TAS1 TAS2 Intervalo de confianza asintótico al 95% Límite Área Error típ. Sig. asintótica Límite inferior superior BIOESTADÍSTICA: EVALUACIÓN DE CRITERIOS DIAGNÓSTICOS 13

14 Ejemplos de artículos Hemos elegido 3 artículos como ejemplos: 1 Sánchez J, Luis M, Vazquez MA, Mintegui S, Benito J, Lopez P. Valor diagnóstico de la proteina C reactiva en las sospechas de apendicitis aguda en la infancia. An Esp Pediatr 1998; 48: En este artículo la prueba a valorar es la determinación de proteina C reactiva para poder diferenciar pacientes con o sin apendicitis aguda. Se compara con la determinación de leucocitos en sangre. 2 Gaspar MJ, Arribas I, Hontoria JM, Bokobo P, Coca C, Angulo JC. Utilidad de la fracción libre de antígeno prostático específico en el diagnóstico diferencial entre hiperplasia prostática y cáncer de próstata. Med Clin (Barc) 2000; 115: También compara dos métodos para encontrar cual tiene mayor capacidad de discriminación. 3 Costa A, Conget I, Treserras R, Gomis R. Utilidad de la glucemia basal y de la hemoglobina glucosilada para la detección de la tolerancia anormal a la glucosa en familiares de pacientes con diabetes tipo 2. Med Clin (Barc) 1999; 112: Se valoran los distintos puntos de corte y las dos curvas ROC en un problema de identificación de pacientes con intolerancia a la glucosa. Anexo: Cálculos con el programa ENESSIM Como actividad previa a la práctica, es conveniente realizar los ejercicios correspondientes del programa ENESSIM. Para ello, abrir el programa y elegir el elemento del menú que se refiere a las prácticas. BIOESTADÍSTICA: EVALUACIÓN DE CRITERIOS DIAGNÓSTICOS 14