Investigación sobre pruebas diagnósticas II (repetibilidad)

Transcripción

1 Investigación sobre pruebas diagnósticas II (repetibilidad) V. Abraira Hospital Ramón y Cajal. IRYCIS CIBERESP Mayo Esquemáticamente Precisión reproducibilidad concordancia fiabilidad Validez Concordancia intraobservador Concordancia interobservador Exactitud (accuracy) Conformidad (conformity) V. Abraira - Bioestadistica Clínica 2 1

2 Variables categóricas Observador A Obs. B Positivo Negativo Total Positivo a b r Negativo c d s Total t u N P o a+ d = N k = P P 1 - Pe P e 0 - e rt + su = 2 N V. Abraira - Bioestadistica Clínica 3 Interpretación 0 P P 1 P e P o Concordancia por azar Concordancia más allá del azar 0 1 V. Abraira - Bioestadistica Clínica 4 2

3 Ejemplo Dos radiólogos informan pulmonías sí/no Radiólogo A Rad. B Pulmonía No Total Pulmonía No Total Pe = = 0, = = 0, Po 0,84-0,788 k = = 0, ,788 V. Abraira - Bioestadistica Clínica 5 Problemas con el kappa (I) Radiólogo A Rad. B Pulmonía No Total Pulmonía No Total P 0 =0,84 k = 0,661 Cuanto más cercana a 0,5 sea la prevalencia (cuanto más balanceados estén los totales marginales en la tabla) mayor es el para igual proporción de acuerdos observados. V. Abraira - Bioestadistica Clínica 6 3

4 Problemas con el kappa (II) Radiólogo A Rad. B Pulmonía No Total Pulmonía No Total Radiólogo A Rad. B Pulmonía No Total Pulmonía No Total P 0 =0,60 k = 0,13 P 0 =0,60 k = 0, 26 La simetría en la falta de balanceo en los totales marginales penaliza el índice y tanto más, cuanto más "perfecta" (la misma diferencia con respecto a 0,5) sea la misma. Dicho de otro modo, en igualdad de acuerdos observados, cuanto mayor sea la diferencia entre las prevalencias observadas por cada observador mayor es el índice. Feinstein A.R., Cicchetti D.V. (1990) High agreement but low kappa: I. The problem of two paradoxes, J Clin Epidemiol 43: V. Abraira - Bioestadistica Clínica 7 Más de 2 categorías Reumatólogo A Reum. B Leve Mode. Grave Total Leve Moderada Grave Total Po = = 065 0, x x x17 Pe = = 0, ,65-0,383 k = = 0, ,383 V. Abraira - Bioestadistica Clínica 8 4

5 Más de 2 categorías También colapsando la tabla kxk en k tablas 2x A A A L O M O G O B L 9 11 M G 14 3 O 9 51 O O 8 55 tabla P o P e V. Abraira - Bioestadistica Clínica 9 Más de 2 categorías O usando pesos Reumatólogo A Reum. B Leve Mode. Grave Leve W 11 W 21 W 31 Moderada W 12 W 22 W 32 0 w 1 w = 1 ij ii Grave W 13 W 23 W 33 P K K K K åå wij X ij ååwij X i. X. j o( w) e( w) i= 1 j= 1 i= 1 j= 1 o( w) = Pe( w) = k w = 2 N N P - P 1 - P e( w) V. Abraira - Bioestadistica Clínica 10 5

6 Más de 2 observadores Este índice se puede extender a múltiples l observadores, con lo que las fórmulas se complican pero sin apenas cambios conceptuales. V. Abraira - Bioestadistica Clínica 11 Escala de valoración de kappa grado de acuerdo < 0,00 sin acuerdo 0,00-0,20 insignificante 0,21-0,40 mediano 0,41-0,60 moderado 0, ,80 sustancial 0,81-1,00 casi perfecto Fuente: Landis J.R., Koch G.G. (1977). The measurement of observer agreement for categorical data. Biometrics. 33: V. Abraira - Bioestadistica Clínica 12 6

7 Kappa con Stata. kap Reuma_A Reuma_B, tab Reuma_B Reuma_A Leve Moderada Grave Total Leve Moderada Grave Total Expected Agreement Agreement Kappa Std. Err. Z Prob>Z 65.00% 38.34% kap Reuma_A Reuma_B, tab wgt(w2) Reuma_B Reuma_A Leve Moderada Grave Total Leve Moderada Grave Total Ratings weighted by: Expected Agreement Agreement Kappa Std. Err. Z Prob>Z 88.44% 75.84% V. Abraira - Bioestadistica Clínica 13 Para más de dos observadores Se puede usar kap ó kappa ó kappa2 (bajándosela antes del RyC) Kap si cada variable es un observador Kappa si cada variable es una categoría a V. Abraira - Bioestadistica Clínica 14 7

8 Kappa con Stata (II) 4 Dermatólogos clasificando el color de nevus flammeus V. Abraira - Bioestadistica Clínica 15 Kappa con Stata (III). kap der_a der_b der_c der_d There are 4 raters per subject: Outcome Kappa Z Prob>Z combined kappa rosa rojo violeta Outcome Kappa Z Prob>Z Rosa Rojo Violeta combined kappa2 der_a der_b der_c der_d AGREEMENT Po Pe K pairwise V. Abraira - Bioestadistica Clínica 16 8

9 Concordancia para variables continuas Está muy difundido en la bibliografía médica y, parece muy natural, el uso del coeficiente de correlación lineal. Se esperaría que cuanto más coincidan las mediciones, más se aproximarían los puntos a una recta y viceversa. V. Abraira - Bioestadistica Clínica 17 Ejemplo 9

10 Ejemplo wright miniwr~t wright miniwright MiniWright Fitted values Wright miniwright Coef. Std. Err. t P> t [95% Conf. Interval] wright _cons V. Abraira - Bioestadistica Clínica 19 Razones para no usar r Mide correlación, no acuerdo 10

11 Mide correlación, no acuerdo Wright MiniWright mini Doble (mini) Fitted values Fitted values Fitted values En todas r=0,943 p<0,001 Sin embargo, el acuerdo (intercambiabilidad) no es igual Dos métodos diseñados para medir lo mismo, suelen estar correlacionados ( faltaría más!) Razones para no usar r Mide correlación, no acuerdo Depende del rango de las medidas 11

12 Depende del rango de las medidas Si se incluyen valores extremos, r aumenta. En el ejemplo, si partimos la muestra en dos: los que Wright <500 y los que Wright >500: r = 0,879 y r= 0,904 ambos menores que r= 0,943 Como en los estudios de fiabilidad se suele usar todo el rango, una alta correlación está casi garantizada. Razones para no usar r Mide correlación, no acuerdo Depende del rango de las medidas Depende del orden de los pares de mediciones 12

13 Depende del orden de los pares Que debería ser irrelevante en una medida de acuerdo. En el ejemplo, si desde el caso 9 al 17 intercambiamos Wright y mini Wright, r = 0,952 en lugar de r=0,943. Otros métodos Método de Bland y Altman: representación gráfica de la diferencia entre medidas contra su media. Bland & Altman. Lancet, 1986; i :

14 Método de Bland-Altman.baplot wright miniwright Difference Average Bland-Altman comparison of wright and miniwright Limits of agreement (Reference Range for difference): to Mean difference: (CI to ) V. Abraira - Bioestadistica Clínica 27 Método de Bland-Altman Ventajas: Fácil de hacer e interpretar. t Informa de las discrepancias. Permite ver si son homogéneas o depende de la medida. Inconvenientes: Sólo dos observadores. Los límites exigen normalidad. Los límites exigen homogeneidad. V. Abraira - Bioestadistica Clínica 28 14

15 Coeficiente de correlación intraclase (CCI) Es el coeficiente de correlación entre las dos mediciones, i ajustado por la medida. Para verlo, necesitamos hacer explicito el modelo de la medida Modelo de medida X = Y + e= m+ ey + e observable X: resultado de la medición Y: magnitud a medir; : media de la magnitud : Error de la medición; y : variabilidad de la magnitud E X E é ù ë y û E E [ ] = m + e + [ e ] = m + [ e ] var var é ù ë y û var [ X ] = e + [ e] Error aleatorio sesgo 15

16 Coeficiente de correlación intraclase (CCI) CCI = var ée ù ë y û var é ë ey ù+ û var [ e] Proporción de variabilidad de la medición que se debe a la variación de la variable Coeficiente de correlación intraclase (CCI) Ventajas: Se S puede extender a más de dos observadores. Ajustado al modelo de medida. Inconvenientes Menos intuitivo Ajustado d al modelo de medida: distintas maneras de estimarlo, dependiendo del diseño del estudio. 16

17 Estimaciones del CCI En un estudio típico, se tiene una muestra aleatoria de n sujetos que son evaluados por k métodos. Se pueden definir 2 modelos distintos: Estudio de replicación simple. Estudio de fiabilidad inter-método Efectos aleatorios Efectos fijos Shrout & Fleiss. Psychol. Bull, 1979; 86: Estudio de replicación simple n sujetos y a cada uno de ellos se le mide varias veces, sin estructura de replicación, la variable de interés. Corresponde a un modelo de anova de una vía de efectos aleatorios. Modelo o ICC(1) en la notación de Fleiss 17

18 Ejemplo Un observador mide dos veces distintas, i la fracción de eyección en una serie de ecocardiogramas. V. Abraira - Bioestadistica Clínica 35 Ejemplo con Stata. loneway Frac_eye eco One-way Analysis of Variance for Frac_eye: Source SS df MS F Prob > F Between eco Within eco Total Intraclass Asy. correlation S.E. [95% Conf. Interval] Estimated SD of eco effect Estimated SD within eco Est. reliability of a eco mean (evaluated at n=2.00) Number of obs = 40 R-squared = V. Abraira - Bioestadistica Clínica 36 18

19 Mismo ejemplo con SPSS Los datos deben organizarse de modo distinto: i 19

20 20

21 Estudios de fiabilidad intermétodo n sujetos y a cada uno de ellos se le mide por k métodos u observadores: Que son una muestra aleatoria de una población mayor de métodos u observadores. Anova de dos vías, efectos aleatorios. Modelo ICC(2). O son todos los de interés. Anova de dos vías, modelo mixto. Modelo ICC(3) Ejemplo de modelo aleatorio Cuatro médicos, elegidos al azar entre los 10 del servicio, i evalúan la gravedad de 6 pacientes en una escala de 0 a 10. Evaluadores Sujetos ,00 2,00 5,00 8,00 2 6,00 1,00 3,00 2,00 3 8,00 4,00 6,00 8,00 4 7,00 1,00 2,00 6, ,00 5,00 6,00 9,00 6 6,00 2,00 4,00 7,00 21

22 22

23 Ejemplo de modelo mixto El del Wright y el mini-wright 23

24 Es útil la prueba? (I) Es la prueba reproducible? Entre observadores distintos. t Entre el mismo en distintos tiempos. Causas de no-reproducibilidad Problemas de la propia prueba (reactivos, calibración del aparato, etc.). Interpretación. Requiere experiencia. V. Abraira - Bioestadistica Clínica 48 24

25 Es útil la prueba? (II) Sigue clasificando bien a pesar de la no reproducibilidad? d? Desconfiemos de una prueba con alta reproducibilidad: o es muy simple o requiere mucha cualificación. V. Abraira - Bioestadistica Clínica 49 Práctica Calcular con Stata y Epidat todos los kappas de la sesión. Calcular con Stata y Epidat el CCI para los datos de la fracción de eyección. Evaluar a críticamente ca te los artículos suministrados. V. Abraira - Bioestadistica Clínica 50 25