Redalyc. Mandeville, Peter B.

Transcripción

1 Redalyc Sistema de Información Científica Red de Revistas Científicas de América Latina, el Caribe, España y Portugal Mandeville, Peter B. Tema 26: el coeficiente iota para medir concordancia inter observador de datos multivariados Ciencia UANL, vol. XIV, núm. 2, abril-junio, 2011, pp Universidad Autónoma de Nuevo León Monterrey, México Disponible en: Ciencia UANL ISSN (Versión impresa): rciencia@mail.uanl.mx Universidad Autónoma de Nuevo León México Cómo citar? Número completo Más información del artículo Página de la revista Proyecto académico sin fines de lucro, desarrollado bajo la iniciativa de acceso abierto

2 Tips Bioestadísticos Tema 26: el coeficiente iota para medir concordancia inter observador de datos multivariados Peter B. Mandeville It doesn't matter how beautiful your theory is, it doesn't matter how smart you are. If it doesn't agree with experiment, it's wrong. Richard P. Feynman Cuando varios objetos son evaluados por observadores, la extensión del coeficiente kappa (κ) de Cohen mide el grado de concordancia interobservador, en el caso de dos o más observadores extraídos de una población mayor de posibles observadores, los cuales han evaluado un conjunto de objetos extraídos de una población mayor de posibles objetos. Se supone que los objetos son independientes y que los observadores funcionan independientemente. 1 Para datos multivariados categóricos, el enfoque multivariado hace posible evaluar el grado de concordancia a nivel global. Esto proporciona una medida para comparar la concordancia entre estudios publicados u observadores. Es necesario tomar en cuenta que la disponibilidad de una medida de concordancia global de variables y observadores no excluye la necesidad de medir el grado de concordancia de las variables u observadores. La medida global proporciona información a un nivel agregado sobre el grado de concordancia de los observadores en la clasificación multivariada. Pero la medida de concordancia multivariada nada dice sobre la fiabilidad de una variable u observador en particular. En la mayoría de los casos se necesita calcular el grado de concordancia por variables u observadores, además de la medida global. 1 Gamer, Lemon, y Fellows 2 han implementado el código de Janson y Olsson 1 en la función iota (ι) en el paquete irr en R que calcula iota (ι), un índice de concordancia inter observador de datos multivariados categóricos o cuantitativos. Recientemente he necesitado establecer la concordancia de diferentes observadores con objetos multivariados, 210 CIENCIA UANL / VOL. XIV, No. 2, ABRIL - JUNIO 2011

3 PETER B. MANDEVILLE como las entrevistas estructuradas de M.I.N.I. Plus, que identifica diagnósticos diferentes o agrupados. Se utiliza un conjunto de datos piloto, que son las evaluaciones de videos de la aplicación del cuestionario M.I.N.I. Plus a siete pacientes por ocho observadores. Las variables son las 24 columnas DA hasta DZ. 3 > getwd() > list.files() > dat <- read.csv("piloto.csv",header=t) > head(dat) Las columnas DK, DL, DN, DR, DT, DU, DY, DZ contienen constantes, y son removidas del conjunto de datos. > dat2 <- dat1[,-c(13,14,16,20,22,23,27,28)] > summary(dat2[,3:20]) Las observaciones faltantes no están permitidas. Si hay observaciones faltantes se necesita utilizar imputación múltiple. El primer paso es identificar las columnas que contienen constantes. > for(j in 1:ncol(dat)) dat1[,j] <- as.factor(dat[,j]) > summary(dat1[,3:28]) > sample(0:9,3,replace=t) [1] > library(mice) > dat3 <- complete(mice(dat2,seed=357)) Se verifica que el conjunto de datos esté listo para el análisis. > summary(dat3[,3:20]) CIENCIA UANL / VOL. XIV, No. 2, ABRIL - JUNIO

4 TIPS BIOESTADÍSTICOS Se calcula κ de Fleiss, de la variable DA, con la función kappam.fleiss(κ) del paquete irr. > preg <- list() > preg[[3-2]] <- rbind(dat3[1:8,3],dat3[9:16,3],dat3[17:24,3],dat3[25:32,3],dat3[33:40,3],dat3[41:48,3],dat3[49:56,3]) > preg [[1]] [,1] [,2] [,3] [,4] [,5] [,6] [,7] [,8] [1,] [2,] [3,] [4,] [5,] [6,] [7,] > library(irr) > preg2 <- data.frame(preg) > kappam.fleiss(preg2,exact=t) Fleiss' Kappa for m Raters (exact value) Kappa = ι es el coeficiente exacto de κ de Fleiss, propuesto por Conger 4 de una variable categórica, > iota(preg) iota for quantitative data (1 variable) iota = Landis y Koch 5 dieron la siguiente tabla para interpretar los valores de κ, ésta no es universalmente aceptada. Ellos no suministran ninguna evidencia para apoyarlo y se basa en su opinión personal. Se ha observado que estas directrices pueden ser más perjudiciales que útiles, ya que la magnitud del valor κ será mayor cuando haya menos categorías. Interpretación <0.00 Acuerdo pobre Acuerdo ligero Acuerdo suficiente Acuerdo moderado Acuerdo bueno 0, Acuerdo casi perfecto No deben utilizarse estos criterios propuestos por Koch y Landis. Para la interpretación, se deben utilizar los límites de confianza calculados con un procedimiento bootstrap. Este procedimiento puede ser lento, y se incluye el código para medir el tiempo de los cálculos. > S < > lmp <- rep(0,s) > set.seed(357) > for(j in 1:S){ tmp <- preg2[sample(length(preg2), size=length(preg2), replace=t)] lmp[j] <- kappam.fleiss(tmp,exact=t)$value } > mean(lmp) [1] > sd(lmp) [1] > quantile(lmp,c(0.025,0.975)) 2.5% 97.5% CIENCIA UANL / VOL. XIV, No. 2, ABRIL - JUNIO 2011

5 PETER B. MANDEVILLE El coeficiente de concordancia κ es 0.897, 95% CI[0.7586,1.0000]. Es posible efectuar este procedimiento para cada una de las 24 variables. También se puede calcular el coeficiente de concordancia global ι. > library(irr) > preg <- list() > for(j in 3:20) preg[[j-2]] <- rbind(dat2[1:8,j],dat2[9:16,j],dat2[17:24,j],dat2[25:32,j], dat2[33:40,j],dat2[41:48,j],dat2[49:56,j]) > iota(preg,scaledata="nominal") iota for nominal data (18 variables) iota = Se calculan los límites de confianza para ι, con un procedimiento bootstrap. 1 > S < > lmp <- rep(0,s) > set.seed(357) > for(j in 1:S){ tmp <- preg[sample(length(preg),size=length(preg),replace=t)] lmp[j] <- iota(tmp,scaledata="nominal")$value } > mean(lmp) [1] > sd(lmp) [1] > quantile(lmp,c(0.025,0.975)) 2.5% 97.5% El coeficiente de concordancia global ι es , 95% CI[0.6153,0.7384]. Referencias 1. Harald Janson y Ulf Olsson. (2001). "A Measure of Agreement for Interval or Nominal Multivariate Observations". Educational and Psychological Measurement, Vol. 61 No. 2, April Matthias Gamer, Jim Lemon, and Ian Fellows Puspendra Singh irr: Various Coefficients of Interrater Reliability and Agreement. R package version package=irr 3. Marisol Orocio Contreras (2011). Efecto del diagnóstico y tratamiento de la patología dual sobre el tiempo de adherencia a tratamiento ambulatorio de los pacientes con trastorno por abuso o dependencia a sustancias psicoactivas. Tesis de maestría. Maestría en ciencias en investigación clínica, Facultad de Medicina, Universidad Autónoma de San Luis Potosí, San Luis Potosí, S.L.P., México. 4. Anthony J. Conger (1980). "Integration and Generalization of Kappas for Multiple Raters". Psychological Bulletin Vol. 88, No. 2, J.R. Landis y G.G. Koch, G.G. (1977). The measurement of observer agreement for categorical data. Biometrics. Vol. 33, pp Joseph L. Fleiss (1971). Measuring Nominal Scale Agreement among Many Raters. Psychological Bulletin. 1971, Vol. 76, No. 5, CIENCIA UANL / VOL. XIV, No. 2, ABRIL - JUNIO