Métodos estadísticos para evaluar la concordancia

Transcripción

1 TÉCNICAS CLÁSICAS Métodos estadísticos para evaluar la cocordacia Josep Lluís Carrasco y Lluís Jover Bioestadística. Departameto de Salud Pública. Uiversitat de Barceloa. Barceloa. España. La fiabilidad y la cocordacia de los istrumetos de medida so aspectos fudametales e las ciecias de la salud que o siempre se tiee presetes. E este documeto se destaca las implicacioes que puede teer el uso de istrumetos sujetos a error y el itercambio de istrumetos de medida cuyas medicioes o cocuerda. Estas implicacioes se ilustra co ejemplos e los que se poe de maifiesto el efecto de cofusió que puede producir el error de medida. E este documeto se propoe diversos procedimietos para evaluar la cocordacia e idetificar las fuetes de error. Estos procedimietos se clasifica segú la aturaleza de los datos, cualitativos o cuatitativos, así como e el modo e que se evalúa la cocordacia, de ua forma agregada mediate u valor o desagregadamete, aalizado por separado las fuetes de error. Mediate estos procedimietos se poe de maifiesto que técicas que frecuetemete se utiliza para evaluar la cocordacia como la comparació de medias, el coeficiete de correlació o el modelo de regresió resulta isuficietes o icorrectas. Palabras clave: Cocordacia. Error de medida. Fiabilidad. Itercambiabilidad. Método de medida. Statistical approaches to evaluate agreemet Reliability ad agreemet of measuremet methods is a fudametal issue i health scieces which is ot usually bore i mid. I this documet the cootatios of usig measuremet methods with error ad the switchability amog measuremets from methods which disagree are highlighted. These implicatios are illustrated through examples showig up the cofoudig effect that measuremet error ca produce. Throughout the documet several procedures to assess agreemet ad to idetify the error sources are suggested. These procedures are classified accordig to the sort of data, quatitative or qualitative data, as well as the way of agreemet is assessed, i a aggregate way by meas a values or i a disaggregate way aalysig separately the error sources. By meas of these procedures is showed that frequetly used approaches to assess agreemet as the averages compariso, the correlatio coefficiet or the regressio model appear as isufficiet or iadequate approaches. Key words: Agreemet. Measuremet error. Reliability. Switchability. Measuremet method. Itroducció Garatizar la calidad de los procedimietos de medida es u aspecto fudametal e la ivestigació biomédica y, e geeral, e la práctica clíica. Auque todo el mudo respodería afirmativamete a la preguta de si la calidad de los datos es u aspecto que debe cosiderarse siempre, al meos eso os gusta creer, e realidad es muy comú asumir que los procedimietos de medida fucioa razoablemete bie (alguie se debe estar ocupado de ello) y, por Correspodecia: Dr. J.L. Carrasco. Bioestadística. Departamet de Salut Pública. Uiversitat de Barceloa. C/ Casaova, Barceloa. España. Correo electróico: carrasco@medicia.ub.es tato, o hay de qué preocuparse. E ámbitos regulados, como es el caso de los esayos clíicos para el desarrollo de fármacos, la calidad de los datos e geeral y la de los procedimietos de medida e particular recibe la merecida ateció tato por razoes éticas como de eficiecia. Tambié e la práctica médica la calidad de las medidas es u aspecto básico para coseguir u sistema de salud eficiete. Cuado u médico establece el diagóstico de u paciete basádose e el resultado obteido mediate u istrumeto de medida, debería estar seguro de que el error de medida es razoablemete pequeño. Las medidas puede obteerse a través de algú istrumeto cuyos resultados ayude al profesioal e la toma de decisioes (como los resultados aalíticos), o mediate observació directa del paciete y evaluació subjetiva por parte del médico (como la putuació APGAR). Por lo tato, u método de medida puede ser tato u istrumeto como u evaluador o icluso la combiació de ambos. Hablar de calidad de los procedimietos de medida equivale a referirse a la magitud de los errores de medida iheretes al procedimieto, etediédose que a mayor calidad de medida meor magitud de los errores y viceversa. Simplificado, podemos afirmar que existe dos tipos de error de medida: sistemático y aleatorio. El error sistemático es el que se preseta siempre de la misma forma, «sistemáticamete». Por ejemplo, si 5 persoas cuyos pesos reales so 49, 63, 78, 81 y 94 kg se pesa co ua báscula obteiedo las lecturas, 65, 80, 83 y kg, la báscula estaría afectada de error sistemático. E este caso se trataría de u error sistemático costate de +2 kg. E otros casos, el error sistemático puede ser proporcioal al valor real (p. ej., errores de +1%, e cuyo caso el valor observado valor real 1,01) y tambié es posible que se de ambos tipos, costate y proporcioal, simultáeamete (p. ej., valor observado valor real 1,01 + 2). A diferecia de lo que ocurre co los errores sistemáticos, los errores aleatorios so impredecibles. Auque a la larga pueda seguir u patró coocido, o es posible predecir e qué medida (i e qué setido) ocurrirá e ua observació cocreta. La presecia de error e las medidas provoca umerosos problemas 1, etre los que cabe destacar los errores de clasificació y la ateuació de las asociacioes. Veamos u ejemplo para ilustrar estos 2 problemas. El estudio de las características de las pruebas diagósticas es u territorio e el que la importacia de los errores de clasificació se poe especialmete de maifiesto. Lo que habitualmete deomiamos error de ua prueba diagóstica o es más que u caso particular de error de medida: el estado real del sujeto, si tiee o o la efermedad sospechada, es la característica que deseamos coocer (medir) y la prueba diagóstica es el procedimieto de medida que vamos a utilizar. El resultado que obteemos de aplicar esta prueba diagóstica es la medida del estado real del sujeto. Imagiemos que e u cojuto de idividuos se valora la presecia de cierta efermedad mediate ua prueba diagóstica cuyo resultado es dicotómico (positivo o egativo) y que 100 de estos idividuos tiee realmete la eferme- 28 Med Cli (Barc) 2004;122(Supl 1):28-34

2 dad y los 900 restates está libres de ella. Por último, supogamos que, como es habitual, el método de diagóstico está sujeto a error y que la tasa de falsos egativos es del 10% y la de falsos positivos del 20%. Tal como se ilustra e la tabla 1, esto supodría que, de los 100 idividuos patológicos, 10 se clasificaría icorrectamete como o patológicos, mietras que de los 900 o patológicos, 180 se cosideraría patológicos. Por lo tato, utilizado el resultado de la prueba diagóstica como medida del estado real, se cosideraría que el úmero de sujetos patológicos es de 270 e lugar de 100. Veamos ahora u ejemplo dode el error de medida, e este caso error de diagóstico o clasificació, iduce ua ateuació e la asociació co otra variable. Deseamos estudiar la asociació etre la efermedad y u cierto factor de riesgo. Supogamos ahora que la proporció de efermos que preseta el factor de riesgo es del 20%, mietras que esta proporció es de sólo el 5% e el grupo o patológico. De igual modo que e el ejemplo aterior, asumiremos que las proporcioes se cumple perfectamete. E primer lugar, estimaremos la asociació utilizado ua prueba diagóstica libre de error y, posteriormete, utilizado la prueba diagóstica co error de clasificació, comparado los resultados obteidos e ambas situacioes. Si se utiliza ua prueba libre de error para clasificar a los idividuos se observará 100 idividuos co la efermedad y 900 libre de ella. Si a este úmero de idividuos se le aplica las proporcioes relacioadas co el factor de riesgo, se obtedrá las frecuecias represetadas e la tabla 2. La asociació etre la efermedad y el factor de riesgo se medirá mediate la odds ratio (OR); OR (20 855)/(45 80) 4,75. Hacemos otar al lector que e esta tabla está implícito el hecho de que estamos midiedo 2 variables: efermedad y factor de riesgo. Para simplificar el ejemplo asumiremos que el factor de riesgo es ua característica que podemos medir si error. Ahora repitamos el ejemplo utilizado la prueba diagóstica co error de clasificació. De los 270 idividuos del grupo patológico 90 tiee realmete la efermedad, mietras que 180 está libres de ella (tabla 1). De esos 90, u 20% presetará el factor de riesgo, es decir, 18. E cambio, de los 180 sólo u 5% tedrá el factor de riesgo, es decir, 9 idividuos. Esto supoe que de los 270 idividuos clasificados como patológicos, u total de preseta el factor de riesgo. Qué ocurre co los 730 idividuos clasificados como o patológicos? De éstos, 10 tiee la efermedad, mietras que 720 o (tabla 1). De los 10, u 20% presetará el factor de riesgo, es decir, 2 idividuos. De los restates 720, u 5% tedrá el factor de riesgo, lo que supoe 36 sujetos. De este modo, e el grupo de los clasificados como o patológicos, u total de idividuos presetará el factor de riesgo. Este proceso se resume e la tabla 3. Ahora la OR adquiere u valor de OR (27 692)/(38 243) 2,02, aproximadamete la mitad del valor obteido ateriormete, lo que sigifica que se ha producido ua cosiderable ateuació de la verdadera asociació, subestimació eteramete provocada por el error de medida de la prueba diagóstica. De los resultados mostrados e estos ejemplos se deduce la ecesidad de valorar la calidad de cualquier método o procedimieto de medida que utilicemos. Evaluar la calidad del procedimieto o istrumeto de medida colleva aalizar comparativamete uestra serie de medicioes co otras, que puede ser de distito orige y características depediedo de los objetivos plateados e la valoració, tal y como se resume e la tabla 4. TABLA 1 Utilizació de ua prueba para diagosticar ua efermedad. La efermedad debe etederse como el estado o valor real del atributo que se desea medir, mietras que el resultado de la prueba es el valor observado al aplicar u determiado método de medida Prueba (observado) TABLA 2 Efermedad (estado real) Cualquier comparació etre 2 (o más) series de medicioes es susceptible de ser evaluada e térmios de cocordacia etre las series, esto es, verificar si ambas cocuerda (so idética) o o y e qué grado, auque el uso de esta deomiació idica habitualmete que se está aalizado comparativamete 2 istrumetos de medida distitos. E cualquier caso, parece obvio que cuato meor sea el error de medida e ambas series mayor será la cocordacia y viceversa. E el caso extremo y poco realista de 2 series si error de medida, su cocordacia será forzosamete perfecta. Retomado el esquema de la tabla 4, los estudios de fiabilidad o repetibilidad iteta evaluar cómo cocuerda las medidas obteidas por u úico método o istrumeto utilizado de forma repetida. Por ejemplo, podríamos utilizar varias veces u mismo aalizador automático para cotar el úmero de CD4, procesado alícuotas de la misma muestra de sagre o podríamos pedir a u mismo médico que evaluase ua misma image e varias ocasioes. E estos casos, el aspecto que se estaría evaluado es el error de medida del método mediate el estudio de la cocordacia itramétodo, de forma que, si las medidas tomadas co el mismo método cocuerda, se puede declarar al método libre de error aleatorio calificádolo de «repetible». E los deomiados estudios de cocordacia se verifica cómo cocuerda las medidas obteidas por el método cuya calidad se desea valorar, co las obteidas por otro método. Por ejemplo, podríamos utilizar 2 aalizadores automáticos distitos para cotar el úmero de CD4 de ua Sí No Positiva Negativa Ejemplo de tabla de cotigecia etre ua efermedad y u factor de riesgo. La efermedad se mide mediate u istrumeto libre de error Factor de riesgo TABLA 3 Sí Efermedad No Positivo Negativo Ejemplo de tabla de cotigecia etre ua efermedad y u factor de riesgo. La efermedad se mide co u istrumeto co error Factor de riesgo Sí Efermedad No Positivo Negativo Med Cli (Barc) 2004;122(Supl 1):

3 TABLA 4 Clasificació de estudios para la evaluació de la calidad de los procedimietos de medida Objetivos básicos de la evaluació Series utilizadas para la comparació Deomiació del estudio Evaluar idepedecia de los errores Valores obteidos co el mismo procedimieto o istrumeto Fiabilidad Estimar la magitud del error aleatorio de medida Repetibilidad Decidir si u istrumeto puede reemplazar a otro Valores obteidos co u procedimieto o istrumeto Cocordacia Evaluar si ambos istrumetos so itercambiables (o hay de medida alterativo igua diferecia e utilizar uo u otro) Cuatificar el error de medida Valores reales de la variable o atributo (p. ej., obteidos Calibració Estimar los parámetros que ha de permitir corregir el error mediate u método de referecia) de medida TABLA 5 Tabla de cotigecia referete a las medicioes que realiza 2 evaluadores sobre ua serie de idividuos Positivo Evaluador B Negativo Positivo Evaluador A Negativo muestra o podríamos pedir a 2 clíicos que valorase ua misma image. E estos casos estaríamos evaluado la cocordacia etre métodos de medida, co el objetivo de determiar si los 2 métodos so itercambiables, de forma que sea idiferete utilizar uo u otro. Por último, la calibració de u método de medida es u caso particular de cocordacia etre métodos. Este esayo se realiza cuado se compara u procedimieto de medida co los valores reales de los sujetos. De hecho, el valor real es imposible de determiar y e estos esayos se compara 2 métodos de medida, uo de ellos utilizado como método de referecia o patró (gold stadard) para lo que se asume que está libre de error de medida. E este caso, la comparació del método e estudio co el patró permite estimar los posibles errores, sistemático y aleatorio, del primero. Ua vez estimados, cualquier lectura futura obteida co el método e estudio puede corregirse y quedar exeta de error sistemático. Este ejercicio se cooce como calibració de u método de medida. Lametablemete, la aturaleza impredecible de los errores aleatorios hace que sea imposible corregirlos, tal como se hace co los errores sistemáticos. Puesto que los errores sistemáticos tiee arreglo (calibrado) y los aleatorios o, ambos tipos de error o so igualmete temibles. E cualquier caso, la presecia de errores e las medidas es la resposable de que o exista cocordacia perfecta etre distitos istrumetos o procedimietos de medida. De hecho, cuato más error, meos cocordacia y viceversa. Así, estudiar la cocordacia es ua maera de evaluar el error de medida y por ello os cetraremos e ofrecer al lector ua paorámica de los métodos más habituales para su estudio. E geeral, las técicas para evaluar la cocordacia se puede clasificar e agregadas y desagregadas. Los procedimietos desagregados evalúa los distitos compoetes de la falta de cocordacia por separado, mietras los procedimietos agregados valora la falta de cocordacia e global, si distiguir etre error sistemático y aleatorio. Ua medida agregada será útil para ua evaluació rápida del grado de cocordacia si etrar e las fuetes de error que causa la falta de cocordacia. E cambio, u aálisis desagregado aalizará más detalladamete las posibles fuetes de error. Las técicas utilizadas tambié variará segú la aturaleza de las variables, depediedo de si las medidas correspode a ua escala de medida cualitativa o cuatitativa. Cocordacia etre variables cualitativas Supogamos que u médico realiza habitualmete ua clasificació diagóstica (positiva o egativa) basádose e su particular apreciació de las características de ua image radiológica. Idepedietemete de cómo llega a realizar la valoració, el método de medida es el propio médico que estaría realizado medidas e escala omial (dicotómica). E esta situació podría ser iteresate valorar tato el error de medida del médico (cocordacia itramétodo) como la discrepacia e el diagóstico e relació co otro profesioal (cocordacia etre métodos). E ambos casos el procedimieto será similar, ya que la primera situació es equivalete a realizar ua cocordacia etre diferetes medicioes efectuadas co u úico método. Veamos la situació e el caso de desear estimar la cocordacia etre 2 métodos. Los datos obteidos de pacietes puede resumirse e ua tabla de cotigecia 2 2 (tabla 5). E pricipio parece lógico que la cocordacia se evalúe mediate la proporció de casos e que los 2 evaluadores coicide, ( )/, pero se ha de teer e cueta que parte de esta coicidecia es exclusivamete atribuible al azar. Cohe 2 dio la expresió de u ídice de cocordacia corregido por el efecto del azar y reescalado de forma que tomase u valor máximo de 1. Este ídice se cooce como el coeficiete kappa y su expresió es: dode κ π 11, π 22, π , π , π 1 y π π 11 + π 22 π 1 π 1 π 2 π 2 1 π 1 π 1 π 2 π E caso de cocordacia perfecta, el coeficiete tomará el valor 1, y si las valoracioes de los 2 métodos de medida so idepedietes, el coeficiete será 0. Como puede observarse, el coeficiete kappa es u procedimieto agregado, ya que mide la cocordacia de forma global, si distiguir etre los compoetes de exactitud y precisió. 30 Med Cli (Barc) 2004;122(Supl 1):28-34

4 Si se desea evaluar la cocordacia de forma desagregada e error sistemático y error aleatorio, el coeficiete de correlació 3 se ha propuesto para medir la asociació (error aleatorio) etre los 2 evaluadores. La expresió del coeficiete de correlació para la tabla 2 2 es: ρ dode u valor de 1 idicaría ausecia de error aleatorio. Tambié se ha propuesto 3 aalizar el error sistemático etre los 2 métodos mediate el estudio de la diferecia etre las proporcioes margiales π 1, π 2, π 1, π 2. Estas proporcioes idica la probabilidad de cada método de realizar u diagóstico positivo o egativo, cosiderádose que o existe error sistemático etre evaluadores si π 1 π 1 y π 2 π 2. E el caso de ua tabla 2 2, estas proporcioes puede compararse utilizado ua prueba de McNemar 4. Se ha demostrado 5 que el coeficiete kappa puede expresarse como: κ dode puede observarse que si o existe error sistemático etre observadores, π 1 π 1 y π 2 π 2, el coeficiete kappa coicide co ρ, es decir, la úica causa de discordacia es el error aleatorio. El coeficiete kappa puede ser geeralizado para el caso e que la escala de medida tega más de 2 categorías. E tal caso, la expresió del coeficiete para ua escala de medida omial de c categorías es: κ La escala de medida tambié puede ser ordial, por ejemplo, ua valoració de la evolució de u paciete e la escala «empeora, sigue igual, mejora». E esta situació, es lógico pesar que o debe valorarse igual ua discordacia «sigue igual frete a mejora» que ua discordacia «empeora frete a mejora», ya que e este último caso la discordacia es más grave. Co el objetivo de teer e cueta esta gradació de la discordacia se itrodujo el coeficiete kappa poderado 6, de forma que se asiga distitos pesos a la discordacias de acuerdo co su magitud. Por último, se ha demostrado que el coeficiete kappa tiee ua gra depedecia de la prevalecia de la efermedad o característica que se está evaluado, por lo que se ha cosiderado que o es apropiado comparar coeficietes kappa que se ha calculado e poblacioes co distita prevalecia de la característica e estudio 7. Ejemplo: Se aplica 2 pruebas diagósticas a u grupo de pacietes cuyos resultados se resume e la tabla 6. Las estimacioes de las proporcioes so: π^21 π^ ,3725, π^ ,2941, π^ ,3137, 1 0,01, π^ ,6863, π^ ,3137, π^ 1 π 11 π 22 π 12 π 21 π 1 π 2 π 1 π 2 2ρ π 1 π 2 π 1 π 2 π 1 π 2 + π 1 π 2 c (π jj π j π j ) j1 1 c π j π j j ,3922, y π^ ,6078. TABLA 6 Ejemplo de tabla de cotigecia referete a los resultados de 2 pruebas diagósticas aplicadas a ua serie de idividuos Prueba A El coeficiete kappa resultate es: κ^ 0,3828 y su itervalo de cofiaza del 95% es [0,1292-0,6464] 8. El valor del coeficiete es bastate bajo e idica ua cocordacia débil etre las 2 pruebas. Si se desea realizar u aálisis desagregado, e primer lugar se calcula el coeficiete de correlació: ρ^ 0,4565 que idica ua asociació débil etre los valores obteidos co ua y otra prueba. Si se compara las proporcioes margiales de las discrepacias mediate ua prueba de McNemar se demuestra que so distitas (p < 0,001): la prueba A tiede a dar resultados positivos co mayor frecuecia que la prueba B. Por lo tato, e este caso la discordacia se debe tato a error sistemático como a error aleatorio. Cocordacia etre variables cuatitativas Supogamos que ua característica cuatitativa se mide mediate 2 métodos, e Y, e ua serie de N idividuos. Ua primera aproximació exploratoria sería represetar gráficamete los 2 métodos mediate u diagrama de dispersió, dode cada puto represeta la pareja de medidas obteida de cada idividuo. Si la cocordacia fuera perfecta, todos los putos se situaría sobre la bisectriz (Y ), tal como se muestra e la figura 1. E esta situació es fácil ver que la asigació del procedimieto al eje de abscisas y el de Y al eje de ordeadas es absolutamete arbitraria: se obtedría la misma image gráfica e caso de ivertir la asigació de los ejes. Observado este gráfico (fig. 1a) es fácil ituir que ua medida útil de discordacia podría basarse e la distacia de cada puto a la bisectriz. Se puede demostrar que la media de estas distacias es proporcioal a la desviació cuadrática media DCM 1 N Positivo Prueba B i1 ( i Y i ) 2 Negativo Positivo Negativo Esta medida puede expresarse e fució de las medias y las variazas de los resultados obteidos co cada método y la correlació etre ambos, del siguiete modo: DCM (µ µ Y ) 2 + (σ σ Y ) (1 ρ Y ) σ σ Y dode µ y µ Y represeta las medias de cada método, σ y σ Y las desviacioes típicas y ρ Y el coeficiete de correlació de Pearso. La cocordacia será perfecta cuado DCM 0, situació que se dará si y sólo si los 3 térmios so iguales a cero. Esto implica que haya igualdad de medias (ausecia de Med Cli (Barc) 2004;122(Supl 1):

5 A 106 B Y 100 Y C D Y Y Fig. 1. Ejemplos de gráficos de dispersió de las medicioes realizadas por 2 istrumetos de medida. error sistemático costate y proporcioal), µ µ Y, igualdad de desviacioes típicas (ausecia de error sistemático proporcioal), σ σ Y, y que la correlació sea perfecta (ausecia de error aleatorio), ρ Y 1. Llegados a este puto, es fácil darse cueta de que la comparació de medias o el cálculo del coeficiete de correlació de Pearso so isuficietes para el estudio de la cocordacia. La igualdad de medias ta sólo garatiza que los 2 métodos se cetra e el mismo valor, pero e igú caso que todos sus valores sea iguales. Las figuras 1b y 1d represeta situacioes e que hay igualdad de medias, pero los valores o cocuerda. Del mismo modo, u coeficiete de correlació de 1 idica ua relació lieal perfecta, es decir, la relació etre los 2 métodos es ua recta carete de error aleatorio, pero esta recta o tiee por qué ser la bisectriz (figs. 1c y 1d) y, por tato, ua correlació perfecta o es sióimo de cocordacia perfecta. Además, la diferecia de variazas ha resultado ser tambié u compoete de la cocordacia, y por tato tambié debe evaluarse. Existe diferetes procedimietos para determiar la cocordacia etre medidas cuatitativas. Etre ellos hemos querido destacar e este artículo el coeficiete de cocordacia 9 y el método Blad-Altma 10, pero existe otros procedimietos ampliamete utilizados, como el coeficiete de correlació itraclase 1, estrechamete relacioado co el coeficiete de cocordacia, y el modelo de ecuació estructural 11. Este último merece ua meció especial, ya que es habitual aalizar la cocordacia etre 2 métodos mediate el ajuste de u modelo de regresió simple Y α + β por el método de míimos cuadrados, basado e la suposició de que está libre de error. E geeral, esta suposició o es razoable y los modelos de ecuacioes estructurales permite obteer u modelo de relació lieal etre los 2 métodos si ecesidad de hacerla. Coeficiete de cocordacia de Li Este coeficiete se defiió 9 reescalado la desviació cuadrática media etre los métodos de medida de forma que adoptase valores etre 1 y 1. La expresió del coeficiete de cocordacia es: ρ C 25 σ Y σ x2 + σ Y2 + (µ µ Y ) 2 dode σ Y represeta la covariaza etre los 2 métodos de medida. Este coeficiete toma el valor 1 e caso de cocordacia perfecta y el valor 0 e caso de idepedecia etre los 2 métodos. E teoría, este estadístico puede tomar tambié valores egativos. Así, ρ C 1 idicaría ua discordacia perfecta etre los 2 métodos, auque esta situació resulta iverosímil e u problema real, puesto que los procedimietos e Y pretede medir la misma característica. El coeficiete de cocordacia de Li es ua medida agregada, ya que evalúa globalmete la cocordacia mediate u úico valor. U aálisis desagregado cosistiría e eva- 32 Med Cli (Barc) 2004;122(Supl 1):28-34

6 TABLA 7 Ejemplo de medicioes sobre ua característica cuatitativa realizadas por 2 métodos de medida Método Método Y luar por separado la diferecia de medias, la diferecia de variazas y el coeficiete de correlació. Si se desea realizar algú tipo de iferecia sobre este coeficiete, como la costrucció de itervalos de cofiaza o cotrastar algú tipo de hipótesis, hay que teer e cueta que los procedimietos derivados para este fi da por supuesto que tato Y como se distribuye segú ua ley ormal 9. El coeficiete de cocordacia es ua medida depediete de la covariaza etre los métodos y, al igual que e el caso del ídice kappa y la prevalecia, o debería compararse coeficietes de cocordacia co covariazas muy diferetes. Método Blad-Altma Co este procedimieto desagregado 10,12,13 se pretede determiar si 2 métodos de medida e Y cocuerda lo suficiete para que pueda declararse itercambiables. Para esto se calcula, para cada idividuo, la diferecia etre las medidas obteidas co los 2 métodos (D Y). La media de estas diferecias (x d ) represeta el error sistemático, mietras que la variaza de estas diferecias (s 2 d ) mide la dispersió del error aleatorio, es decir, la imprecisió. Se ha propuesto utilizar estas 2 medidas para calcular los límites de cocordacia del 95% como x ±2s d d. Estos límites os iforma etre qué diferecias oscila la mayor parte de las medidas tomadas co los 2 métodos. Naturalmete, correspode al ivestigador valorar si estas diferecias so suficietemete pequeñas como para cosiderar que los 2 métodos sea itercambiables o o. Por otro lado, para que la media y la variaza de las diferecias sea estimacioes correctas debemos asumir que so costates a lo largo del rago de medidas, es decir, que la magitud de la medida o está asociada co u error mayor. Para comprobar esta suposició se puede costruir u gráfico de dispersió, represetado las diferecias (D) e el eje de ordeadas y la media de las 2 medidas de cada idividuo, ( + Y)/2 e el eje de abscisas. La media de las medidas de los 2 métodos puede etederse como ua aproximació al valor real, ya que se estaría ateuado el error de medida de los 2 métodos; de este modo, esta represetació gráfica permite observar si existe algú tipo de relació etre la diferecia de los 2 métodos respecto a la magitud de la medida, es decir, si el error de medida es costate durate el itervalo de valores de la característica que se está midiedo o si, por el cotrario, el error se icremeta coforme aumeta el valor real que se quiere medir. Asimismo, es posible represetar los límites de cocordacia del 95%, co lo que se puede idetificar a los idividuos más discordates. Ejemplo E la tabla 7 se muestra los valores obteidos por 2 métodos de medida utilizados e 16 sujetos. E la figura 2a se represeta las 2 variables e u gráfico de dispersió. E esta figura puede observarse que las medidas o cocuerda, tato por error sistemático (alejamieto de la bisectriz) como por error aleatorio (dispersió de los putos alrededor de ua recta ideal). El aálisis para evaluar la cocordacia se realizará combiado tato el coeficiete de cocordacia de Li como el método de Blad-Altma, ya que los 2 procedimietos puede utilizarse paralelamete e el mismo aálisis. Para ello, es ecesario obteer las medias y las variazas de cada método, la covariaza de ambos y la media y la desviació típica de las diferecias. E la tabla 8 se muestra estos valores. La estimació del coeficiete de cocordacia es de 0,5703, co u itervalo de cofiaza 9 del 95% de [0,2892-0,7609], lo que idica u bajo grado de cocordacia. Los límites de cocordacia de Blad-Altma so: 1.112,5 2* ,7 600 y 1.112,5 + 2* , Éstos se represeta e el gráfico de Blad-Altma de la figura 2b, dode puede observarse que la diferecia etre los 2 métodos tiee ua tedecia lieal positiva, esto es, la diferecia se icremeta co la magitud de la medida. Esto es idicativo de u error sistemático proporcioal que se puede estimar mediate el cociete de desviacioes típicas , Este resultado se iterpreta del siguiete modo: el método Y toma sistemáticamete valores superiores al método e ua proporció de 1,47. El coeficiete de correlació es de 0,8402, lo que idica u grado de correlació elevado. Por lo tato, la pricipal fuete de discordacia etre los 2 métodos es el error sistemático. Discusió s Y s La calidad de las medidas es fudametal e cualquier ámbito, pero adquiere u especial iterés e el campo de las ciecias de la salud 14-16, dode cotiuamete se toma decisioes basadas e medicioes. Esto implica que el acierto e las decisioes depede de la calidad de estas medicioes. Es tetador dar por supuesto que los métodos de medida que utilizamos so bueos y que los resultados que os proporcioa so correctos y fiables. Si ua glucemia e ayuas es de 129 mg/dl se diagostica al paciete como diabético, pero quié os asegura que realmete este paciete tiee tal cocetració de glucosa e sagre? Es más, si se repite la determiació e otro laboratorio, se obtedrá el mismo resultado? Estas pregutas sólo puede respoderse mediate esayos de fiabilidad y cocordacia de las medidas. TABLA 8 Medias, variazas y covariaza de las medicioes realizadas por los 2 métodos de medida y su diferecia Método Media Variaza Covariaza 2.643, Y 3.756, D Y 1.112, , Med Cli (Barc) 2004;122(Supl 1):

7 A B Método Y Diferecia Método Media Fig. 2. Gráfico de dispersió y gráfico «diferecia frete a media» relacioados co los istrumetos de medida del ejemplo. La falta de cocordacia puede deberse a dos tipos error: sistemático y aleatorio. Mietras que el error sistemático puede corregirse (por calibració), para dismiuir el error aleatorio es ecesario estudiar sus posibles causas e itetar cotrolar alguas de ellas e uevas versioes más perfeccioadas del método o aparato de medida. REFERENCIAS BIBLIOGRÁFICAS 1. Fleiss JL. The desig ad aalysis of cliical experimets. Nueva York: Wiley, Cohe J. A coefficiet of agreemet for omial scales. Educatioal ad Psychological Measuremets 10;20: Shoukri MM. Measuremet of agreemet. E: Armitage P, Colto T, editors. Ecyclopedia of biostatistics. Chichester: Wiley & Sos, 19; p Agresti A. A itroductio to categorical data aalysis. Nueva York: Wiley & Sos, Shoukri MM, Marti SW, Mia IUH. Maximum likelihood estimatio of the kappa coefficiet from models of matched biary resposes. Stat Med 1995;14: Cohe J. Weighted kappa: omial scale agreemet with provisios for scaled disagreemet or partial credit. Psychol Bull 18;70: Thompso WD, Walter SD. A reappraisal of the kappa coefficiet. J Cli Epidemiol 18;41: Shoukri MM, Pause CA. Statistical methods for health scieces, 2d ed. Boca Rató: CRC Press, Li L. A cocordace correlatio coefficiet to evaluate reproducibility. Biometrics 19;45: Blad JM, Altma DG. Statistical methods for assessig agreemet betwee two methods of cliical measuremet. Lacet 16;1(8476): Kelly GE. Use of the structural equatios model i assessig the reliability of a ew measuremet techique. Applied Statistics 15;34: Blad JM, Altma DG. Comparig methods of measuremet: why plottig differece agaist stadard methods is misleadig. Lacet 1995; 346: Blad JM, Altma DG. Measurig agreemet i method compariso studies. Stat Methods Med Res 1999;8(2): Adersso SW, Niklasso A, Lapidus L, Hallberg L, Begtsso C, Hulthé L. Poor agreemet betwee self-reported birth weight ad birth weight from origial records i adult wome. Am J Epidemiol 2000;152: Schisterma EF, Faraggi D, Reiser B, Trevisa M. Statistical iferece for the are uder the receiver operatig characteristic curve i the presece of radom measuremet error. Am J Epidemiol 2001;154: White E. Desig ad iterpretatio of studies of differetial exposure measuremet error. Am J Epidemiol 2003;157: Med Cli (Barc) 2004;122(Supl 1):28-34