Estimación de la fiabilidad de las medidas subjetivas en las ciencias de la salud: acuerdo o concordancia?

Tamaño: px

Comenzar la demostración a partir de la página:

Download "Estimación de la fiabilidad de las medidas subjetivas en las ciencias de la salud: acuerdo o concordancia?"

Soledad Núñez Domínguez
hace 8 años
Vistas:

1 Estimación de la fiabilidad de las medidas subjetivas en las ciencias de la salud: acuerdo o concordancia? Eduardo Doval Diéguez Departament de Psicobiologia i de Metodologia de les Ciències de la Salut Fac. de Psicologia UAB eduardo.doval@uab.es

Eduardo Doval Diéguez Departament de Psicobiologia i de

2 Teoría Clásica de los Tests (TCT) Modelo (TCT) X = V + e Supuestos V = E(X) ρ(v,e) = 0 ρ(e j,e k )= 0 Definición Pruebas paralelas V j = V k σe j = σe k Deducciones e = X - V E(e) = 0 E(X) = E(V) cov(v,e) = 0 cov(x,v) = var(v) cov(x j,x k ) = cov(v j,v k ) var(x) = var(v)+var(e) σ e ρ(x,e)= σ x µ 1 = µ = = µ k var(x 1 )= var(x )= = var(x k ) cov(x 1, X ) = cov(x 1, X ) = = cov(x j, X k ) Coeficiente de fiabilidad cov(x,x ) ρ xx = σ x σ x ρ xx = σ (V) σ (X)

cov(x j,x k ) = cov(v j,v k ) var(x) = var(v)+var(e) σ e ρ(x,e)= σ x µ 1 = µ = = µ k var(x 1 )= var(x )= = var(x k

3 Teoría Clásica de los Tests (TCT) Coeficiente de fiabilidad ρ xx = σ (V) σ (X) ρ xx = 1- σ (e) σ (X)

4 Estudio de la fiabilidad (TCT) Estabilidad Consistencia interna Formas paralelas Testretest Dos mitades k partes

5 Diseño de formas paralelas Diseño test-retest r = 0.1 ρ xx = 0.1 Coeficiente de equivalencia Coeficiente test-retest o de estabilidad

6 Shinkai, R., Canabarro, S., Schmidt, S. y Sartori, E. (00). Reliability of a digital image method for measuring medial mandibular flexure in dentate subjects. Journal of applied oral science. 1(), 5-.

7 Fiabilidad intra-evaluador (test-retest o estabilidad) (medidas cuantitativas) Shinkai, R., Canabarro, S., Schmidt, S. y Sartori, E. (00). Reliability of a digital image method for measuring medial mandibular flexure in dentate subjects. Journal of applied oral science. 1(), 5-.

(00). Reliability of a digital image method for measuring medial

8 Fiabilidad entre-evaluadores (equivalencia) (medidas cuantitativas) Shinkai, R., Canabarro, S., Schmidt, S. y Sartori, E. (00). Reliability of a digital image method for measuring medial mandibular flexure in dentate subjects. Journal of applied oral science. 1(), 5-.

9 Fiabilidad entre-evaluadores (equivalencia) (medidas categóricas nominales) Simon, E.A., Saur, F., Buerge, M., Glaab, R., Roos, M. y Kloher, G. (00). Inter-observer agreement of ultrasonographic measurement of alpha and beta angles and the final type classification based on the Graf method. Swiss med Wkly. 1, 1-..

Inter-observer agreement of ultrasonographic measurement of alpha and beta

10 Fiabilidad entre-evaluadores (equivalencia) (medidas categóricas nominales) Nor Nor Anor Nor.. Nor Nor Nor Anor.. Ortopédico Normal 111 Anormal Normal Pediatra Anormal Normal.0 Anormal Normal Anormal (.19).1 (.0) Anor Nor.. Nor Nor P o = = P o+ = = 0.9 κ = Po - Pe Pe = 1 -. = 0.9 Kappa de Cohen 0 P o- = =

. Ortopédico Normal 111 Anormal Normal Pediatra Anormal 1 0 1 11 1 15 Normal.

11 Fiabilidad entre-evaluadores (equivalencia) (medidas categóricas ordinales) Evaluador 1 Ausente Mínimo Medio Severo total Ausente 10 (10.0) w=1 (.9) w= 0 (11.1) w=9 κ w = 1- Σw ij o ij Σw ij e ij = Evaluador Mínimo Medio (9.1) w=1 (.) w= 5 (5.0) w=1 (.9) w=1 (.11) w= 1 (5.5) w=1 (1 10)+( )+...+(1 ) = 1- = 0. (1 10.0)+(.9)+...+(1.) Severo 0 (.9) w=9 1 (.1) w= (.) w=1 1 1 total 1 110

1) w=9 κ w = 1- Σw ij o ij Σw ij e ij = Evaluador Mínimo Medio (9.1) w=1 (.) w= 5 (5.0) w=1 (.

12 Diseño de consistencia interna (dos mitades) I1 I I I I1+i I+i r = 0.19 ρ xx = r 1+r = = 0.5 Coeficiente de dos mitades (Spearman-Brown)

1 9 9 15 r = 0.19 ρ xx = r 1+r = 0.19 1+ 0.

13 Diseño de consistencia interna (k partes) I1 I I I R = i1 i i i i1-0, 0,0 0,5 i - 0, 0, i - 0, i - 1 r = 0.5 ρ xx = α s = k r 1+(k-1) r = (-1)0.5 = 0.1 Coeficiente de consistencia interna (alfa estandarizada)

r = 0.5 ρ xx = α s = k r 1+(k-1) r = 0.5 1+(-1)0.5 = 0.

14 Diseño de consistencia interna (k partes) I1 I I I S = I1 I I I I1 5,,91,9,9 I,91,9 1,0,0 I,9 1,0,, I,9,0, 5, 5 Σσ i =. 1 σ x = 5.05 ρ xx = k Σσ i α = 1- = k-1 σ x = 0.0 Coeficiente de consistencia interna (alfa de Cronbach)

Σσ i =. 1 σ x = 5.05 ρ xx = k Σσ i α = 1- = k-1 σ x -1 1-. 5.05 = 0.

15 Estudio de la fiabilidad (TCT) Más de una aplicación del instrumento Estabilidad Una única aplicación de un instrumento compuesto por k unidades Consistencia interna Formas paralelas Testretest Dos mitades k partes Coeficiente de Equivalencia (entre-evaluadores) Coeficiente test-retest o de estabilidad (intra-evaluadores) Coeficiente de dos mitades Coeficiente consistencia interna

Testretest Dos mitades k partes Coeficiente de Equivalencia (entre-evaluadores) Coeficiente

16 Fiabilidad acuerdo o concordancia? Acuerdo: Acuerdo absoluto Consenso Concordancia: Acuerdo relativo Consistencia

17 I1 I I I

19 I1 I I I 1 0 Spearman-Brown 0 5 α de Cronbach 5 1

20 Spearman-Brown α de Cronbach r = 0.1 X = S =.9 5.0

21 Spearman-Brown α de Cronbach r = 1 X = S =

22 r X 1 = S 1 = X S

23 INDICES ESTADÍSTICOS MÁS UTILIZADOS EN LA ESTIMACIÓN DEL COEFICIENTE DE FIABILIDAD

24 CRITERIOS DE INTERPRETACIÓN DE LOS COEFICIENTES DE FIABILIDAD Coeficiente de correlación r 0.0 Alfa de Cronbach Nunnally, (19) α 0.0 Investigación α 0.0 Comparación de grupos de personas α 0.90 Decisiones importantes sobre personas individuales Kappa de Cohen

25 COEFICIENTE E INDICE DE FIABILIDAD Coeficiente de fiabilidad ρ xx = σ (V) σ (X) Índice de fiabilidad ρ XV = ρ xx = σ (V) σ (X) ρ xx = 0.0 ρ xx = 0.9 ρ xv = 0.

26 REFERENCIAS TCT Alfa Nunnally, J.C. (19). Psychometric theory. New York: MacGrw-Hill Fiabilidad Dunn, G. (00). Statistical evaluation of measurement errors. Londres: Arnold. Thrompson, B. (00). Score reliability. Contemporary thinking on reliability issues. Thousand Oaks. Ca: Sage. Correlación intraclase McGraw, K.O. y Wong, S.P. (19). Forming inferences about some intraclass correlation coefficients. Psychological Methods, 1(1), 0-. Shrout, P.E. y Fleiss, J.L. (199). Intraclass correlations: uses in assessing rater reliability. Psychological Bulletin,, 0-. Cortina, J.M. (199). What is coefficient alpha? An examination of theory and applications Journal of applied psychology, (1), Kappa Fleiss, J.L.(191). Statistical methods for raters and proportions. New York: Wiley. Landis, J. y Koch, G.G. (19). The measurement of observer agreement for categorical data. Biometrics,,

Documentos relacionados

Medidas de concordancia: el índice de Kappa

Investigación: Medidas de concordancia: el índice de Kappa 1/5 Medidas de concordancia: el índice de Kappa Autores: López de Ullibarri Galparsoro I, Pita Fernández, S. Unidad de Epidemiología Clínica y