Descripción de tablas de contingencia

Transcripción

1 GoBack

2 Descripción de Guillermo Ayala Gallego Universidad de Valencia 15 de octubre de / 40

3 Un ejemplo

4 Distribución conjunta y tabla de Distribución condicional Independencia y homogeneidad Tablas de Tablas de Sensibilidad y especificidad Tipo de muestreo Tipo de muestreo: verosimilitud Un ejemplo 2 / 40

5 Distribución conjunta y tabla de X e Y dos variables categóricas con I y J categorías. Un sujeto puede venir clasificado en una de I J categorías. Dada una muestra podemos construir la siguiente tabla donde consideramos X= toma aspirina o placebo (I = 2) e Y = sufre ataque cardíaco o no (J = 2). Ataque fatal Ataque no fatal No ataque Placebo Aspirina Esta tabla recibe el nombre de tabla de o tabla de clasificación cruzada. 3 / 40

6 Su distribución conjunta viene dada por π ij = P(X = i,y = j), con i = 1,...,I y j = 1,...,J. Las distribuciones marginales son π i+ = P(X = i) = π +j = P(Y = j) = J P(X = i,y = j) = j=1 I P(X = i,y = j) = i=1 J j=1 I i=1 π ij π ij Distribución conjunta y tabla de Distribución condicional Independencia y homogeneidad Tablas de Tablas de Sensibilidad y especificidad Tipo de muestreo Tipo de muestreo: verosimilitud Un ejemplo 4 / 40

7 Distribución condicional Habitualmente una variable, por ejemplo Y, es una variable respuesta y la otra, X es explicativa o predictora. En esta situación no tiene sentido hablar de distribución conjunta. Distribución condicionada de Y a X P(Y = j X = i) = π j i = π ij π i+ Distribución conjunta y tabla de Distribución condicional Independencia y homogeneidad Tablas de Tablas de Sensibilidad y especificidad Tipo de muestreo Tipo de muestreo: verosimilitud Un ejemplo 5 / 40

8 Independencia y homogeneidad Son independientes si π ij = π i+ π +j. En particular, la condicionada es igual a la marginal. π j i = π +j con j = 1,...,J. Si X e Y son variables respuesta entonces hablamos de independencia. Si Y es respuesta y X explicativa hablamos de homogeneidad. Distribución conjunta y tabla de Distribución condicional Independencia y homogeneidad Tablas de Tablas de Sensibilidad y especificidad Tipo de muestreo Tipo de muestreo: verosimilitud Un ejemplo 6 / 40

9 Tablas de Test positivo Test negativo Total Enfermo n 11 n 11 n 1+ No enfermo n 21 n 22 n 2+ Total n +1 n +2 n Distribución conjunta estimada. ˆπ ij Test positivo Test negativo Total Enfermo n 11 /n n 11 /n n 1+ /n No enfermo n 21 /n n 22 /n n 2+ /n Total n +1 /n n +2 /n 1 Distribución conjunta y tabla de Distribución condicional Independencia y homogeneidad Tablas de Tablas de Sensibilidad y especificidad Tipo de muestreo Tipo de muestreo: verosimilitud Un ejemplo 7 / 40

10 Tablas de Test positivo Test negativo Total Enfermo n 11 n 11 n 1+ No enfermo n 21 n 22 n 2+ Total n +1 n +2 n ˆπ j i Test positivo Test negativo Total Enfermo n 11 /n 1+ n 11 /n 1+ 1 No enfermo n 21 /n 2+ n 22 /n 2+ 1 Distribución conjunta y tabla de Distribución condicional Independencia y homogeneidad Tablas de Tablas de Sensibilidad y especificidad Tipo de muestreo Tipo de muestreo: verosimilitud Un ejemplo 8 / 40

11 Sensibilidad y especificidad ˆπ j i Test positivo Test negativo Total Enfermo n 11 /n 1+ n 11 /n 1+ 1 No enfermo n 21 /n 2+ n 22 /n 2+ 1 Un ejemplo: en filas indicamos si tiene o no cáncer y en columnas el resultado del test. ˆπ j i Test positivo Test negativo Total Enfermo 0,82 0,18 1 No enfermo 0,01 0,99 1 Sensibilidad Proporción de enfermos correctamente diagnósticados. π 1 1 = P(Y = 1 X = 1). Distribución conjunta y tabla de Distribución condicional Independencia y homogeneidad Tablas de Tablas de Sensibilidad y especificidad Tipo de muestreo Tipo de muestreo: verosimilitud Un ejemplo 9 / 40

12 Sensibilidad y especificidad ˆπ j i Test positivo Test negativo Total Enfermo n 11 /n 1+ n 11 /n 1+ 1 No enfermo n 21 /n 2+ n 22 /n 2+ 1 Un ejemplo: en filas indicamos si tiene o no cáncer y en columnas el resultado del test. ˆπ j i Test positivo Test negativo Total Enfermo 0,82 0,18 1 No enfermo 0,01 0,99 1 Sensibilidad Proporción de enfermos correctamente diagnósticados. π 1 1 = P(Y = 1 X = 1). Distribución conjunta y tabla de Distribución condicional Independencia y homogeneidad Tablas de Tablas de Sensibilidad y especificidad Tipo de muestreo Tipo de muestreo: verosimilitud Un ejemplo 9 / 40

13 Tipo de muestreo Cómo hemos obtenido la muestra? Muestreo de Poisson: Los conteos Y ij son variables Poisson independientes con medias µ ij. Muestreo multinomial: Fijamos el tamaño total n pero no los totales de fila y columna. Muestreo multinomial independiente: Fijamos los totales de fila considerando Y como variable respuesta y X como explicativa. Distribución conjunta y tabla de Distribución condicional Independencia y homogeneidad Tablas de Tablas de Sensibilidad y especificidad Tipo de muestreo Tipo de muestreo: verosimilitud Un ejemplo 10 / 40

14 Tipo de muestreo: verosimilitud Muestreo de Poisson Muestreo multinomial i i j e µ µn ij ij ij n ij! n! j n ij! i j π n ij ij. Muestreo multinomial independiente i n i+! j n ij! j π n ij j i. Distribución conjunta y tabla de Distribución condicional Independencia y homogeneidad Tablas de Tablas de Sensibilidad y especificidad Tipo de muestreo Tipo de muestreo: verosimilitud Un ejemplo 11 / 40

15 Un ejemplo Con cinturón Sin cinturón Accidente mortal Accidente no mortal Vamos a recoger todos los accidentes del próximo mes. No fijamos el número total. Muestreo de Poisson. Tomamos un muestra aleatoria de 200 accidentes que tuvieron lugar el mes pasado. Fijamos el tamaño total de la muestra. Muestreo multinomial. Tomamos una muestra de 100 accidentes donde hubo muertos y otros 100 en los que no hubo muertos. Fijamos los totales de columna. Muestreo multinomial (binomial aquí) independiente. 12 / 40

16 Cómo comparamos? Odds y odds ratio Propiedades del odds ratio Nota de R 13 / 40

17 Muchos estudios se diseñan para comparar grupos basándonos en una respuesta binaria, Y. Con dos grupos tenemos una tabla de 2 2. Cómo comparamos? Odds y odds ratio Propiedades del odds ratio Nota de R 14 / 40

18 Muchos estudios se diseñan para comparar grupos basándonos en una respuesta binaria, Y. Con dos grupos tenemos una tabla de 2 2. Cómo comparamos? Odds y odds ratio Propiedades del odds ratio Nota de R 14 / 40

19 Muchos estudios se diseñan para comparar grupos basándonos en una respuesta binaria, Y. Con dos grupos tenemos una tabla de 2 2. Cómo comparamos? Odds y odds ratio Propiedades del odds ratio Nota de R 14 / 40

20 Muchos estudios se diseñan para comparar grupos basándonos en una respuesta binaria, Y. Con dos grupos tenemos una tabla de π 1 1 π π 1 2 π 2 2 Cómo comparamos? Odds y odds ratio Propiedades del odds ratio Nota de R 14 / 40

21 Muchos estudios se diseñan para comparar grupos basándonos en una respuesta binaria, Y. Con dos grupos tenemos una tabla de 2 2. Éxito Fracaso Grupo 1 π 1 1 π 2 1 Grupo 2 π 1 2 π 2 2 Cómo comparamos? Odds y odds ratio Propiedades del odds ratio Nota de R 14 / 40

22 Muchos estudios se diseñan para comparar grupos basándonos en una respuesta binaria, Y. Con dos grupos tenemos una tabla de 2 2. Éxito Fracaso Grupo 1 π 1 1 π 2 1 Grupo 2 π 1 2 π 2 2 Cómo comparamos? Odds y odds ratio Propiedades del odds ratio Nota de R π 1 i π 2 i = π i = 1 π 1 i = 1 π i 14 / 40

23 Muchos estudios se diseñan para comparar grupos basándonos en una respuesta binaria, Y. Con dos grupos tenemos una tabla de 2 2. Éxito Fracaso Grupo 1 π 1 1 π 1 Grupo 2 π 2 1 π 2 Cómo comparamos? Odds y odds ratio Propiedades del odds ratio Nota de R 14 / 40

24 Muchos estudios se diseñan para comparar grupos basándonos en una respuesta binaria, Y. Con dos grupos tenemos una tabla de 2 2. Éxito Fracaso Grupo 1 π 1 1 π 1 Grupo 2 π 2 1 π 2 Queremos comparar π 1 con π 2. Cómo comparamos? Odds y odds ratio Propiedades del odds ratio Nota de R 14 / 40

25 Cómo comparamos? Podemos estudiar la diferencia de las O el riesgo relativo: π 1 π 2. π 1 π 2. O bien el cociente de odds (odds ratio) θ = π 1/(1 π 1 ) π 2 /(1 π 2 ). Cómo comparamos? Odds y odds ratio Propiedades del odds ratio Nota de R 15 / 40

26 Odds y odds ratio Si π es la probabilidad de éxito entonces los odds se definen como Equivalentemente Ω = π = π 1 π. Ω Ω + 1. En una tabla 2 2 tenemos los odds en la fila i Cómo comparamos? Odds y odds ratio Propiedades del odds ratio Nota de R Ω i = π i 1 π i. 16 / 40

27 El cociente de los odds de las dos filas será el odds ratio. Se tiene fácilmente que θ = π 1/(1 π 1 ) π 2 /(1 π 2 ). θ = π 11π 22 π 12 π 21. Por ello también se le llama el cociente de los productos cruzados. Cómo comparamos? Odds y odds ratio Propiedades del odds ratio Nota de R 17 / 40

28 Propiedades del odds ratio Puede ser cualquier valor positivo. θ = 1 significa que no hay asociación entre X e Y. Valores de θ alejados de 1 indican una asociación mayor. Se suele trabajar con log θ pues entonces el valor que tenemos es simétrico respecto a cero. El odds ratio no cambia cuando intercambiamos filas y columnas. Cómo comparamos? Odds y odds ratio Propiedades del odds ratio Nota de R 18 / 40

29 Nota de R notar/notar004.pdf Cómo comparamos? Odds y odds ratio Propiedades del odds ratio Nota de R 19 / 40

30 en tablas 2 2 El problema Un ejemplo Por qué? Nota de R Odds ratios condicionales y marginales Independencia marginal e independencia condicionada Asociación homogénea 20 / 40

31 El problema Cuando estudiamos el efecto de X sobre Y debemos de controlar las covariables que pueden influir en la relación. Lo mejor es mantener las covariables relevantes constantes. Un efecto de X sobre Y puede representar un efecto de la (o las) covariables sobre las variables X e Y. Esto no es fácil en estudios observacionales. El problema Un ejemplo Por qué? Nota de R Odds ratios condicionales y marginales Independencia marginal e independencia condicionada Asociación homogénea 21 / 40

32 Un ejemplo Consideramos los procesamientos por asesinatos múltiples en Florida entre 1976 y Pena de muerte Víctima Acusado Si No % Sí Blanco Blanco ,3 Negro ,9 Negro Blanco ,0 Negro ,8 Total Blanco ,0 Negro ,9 El problema Un ejemplo Por qué? Nota de R Odds ratios condicionales y marginales Independencia marginal e independencia condicionada Asociación homogénea 22 / 40

33 Se condena a muerte más a los blancos que a los negros en Estados Unidos. En el país de la igualdad se discrimina a los blancos. 23 / 40

34 Se condena a muerte más a los blancos que a los negros en Estados Unidos. En el país de la igualdad se discrimina a los blancos. 23 / 40

35 Se condena a muerte más a los blancos que a los negros en Estados Unidos. En el país de la igualdad se discrimina a los blancos. Consideramos como covariable la raza de la víctima. 23 / 40

36 Se condena a muerte más a los blancos que a los negros en Estados Unidos. En el país de la igualdad se discrimina a los blancos. Pena de muerte Víctima Acusado Si No % Sí Blanco Blanco ,3 Negro ,9 Negro Blanco ,0 Negro ,8 Total Blanco ,0 Negro ,9 23 / 40

37 Se condena a muerte más a los blancos que a los negros en Estados Unidos. En el país de la igualdad se discrimina a los blancos. En el país de la igualdad se condena más a los negros. 23 / 40

38 Por qué? La explicación tiene que venir de la asociación existente entre la raza de la víctima y las variables que cruzamos marginalmente. Hay una gran asociación entre raza de víctima y raza del acusado (odds ratio de 87) Víctima vs acusado Blanco Negro Blanco Negro Víctima vs veredicto Si No Blanco Negro / 40

39 Los blancos tienden a matar más a blancos. Si matas a un blanco tienes una mayor probabilidad de que te condenen. Esto es un ejemplo de la paradoja de Simpson (1951). El problema Un ejemplo Por qué? Nota de R Odds ratios condicionales y marginales Independencia marginal e independencia condicionada Asociación homogénea 25 / 40

40 Nota de R Datos de asesinatos múltiples en Florida: notar/notar007.pdf El problema Un ejemplo Por qué? Nota de R Odds ratios condicionales y marginales Independencia marginal e independencia condicionada Asociación homogénea 26 / 40

41 Odds ratios condicionales y marginales Las asociaciones marginales y condicionales pueden ser descritas mediante el odds ratio. Supongamos una tabla 2 2 K. Tenemos µ ijk, frecuencia esperada en la celda correspondiente. Fijamos Z = k, y tenemos θ XY (k) = µ 11kµ 22k µ 12k µ 21k que serían los odds ratio condicionales. Los odds ratio marginales serían θ XY = µ 11+µ 22+ µ 12+ µ 21+ El problema Un ejemplo Por qué? Nota de R Odds ratios condicionales y marginales Independencia marginal e independencia condicionada Asociación homogénea 27 / 40

42 Sustituyendo los µ ijk por las frecuencias observadas tenemos los odds ratio muestrales. Un valor de uno en un odds ratio supone independencia bien marginal (si θ XY =) o bien condicionada a que Z = k (si θ XY (k) = 1). notar/notar010.pdf El problema Un ejemplo Por qué? Nota de R Odds ratios condicionales y marginales Independencia marginal e independencia condicionada Asociación homogénea 28 / 40

43 Independencia marginal e independencia condicionada La independencia condicionada a Z = k significa P(Y = j X = i,z = k) = P(Y = j Z = k), para todo i,j. Si lo anterior es cierto para todo valor de Z entonces se dice que X e Y son condicionalmente independientes dada Z y se verifica: π ijk = π i+kπ +jk π ++k para cualquier i,j,k. La independencia condicional no implica la independencia marginal. 29 / 40

44 Asociación homogénea Una tabla 2 2 K tiene una asociación XY homogénea cuando θ XY (1) =... = θ XY (K). El tipo de asociación entre X e Y es el mismo para las distintas categorías de Z. Si existe una asociación XY homogénea entonces también tenemos una asociación XZ homogénea y una asociación Y Z homogénea. El problema Un ejemplo Por qué? Nota de R Odds ratios condicionales y marginales Independencia marginal e independencia condicionada Asociación homogénea 30 / 40

45 Un ejemplo X = fumador (si, no) Y = cáncer de pulmón (si, no) Z = edad (< 45, 45 65,> 65) Los odds ratio observados son θ XY (1) = 1,2 θ XY (2) = 3,9 θ XY (3) = 8,8 El efecto de fumar se acentúa conforme la edad es mayor. El problema Un ejemplo Por qué? Nota de R Odds ratios condicionales y marginales Independencia marginal e independencia condicionada Asociación homogénea 31 / 40

46 Tablas I J Medidas resumen de asociación Un ejemplo: Theil,1970 Tendencias ordinales: pares concordantes y discordantes 32 / 40

47 Medidas resumen de asociación Los índices más interpretables son del estilo del coeficiente de determinación R 2. Sea V (Y ) una medida de variación de la distribución marginal de Y (dada por {π +1,...,π +J }). Sea V (Y i) la misma medida para la distribución condicionada de Y a X = i, {π 1 i,...,π J i }. Este tipo de índices consideran con V (Y ) E[V (Y X)] V (Y ) E[V (Y X)] = i π i+ V (Y i). Medidas resumen de asociación Un ejemplo: Theil,1970 Tendencias ordinales: pares concordantes y discordantes 33 / 40

48 Un ejemplo: Theil,1970 Utilizamos la entropía V (Y ) = j π +j log π +j Obtenemos el coeficiente de incertidumbre i j U = π ij log(π ij /π i+ π +j ) j π +j log π +j U = 0 significa que X e Y son independientes. U = 1 significa que para cada i, π j i = 1 para algún j. Medidas resumen de asociación Un ejemplo: Theil,1970 Tendencias ordinales: pares concordantes y discordantes 34 / 40

49 Tendencias ordinales: pares concordantes y discordantes Satisfacción en el trabajo Ingresos Muy Poco Moderadamente Muy Dólares insatisfecho insatisfecho satisfecho satisfecho < > / 40

50 Tenemos dos medidas ordinales. Cabe esperar una tendencia monótona. Consideramos pares concordantes si un valor mayor de X va asociado a un valor mayor de Y. Un par es discordante cuando un valor mayor de X va asociado a un valor menor de Y. Un par está empatado cuando coinciden en la clasificación de X e Y. En el ejemplo tenemos C = 1331, D = 849. Medidas resumen de asociación Un ejemplo: Theil,1970 Tendencias ordinales: pares concordantes y discordantes Parece que hay una tendencia de mayor ingreso mayor satisfacción. 36 / 40

51 Si X e Y son independientes entonces la probabilidades de concordancia y discordancia son: y Π c = 2 i Π d = 2 i ( π ij j h>i ( π ij j h>i π hk ), k>j ) π hk k<j Medidas resumen de asociación Un ejemplo: Theil,1970 Tendencias ordinales: pares concordantes y discordantes 37 / 40

52 Condicionado a que no hay empate las probabilidades de concordancia y discordancia son ) ) Π c / (Π c + Π d y Π d / (Π c + Π d La diferencia de las probabilidades es la gamma (Goodman y Kruskal, 1954): γ = Π c Π d Π c + Π d Medidas resumen de asociación Un ejemplo: Theil,1970 Tendencias ordinales: pares concordantes y discordantes 38 / 40

53 La versión muestral sería ˆγ = C D C + D La gamma trata simétricamente a las variables (como el coeficiente de correlación). 1 γ 1. Si invertimos las categorías de una variable la gamma cambia de signo. γ = 1 significa que hay una relación perfectamente monótona. Medidas resumen de asociación Un ejemplo: Theil,1970 Tendencias ordinales: pares concordantes y discordantes 39 / 40

54 γ = 1 si Π d = 0. γ = 1 si Π c = 0. Independencia implica γ = 0. El recíproco no es cierto. Ejemplo de satisfacción con el trabajo: ˆγ = 0,221. Una ligera tendencia se observa de que unos ingresos mayores suponen una mayor satisfacción. notar/notar011.pdf Medidas resumen de asociación Un ejemplo: Theil,1970 Tendencias ordinales: pares concordantes y discordantes 40 / 40