> y <- c(19, 57, 29, 63, 29, 49, 27, 53, 23, 47, 33, 66, 47, 55, 23, 50, + 24, 37, 42, 68, 43, 52, 30, 42) > ly <- length( y )

Transcripción

1 Preferencia por un nuevo Detergente: Para un estudio de mercado sobre las preferencias entre un nuevo detergente Xx y uno standard Mm se consideró una muestra de 1008 consumidores, a los que se preguntó sobre su preferencia, si habían usado previamente Mm, sobre la dureza del agua utilizada y la temperatura de lavado habitual. Los resultados se recogen en la siguiente tabla: Agua suave media usuario Previo nousuario Previo Temper alta baja alta baja prefiere M o X Xx Mm Xx Mm Xx dura Mm Analiza la tabla de contingencia ajustando un modelo log-lineal que explique la relación entre las distintas variables. Ajusta un modelo que explique la preferencia por una u otra marca. > y <- c(19, 57, 29, 63, 29, 49, 27, 53, 23, 47, 33, 66, 47, 55, 23, 50, + 24, 37, 42, 68, 43, 52, 30, 42) > ly <- length( y ) > T <- gl(2, 1, ly, labels = c("alta", "baja") ) ### Temperatura lavado > P <- gl(2, 2*1, ly, labels=c("si", "no") ) ### usuario Previo > M <- gl( 2, 2*2*1, ly, labels = c("x", "M") ) ### Marca preferida > A <- gl( 3, 2*2*2*1, ly, labels=c("suave", "media", "dura") ) ### Agua lavado > data.frame( T, P, M, A, y ) T P M A y 1 alta si X suave 19 2 baja si X suave 57 3 alta no X suave 29 4 baja no X suave 63 5 alta si M suave 29 6 baja si M suave 49 7 alta no M suave 27 8 baja no M suave 53 9 alta si X media baja si X media alta no X media baja no X media alta si M media baja si M media alta no M media baja no M media alta si X dura baja si X dura alta no X dura baja no X dura alta si M dura baja si M dura alta no M dura baja no M dura 42 > ttpma <- xtabs( y ~ T + P + M + A ) 1

2 > ftable( ttpma ) A suave media dura T P M alta si X M no X M baja si X M no X M Ajuste de modelos log-lineales de orden completo: > ################################## > ### modelo completo de orden 1 ### > m1 <- glm( y ~ A + M + P + T, family=poisson ) > devres <- deviance( m1 ); aic <- AIC( m1 ) > gdl <- m1$df.residual > dev.gdl <- devres/gdl > pval.dev <- 1-pchisq( devres, gdl ) > cbind( aic, devres, gdl, dev.gdl, pval.dev ) aic devres gdl dev.gdl pval.dev [1,] > anova( m1, test="chisq" ) Model: poisson, link: log Response: y Terms added sequentially (first to last) Df Deviance Resid. Df Resid. Dev P(> Chi ) NULL A M P T e-17 > drop1( m1, test="chisq" ) Single term deletions Model: y ~ A + M + P + T Df Deviance AIC LRT Pr(Chi) <none> A M P T <2e-16 *** 2

3 > ################################## > ### modelo completo de orden 2 ### > m2 <- glm( y~a+m+p+t+a*m+a*p+a*t+m*p+m*t+p*t, family=poisson ) > devres <- deviance( m2 ); aic <- AIC( m2 ) > gdl <- m2$df.residual > dev.gdl <- devres/gdl > pval.dev <- 1-pchisq( devres, gdl ) > cbind( aic, devres, gdl, dev.gdl, pval.dev ) aic devres gdl dev.gdl pval.dev [1,] > anova( m2, test="chisq" ) Model: poisson, link: log Response: y Terms added sequentially (first to last) Df Deviance Resid. Df Resid. Dev P(> Chi ) NULL A M P T e-17 A:M A:P A:T M:P e-06 M:T P:T > drop1( m2, test="chisq" ) Single term deletions Model: y ~ A + M + P + T + A * M + A * P + A * T + M * P + M * T + P * T Df Deviance AIC LRT Pr(Chi) <none> A:M A:P A:T * M:P e-06 *** M:T P:T

4 > ################################## > ### modelo completo de orden 3 ### > m3 <- glm( y~a+m+p+t+a*m+a*p+a*t+m*p+m*t+p*t+ + A*M*P+A*M*T+A*P*T+M*P*T, family=poisson ) > devres <- deviance( m3 ); aic <- AIC( m3 ) > gdl <- m3$df.residual > dev.gdl <- devres/gdl > pval.dev <- 1-pchisq( devres, gdl ) > cbind( aic, devres, gdl, dev.gdl, pval.dev ) aic devres gdl dev.gdl pval.dev [1,] > anova( m3, test="chisq" ) Model: poisson, link: log Response: y Terms added sequentially (first to last) Df Deviance Resid. Df Resid. Dev P(> Chi ) NULL A M P T e-17 A:M A:P A:T M:P e-06 M:T P:T A:M:P A:M:T A:P:T M:P:T > drop1( m3, test="chisq" ) Single term deletions Model: y ~ A + M + P + T + A * M + A * P + A * T + M * P + M * T + P * T + A * M * P + A * M * T + A * P * T + M * P * T Df Deviance AIC LRT Pr(Chi) <none> A:M:P A:M:T A:P:T M:P:T

5 > anova( m1, m2, m3, test="chisq" ) Model 1: y ~ A + M + P + T Model 2: y ~ A + M + P + T + A * M + A * P + A * T + M * P + M * T + P * T Model 3: y ~ A + M + P + T + A * M + A * P + A * T + M * P + M * T + P * T + A * M * P + A * M * T + A * P * T + M * P * T Resid. Df Resid. Dev Df Deviance P(> Chi ) El modelo completo de orden 1, m1, no ajusta bien las frecuencias observadas (se rechaza la no asociación entre los cuatro factores). El modelo completo de orden 2 proporciona un buen ajuste. Del análisis del modelo m3 se deduce que no parece necesario incluir ningún efecto de orden 3. A la vista de los resultados del análisis secuencial de la deviance (anova) y de los tests de eliminación de efectos (drop1) en el ajuste del modelo completo de orden 2, m2, se puede decir que los efectos AM, AP y PT no son significativos. Un modelo adecuado es el modelo log-lineal jerárquico (MP, MT, AT). > ############################################ > ### efectos seleccionados del ajuste de los modelos de orden completo > m.mp.mt.at <- glm( y~a+m+p+t+ M*P + M*T + A*T, family=poisson ) > devres <- deviance( m.mp.mt.at ); aic <- AIC( m.mp.mt.at ) > gdl <- m.mp.mt.at$df.residual > dev.gdl <- devres/gdl > pval.dev <- 1-pchisq( devres, gdl ) > cbind( aic, devres, gdl, dev.gdl, pval.dev ) aic devres gdl dev.gdl pval.dev [1,] El modelo (MP, MT, AT) proporciona muy buen ajuste. > anova( m.mp.mt.at, test="chisq" ) Model: poisson, link: log Response: y Terms added sequentially (first to last) Df Deviance Resid. Df Resid. Dev P(> Chi ) NULL A M P T e-17 M:P e-06 M:T A:T La sucesiva adición de efectos, MP, MT y AT produce una mejora (reducción de la deviance) significativa en el ajuste del modelo. 5

6 > drop1( m.mp.mt.at, test="chisq" ) Single term deletions Model: y ~ A + M + P + T + M * P + M * T + A * T Df Deviance AIC LRT Pr(Chi) <none> M:P e-06 *** M:T * A:T * No es posible la eliminación de ninguno de los efectos de orden 2 del modelo ajustado, (MP, MT, AT), sin que se produzca una pérdida significativa en el ajuste. No obstante podríamos pensar que un modelo más sencillo, por ejemplo (A, T, MP), podría dar un ajuste razonable. Veamos: > ############################################ > m.mp <- glm( y~a+m+p+t+ M*P, family=poisson ) > devres <- deviance( m.mp ); aic <- AIC( m.mp ) > gdl <- m.mp$df.residual > dev.gdl <- devres/gdl > pval.dev <- 1-pchisq( devres, gdl ) > cbind( aic, devres, gdl, dev.gdl, pval.dev ) aic devres gdl dev.gdl pval.dev [1,] Podemos observar que este modelo, (A, T, MP), proporciona un buen ajuste (basta ver su deviance residual), pero si lo comparamos con el modelo anterior, (MP, MT, AT), la menor complejidad de (A, T, MP) no compensa la pérdida en el ajuste (observar el mayor valor del AIC del modelo (A, T, MP). Dado que ambos modelos están anidados podemos mediante anova realizar un test condicional para valorar la pérdida en el ajuste: > anova( m.mp, m.mp.mt.at, test="chisq" ) Model 1: y ~ A + M + P + T + M * P Model 2: y ~ A + M + P + T + M * P + M * T + A * T Resid. Df Resid. Dev Df Deviance P(> Chi ) La mejora en el ajuste del modelo (MP, MT, AT) respecto del (A, T, MP) es significativa. Por consiguiente podemos adoptar como mejor modelo log-lineal: (MP, MT, AT). P es no está asociada con A y es condicionalmente independiente de T, dado M. M es condicionalmente independiente de A, dado T, pero está fuertemente asociada con P y con T. > #################################################################### > ### Variable respuesta binaria: Marca preferida: X(la nueva) o M ### > ### arreglo de los datos: yx=prefieren X; ym=prefieren M; > yx <- y[m=="x"]; ym <- y[m=="m"]; total <- yx + ym; > AA <- A[M=="X"]; PP <- P[M=="X"]; TT <- T[M=="X"]; > p.x.obs <- yx/total ### proporción observada de respuesta X > respuesta <- cbind( yx, ym ) ### para ajuste de logístico en glm 6

7 > ### m.m: modelo logístico con efectos principales Agua, uso Previo y Temper > m.m <- glm( respuesta ~ AA + PP + TT, family=binomial ) > summary( m.m ) Call: glm(formula = respuesta ~ AA + PP + TT, family = binomial) Deviance Residuals: Min 1Q Median 3Q Max Coefficients: Estimate Std. Error z value Pr(> z ) (Intercept) ** AAmedia AAdura PPno e-06 *** TTbaja (Dispersion parameter for binomial family taken to be 1) Null deviance: on 11 degrees of freedom Residual deviance: on 7 degrees of freedom AIC: Number of Fisher Scoring iterations: 3 > anova( m.m, test="chisq" ) Model: binomial, link: logit Response: respuesta Terms added sequentially (first to last) Df Deviance Resid. Df Resid. Dev P(> Chi ) NULL AA PP e-06 TT > drop1( m.m, test="chisq" ) Single term deletions Model: respuesta ~ AA + PP + TT Df Deviance AIC LRT Pr(Chi) <none> AA PP e-06 *** TT Aunque el ajuste de este modelo logit, m.m, de efectos principales es bueno (ver deviance residual), el modelo que excluye el efecto A es mejor, aún dando un peor ajuste. No obstante el efecto de A podría ser significativo en un modelo con interacciones. 7

8 > p.x.pred <- round( m.m$fitted.values, 4 ) > data.frame( AA, PP, TT, total, ym, yx, p.x.obs, p.x.pred ) AA PP TT total ym yx p.x.obs p.x.pred 1 suave si alta suave si baja suave no alta suave no baja media si alta media si baja media no alta media no baja dura si alta dura si baja dura no alta dura no baja > ##################################################################### > ### modelo log-lineal equivalente al logít de efectos principales ### > mequiva <- glm( y~a+m+p+t+m*a+m*p+m*t+a*p*t, family=poisson ) > summary( mequiva ) Call: glm(formula = y ~ A + M + P + T + M * A + M * P + M * T + A * P * T, family = poisson) Deviance Residuals: Min 1Q Median 3Q Max Coefficients: Estimate Std. Error z value Pr(> z ) (Intercept) < 2e-16 *** Amedia Adura MM ** Pno * Tbaja e-07 *** Amedia:MM Adura:MM MM:Pno e-06 *** MM:Tbaja Amedia:Pno Adura:Pno Amedia:Tbaja Adura:Tbaja * Pno:Tbaja Amedia:Pno:Tbaja Adura:Pno:Tbaja (Dispersion parameter for poisson family taken to be 1) Null deviance: on 23 degrees of freedom Residual deviance: on 7 degrees of freedom AIC: Number of Fisher Scoring iterations: 4 8

9 > ### Comprobación: > pred.eq <- exp( predict( mequiva ) ) > p.x.eq <- round( pred.eq[m=="x"]/total, 4 ) > ################################################################### > ### La función predict calcula los predictores lineales y su se ### > ### Cálculo de IC's para la probabilidad de respuesta X, bajo m.m > fexpit <- function(x) { exp(x)/(1+exp(x)) } > plin <- predict( m.m, se.fit=true ) > p.x.plin <- round( fexpit( plin$fit ), 4 ) > se.plin <- plin$se.fit > alfa <- 0.05; confianza <- 1-alfa; > ic.plin.inf <- plin$fit-qnorm(1-alfa/2)*se.plin > ic.plin.sup <- plin$fit+qnorm(1-alfa/2)*se.plin > ic.p.x.inf <- round( fexpit( ic.plin.inf ), 4) > ic.p.x.sup <- round( fexpit( ic.plin.sup ), 4) > data.frame( AA, PP, TT, total, ym, yx, p.x.obs, p.x.pred, ic.p.x.inf, ic.p.x.sup) AA PP TT total ym yx p.x.obs p.x.pred ic.p.x.inf ic.p.x.sup 1 suave si alta suave si baja suave no alta suave no baja media si alta media si baja media no alta media no baja dura si alta dura si baja dura no alta dura no baja

10 Modelo logit con interacción AP: > m.m.int <- glm( respuesta ~ AA + PP + TT + AA*PP, family=binomial ) > summary( m.m.int ) Call: glm(formula = respuesta ~ AA + PP + TT + AA * PP, family = binomial) Deviance Residuals: Coefficients: Estimate Std. Error z value Pr(> z ) (Intercept) AAmedia AAdura PPno TTbaja AAmedia:PPno AAdura:PPno * (Dispersion parameter for binomial family taken to be 1) Null deviance: on 11 degrees of freedom Residual deviance: on 5 degrees of freedom AIC: Number of Fisher Scoring iterations: 3 > anova( m.m.int, test="chisq" ) Model: binomial, link: logit Response: respuesta Terms added sequentially (first to last) Df Deviance Resid. Df Resid. Dev P(> Chi ) NULL AA PP e-06 TT AA:PP > drop1( m.m.int, test="chisq" ) Single term deletions Model: respuesta ~ AA + PP + TT + AA * PP Df Deviance AIC LRT Pr(Chi) <none> TT AA:PP

11 > p.x.int <- m.m.int$fitted.values ### prob de X bajo interacción AP > difpx <- p.x.pred - p.x.int > data.frame( AA, PP, TT, total, ym, yx, p.x.obs, p.x.pred, p.x.int, difpx ) AA PP TT total ym yx p.x.obs p.x.pred p.x.int difpx 1 suave si alta suave si baja suave no alta suave no baja media si alta media si baja media no alta media no baja dura si alta dura si baja dura no alta dura no baja Si bien la mejora del ajuste del modelo logit con interacción A*P, m.m.int, respecto del modelo de efectos principales, m.m, no es significativa (a nivel 0.05) sí es importante, y el AIC de m.m.int es el menor de los modelos logits ajustados. Así pues en la explicación de la respuesta, el efecto del factor A se manifiesta principalmente a través de su interacción con el factor P. ################################################# > ### plot de probabilidad de respuesta X bajo m.m ### > plot( 1:length(yX), p.x.obs, ylim=c(0,1), type="b", lty=3, xaxt="n",pch="", + xlab="12 grupos en covariables (Agua, uso Previo, Temperatura)", + ylab="probabilidad de preferir X", cex.main=0.9, + main="probabilidad de preferencia por la nueva marca de detergente X: + modelo de efectos principales" ) > axis( side=1, at=c(1:12), labels=c(1:12) ) > text(c(2,6.5,10.5), c(0.15,0.15,0.15), + c("agua: suave", "media", "dura")) > segments(c(1:12),ic.p.x.inf, c(1:12),ic.p.x.sup, lwd=2,col="green") > points(c(1,3,5,7,9,11), p.x.pred[c(1,3,5,7,9,11)], pch=16, + col="red", cex=1.5 ) > points(c(2,4,6,8,10,12), p.x.pred[c(2,4,6,8,10,12)], pch=15, + col="blue", cex=1.5 ) > points( 1:length(yX), p.x.obs ) ### proporciones observadas > text(c(1,2,5,6,9,10), p.X.pred[c(1,2,5,6,9,10)], rep("usabam",6), + cex=0.8 ) > points( 1:12, p.x.int, pch=2 ) ### prob de X bajo interacción AP > abline(v=c(4.5,8.5),lty=3) > legend(1,1.05, legend="", col="blue", pch=15, cex=1.5, bty="n") > text(3,0.99, "temperatura baja", cex=0.9 ) > legend(1,1, legend="", col="red", pch=16, cex=1.5, bty="n") > text(3,0.94, "temperatura alta", cex=0.9 ) > legend(1,0.95, legend="", pch=1, cex=1.5, bty="n") > text(3.4, 0.89, "proporción observada", cex=0.9 ) > legend(1,0.9, legend="", pch=2, cex=1.5, bty="n") > text(3.9, 0.84, "prob de X bajo interacción AP", cex=0.9 ) 11

12 Probabilidad de preferencia por la nueva marca de detergente X: modelo de efectos principales probabilidad de preferir X temperatura baja temperatura alta proporción observada prob de X bajo interacción AP usabam usabam usabam usabam usabam usabam Agua: suave media dura grupos en covariables (Agua, uso Previo, Temperatura) 12

13 Ajuste de modelos con SAS options pagesize=500; data deterg; do A = 1 to 3; do M =1 to 2 ; do P =1 to 2; * M=1 prefiere otra marca; * M=2 la marca de interes; * P=1 usuario previo; do T = 1 to 2; input output; end; end; end; end; cards; ; /* proc print data=deterg; var _ALL_; */ proc genmod data=deterg; class a m p t; model frec = a m p t / dist=poi link=log; title Modelo log-lineal de orden 1 completo; proc genmod data=deterg; class a m p t; model frec = a m p t a*m a*p a*t m*p m*t p*t/ dist=poi link=log type1 type3; title Modelo de orden 2 completo; proc genmod data=deterg; class a m p t; model frec = a m p t a*m a*p a*t m*p m*t p*t a*m*p a*m*t a*p*t m*p*t / dist=poi link=log type1 type3; title Modelo de orden 3 completo; * model frec = a m p dist=poi link=log type1 type3; * Identico modelo, pero el ajuste secuencial de type1 es diferente; * a partir de los resultados obtenidos en los modelos anteriores; * Tres modelos log-lineales razonables?; proc genmod data = deterg; class a m p t; model frec = a m p t m*p m*t a*t/ dist=poi link=log type1 type3 predicted xvars; title Modelo (MP, MT, AT); *****************************************************************************; * Organizacion de los datos para ajustar un modelo logit usando FREC_M2/TOTAL; * OJO!!! cuidado con el uso de merge en data D. Hay que asegurarse del orden; * Comprobar siempre el resultado; data B; set deterg; frec_m1 = frec; if M = 2 then delete; data C; set deterg; frec_m2 = frec; if M = 1 then delete; data D; set C; merge B; drop M frec; TOTAL = frec_m1 + frec_m2; prob_m2 = frec_m2 / TOTAL; * prob_m2: probab. en el M. Saturado (frec. relativas); 13

14 proc print data =D; var _ALL_; title Frecuencias de M segun patron de covariables A P T; proc genmod data=d; class A P T; model FREC_M2 / TOTAL = A P T / dist = bin link = logit predicted xvars; title Modelo logit con todos los efectos principales; proc genmod data=deterg; class a m p t; model frec = a m p t m*p m*t m*a a*p*t/ dist=poi link=log; output out=salida pred=predichos; title Modelo log-lineal equivalente al logit con todos los efectos principales; * Una forma complicada de obtener los resultados del ajuste del modelo logit; * a traves del ajuste del modelo log-lineal equivalente anterior; data E; set salida; data F; set E; F_M1 = frec; Pred_M1 = predichos; if M = 2 then delete; data G; set E; F_M2 = frec; Pred_M2 = predichos; if M = 1 then delete; data H; set G; merge F; drop M frec; TOTAL = F_M1 + F_M2; FRel_M2 = F_M2 / TOTAL; * prob_m2 probabilidades en el Modelo Saturado; TotPred = Pred_M1 + Pred_M2; ppred_m2 = Pred_M2/TotPred; * ppred_m2 probabilidades predichas por el modelo; proc print data=h; var A P T F_M1 F_M2 TOTAL FRel_M2 Pred_M1 Pred_M2 TotPred ppred_m2; title Valores predichos por el log-lineal equivalente al logit; * ajuste con PROC LOGISTIC del modelo logit con todos los efectos principales; proc logistic data = H; class A P T / param = REF; model F_M2 / TOTAL = A P T / covb ; output out=sal pred=pr_pred lower=inf upper=sup xbeta=xbeta stdxbeta=stdxbeta; title Modelo logit con todos los efectos principales (PROC LOGISTIC); proc print data=sal; * observar que coinciden PPRED_M2 y PR_PRED; var A P T F_M1 F_M2 TOTAL FRel_M2 Pred_M1 Pred_M2 ppred_m2 pr_pred inf sup; title Probabilidades estimadas de M2 bajo modelo logistico de efectos principales; * Modelo logistico sin el efecto A; proc logistic data = H; class A P T / param = REF; model F_M2 / TOTAL = P T ; output out=sal_p_t pred=pr_pred_p_t lower=inf upper=sup xbeta=xbeta stdxbeta=stdxbeta; title Modelo logit con los efectos principales P T; run ; proc print data=sal_p_t; var A P T F_M1 F_M2 TOTAL FRel_M2 pr_pred_p_t inf sup; title Probabilidades estimadas de M2 bajo modelo logistico con efectos P T; 14