Sesión 014b. Interpretando un Árbol de Decisión 1480-Técnicas Estadísticas en Investigación de Mercados Grado en Estadística empresarial Curso

Transcripción

1 Sesión 014b. Interpretando un Árbol de Decisión 1480-Técnicas Estadísticas en Investigación de Mercados Grado en Estadística empresarial Curso Segundo semestre Profesor: Xavier Barber i Vallés Departamento: Estadística, Matemáticas e Informática

2 ÁRBOLES DE DECISIÓN library(rpart)

3 Ejemplo: CCS library(bca) ######################################################################## #### ########################################################################### library(bca) ### libraría donde están los datos library(rpart) ### libraría para los Árboles de Decisión # recuperamos los datos de la sesión anterior (paquete BCA --> CCS) data(ccs, package="bca") ###################################################################

4 Generando el Árbol tree1ccs<-rpart(monthgive ~ Age20t29 + Age70pls + AveDonAmt + AveIncEA +DonPerYear + EngPrmLang + FinUnivP + LastDonAmt + Region + YearsGive, data=ccs[ccs$sample=="estimation",], method="class") print(tree1ccs) Árboles de Decisión class Árboles de Regresión= anova n= 544 node), split, n, loss, yval, (yprob) * denotes terminal node Nodo, corte, cuantos me quedan, los que pierdo, el Valor con prob. MÁS ALTA; probabilidades de Y 1) root No ( ) 2) AveDonAmt< No ( )* (nodo terminal) 3) AveDonAmt>= Yes ( ) 6) DonPerYear< Yes ( ) 12) DonPerYear>= Yes ( ) 24) Age20t29< No ( )

5 > print(tree1ccsb) n= 544 Generando el Árbol node), split, n, loss, yval, (yprob) * denotes terminal node 1) root No ( ) 2) AveDonAmt< No ( ) * 3) AveDonAmt>= Yes ( ) 6) DonPerYear< Yes ( ) 12) DonPerYear>= Yes ( ) 24) Age20t29< No ( ) 48) EngPrmLang< No ( ) * 49) EngPrmLang>= Yes ( ) * 25) Age20t29>= Yes ( ) 50) LastDonAmt< No ( ) * 51) LastDonAmt>= Yes ( ) 102) YearsGive< No ( ) * 103) YearsGive>= Yes ( ) * 13) DonPerYear< Yes ( ) * 7) DonPerYear>= Yes ( ) *

6 El Árbol AveDonAmt< No No DonPerYear< DonPerYear>= AveIncEA> Age20t29< AveIncEA< 6.955e Yes LastDonAmt< 27.5 Yes EngPrmLang< LastDonAmt< 17.5 Yes AveDonAmt< YearsGive< 2.5 No Yes Yes Yes No No Yes

7 es el mejor árbol posible? Para estudiar si necesitamos quedarnos con todo el árbol o sólo con una parte de él, recurriremos a la Cross-Validation como medida de eficiencia de numero de ramas. > printcp(tree1ccs) Root node error: 264/544 = CP nsplit rel error xerror xstd [CP=parámetro de Complejidad xerror=cross-validation]

8 es el mejor árbol posible?

9 Podando el árbol ################################################### # CP nsplit rel error xerror xstd # # # # # # ################################################## tree1ccsb <-prune(tree1ccs, cp= ) print(tree1ccsb) par(mar = rep(0.1, 4)) plot(tree1ccsb) text(tree1ccsb, cex=0.8)

10 Podando el árbol n= 544 node), split, n, loss, yval, (yprob) * denotes terminal node * 1) root No ( ) 2) AveDonAmt< No ( ) * 3) AveDonAmt>= Yes ( ) 6) DonPerYear< Yes ( ) 12) DonPerYear>= Yes ( ) 24) Age20t29< No ( ) 48) EngPrmLang< No ( ) * 49) EngPrmLang>= Yes ( ) 25) Age20t29>= Yes ( ) 50) LastDonAmt< No ( ) * 51) LastDonAmt>= Yes ( ) 102) YearsGive< No ( ) * 103) YearsGive>= Yes ( ) * 13) DonPerYear< Yes ( ) * 7) DonPerYear>= Yes ( ) *

11 Podando el árbol AveDonAmt< No DonPerYear< 0.52 DonPerYear>= Age20t29< Yes Yes EngPrmLang< LastDonAmt< 17.5 YearsGive< 2.5 No Yes No No Yes

12 El Árbol ORIGINAL AveDonAmt< No No DonPerYear< DonPerYear>= AveIncEA> Age20t29< AveIncEA< 6.955e Yes LastDonAmt< 27.5 Yes EngPrmLang< LastDonAmt< 17.5 Yes AveDonAmt< YearsGive< 2.5 No Yes Yes Yes No No Yes

13 El árbol PODADO AveDonAmt< No DonPerYear< 0.52 DonPerYear>= Age20t29< Yes Yes EngPrmLang< LastDonAmt< 17.5 YearsGive< 2.5 No Yes No No Yes

14 Una forma más gráfica. Dentro de lo posible library(partykit)

15 De rpart a partykit >library(partykit) >tree_party<-as.party(tree1ccs) Number of inner nodes: 11 >print(tree_party, header=false) Number of terminal nodes: 12 [1] root [2] AveDonAmt < : No (n = 166, err = 16.9%) [3] AveDonAmt >= [4] DonPerYear < [5] DonPerYear >= [6] Age20t29 < [7] EngPrmLang < [8] AveDonAmt < : No (n = 48, err = 22.9%) [9] AveDonAmt >= : Yes (n = 11, err = 36.4%) [10] EngPrmLang >= : Yes (n = 39, err = 41.0%) [11] Age20t29 >= [12] LastDonAmt < 17.5: No (n = 13, err = 23.1%) [13] LastDonAmt >= 17.5 [14] YearsGive < 2.5: No (n = 15, err = 33.3%) [15] YearsGive >= 2.5: Yes (n = 66, err = 24.2%) [16] DonPerYear < : Yes (n = 14, err = 0.0%) [17] DonPerYear >= [18] AveIncEA >= [19] AveIncEA < [20] LastDonAmt < 27.5: No (n = 24, err = 20.8%) [21] LastDonAmt >= 27.5: Yes (n = 18, err = 27.8%) [22] AveIncEA >= 69546: Yes (n = 30, err = 16.7%) [23] AveIncEA < : Yes (n = 100, err = 20.0%)

16 De rpart a partykit

17 Y para presentarlo a la audiencia: library(rpart.plot) #### librería para mejorar rpart cols <- ifelse(tree1ccs$frame$yval == 2, "lightsalmon", "lightgreen") rpart.plot(tree1ccs,main="donante mensual?", ycompress=true,extra=1,branch=1, cex=0.7,varlen=0,digits=4, round=0.5,shadow.col="gray", xsep=" / ", box.col=cols,split.cex=1.1, split.suffix="?", split.box.col="lightgray", split.border.col="darkgray", split.round=.5,yesno.yshift=0.6, boxes.include.gap=true,eq=" ",lt=" < ", ge=" >= ")

18 Y para presentarlo a la audiencia:

19 ÁRBOLES DE REGRESIÓN

20 Tipos de variable Dependiente Qué ocurre cuando la variable dependiente no es dicotómica? Binomial Árboles d e Decision rpart, party, tree Categórica Ordinal o Multinomial spartscore Var. Dependiente mpt univariante Árboles de Regresión class= anova rpart Contínua multivariante mvpart

21 library(party) Conditional inference trees via party

22 Conditional inference tree with 5 terminal nodes #### primero llamamos al modelo "tree1" tree1<-(monthgive ~ Age20t29 + Age70pls + AveDonAmt + AveIncEA + DonPerYear + EngPrmLang + FinUnivP + LastDonAmt + Region + YearsGive) ### y ahora generamos el árbol, es por comodidad de reutilización de código tree1ccs<-ctree(tree1, data=ccs[ccs$sample=="estimation",]) Response: MonthGive Inputs: Age20t29, Age70pls, AveDonAmt, AveIncEA, DonPerYear, EngPrmLang, FinUnivP, LastDonAmt, Region, YearsGive Number of observations: 544 1) AveDonAmt <= 11.25; criterion = 1, statistic = ) AveDonAmt <= 5.25; criterion = 0.991, statistic = )* weights = 78 2) AveDonAmt > ) YearsGive <= 1; criterion = 0.964, statistic = )* weights = 18 4) YearsGive > 1 6) DonPerYear <= ; criterion = 0.989, statistic = )* weights = 59 6) DonPerYear > )* weights = 11 1) AveDonAmt > )* weights = 378

23 El Árbol 2 AveDonAmt p = Ser o no caritativo mensualmente 1 AveDonAmt p < YearsGive p = DonPerYear p = Yes No Node 3 (n = 78) Yes No Node 5 (n = 18) Yes No Node 7 (n = 59) Yes No Node 8 (n = 11) Yes No Node 9 (n =

24 Los resultados Yes- No por nodo table(where(tree1ccs)) datos_ini=cbind(ccs[ccs$sample=="estimation",],nodos=(where(tree1ccs))) summary(datos_ini) table(datos_ini$nodos,datos_ini$monthgive ) ## los casos por nodos nodes(tree1ccs,c(2,6)) #obtenemos los nodos que nos interesan nodes((tree1ccs,c(3,7)) #obtenemos los nodos que nos interesan nodos No Yes Ser o no caritativo mensualmente 1 AveDonAmt p < AveDonAmt p = YearsGive p = DonPerYear p = Yes No Node 3 (n = 78) Yes No Node 5 (n = 18) Yes No Node 7 (n = 59) Yes No Node 8 (n = 11) Yes No Node 9 (n =

25 PREDICCIÓN ### CON PARTYKIT #### NEW DATA ###CCS[CCS$Sample=="Validation",] ### ELIJO LA OBSERVACIÓN 4931 newdata<- CCS[853,] predict(tree1ccs, newdata) [1] Yes Levels: No Yes ## y en los datos dice que es.???? CCS[853,] MonthGive= Yes

26 Comparando dos Árboles desde las predicciones ################################################## ### COMPARADO DOS ARBOLES desde la predicción ################################################## sele<-ccs[ccs$sample=="validation",] new_data<-sele[1:50,] pred_1<-predict(tree_party1, new_data) pred_2<-predict(tree_party4, new_data) table(pred_1, pred_2) pred_2 pred_1 No Yes No Yes 0 245