MODELOS DE ÁRBOL DE REGRESIÓN BAYESIANO: UN ESTUDIO DE CASO.

Transcripción

1 REVISTA INVESTIGACIÓN OPERACIONAL VOL., 3, No., 09-5, 00 MODELOS DE ÁRBOL DE REGRESIÓN BAYESIANO: UN ESTUDIO DE CASO. O. Juárez* y E.Castells** *Facultad de Matemátca. Unversdad Autónoma de Guerrero. Méxco. **Área Económco-Admnstratva. Unversdad Veracruzana, Méxco RESUMEN En este trabajo se explora el método Bayesano de seleccón de árboles de regresón propuesto por Chpman et al. (998a), así como otros resultados afnes de los msmos autores. Las aplcacones del referdo método requeren que se generen modelos utlzando los métodos de Monte Carlo vía Cadenas de Markov, y para las msmas ha resultado convenente un agrupamento de dchos modelos, para lo cual se necestan métrcas. Aquí proponemos una nueva métrca para agrupar los modelos. Tambén se hace un estudo por smulacones con el objetvo de explorar la posbldad de dsmnur el número de modelos que son necesaros generar para determnar (con el enfoque de Chpman et al. (998a)) un árbol que explque satsfactoramente a un conjunto de datos. Se aplca la metodología a los datos que utlzaron Denson et al. (998) en la lustracón de su método, lo que permte hacer comparacones. Por últmo se presentan los resultados de la aplcacón en el estudo soco-económco que precedó a un proyecto hdrológco. ABSTRACT The Bayesan method for selectng regresson models proposed by Chpman et al. (998a) as well as some related results of the same authors are explored. In applcatons of ths method, formng groups of the generated models has resulted a very useful tool (models are generated by Monte Carlo Markov Chans) so some metrcs are requred and here we propose a new one for groupng the models. The possblty of reducng the number of necessares models to be generated n order to determne (wth Chpman et al. (998a) approach) a tree whch gve a satsfactory explanaton of the data s explored by means of a smulaton study. We apply the method to the data used by Denson et al. (998) and some comparsons are made. Lastly we analyze the results of the applcaton to the data of some soco-economcal study. KEY WORDS: Monte Carlo Markov Chan, Regresson tree, Metrc on Models, Log. Lkelhood, Integrated Lkelhood. MSC:6C. INTRODUCCIÓN Los modelos de Árbol de Regresón y Clasfcacón (C&RT, Classfcaton & Regresson Trees), fueron ntroducdos en la Estadístca por Breman et al. (98). Los autores utlzan el térmno modelos de árbol de regresón cuando la varable respuesta es cuanttatva y el de modelos de árbol de clasfcacón cuando ésta es cualtatva. La dea fundamental de dcha metodología consste en partconar el espaco de las varables ndependentes ( X, X,..., X p ) en forma tal que los valores de la varable de respuesta sean cada vez más homogéneos dentro de las clases de dcha partcón. Los modelos C&RT son fácles de aplcar e nterpretar, por tal motvo se han hecho populares en dferentes áreas como Ensayos clíncos, Medcna, Meteorología, Fnanzas (ver Andryashn (005), Camdevren et al. (007), Davs y Elder (00), Teng et al. (007), Lews (000) y Wada y Nakamura (00)). tavs53@yahoo.com.mx ernestnacg@yahoo.com 09

2 Chpman et al. (998a) y Denson et al. (998), proponen nuevas metodologías que utlzan los modelos C&RT en combnacón con los métodos de Monte Carlo vía cadenas de Markov (MCMC, Markov Chan Monte Carlo). Ellos utlzan los métodos MCMC para la exploracón de la dstrbucón a posteror. En el segundo trabajo, la dstrbucón a pror del modelo se toma como una dstrbucón Posson truncada con parámetro k ( k dentfca el número de nodos termnales) y para la exploracón de la dstrbucón a posteror se utlza el método MCMC de saltos reversbles propuesto por Green (995). Chpman et al. (998a), proponen un procedmento algorítmco para defnr en forma mplícta la dstrbucón a pror, p (T ), del árbol y especfcan una dstrbucón condconal de la varable de respuesta en los nodos termnales de éste. Para los parámetros de esta dstrbucón se toma una dstrbucón a pror conjugada a la cual nos refermos más adelante y con ella se deduce una expresón de la dstrbucón a posteror que posblta su exploracón medante el algortmo de Metropols-Hastngs. Una característca que tene el enfoque de Chpman et al. (998a), es la generacón de dstntos modelos C&RT a partr de un msmo conjunto de datos. Chpman et al. (998b y 00) exploran un conjunto de métrcas que permten agrupar los árboles de acuerdo a certas smltudes. Este agrupamento faclta la seleccón de alguno de ellos. Nosotros proponemos aquí una métrca defnda en térmnos de la peor predccón que hace cada modelo. En este trabajo se reportan los resultados que arrojó el uso del método de Chpman et al. (998a) en el análss de datos de un proyecto hdrológco en Guerrero, Méxco. Con el objetvo de completar la lustracón y mostrar la utldad de ese método, se presentan los resultados obtendos utlzando un conjunto de datos publcados en Bruntz et al. (97), dchos datos fueron utlzados por Denson, et al. (998) para lustrar su método, que aunque tambén es un método Bayesano tene otros supuestos teórcos. Además, se reportan los resultados de un estudo por smulacones que se realzó para explorar la posbldad de dsmnur el número de corrdas que son necesaras en las aplcacones.. MODELOS DE ÁRBOL DE REGRESIÓN BAJO EL ENFOQUE BAYESIANO.. Defncones prmaras Para la construccón de un modelo de árbol bnaro se requere de observacones de una varable de respuesta Y, y de varables explcatvas o predctoras X = ( X, X,..., X p ), las cuales pueden ser contnuas o categórcas. Defncón. Árbol bnaro. Un árbol es un conjunto de nodos defndos a través de los valores de certas varables, la fgura No.5 da una lustracón gráfca (ver Breman et al., 98). Los nodos se clasfcan en ncal o raíz, nternos o de dvsón y termnales. S la dvsón de los nodos ocurre de forma tal que de cada nodo que se dvde resultan dos nuevos nodos, se dce que el árbol es bnaro. El nodo que se dvde se llama nodo padre y a los dos resultantes se les llama nodos hjos zquerdo y derecho. Defncón.. Modelo de árbol de regresón. Un modelo de árbol de regresón es una descrpcón de la dstrbucón condconal de Y dado X. Los dos componentes fundamentales del modelo son: un árbol bnaro con b nodos termnales y el vector de parámetros Θ = ( θ, θ,..., θb), donde el parámetro θ está asocado al nodo termnal N. La densdad condconal de Y dado θ se denota por f y θ ) (Chpman et al., 998a). Defncón.3 Profunddad de un nodo. ( La profunddad d de un nodo se defne como el número de nodos de dvsón que se encuentran por arrba de él en el árbol (Chpman et al., 998a). 0

3 A contnuacón se explca la regla de dvsón de los nodos. Regla de dvsón. Para dvdr un nodo de un árbol bnaro se consderan dos pasos:.- se seleccona una varable X y.- S la varable selecconada resulta cuanttatva, se seleccona aleatoramente un valor r y se asgnan al nodo hjo zquerdo las observacones que cumplan la condcón X r, las restantes son asgnadas al nodo hjo derecho. S la varable selecconada resulta cualtatva, se seleccona un subconjunto A de las categorías de la varable X y las observacones con valores pertenecentes al conjunto A se asgnan al nodo hjo zquerdo, las restantes al nodo hjo derecho (Chpman et al., 998a). La aplcacón sucesva de la regla anteror, partendo de un nodo raíz, genera un árbol bnaro.. Especfcacón de la dstrbucón a pror del árbol y de los parámetros... Dstrbucón a pror del árbol. La propuesta de Chpman et al. (998a) para la especfcacón de la dstrbucón a pror del árbol es un proceso estocástco árbol-generador que consste en un algortmo de tres pasos: ) Se nca con el árbol trval de un nodo. p, donde α ) y 0 β ) Cada nodo Termnal se dvde con probabldad = α( + d) (0, parámetros selecconados prevamente que defnen el tamaño y la forma del árbol. β son ) Cuando el nodo se puede dvdr, se elge una varable predctora X utlzando un mecansmo unforme dscreto; de gual manera se seleccona el valor de r o el conjunto A necesaros para aplcar la regla de dvsón. Por últmo, se asgnan los valores de las varables a los nodos hjos zquerdo y derecho. Se repten los pasos ) y ). El algortmo termna cuando no exsten nodos que se puedan dvdr. Los nodos que no son dvddos se llaman nodos termnales. Este algortmo asoca a los nodos de dvsón (de los árboles que genera) la probabldad de dvdrse β p = α( + d) y a los nodos termnales el complemento q = p. Por lo tanto, a un árbol T se le asoca una probabldad a pror ( p (T ) ) que es el producto de las probabldades asocadas a cada nodo... Dstrbucón a pror de los parámetros. Los parámetros del modelo de árbol de regresón en cada uno de los b nodos termnales ( =,,..., b ) son la meda y varanza de la varable de respuesta en dchos nodos. Sobre estos parámetros se especfca un modelo probablístco...3 Modelo de cambo de meda y varanza. En este modelo se supone desgualdad entre las medas y entre las varanzas de los dferentes nodos termnales, esto es, θ = ( μ, σ ). Se supone, además, que la varable Y sgue una dstrbucón normal,

4 y, y,..., yn ( μ, σ ) N( μ, σ ) para =,,..., b La dstrbucón a pror conjugada de los parámetros del modelo es una normal- gamma nversa, esto es: σ ν νλ μ σ N( μ, ) y σ IG(, ) a (.) (.) (Chpman et al., 998a)..3 Dervacón de la dstrbucón a posteror del modelo. Aplcando el Teorema de Bayes, se obtene que la dstrbucón a posteror del modelo de árbol de regresón, salvo la constante de ntegracón, se expresa como: p( T Y, X) py ( T, X) p( T) (.3) donde p ( Y T, X ) es la verosmltud ntegrada que se obtene medante la ntegral en (.): Θ p( Y T, X) = p( Y θ, T, X) p( θ T, X) dθ (.) sendo p( Y θ, T, X ) la verosmltud de las observacones de Y y p( θ T, X ) la dstrbucón de los parámetros del modelo. La verosmltud ntegrada juega un papel mportante en la obtencón de una expresón analítca para la dstrbucón a posteror del modelo y debe permtr que ésta pueda ser evaluada en cualquer punto del espaco de los modelos de árbol de regresón. Como la varable respuesta se dstrbuye según una normal (.) la verosmltud de los datos está dada por la expresón en (.5): b b ( ) = ( ) exp n n p Y θ πσ ( y = = σ j= La forma conjugada de la dstrbucón a pror de los parámetros ( μ, ) es la dada en (. 6): σ j μ ) (.5) ν νλ a a ( νλ / ) ν ( + ) νλ p[( μ, σ ) μ, a,, ] = exp{ ( μ ) } ( ) exp( ) μ σ πσ σ Γ( ν / ) σ Susttuyendo (.5) y (.6) en (.) y calculando las ntegrales nvolucradas se obtene (.7) (Ver Chpman et al., 998a): p[ Y X, T] con s y t dados por: = b = ( π) n ( νλ) ν n + υ a Γ( ) ( s + t n + a Γ( ν / ) ν + νλ) ( n + υ ) (.7) (.6) s n = j= ( y j y ), t n a = ( y ( n + a) μ) (.8) La expresón (.7) representa la verosmltud ntegrada del modelo de cambo de meda y varanza.

5 3. EXPLORACIÓN DE LA DISTRIBUCIÓN A POSTERIORI. 3.. El algortmo de Metropols-Hastngs. Para su exploracón Chpman et al. (998a) smulan una muestra de la dstrbucón a posteror por medo de uno de los métodos de MCMC, el llamado algortmo de Metropols-Hastngs. Este método tene la ventaja de que la dstrbucón no tene que estar completamente defnda y es muy efcente aun cuando la dmensón del problema es muy grande. Tene, además, la cualdad de smular muestras de dstrbucones aun cuando el vector de parámetros tenga dmensón varable, y esto es justamente lo que sucede aquí. Como lo explcan Chb y Greenberg (995) y Gamerman (997), cuando se tene una dstrbucón π de la cual se quere obtener una muestra; pero por su forma resulta complcado o costoso obtenerla, se puede generar una cadena de Markov vía el algortmo de Metropols-Hastngs. Para mplementar este algortmo es necesaro construr un kernel de transcón p( T, T ) de tal forma que la dstrbucón de equlbro de la cadena de Markov sea la dstrbucón π, para que esto ocurra, el kernel de transcón debe cumplr la condcón de reversbldad (3.): π ( T ) p( T, T ) = π ( T ) p( T, T ) (3.) Expresando el kernel de transcón como el producto en (3.), = pt (, T ) qt (, T ) α( T, T ) (3.) donde q( T, T ) es la densdad arbtrara generadora de canddatos, que para el caso dscreto debe satsfacer la condcón j j q ( T, T ) = ; y α( T, T ) es la probabldad de aceptacón. Hastngs (970), propone que esta probabldad de aceptacón sea ( ) (, ) π T q T T α( T, T ) = mn, (3.3) π ( T ) q( T, T ) Con esta defncón de probabldad de aceptacón y la densdad generadora de canddatos, se logra un kernel de transcón que satsface la condcón de reversbldad (3.) y una cadena de Markov que tene dstrbucón de equlbro π. 3. Kernel de transcón. El algortmo de Metropols-Hastngs se emplea, en el caso que nos ocupa, para smular una cadena de Markov 0 de árboles ( T, T, T,...) a partr de la cual se puede obtener una muestra smulada de la dstrbucón a 0 T, y a partr de éste se generan los demás elementos de la posteror. El algortmo se nca con un árbol cadena de Markov, esto se hace de la forma sguente: a partr del ésmo elemento T de la cadena se + genera un árbol-canddato T, y se decde s T será el elemento T de la cadena. Esta decsón se toma con probabldad α ( T, T ) dada en (3.): α ( T en caso contraro se consdera, T q( T ) = mn q( T + T = T., T, T ) ) p( Y X, T p( Y X, T ) p( T ) p( T ), ) (3.) 3

6 Para obtener el árbol canddato T a través de una modfcacón de T, se seleccona en forma aleatora uno de los cuatro pasos sguentes, propuestos por Chpman et al. (998a): ) Crecmento: utlzando una dstrbucón unforme dscreta se seleccona un nodo termnal, que se dvdrá o no de acuerdo a las reglas de seleccón de varables y valores de dvsón. ) Podado: utlzando una dstrbucón unforme dscreta se seleccona un nodo nterno que tenga sus nodos hjos, zquerdo y derecho, como nodos termnales, se elmnan estos nodos hjos. ) Cambo de la regla de dvsón de un nodo nterno: con probabldades dadas por una dstrbucón unforme dscreta se seleccona un nodo nterno para cambar la regla de dvsón. v) Intercambo de las reglas de dvsón de dos nodos nternos: utlzando una dstrbucón unforme dscreta se seleccona un par de nodos nternos, padre e hjos, y se ntercamban sus reglas de dvsón. La tasa de aceptacón es el porcentaje del número de veces que la cadena acepta un canddato como elemento de la cadena. Este número es ndcatvo del comportamento de la cadena (Chb y Greenberg, 995). Para mplementar el algortmo se requere una densdad generadora de canddatos en la cual se ncorporen los cuatro movmentos anterores (las propedades de esta densdad se pueden encontrar en Chpman et al., 998a). El kernel de transcón depende no sólo del número de varables, sno tambén del número de valores dsponbles de la varable nvolucrada y del número de nodos donde sea posble realzar el movmento. 3.3 Estratega de búsqueda. La dstrbucón de probabldad a posteror p ( T X, Y ) es multmodal y esto tene repercusones en la estratega de búsqueda ya que el algortmo busca los puntos modales, una vez que los localza, la probabldad de pasar a otro punto modal es pequeña, empleando en esto mucho tempo de cómputo. La cadena se ''atasca'' alrededor de un punto modal porque los pasos defndos por el kernel de transcón son pequeños y tambén por el propo algortmo de Metropols-Hastngs ( Besag y Green, 993). Para evtar que el algortmo se quede atascado durante un tempo largo, Chpman et al. (998a) proponen rencar el algortmo varas veces para una búsqueda rápda y una mejor exploracón de la dstrbucón a posteror, en contraposcón a las corrdas largas. En la Seccón 7 se presentan los resultados de un estudo por smulacón que se efectuó para analzar s es posble dsmnur el número de modelos a generar. 3. Crteros de seleccón de los modelos. El crtero para selecconar un buen modelo, en este caso un buen árbol de regresón, depende de los objetvos con los que se utlzará el msmo. Un crtero es selecconar aquel árbol con mayor probabldad a posteror (.3), otro pudera ser la mayor verosmltud ntegrada del modelo p ( Y X, T ) (éste para evtar la nfluenca de la dstrbucón a pror del árbol p (T ) ), o como en el caso de la regresón lneal, la suma de los cuadrados de los resduales.. MEDIDAS PARA LA AGRUPACIÓN DE MODELOS En el contexto de la seleccón de modelos de árbol de regresón, las métrcas se utlzan con el objetvo de agrupar los modelos que sean semejantes según alguna característca. De esta forma se reduce el número de modelos para una comparacón fnal, tratando de selecconar aquel modelo que mejor explque el comportamento de los datos y no entre en contradccón con las característcas del fenómeno en estudo.

7 Exsten dversas propuestas de defncón de dstanca entre los modelos de árbol de regresón. Dchas propuestas se defnen en base a los dferentes elementos que caracterzan un modelo de árbol, como pueden ser la suma de los cuadrados de la dferenca entre el valor observado y el valor ajustado, las reglas de dvsón o sobre la partcón del espaco de regresores, entre otros. En Chpman et al. (998b y 00), se exponen las métrcas de ajuste, de partcón y de árbol. En la métrca de ajuste se calculan los valores ajustados de las observacones, la dstanca entre los modelos se defne como la suma de los cuadrados de las dferencas entre los valores ajustados. Para la métrca de partcón, prmero se cuenta el número de parejas de observacones que se encuentran en el msmo nodo termnal, esto se hace para cada modelo; la dstanca entre los árboles es la dferenca entre estos conteos, escalada por el total de parejas posbles. Para el caso de la métrca de árbol, se comparan las reglas de dvsón exstentes en el desarrollo de los modelos de árbol de regresón.. Métrca general. En Chpman et al. (998b), en la seccón de dscusón, se plantea la posbldad de construr otras métrcas, una de ellas consste en construr para cada árbol un vector resumen que contenga característcas tales como el tamaño, la frondosdad, grado de uso de cada varable, entre otras. Entonces un modelo de árbol de regresón se puede representar como un punto en un espaco de dmensón mayor que uno. La dmensón vendría determnada por el número de característcas del árbol que se utlcen. Las característcas del árbol que se podrían nclur en la defncón de un vector son: ) El tamaño: Es el número de nodos termnales que tene el árbol. ) Índce de frondosdad: S d representa la profunddad máxma del árbol, el índce se defne como: No. de nodos ter mn ales I f = d x00, cuando el árbol está completamente saturado en la profunddad d, el valor del índce es 00 %. 3) Varable de la prmera dvsón: Se regstra la varable ndependente utlzada en la dvsón del nodo raíz. ) Varable de la segunda dvsón zquerda: Se regstra la varable ndependente utlzada en la dvsón del nodo hjo zquerdo del nodo raíz. 5) Varable de la segunda dvsón derecha: Se regstra la varable ndependente utlzada para la dvsón del nodo hjo derecho del nodo raíz. Cada varable se dentfca con un número natural. 6) Grado de uso de las dstntas varables ndependentes: Se defne el grado de uso para cada varable ndependente (en el modelo de árbol de regresón) como: No. de nodos donde se usa x Grado deuso de x = x00. No. total de nodos del arbol 7) Suma de los cuadrados resduales (SCR): El valor ajustado para cada una de las observacones de la varable de respuesta en los nodos termnales del árbol, se estma medante el promedo de sus observacones b n en el nodo termnal correspondente, con lo que la SCR se calcula medante: ej = j ( yj y ), donde b es el número de nodos termnales. 8) Logartmo de la verosmltud ntegrada: tal como se defnó en (.). m Con estas defncones, cada árbol está representado por un punto en un espaco R, esto es, el árbol T k expresado en térmnos de sus coordenadas es T k = ( Tk, Tk,... Tkm), por lo que la dstanca entre los árboles se defne como: j d( T k m, Tl ) = ( Tlj T j= 5 kj ) / (.)

8 . Métrca basada en la peor predccón. Para comparar el modelo cuando se quere utlzar éste con fnes predctvos, proponemos una métrca sobre el conjunto de los modelos de árbol de regresón. Esta métrca asoca a cada modelo el máxmo de la dferenca entre cada observacón y su valor predcho. Sea m ( T ) = Max y yˆ con =,,..., n; j =,,..., n k jk jk y se defne la dstanca entre los modelos de árbol T l y T k como: d( Tl, Tk ) = m( Tl ) m( Tk ) Esta asocacón entre los modelos de árbol de regresón y los números reales postvos tene ventajas, pues posblta ordenar los modelos en el rango de valores de m T ) o en el rango de valores de las dstancas d ( T l, Tk ( k ). Tambén se pueden agrupar con sólo generar una partcón en cualquera de los anterores rangos. La dstanca propuesta apunta haca cuán dferentes son los modelos en térmnos de la peor de la predccón. 5. EJEMPLO : UN EJEMPLO CON DATOS PUBLICADOS POR BRUNTZ ET AL. (97). 5. Descrpcón de los datos y las cadenas de Markov obtendas. En Bruntz et al. (97) aparece un conjunto de datos que contene observacones de la cantdad de ozono (Y) en dstntos lugares de la zona urbana de Nueva York. Esta varable se trata de explcar en funcón de otras dos característcas meteorológcas: la temperatura ( X ) y la velocdad del vento ( X ). Los datos están dsponbles en el paquete estadístco S-Plus, y se les aplcó la msma transformacón que aplcaron Denson et al. (998). El valor mínmo de X es 57 y su máxmo 97; los correspondentes valores para X son.3 y 0.7, respectvamente. En cuanto a la varable Y, su mínmo es. y su máxmo 5., su promedo es 3.8 y la varanza A los hperparámetros α y β, se les asgnaron los valores de α = y β =. 0 Fgura No.. Se determnó que los valores de los hperparámetros de la dstrbucón a pror conjugada, normal-gamma nversa, convenentes son: ν = 6, λ = 0.3, μ = 3.8, a =. Para la realzacón de los ejemplos se programaron dversas rutnas en el códgo del paquete estadístco S- Plus. En una de estas rutnas se mplementó un algortmo para generar las cadenas de Markov, en cada ejecucón se realzan 0,000 teracones, rencándose cada,000. El programa se ejecutó 0 veces, obtenéndose 00 modelos, cada uno de éstos es el árbol fnal de,000 smulacones. Los modelos generados se numeran del al 00 para su dentfcacón. 6

9 En la Fgura No., se muestra una ejecucón del programa con los rencos cada 000 teracones. Se observa en cada cadena un perodo de calentamento, después los valores del logartmo de la verosmltud de sus elementos se establzan dentro una banda de valores. Con el crtero del mayor valor del logartmo de la verosmltud, el mejor modelo de árbol correspondente al de la Fgura No., que tene un valor del logartmo de la verosmltud gual a -37.5; además, tene 0 nodos termnales, una frondosdad de 3.5%, entre otras característcas (Tabla No. ). 5. Métrca general. Puesto que se tenen 00 árboles de regresón, al calcular las correspondentes dstancas se obtene una matrz de 00x00 con la dagonal prncpal nula. Para lograr una representacón gráfca de las dstancas en el plano R (Fgura No. ), se aplca la técnca del escalamento multdmensonal (una excelente presentacón de esta técnca se puede encontrar en Marda et al., 979) que está dsponble en el paquete estadístco S-Plus. Fgura No. Con esta métrca la dstanca máxma exstente entre dos árboles es de 89.36, esto es, d(89, 99) = y la dstanca mínma es d(3, 9) = 0.6, esto posblta agrupar los 00 modelos en tres subconjuntos. En el Grupo se tenen 6 elementos, el Grupo tene 0 y el Grupo 3 agrupa a 3 modelos de árbol. En el prmer grupo el mejor modelo es el marcado con el número 33, tene un valor del logartmo de verosmltud gual a -37.5; le sguen en orden de mportanca los árboles 66 y 3; el número 33 es el mejor del conjunto de los 00 modelos. En el segundo grupo, el mejor es el número 5, con un valor del logartmo de verosmltud gual a -38.0; le sguen el 90 y el 7, en orden de mportanca; una característca de este grupo es que su SCR promedo es la menor. En el tercer grupo; el modelo más mportante, utlzando el msmo crtero, es el número 9, con un valor del logartmo de la verosmltud gual a -38.6; le sguen en mportanca, los modelos números 89 y 7; una característca dstntva del grupo es que tene el menor valor promedo del logartmo de la verosmltud y el menor número promedo de nodos termnales de los tres grupos. 5.. Métrca basada en la peor predccón. La gráfca en R (Fgura No. 3) correspondente a las dstancas de los modelos bajo esta métrca, muestra la forma de herradura que es frecuente encontrar al aplcar el escalamento multdmensonal a cualquer conjunto de números. Para este caso la dstanca máxma entre dos modelos es gual a, esto ocurre en los modelos representados por los puntos que se encuentran en los extremos de la ''herradura'', que corresponden a los modelos 85 y 63, y la dstanca mínma es cero y ocurre en 63 parejas de modelos. Con base en la gráfca resultante del escalamento multdmensonal y consderando la representacón de los modelos en el plano, esto es, por parejas Fgura No. 3 7

10 ( x, y) R, se realza un agrupamento. El Grupo lo consttuyen los modelos cuya prmera coordenada se encuentra en el ntervalo x (, ), en él se encuentran 5 elementos; sendo el mejor modelo el marcado con el número 90, con un valor del logartmo de verosmltud gual a y con 0 nodos termnales, le sguen los modelos con los números 7 y 89, con un valor del logartmo de verosmltud gual a y -39., respectvamente. El Grupo está formado por aquellos que satsfacen x (, 0.), lo ntegran 38 modelos, el mejor es el número 5 con un valor del logartmo de verosmltud ntegrada de y con 3 nodos termnales, le sguen en orden de mportanca los modelos 8 y 3. El Grupo 3 está consttudo por 37 modelos de árbol de regresón y son aquellos representados en el plano para los cuales x (0.,.) ; el mejor es el número 33, con un valor del logartmo de la verosmltud gual a ; el segundo lugar lo ocupa el modelo marcado con el número 9, con un valor del logartmo de verosmltud gual a -38.6; y el tercero es el número, con un valor del logartmo de verosmltud gual a Se observa que los dos mejores modelos del Grupo, en su prmera dvsón utlzan la varable X y en el caso del Grupo, los dos mejores modelos utlzan en la prmera dvsón la varable X. Tabla No.. Ejemplo. Característcas del mejor modelo de árbol de regresón de cada ejecucón del programa con los datos de Bruntz. Ejecucón Logartmo de verosmltud No. nodos termnales Frondosdad (%) Var. ª Dvsón SCR Tasa de aceptacón (%) Contrastando los resultados obtendos con las dos dstancas, se observa que cuando el crtero de comparacón es el logartmo de la verosmltud, resulta selecconado el modelo número 33 como el mejor en ambos casos; con un logartmo de la verosmltud gual a Más aun, cuando se selecconan los tres mejores modelos, estos concden y son los modelos 33, 5 y 90. Cuando el crtero de comparacón es la suma de cuadrados resduales (SCR), los dos mejores modelos, en ambas métrcas, son 7 y 5, con una SCR gual a.60 y 7.0, respectvamente. 6. EJEMPLO. APLICACIÓN: LA PAROTA. 8

11 La metodología expuesta se aplcó a datos provenentes del Censo Socoeconómco del Proyecto Hdrológco ''La Parota'' (Unversdad Autónoma de Guerrero (00)). Éste proyecto es un estudo de la zona donde se construrá una presa (sobre el cauce del río Papagayo) para la generacón de energía eléctrca. La presa estará ubcada en el poblado denomnado ''La Parota'', en el muncpo de Acapulco, estado de Guerrero, Méxco. Los datos corresponden a las vvendas ubcadas en la zona de nundacón, una vez que se construya la presa. El número aproxmado de vvendas afectadas sería aproxmadamente de 700, sólo se tene nformacón acerca de 503 de ellas, la falta de nformacón de las restantes vvendas es debdo a problemas crcunstancales de la zona de estudo. Se utlzó toda la nformacón dsponble. Las varables utlzadas fueron: Metros cuadrados de construccón de la vvenda ( X ); Tpo de materal del pso de la vvenda (dos categorías) ( X ); Superfce de las terras de cultvo pertenecentes a los membros de la vvenda (has.) ( X 3 ); Índce de los benes de la vvenda, este índce va de 0 a 00 (estufa de gas, refrgerador, aparato de sondo, etc.) ( X ); Ocupacón del jefe de famla (ocho categorías)( X 5 ); Número de emgrantes de la vvenda (0,, y 3) ( X 6 ). La varable de respuesta (Y ) es el ngreso monetaro total de los membros de la famla que habtan en la vvenda. Esta varable no fue ncluda en los censos, por lo que fue necesaro realzar un muestreo de la poblacón formada por las 503 vvendas censadas, obtenéndose una muestra de tamaño Generacón de las cadenas de Markov. La determnacón de los valores de los hperparámetros arrojó: ν =, λ =.3, μ = 3.5, a =. Al gual que en el ejemplo anteror, se tenen 00 modelos como resultado de la realzacón de 0 ejecucones del programa, cada ejecucón consstó de 0,000 teracones con rencos cada,000. En este caso se elgó el modelo con la mayor verosmltud obtenda durante las,000 teracones, a dferenca de los casos presentados anterormente donde se tomó el árbol fnal de cada renco. La razón del cambo en el crtero es la nestabldad de las cadenas de Markov, como se observa en la gráfca de la Fgura No.. De cada ejecucón se toma el mejor modelo, formándose el conjunto de los 0 mejores. Los valores del logartmo de la verosmltud están comprenddos entre y ; para el caso de los 0 mejores modelos están entre y La tasa de aceptacón promedo general fue del.6%, s se consderan sólo los 0 mejores modelos este valor corresponde al.59%. El número de nodos termnales para cada árbol de la cadena, en todo el ejemplo, varía entre y ; en el caso de los 0 mejores modelos este número varía entre 0 y 7. Consderando el conjunto de los 00 mejores modelos, 6 de ellos utlzaron la varable X en la prmera dvsón; utlzaron la varable X ; cada una de las varables X, X 3 y X 5 fue utlzada por 8 modelos y la varable X 6 por 9. En el caso de los 0 mejores modelos tambén se observa que la mayor frecuenca de uso corresponde a la varable X. Bajo el crtero del logartmo de la verosmltud ntegrada el mejor modelo de árbol de regresón, con un valor del crtero gual a , es el marcado con el número 3. Además, este modelo tene dos característcas deseables: prmera, que la cantdad de nodos termnales es 0, la menor cantdad dentro de los 0 mejores árboles; segunda, el porcentaje de frondosdad 6.5, que es el más alto entre los 0 mejores modelos. 9

12 Para facltar el agrupamento de los modelos se elmnaron los 6 peores, aquellos cuyo valor del logartmo de verosmltud ntegrada es menor que -08. Los 7 modelos restantes se agruparon en tres subconjuntos (grupos, y 3) con, 5 y 5 modelos, respectvamente. Una característca relevante del mejor modelo en los Grupos y 3 es que la varable de dvsón en el nodo raíz es la X ; además, dos de los tres mejores modelos de estos grupos utlzan esta varable de dvsón en el nodo raíz (Tabla No. ) En el Grupo, el mejor modelo (según el logartmo de la verosmltud) es el número 3, al cual ya se hzo referenca anterormente. Este grupo se caracterza por dos elementos: prmero, tene los valores del logartmo de verosmltud más grandes; segundo, tene los valores de la SCR más pequeños. Los tres mejores modelos del Grupo 3, se caracterzan por: prmero, sus árboles tenen los números de nodos termnales más pequeños y segundo, las cantdades correspondentes a la SCR son las más grandes. Con el objetvo de hacer comparacones, se elgó el mejor modelo de los grupos formados con esta métrca. El mejor modelo del Grupo 3, que es el número 8, se descarta puesto que después de la dvsón del nodo raíz, Fgura No.. el árbol se desarrolla solamente sobre el nodo de la segunda dvsón. Al comparar el mejor modelo del Grupo (3) con el mejor modelo del Grupo (7), se prefere el 3 puesto que en la prmera dvsón utlza la varable X y en la segunda dvsón zquerda y derecha utlza la varable X, sendo estas las varables más relevantes Métrca basada en la peor predccón. En la gráfca de las dstancas entre los modelos según la métrca basada en la peor predccón, cada modelo puede ser representado por un punto ( X, Y ). En este caso, el agrupamento de los 00 modelos generados se realza partconando el rango de los valores de la coordenada X en cuatro subconjuntos con gual cantdad de elementos. El mejor modelo, tanto del grupo como del 3, utlza la varable X en el nodo raíz y los de los grupos y utlzan la varable X. Consderando el conjunto de los mejores modelos, 3 de cada grupo, 7 de ellos utlzan la varable X en el nodo raíz, lo que hace pensar que ésta es una varable mportante. Para realzar la comparacón entre los grupos, se consdera el promedo del logartmo de la verosmltud ntragrupo. Bajo este crtero el mejor grupo es el número, con un valor promedo del logartmo de verosmltud de y el peor grupo es el número 3 con un valor del ndcador de Consderando el valor promedo por grupo de la SCR, el mejor grupo es el número con un valor de 3.65 y el peor es el Grupo 3 con un valor del ndcador de Bajo el crtero del logartmo de la verosmltud, los mejores modelos por grupo son los marcados con los números: 93, 33, 3 y 3, respectvamente. Ahora consderando la menor SCR, los mejores modelos por grupo son: 93,, 3 y, respectvamente. En la nterseccón de estos dos conjuntos se encuentran los modelos 93 y 3; que además, concden en el uso de la varable X en el nodo raíz y en el número de nodos termnales, 7. Los modelos marcados con los números 7, 33, 3, 70 y 85 son los modelos que se encuentran en la nterseccón de los conjuntos formados por los mejores modelos de los grupos 0

13 correspondentes a ambas métrcas (Tablas No. y No.3). Los modelos que en su prmer nodo de dvsón utlzan la varable X son 7, 33, 3 y 85 En opnón de los especalstas en el tema, el nvel de ngreso de las famlas se refleja de manera mportante en los benes exstentes en la vvenda, entre ellos: estufa de gas, refrgerador, lcuadora, etc. En la presente aplcacón, estos elementos son consderados en la varable X. Ahora, comparando los modelos 7, 33 y 3 (los modelos 70 y 85 están en grupos representados ya por uno de estos 3 modelos) se tene que: Con el crtero del logartmo de la verosmltud, el mejor modelo es el número 3. Fgura No. 5 Utlzando como crtero la menor SCR, el mejor modelo es el número 33 con un valor de 5.9. Consderando la menor cantdad de nodos termnales, los mejores modelos son 7 y 3 con 0 nodos termnales cada uno; fnalmente, s el crtero es la mayor frondosdad, el mejor modelo es el 3. El modelo marcado con el número 3, como se observa, tene dstntas propedades deseables. Una cualdad adconal que tene, es la utlzacón de la segunda varable explcatva más mportante ( X ) después de X, en la dvsón de los nodos hjos zquerdo y derecho del nodo raíz (Fgura No. 5). Esta cualdad no la tenen los modelos 7 y 33. Tabla No.. Ejemplo de aplcacón. Característcas de los tres mejores modelos por grupo: métrca general. Grupo No. de árbol Logartmo de verosmltud No. nodos termnales Frondosdad (%) Varable a. dvsón SCR Resulta nteresante una evaluacón del modelo 3 en térmnos de la SCR. La columna de SCR de la Tabla No., muestra que el modelo número 3 es la medana de la SCR de los nueve modelos presentes en dcha tabla, lo que refleja que hay cuatro modelos peores y cuatro modelos mejores que éste, por tanto, su seleccón sería una solucón de compromso entre el valor del logartmo de la verosmltud y la suma de los cuadrados resduales. Consderando el mejor modelo de los 00 que se tenen y el hecho de que está presente en los mejores modelos de los grupos de ambas métrcas (el número 3), se realzó un ejercco de predccón de los ngresos monetaros de los habtantes de las vvendas. Por datos faltantes en alguna de las varables explcatvas, el número de regstros se redujo de los 50 a 353. La dstrbucón de las vvendas según su ngreso promedo es: 63.7% tenen ngresos menores que,500 pesos, 8.7% tenen ngresos mayores a,500 y menores a,500 pesos y en el 7.6% sus ngreso son superores a,500 pesos mensuales. Cuando los resultados fueron dscutdos con los especalstas, estos

14 hceron valoracones comparatvas y estuveron de acuerdo con los resultados y manfestaron que el análss les había sdo útl, además, por la exploracón que se realzó. Número promedo de teracones necesaras para alcanzar el óptmo por renco. Promedo de teracones Fgura No No. de renco Fgura No. 6 Tabla No. 3 Ejemplo de aplcacón. Los tres mejores modelos por grupo, según métrca basada en la peor predccón. Grupo No. de árbol Logartmo de No. nodos Frondosdad Varable a. SCR verosmltud termnales (%) dvsón RESULTADOS DE UN ESTUDIO POR SIMULACIONES PARA ANALIZAR SI ES POSIBLE REDUCIR EL NÚMERO DE MODELOS A GENERAR. No. de renco Número de renco donde se alcanza el óptmo global, según la corrda No. de corrda Un modelo será mejor en el sentdo del logartmo de la verosmltud mentras más grande sea éste, por tanto, el objetvo aquí es tratar de estudar el comportamento del máxmo del logartmo de la verosmltud, es decr, cuán temprano o tarde se alcanza este valor en cada corrda. Dcho de otra manera, la pregunta sería: s se hacen menos corrdas los valores del logartmo de la verosmltud obtendos estarán muy por debajo de los que se huberan obtendo hacendo corrdas más largas? Fgura No. 7

15 Para realzar el estudo se tomó un conjunto de datos donde se tene una varable dependente cuanttatva (Y) y dos varables explcatvas (X y X). Se efectuaron 0 corrdas del programa de 0,000 teracones cada una, hacendo un renco cada 000 (en total modelos generados). Se regstraron, los valores máxmos del logartmo de la verosmltud que se alcanzaron dentro del conjunto de teracones de cada renco, en cuál teracón se obtuvo este valor y a qué renco y corrda pertenecía. En la Fgura No. 6 se encuentra el gráfco del número del renco (eje vertcal) donde se obtuvo el máxmo global para cada corrda (eje horzontal). Como se Valor máxmo del logartmo de la verosmltud por corrda observa el máxmo del logartmo de la verosmltud en cas todas las corrdas, excepto en la corrda número 8, se alcanzó antes del renco 7 y -36 en el 50% de las corrdas se alcanzó en el renco o antes. Este análss conduce a pensar que se puede -37 reducr el número de modelos a generar; pero para hacer una conclusón defntva habría que -38 aumentar el número de corrdas ( smulacones no parecen sufcentes). No. de corrda Por otra parte, analzando el gráfco que se presenta en la Fgura No.7 (ver además la Tabla No.) se concluye que el promedo del número de teracones Fgura No. 8 necesaras para alcanzar un máxmo, por renco, no exhbe un comportamento muy errátco y en todos los rencos, excepto en el número 5, son necesaras menos de 650 teracones. El gráfco en la Fgura No. 8 muestra el valor máxmo del logartmo de la verosmltud para cada corrda. El máxmo de estos máxmos es -36.0, en el renco uno de la corrda ocho, además, para alcanzar este valor se requreron 35 teracones. El mínmo de los máxmos es y pertenece al renco de la corrda dez, para alcanzarlo se requreron 965 teracones. La dferenca de.6 es nformatva, en certo sentdo, del resgo que se corre al dsmnur el número de modelos. Logartmo de la verosmltud 8. CONCLUSIONES. Tabla No. Número promedo de teracones necesaras para alcanzar el óptmo por renco. No. de renco Promedo de las teracones No. de renco Promedo de las teracones Los trabajos de Chpman et al. (998a, 998b y 00) proponen, de acuerdo a nuestra experenca, herramentas muy efcentes para la seleccón de modelos de árbol de regresón. En el presente trabajo se ha ntentado presentar con ejemplos y de forma unfcada los procesos de generacón de los árboles de regresón y la seleccón de los mejores modelos utlzando dstntas propuestas de dstanca entre modelos y se propone una nueva. Se aplcó el método para analzar los datos provenentes de un estudo soco-económco en el marco del proyecto hdráulco La Parota, obtenéndose resultados mportantes que fueron respaldados por los especalstas. El empleo de los datos de Bruntz et al. (97), empleados ya por Denson et al. (998), permtó hacer comparacones entre los resultados de los métodos y puso de manfesto la mportanca de que no es adecuado restrngrse a un método n a un únco modelo, sno que una exploracón por varos métodos y selecconar un conjunto de modelos es mportante (se pueden encontrar conclusones smlares en otros trabajos, ver por ejemplo Castells y Juárez, 008). 3

16 Para la mplementacón práctca se programaron el algortmo y todas las dstancas empleadas sobre S-PLUS. REFERENCIAS RECEIVED JANUARY 008 REVISED MARCH 009 [] ANDRIYASHIN, A. (005): Fnancal Applcatons of Classfcaton and Regresson Trees. Tess de Maestría. CASE - Center of Appled Statstcs and Economcs. Humboldt Unversty, Berln. [] BESAG, J. AND GREEN, P.J. (993): Spatal Statstcs and Bayesan Computaton. Journal Royal Statstcal Socety B 55, [3] BREIMAN, L., FRIEDMAN, J. H., OLSHEN, R. A. Y STONE, CH. J. (98): Classfcaton and Regresson Trees. Wadsworth, Belmont [3] BRUNTZ, S. M., CLEVELAND, W. S. Y WARNER, J. L. (97): The dependence of ambent ozone on solar radaton, temperature and mxng heght. In Symposum on Atmospherc Dffuson and Ar Polluton, MA: Amercan Meteorologcal Socety. Boston. [] CAMDEVIREN, H. A.; YAZICI, A. C.; AKKUS, Z.; RESUL BUGDAYCI,R. AND SUNGU, M. A. (007): Comparson of logstc regresson model and classfcaton tree: An applcaton to postpartum depresson data. Pergamon Press, Inc. Tarrytown, NYork. [5] CASTELLS, E. Y JUÁREZ, O (008): Una estratega en dos dreccones para la seleccón de modelos de regresón para el caso de una varable explcatva cualtatva. Aprobado para aparecer en la revsta Investgacón Operaconal. [6] CHIB, S AND GREENBERG, E. (995): Understandng the Metropols-Hastngs algorthm. The Amercan Statstcan, 9, [7] CHIPMAN, H. A., GEORGE, E. I. AND MCCULLOCH, R. E. (998a): Bayesan CART model search (wth dscusson). Journal of the Amercan Statstcal Assocaton, 93, [8] CHIPMAN, H. A., GEORGE, E. I. AND MCCULLOCH, R. E. (998b): Extractng representatve tree models from forest. Workng Paper 98-07, Department of Statstcs and Actuaral Scence, Unversty of Waterloo, 998. [9] CHIPMAN, H. A., GEORGE, E. I. AND MCCULLOCH, R. E. (00): Managng multple models. Artfcal Intellgence and Statstcs 00, (eds. Tomm Jaakkola, Thomas Rcharson). -8. Morgan

17 Kaufman, San Francsco. [0] DAVIS, R.E. AND ELDER, K. (00):Applcaton of Classfcaton and Regresson Trees: Selecton of Avalanche Actvty Indces at Mammoth Mountan. Dsponble en Leído el 5 de enero de 008. [] DENISON, D. G. T., MALLICK, B. K. AND SMITH, A. F.M. (998): A Bayesan CART Algorthm. Bometrka 85, [] GAMERMAN, D.(997): Markov chan Monte Carlo. Stochastc smulaton for Bayesan nference. Chapman & Hall. London [3] GREEN, P.J. (995): Reversble jump Markov chan Monte Carlo computaton and Bayesan model determnaton. Bometrka 8, [] HASTINGS, W.K. (970): Monte Carlo samplng methods usng Markov chan and ther applcatons. Bometrka 57, [5] LEWIS, R. J. (000): An Introducton to Classfcaton and Regresson Tree (CART) Analyss. 000 Annual Meetng of the Socety for Academc Emergency Medcne. San Francsco. [6] MARDIA, K.V., KENT, J.T. & BIBBY, J.M. (979): Multvarate analyss. Academc Press. London. [7] MATHSOFT (999): S-PLUS 000. Mathsoft Inc., Seattle, Washngton. [8] TENG, J.H., LIN K.C., HO, B.S. (007): Applcaton of classfcaton tree and logstc regresson for the management and health nterventon plans n a communty-based study. Journal of Evaluaton n Clncal Practce 3 (5), Resumen leído el 8 de enero 008 en [9] WADA, T. AND NAKAMURA, T. (00): Regresson Trees and Its Applcaton to Classfcaton Problems: IEIC Techncal Report VOL.0; No..9,