Cuadernos del CIMBAGE Nº8 (2006)

Transcripción

1 Cuadernos del CIMBAGE Nº8 (006) 97-8 ANÁLISIS DE COMPORTAMIENTO DE CUENTAS CORRIENTES EN ENTIDADES BANCARIAS MEDIANTE EL USO DE FUZZY CLUSTERING Y ANÁLISIS DISCRIMINANTE PARA LA ADMINISTRACIÓN DE RIESGO CREDITICIO María T. Casparri*, Federio A. Alalde Bessia**, Julio Fabris*** Centro de Métodos Cuantitativos Apliados a la Eonomía y la Gestión Faultad de Cienias Eonómias - Universidad de Buenos Aires Av. Córdoba - Ciudad de Buenos Aires C0AQ - Argentina *asparri@eon.uba.ar,**falalde@eon.uba.ar,***jfabris88@hotmail.om Reibido de febrero de 006, aeptado 8 de abril 006 Resumen Cada entidad banaria tiene sus propios parámetros de evaluaión de lientes y aplia sus propios métodos para haerlo. Esto forma parte de su polítia de administraión de riesgos. El análisis del omportamiento de la uenta orriente de ada liente es de suma importania en este aso, ya que desribe la onduta del liente en relaión a sus deudas y ayuda a evaluar los riesgos que el bano asume. A su vez, este análisis permite la desripión de la evoluión de los riesgos mediante el hallazgo de un patrón de onduta de ada liente. Una vez desripta esta evoluión, la entidad podrá definir su polítia reditiia de orto plazo en uenta orriente, pudiendo haer un seguimiento de las uentas que entran en zonas que el bano evaluaría omo indeseables. En el presente trabajo se desarrolla, mediante un modelo simple on datos generados en forma aleatoria, una apliaión referida a estos métodos de evaluaión. Se presenta, fundamentalmente, el método de Fuzzy Clustering, utilizando los programas SPSS y R para desarrollar los álulos. Además, se hae un análisis disriminante anónio para la asignaión de nuevos individuos a los grupos definidos y la reasignaión en aso de ambio de las araterístias. Palabras Clave: Fuzzy lustering, validaión, Clustering, análisis disriminante. Presentado en XII Congreso Internaional de la Soiedad de Gestión y Eonomía Fuzzy (SIGEF). 6-8 de Otubre 005, Bahía Blana, Argentina.

2 98 BEHAVIOURAL ANALYSIS OF CURRENT ACCOUNTS IN BANKING INSTITUTIONS THROUGH THE USE OF FUZZY CLUSTERING AND DISCRIMINANT ANALYSIS FOR CREDIT RISK MANAGEMENT María T. Casparri*, Federio A. Alalde Bessia**, Julio Fabris*** Centro de Métodos Cuantitativos Apliados a la Eonomía y la Gestión Faultad de Cienias Eonómias - Universidad de Buenos Aires Av. Córdoba - Ciudad de Buenos Aires C0AQ - Argentina *asparri@eon.uba.ar,**falalde@eon.uba.ar,***jfabris88@hotmail.om Reeived February 006, aepted 8 April 006 Abstrat Eah bank has its own parameters to evaluate its lients and applies its own methods to do that. This belongs to its management risk poliy. The behavioural analysis of the urrent aounts of eah lient is of great importane in this ase, sine it desribes the lient s behaviour related to his debts and helps to evaluate the risks that the bank deals with. In the same way, this analysis permit to desribe the risk s evolution through the gathering of behavioural patterns. One one has desribed this evolution, the institution an define its short term redit poliy in urrent aount, being able to follow the ones that enter the zones whih the bank has defined as unwishable. Over the present paper, an appliation referred to those methods of evaluation is developed with a simple model using simulated data. Fundamentally, the method of Fuzzy Clustering is shown using SPSS and R software to make the alulations. Additionally, we make a anonial disriminant analysis to assign new individuals to the defined groups and the reorganization in the ase of harateristi s hanges. Keywords: Fuzzy lustering, Validation, Clustering, Disriminant analysis, Risk management, Fuzzy theory. Presented in XII Congreso Internaional de la Soiedad de Gestión y Eonomía Fuzzy (SIGEF). 6-8 Otober 005, Bahía Blana, Argentina.

3 99. ANÁLISIS DE COMPORTAMIENTO DE CUENTAS CORRIENTES.. Introduión al problema Las entidades banarias asumen riesgos de orto plazo on sus lientes debido al otorgamiento de montos máximos de giro en desubierto en uenta orriente. Estas uentas tienen la partiularidad de que el liente puede realizar extraiones en desubierto hasta un monto predefinido por la entidad. Una vez alanzado ese monto, el liente ya no dispone de rédito y debe saldar su deuda para poder ontinuar operando. Las gananias para el bano respeto de ese tipo de uenta surgen de la antidad de días que el liente permanee on saldo deudor y de las tasas diarias vigentes. Una vez que el liente alanza el máximo asignado, el bano ya no le otorga rédito. En general, las entidades banarias están interesadas en mantener arteras on movimientos dinámios y que no alanen el monto máximo. Esto es así, dado que si el liente lo hubiese alanzado por problemas de insolvenia, el bano lo perdería y apareerían los problemas de obro on sus onseuentes gastos asoiados. Cada entidad banaria tiene sus propios parámetros de evaluaión de lientes y aplia sus propias reglas para lasifiarlos omo parte de su polítia de administraión de riesgos. El análisis del omportamiento de la uenta orriente de ada liente es de suma importania para esa polítia, ya que desribe la onduta del liente del bano en relaión a sus deudas y ayuda a evaluar los riesgos que éste asume. A su vez, este análisis permite la desripión de la evoluión de los riesgos mediante el hallazgo de un patrón de onduta de ada liente. Una vez desripta esta evoluión, la entidad podrá definir su polítia reditiia de orto plazo en uenta orriente, pudiendo haer un seguimiento

4 00 generalizado de las uentas que entran en zonas que el bano evaluaría omo indeseables. El trabajo se enfoará en el análisis de un segmento espeífio de lientes de una entidad banaria supuesta que llamaremos A donde ubiaremos a todos los lientes que umplen on: Límite máximo de desubierto en uenta orriente de $.000 La antigüedad de las deudas es menor a 0 días. Dentro de esta ategoría intentaremos reonoer grupos o patrones de omportamiento de los lientes y asignaremos ada liente a ada grupo hallado. Para llevar a abo este análisis se debe poder reonoer uáles son las variables destaadas que ayudarán a omprender mejor el perfil de movimientos de la uenta y su relaión on las araterístias del liente. No es lo mismo para una entidad banaria un liente on alto endeudamiento pero de larga antigüedad en el bano y de gran importania instituional que un liente de alto endeudamiento pero de inorporaión reiente y sin importania estratégia para el bano. Llegado a este punto, se debe pensar ómo se llevará a abo la seleión de las variables relevantes para la desripión sufiiente de ada individuo. Esto forma parte del análisis previo de los datos disponibles que podría realizarse mediante análisis estadístio o, simplemente, utilizar el riterio del investigador. En nuestro aso, supondremos realizado un análisis estadístio que ha seleionado las siguientes variables: Monto total de deuda aumulada. Días promedio de retraso antes de pago de deuda.

5 0 Monto atual de la deuda. Días de retraso de la deuda atual. Años de pertenenia al bano. Índie de la entidad. El índie de la entidad se refiere a la onsideraión que tiene el bano haia el liente, resumida en un número que representa su importania relativa. Esto puede deberse a una estrategia de posiionamiento del bano en determinados setores u otras ausas. Supondremos, además, que los lientes no están atentos a las variaiones de las tasas en el tiempo (por ser estas onstantes, por ejemplo) lo ual nos autorizará a haer una omparaión estátia de los niveles de endeudamiento absoluto de ada uno. Tampoo nos interesará la freuenia de los movimientos porque aeptaremos que a la entidad sólo le interesa la anelaión de las deudas. Esto justifia haer un análisis transversal, es deir no se intentará haer un análisis en el tiempo de ada uenta, sino que se estudiará el estado de todas las uentas en un momento dado onsiderando que diho estado es representativo de la dinámia. Por otra parte, se han elegido algunas variables disretas y otras ontinuas, dependiendo de la araterístia que desriben. Por ejemplo, monto atual de la deuda es ontinua y días promedio de retraso es disreta. Si bien la variable días promedio de retraso asume valores enteros del intervalo [ 0,0], se onsidera ontinua on la finalidad de simplifiar su tratamiento, aunque el método tiene la posibilidad del tratamiento de variables disretas 3. 3 Respeto a esto, además de poder onsiderar variables disretas, el método puede apliarse a variables ategórias. Éstas son variables que pueden asumir un número finito de valores, vg. la variable género es masulino ó femenino.

6 0.. Análisis previo y desarrollo El omportamiento de ada uenta individual será desripto por omparaión. El primer problema que se presenta es la gran antidad de datos, en nuestro ejemplo son 404 individuos. Para ello, apliaremos el método de Fuzzy Clustering, el ual se desribe en el Anexo I. Para implementar el método se deben previamente definir: la antidad de onjuntos en los que se quiere agrupar los datos, la funión que omparará dato por dato (funión de distania o similitud) y un riterio de detenión de la iteraión. El resultado que se obtiene depende fuertemente de la distribuión de los datos, del análisis previo que lleva a la definiión de la antidad de grupos y de la definiión de la funión de distania. Respeto de la antidad de grupos a onsiderar, en nuestro aso, realizaremos el análisis para, 3, 4 y 5 grupos y evaluaremos las medidas de validaión para determinar la antidad de grupos más adeuada. También haremos un reonoimiento gráfio de la antidad de grupos posibles. Con los métodos más avanzados de lustering puede optarse, para la definiión de grupos, por el Clustering Jerárquio o métodos que hagan uso de riterios de informaión uando se haen enfoques probabilístios. Para una desripión de estos métodos puede verse Fraley y Raftery (998) y Fraley y Raftery (00). Las respuestas de estos métodos no siempre son satisfatorias dado que, a pesar de que son sistemátios, la eleión de la antidad de grupos termina siendo una deisión puramente subjetiva.... Análisis gráfio Para omenzar realizamos un análisis informal de los siguientes gráfios on el objetivo de reonoer los grupos. Se puede apreiar la distribuión de los datos de las variables tomadas de dos en dos

7 03 (satter plot). Es de esperar que en los siguientes gráfios no haya relaiones visibles entre las variables que, en teoría, no deben estar asoiadas: 0, , , , ,00 Monto total de deudas Días promedio de retraso antes de pago de deuda 0, , , , ,00 Monto total de deudas Días de retraso de la deuda atual 0, , , , ,00 Monto total de deudas 0,00 50,00 500,00 750,00 Monto Atual de deuda () () (3) 0, , , , ,00 Monto total de deudas 0,00,50 5,00 7,50 0,00 Años Pertenenia 0, , , , ,00 Monto total de deudas Índie de la entidad (4) (5) Figura. Monto total de deudas ontra las demás variables Aquí pueden reonoerse tres grupos asoiados a la variable Monto total de deudas. Seleionar tres grupos a esta altura no impliará neesariamente que el gráfio será dividido en tres partes y luego se agruparan los datos de esa forma, sino que se pueden reonoer tres omportamientos distintos respeto de la variable menionada y las demás. Por ello, habrá que realizar el mismo análisis on las demás variables.

8 Días promedio de retraso antes de pago de deuda 0,00 50,00 500,00 750,00 Monto Atual de deuda Días promedio de retraso antes de pago de deuda Días de retraso de la deuda atual () () Días promedio de retraso antes de pago de deuda 0,00,50 5,00 7,50 0,00 Años Pertenenia Días promedio de retraso antes de pago de deuda Índie de la entidad (3) (4) Figura. Días promedio de retraso antes del pago ontra las demás variables 0,00 50,00 500,00 750,00 Monto Atual de deuda Días de retraso de la deuda atual 0,00 50,00 500,00 750,00 Monto Atual de deuda Índie de la entidad 0,00 50,00 500,00 750,00 Monto Atual de deuda 0,00,50 5,00 7,50 0,00 Años Pertenenia () () (3) Figura 3. Monto atual de deuda ontra las demás variables

9 Días de retraso de la deuda atual 0,00,50 5,00 7,50 0,00 Años Pertenenia 0,00,50 5,00 7,50 0,00 Años Pertenenia Índie de la entidad Días de retraso de la deuda atual Índie de la entidad () () (3) Figura 4. (),() Días de retraso de la deuda atual ontra las demás variables y (3) Años de pertenenia ontra Índie de la entidad Por ejemplo, en el gráfio de la figura 4, los Días de retraso de la deuda atual pareen no formar grupos on Índie de la entidad omo es de esperarse dada la hipótesis sobre el signifiado del índie. Vemos además que, uando las variables pueden ser relaionadas en teoría, las observaiones verifian esa suposiión. En todos los gráfios pueden verse al menos dos zonas de alta densidad de puntos y luego una nube alrededor de ellas haia el extremo dereho. Por lo anterior, en prinipio, seleionaremos 3 grupos. En uanto al análisis formal, veremos qué suede on los índies si se seleionan, 4 ó 5 grupos. Para este primer análisis elegiremos m = (oefiiente de borrosidad igual a dos), la distania eulidea y un riterio de detenión, TOL, de 6.0 de ambio en la funión objetivo. Definidos estos parámetros de entrada se proede a realizar el Fuzzy Clustering mediante la funión means en el software R. Los resultados para, 3, 4 y 5 grupos se evalúan mediante los índies de validaión (ver Anexo I para una desripión de los mismos):

10 06 Índie de Cantidad Coefiiente Coefiiente Índie de Fukuyamade Grupos de Partiión de Entropía Xie-Beni Sugeno 0,895 * 0,0933 * 0, ,373E+ 3 0,8660 0, ,0488 * -7,6896E+ 4 0,8407 0, ,0443-8,8E+ * 5 0, ,409584,37499,04E+ Cuadro. Índies de Validaión Se ha indiado en el uadro on un asteriso la antidad de grupos seleionados por ada índie. Vemos que los índies se ontradien. En el aso del Xie-Beni se favoree la eleión de 3 grupos. Para el Fukuyama-Sugeno se onsidera mejor la eleión de 4 grupos. Mientras que en el aso del oefiiente de partiión, se favoree la eleión de grupos y, por onstruión, el oefiiente de entropía oinide. Se verifia en este aso que los índies no nos ayudan a seleionar la antidad de grupos. Tomar en uenta sus resultados al momento de tomar una deisión dependerá de la interpretaión que se haga de la onstruión del índie y ómo utiliza las variables de entrada. El siguiente problema a enfrentar es la seleión definitiva del oefiiente de borrosidad (m). Asignaremos el valor dos para este oefiiente omo sugieren Pal y Bezdek (995). Cuanto más erano a uno sea m, más fuerte será la asignaión de la pertenenia a ada grupo por lo que la matriz de pertenenias se pareerá muho más a la matriz asoiada al método de Clustering estándar. Inversamente, uanto más alto sea m, más suave será la asignaión a ada grupo. Veamos ómo varían los entros y la pertenenia de ada liente al variar m numériamente. Por ejemplo, tomemos, de los datos on los que ontamos, el liente 098.

11 07 Clientes Monto total de deudas Días promedio de retraso antes de pago de deuda Monto atual de deuda Días de retraso de la deuda atual Índie Años de la Pertenenia entidad liente ,8 4 9, ,3 85 Cuadro. Detalle de los datos del Cliente098 Se ha apliado el Fuzzy Clustering para 3 grupos on un riterio de 6 detenión de.0 de ambio en la funión objetivo utilizando la funión means en el software R, obteniendo los siguientes resultados. Las olumnas mantienen el orden del presentado en el uadro :

12 08 Centros on m =,05 luego de 6 iteraiones CENTRO 864, ,4 7 8,67 83 CENTRO 4844, ,5 5 6,7 79 CENTRO 3 856,76 6 8,7 4 3,03 65 Centros on m =,5 luego de 9 iteraiones CENTRO 850, , 7 8,73 79 CENTRO 48373,4 3 63,3 5 6,7 79 CENTRO 3 876,48 5 4,93 4,99 64 Centros on m = luego de 7 iteraiones CENTRO 83003, ,9 7 8,75 83 CENTRO 4884,5 3 6,9 5 6,7 79 CENTRO 3 76,46 5 9,7 3,93 64 Centros on m = 5 luego de 00 iteraiones y Pertenenias del Cliente 098 CENTRO 74739, ,50 9 8,3 83 CENTRO 4653, 3 60,66 6 6,59 78 CENTRO ,0 3 0,03,70 6 Centros on m = luego de 68 iteraiones CENTRO 6453, ,53 3 8,4 76 CENTRO 44949, ,67 5 6,5 76 CENTRO , ,40,53 6 Pertenenias para distintos valores de m del Cliente 098 M Grupo Grupo Grupo 3,05 0, , , ,5 0, , , , , , , , , , , ,6843 Cuadro 3. Centros y pertenenias del liente098

13 09 Dada la naturaleza heurístia del método, el ambio en alguno de sus parámetros produe ambios en la estrutura del resultado. Al haber elegido m = 5, por ejemplo, ambiaron los entros. Por lo tanto, también ambiaron las distanias a los entros. A su vez, esto provoa el ambio en la totalidad del resultado y, por ende, de su interpretaión. Como se dijo anteriormente, a medida que el nivel de borrosidad aumenta, las pertenenias omienzan a estar menos difereniadas entre sí omo puede apreiarse en Pertenenias para distintos valores de m del Cliente Reonoimiento de los grupos on Fuzzy C-Means Clustering Se reportan entones los resultados obtenidos. 6 Luego de 7 iteraiones, utilizando m =, = 3 y TOL =.0, se obtienen los siguientes entros de ada grupo: CENTRO 83003, ,9 7 8,75 83 CENTRO 4884,5 3 6,9 5 6,7 79 CENTRO 3 76,46 5 9,7 3,93 64 Cuadro 4.Centros para los tres grupos

14 0 Cada liente reibe su oefiiente de pertenenia a ada grupo. Podemos ver algunos de ellos: Cliente Grupo Grupo Grupo 3 - liente368 0, , ,40556 liente369 0, , , liente370 0,5657 0, ,03980 liente37 0,00 0, ,997 3 liente37 0, ,0995 0,00444 liente373 0, , ,05090 liente374 0, , ,09400 liente375 0, , , Cuadro 5. Pertenenias a ada grupo de los lientes 368 a 375 La última olumna india a qué grupo pertenee el dato según el mayor valor de pertenenia. Si se onsidera la pertenenia a un grupo omo el máximo del valor de pertenenia, en el grupo se ubian 65 lientes, en el grupo se ubian 576, y en el grupo 3 quedan 663. Si se onsidera la suma de los oefiientes de pertenenia por grupo omo la antidad de individuos en un grupo: el grupo ontiene 86,6 datos, el grupo tiene 560, y el grupo 3 termina on 657,. El resultado nos habla de tres grupos on las siguientes araterístias: Grupo Alto nivel de uso de la uenta orriente Alto endeudamiento. Altos montos de endeudamiento. El período de saldo de la situaión deudora es de 47 días en promedio, haiendo gastos eranos a los $300 pesos. Estos lientes llevan muho tiempo trabajando on la entidad.

15 Grupo Nivel medio de uso de la uenta orriente Endeudamiento medio. Tienen niveles de endeudamiento aorde a lo esperado por el tiempo que llevan on la entidad y, también, menores. El período de repago, en promedio, es de 3 días. Grupo 3 Nivel bajo de uso de la uenta orriente Endeudamiento bajo. Niveles de endeudamiento muy bajos. Este grupo está totalmente difereniado de los demás. Aquí se agrupan lientes nuevos y de orta pertenenia al bano. El índie de alifiaión de la entidad los evalúa on 64 en promedio. La entidad lasifiará a los lientes de auerdo on los resultados que se obtuvieron por el método de agrupamiento utilizado. Evidentemente, deberá haer un seguimiento más uidadoso de los lientes del grupo que se manifiestan omo más riesgosos, dado su mayor nivel de endeudamiento..4. Análisis disriminante anónio de los resultados obtenidos Como se menionó al iniio, el análisis realizado es estátio y lo que a la entidad le interesa es poder lasifiar a sus lientes en estos grupos a medida que se vayan inorporando y relasifiar a los existentes si se modifian sus araterístias. Para ello se utilizará el análisis disriminante anónio. Para llevar a abo la onstruión de las funiones anónias disriminantes se han eliminado de la lista todos los lientes que presentaban valores de la funión de pertenenia eranos a dos o tres grupos. Por ello, dado que existen tres grupos, la máxima borrosidad

16 ourre uando la pertenenia es /3 para ada grupo. Entones, se han eliminado los datos on pertenenias mayores a /3 y menores a /3 quedando 86 datos fuera y 38 dentro del análisis. Utilizando el SPSS, se obtienen dos funiones anónias disriminantes. La primera tiene un alto poder disriminatorio por orresponder al autovalor mayor de la matriz de varianzas. En el siguiente uadro se presentan los resultados: Funión Autovalor % de Varianza Aumulativo Correlaión Canónia 3,98 99,5 99,5 0,964 0,065 0,5 00,0 0,46 Cuadro 6. Eigenvalores de las funiones anónias disriminantes La primera funión obtenida explia el 99,5% de la variabilidad total. La segunda funión aporta poo al análisis por lo que no la onsideraremos. La funión disriminante es la siguiente: D = 4, , x + 0, x + 0, x3 0, x 0, x 0, x donde, x : Monto total de deuda aumulada. x : Días promedio de retraso antes de pago de deuda. x 3 : Monto atual de la deuda. x 4 : Días de retraso de la deuda atual. x 5 : Años de pertenenia a la ompañía. x 6 : Índie de la entidad.

17 3 En el gráfio que se presenta a ontinuaión, se pueden observar las puntuaiones de ada individuo según las dos funiones obtenidas por el análisis disriminante. Funiones Canónias Disriminantes 4 3 Fuzzy Clustering - Hard Clustering 3 Centroide del Grupo Funión Funión 0 Figura 5. Puntuaiones de las funiones disriminantes y Los intervalos definidos para la asignaión según el resultado que surge de la disriminaión son: D 4,5 liente x G 0,5 D < 4,5 liente x G D < 0,5 liente x G3 Con esta regla de deisión se han realifiado orretamente, o sea según la lasifiaión del Fuzzy Clustering, 74 de los 86 asos de borde anteriormente exluidos. Por lo tanto, aún en el aso de los individuos

18 4 difíiles de lasifiar, la funión disriminante permitió haerlo on una efetividad del 86%. Esta herramienta más expeditiva permitirá a la entidad manejarse en forma senilla espaiando la relasifiaión ompleta de la artera de lientes.. CONCLUSIÓN La utilizaión del Fuzzy Clustering para el análisis de datos presenta informaión que no puede proporionar el Clustering tradiional. El método ha progresado de tal manera que existe una amplia gama de variaiones que lo haen más efetivo al momento de la utilizaión. Además, se han inorporado medidas de validaión que ayudan al riterio del usuario. En el ampo de los negoios, este tipo de herramientas ayuda a haer un análisis ompleto de grandes antidades de datos. En el aso de nuestra entidad banaria modelo y bajo los supuestos utilizados, el Fuzzy Clustering sirvió para poder reonoer los datos que presentaban ambigüedad respeto de los demás. Además, su resultado fue utilizado para rear una herramienta de asignaión de nuevos lientes a los grupos existentes.

19 5 REFERENCIAS [] (003). The eonomi and soial struture of London and the South East. An analysis of the eonomi and soial struture of London, the South East Region and the Eastern Region using the tehnique of Fuzzy Clustering. Volterra Consulting Ltd, Reino Unido. [] Fraley, C.; Raftery, A. (00). Model-Based lustering, disriminant analysis and density estimation. Journal of the Amerian Statistial Assoiation. pp.6-63 [3] Fraley, C.: Raftery, A. (998). How many lusters? Whih lustering method? Answers via model-based luster analysis. The omputer Journal. pp [4] Gath, I.; Geva, A. B. (989). Unsupervised optimal fuzzy lustering. IEEE Transations On Pattern Analysis and Mahine Intelligene. Vol. II, No. 7, pp [5] Hammah, R.; Curran, J. (000). Validity measures for the fuzzy luster analysis of orientations. IEEE Transations On Pattern Analysis and Mahine Intelligene. Vol. XXII, No., pp [6] Hsu, T.-H. (000). An appliation of fuzzy lustering in grouppositioning analysis. Pro. Natl. Si. Coun. Vol. X, No., pp [7] Klawonn, F.; Poner, F. (000). What is fuzzy about fuzzy lustering? Understanding and improving the onept of fuzzified. Department of Computer Siene, University of Applied Sienes Braunshweig/Wolfenbuttel, Alemania.

20 6 [8] Klir, G.; Yuan, B. (995). Fuzzy sets and fuzzy logi. Theory and appliations. Prentie Hall, Estados Unidos. [9] Koutsoupias, K.; Papadimitiou, I. (000). Utilizing hierarhial lassifiation in life insurane data analysis. Atas VII Congreso de SIGEF, Greia. [0] Mendes, M.; Saks, L. (999). Evaluating fuzzy lustering for relevane-based information aess. Dept. of E&EE, University College London, Reino Unido. [] Pal, N. R.; Bezdek, J. C. (995). On luster validity for the Fuzzy C-Means Model. IEEE Transations On Fuzzy Systems. Vol. III, No. 3, pp [] Pedryz, W. (005). Knowledge-based lustering. From data to information granules, Wiley, Estados Unidos. [3] Pérez, C. (004). Ténias de análisis multivariante de datos. Apliaiones on SPSS. Pearson Eduaión S.A., Madrid. [4] Xie, X.; Beni, G. (99). A validity measure for fuzzy lustering. IEEE Transations On Pattern Analysis and Mahine Intelligene. Vol. XIII, No. 8, pp [5] Zimmermann, H.J. (99). Fuzzy set theory and its appliations. Seond, revised edition. Kluwer Aademi Publishers, Estados Unidos.

21 7 ANEXO I: INTRODUCCIÓN AL CLUSTERING Y FUZZY CLUSTERING El lustering es una ténia de data mining (exploraión de datos) que onsiste en agrupar datos según similitud o distania. Esa ténia asigna on erteza ada dato al grupo al que se enuentra mejor emparentado. Por ejemplo, veamos la siguiente figura a título ilustrativo haiendo un análisis gráfio de los resultados Figura Cuadro D - Coefiientes fuzzy de pertenenia [,] [,] 0, , , , , , , ,6034 0, , , , , , , , En el uadro A, donde se ha trabajado on 6 datos, son fáilmente definibles dos grupos de datos y ualquier algoritmo que se elija los reonoerá rápidamente. En el uadro B, se han agregado dos datos que se ubian en el medio entre los dos grupos. A qué grupo pertenee ada dato? Si se hae el agrupamiento por el método de lustering tradiional utilizando el método K-Means, el resultado es el que se

22 8 expone en el uadro C. Véase que el algoritmo ha asignado ambos datos al grupo (de la dereha superior). Sin embargo, no neesariamente este es el aso on ambos datos. El uadro D muestra la asignaión que resulta de utilizar el Fuzzy Clustering. Este método asigna un grado de pertenenia a ada grupo para ada dato. Los datos iniiales tienen asignados oefiientes que implian asi erteza de pertenenia. Mientras que los nuevos datos muestran en sus oefiientes la ambigüedad de su pertenenia. Sería neesario ahora definir el umbral a partir del ual se define la pertenenia a un grupo espeífio. El método de Fuzzy Clustering presenta la posibilidad de utilizarlo omo apoyo uando se debe trabajar on gran antidad de datos, debido a su flexibilidad y su fáil interpretaión. El problema de reonoer grupos, dado un onjunto grande de individuos (000) para ada uno de los uales hay más de una variable que se pretende omparar (3 variables por lo menos), nos presenta la neesidad de trabajar on matries grandes (000 x 3 = 3000 datos). Por otra parte, dado que la asignaión ategória de un individuo a un grupo puede oasionar la pérdida de la visión general del problema, sería mejor asignar, omo se quiso ejemplifiar antes, un nivel de pertenenia a ada grupo y, de esa forma, ver la posibilidad tanto de fusionar grupos omo de separarlos o de onsiderar ierto rango de datos omo perteneientes a dos grupos simultáneamente. Fuzzy Clustering. Fuzzy C-Means Clustering Como vimos en la introduión, dado el onjunto de datos a agrupar y enontrados los patrones que agrupan los datos, paree onveniente asignar grados de pertenenia a iertos datos uando su distribuión no es perfetamente divisible. Algunos de los datos on que ontamos

23 9 pueden ser asos de borde de dos grupos al mismo tiempo omo los que vimos en el ejemplo graias a agrupar según la ténia Fuzzy. El método de Fuzzy Clustering parte del siguiente problema de optimizaión 4 : N MinQ = Minu, v g( uik). d( xk, v i) () i= k= s. a uik = () i= donde Q es la funión objetivo, es el número de grupos que se quieren formar, N es el número de individuos on los que se uenta, v i es un vetor prototipo o entro que se define más adelante, x k es un vetor orrespondiente a ada dato, gu ( ik ) es una funión que depende de los fatores de pertenenia u ik, y d (,) representa la distania pudiéndose elegir entre distintos tipos de definiiones de distanias que mejor desriban el espaio en donde se trabaja. La funión g es tal que el ambio en el valor de la funión objetivo sea mayor que el que el ambio en los valores de los fatores de pertenenia. Entones, g debe umplir las siguientes restriiones: 4 El problema surge de onsiderar, para el agrupamiento de datos, la optimizaión de una funión objetivo del tipo: N f uik. dik sa. uik = i= k= i= donde los u, entre ero y uno, son ponderadores de ada distania ij d ij. Pero por ser todas las distanias positivas, la resoluión es simple y se enontrará un óptimo asignando a ada u que aompañe a la menor de las distanias por ada i. Por ello, ij se inorpora la funión g. =

24 0 g C [0;] g(0) = 0 g() = g'( x) > 0 x [0;] g''( x) > 0 x [0;] La matriz de partiión, que es la matriz uyas filas representan a los individuos y en uyas olumnas se asignan los oefiientes de pertenenia para ada grupo, ya no será ompuesta por unos y eros según la pertenenia o no a un determinado grupo omo en el lustering tradiional, sino que se representa por un grado de pertenenia a ada grupo. La matriz U que desribe la pertenenia será: u u... u u u u un un un Esta matriz debe umplir dos ondiiones: Los luster formados no deben ser triviales. Entones, para todo i: N 0 < u < N k = ik La suma de los fatores de pertenenia debe ser igual a. Entones, para todo k: i= u ik = Uno de los algoritmos de lustering que ontempla los asos de pertenenia parial se llama Fuzzy C-Means Clustering (FCM). Este

25 algoritmo fue desarrollado por Dunn (974) 5 y generalizado por Bezdek (98) 6 y onsiste en optimizar la siguiente funión objetivo: N m Q= u. d( x, v ) i= k= ik k i En este aso, la funión g toma la forma: gu ( ) ik = u y umple las restriiones antes impuestas. La soluión de la minimizaión de la funión objetivo, de forma de hallar los valores de la matriz U, se ompleta en dos pasos. Para desarrollar el método utilizaremos la distania eulidea que es la empleada a lo largo del presente trabajo. Primero se seleionan, en forma aleatoria o mediante algún riterio partiular, los vetores que serán utilizados omo prototipos o entros y que serán los vetores representativos de los datos de un grupo. Estos vetores se utilizarán en el primer paso y luego el método irá modifiándolos a los efetos de busar su onfiguraión óptima. En el primer paso, se debe optimizar ada término de la suma de los lusters respeto de los valores de utilizando las ondiiones. Con lo que se plantea: m m Vs = uis. xs vi λ uis i= i= m ik m u ik donde λ es el multipliador de Lagrange. Las ondiiones de primer orden para ada t son: V u s rs m = mu. x v λ = 0 rs s r 5 J. C. Dunn (974): "A Fuzzy Relative of the ISODATA Proess and Its Use in Deteting Compat Well-Separated Clusters". Journal of Cybernetis 3, pp J. C. Bezdek (98): Pattern Reognition with Fuzzy Objetive Funtion Algoritms. Plenum Press, New York

26 despejando se llega a: u rs m λ. = m x v s r m sumando miembro a miembro sobre r y reordando la restriión sobre la suma de los fatores de pertenenia: u m λ = = is i= m i= x m s vi on lo ual, el multipliador de Lagrange será: λ m m = i= x m s v i entones, se llega a: u rs. = s r x v i= xs vi m (3) De esta forma se obtienen los valores de las u ik que minimizan ada uno de los términos de la funión Q. Una vez hallados éstos, para obtener lo valores de los vetores v i se debe busar el mínimo de la funión objetivo respeto de ada uno de esos vetores. Por ello, la

27 3 minimizaión será tal que las ondiiones de primer orden, siempre pensando en la distania eulidea, son: De lo que se desprende que: N k = u Q x v v i N m = u. = 0 k = ( ) ik k i N m uik. xk k =.( x v ) = 0 v = (4) m u m ik k i i N k = ik De haberse adoptado otras formas de distanias, por ejemplo la distania de Hamming o norma Taxi, no se hubiese arribado a una soluión tan senilla y se hubiera requerido un mayor esfuerzo en la optimizaión. También se utiliza, omo una herramienta más poderosa de desripión, la distania exponenial o la distania de Mahalanobis. La eleión de la distania dependerá del tipo de espaio de datos al que se esté enfrentando. Resumiendo, el FCM es un proeso iterativo que onsiste en la optimizaión de la funión Q y sus pasos son los siguientes:

28 4 ) Se seleionan los valores de, m, un riterio de detenión y una funión de distania apropiada. ) Se definen los vetores que harán de prototipos. 3) Se repite: a) Cálulo de la matriz de pertenenia b) Cálulo de los vetores prototipo. ) Se evalúa el riterio de detenión. Si se verifia se detiene el método, si no se verifia, se omienza desde (a) on los nuevos valores de u ik y de. v i El número de grupos elegido refleja el nivel de generalidad on el que evaluamos los datos. Al iniio del problema que se plantea, la antidad de grupos a elegir depende estritamente del onoimiento que se tenga de la informaión disponible. Existen métodos, omo el Clustering Jerárquio (Hierarquial Clustering), para intentar enontrar la antidad de grupos de que se debe disponer. Sin embargo, diha metodología no evita la neesidad de deisiones tomadas por el usuario. Por supuesto, el aso trivial en el que se elije armar sólo un grupo no desribe los datos on los que nos enfrentamos. Tampoo lo hae el otro aso trivial en el que se uenta on n datos y se elige onstruir n grupos. Además, se observa que la funión objetivo vista omo funión de la antidad de grupos, deree uando la antidad de grupos aumenta 7. Medidas de validaión Para evaluar el resultado que se obtiene de apliar el método existen tres medidas importantes: la primera está onstituida por el oefiiente 7 Pedryz, W. Knowledge-based lustering. From data to information granules. Wiley, 005

29 5 de partiión y la entropía de la partiión y las otras son los índies de Fukuyama-Sugeno 989) y de Xie-Beni (99). Coefiiente de partiión y entropía de la partiión El oefiiente de partiión se define omo: CP = N uik (5) i= k= y el Coefiiente de entropía de la partiión se define: N N CE =. uik.log a ( uik ) n (6) i= k= Las propiedades de estos índies omo funión de los oefiientes de pertenenia y la antidad de grupos son las siguientes: CP = CE = 0 U es matriz de partiión del lustering tradiional CP = CE = log a( ) uij = Entones, uando se obtiene una partiión on pertenenias unitarias orrespondiente al lustering tradiional, se obtiene el máximo valor del oefiiente de partiión y el mínimo valor del oefiiente de entropía. Cuando la borrosidad es máxima, o sea que todos los datos tienen igual pertenenia a ada grupo, el oefiiente de partiión asume su mínimo valor y el de entropía su máximo valor. Estos índies no haen uso del total de informaión que proporiona el algoritmo y el onjunto de datos utilizado. Por el ontrario, tienen en

30 6 uenta la informaión proporionada por los datos indiretamente a través de los oefiientes de borrosidad. Índie de Fukuyama-Sugeno El índie de Fukuyama-Sugeno se define: ( ) N ik xk vi vi v (7) i= k= m IFS = u. donde v es el vetor de medias orrespondiente a todos los datos, también llamado gran media. Este índie ompara la distribuión de los datos en sus grupos on la distribuión de los grupos respeto de la totalidad de los datos, on lo ual, india, a mayor valor, una peor desripión de los entros de ada grupo. Cuando se alanza el mínimo de este índie, se está frente a un buen agrupamiento de los datos. Se puede ver que: ( ) IFS = u = u u N N N m m m ik. xk vi vi v ik. xk vi ik. vi v i= k= i= k= i= k= Si se reuerda que: Y también se define: N m Q= u. d( x, v ) i= k= ik k i N m uik = Ni tal que k = i= N i = N

31 7 Se puede esribir el índie de la siguiente manera: IFS = Q Ni. vi v i= En esta formulaión del índie salta a la vista que se ompara el valor de la funión objetivo on la situaión ideal en la que ada dato es prototipo de su grupo y, por lo tanto, todos los datos de un grupo están equidistantes al vetor representativo de todo el onjunto de datos. Índie de Xie-Beni El índie de Xie-Beni se define: n m u. x v i= = IFS = n.min ik k i k ( vi v j ) El denominador se refiere a la separaión mínima entre los entros de los datos agrupados. Tomando esos entros omo representativos de lo que suede on todos los datos, la mínima distania entre ellos representa la situaión ideal de la separaión de todos los datos. Por lo tanto, ponderar el valor de la funión objetivo por este valor mínimo, equivaldrá a señalar qué tan separados se enuentran los grupos. Entones, si IFS<IFS, se tiene que IFS es una mejor partiión que IFS. Estos dos últimos índies, a diferenia de los primeros dos, haen uso del total de la informaión suministrada por el algoritmo. Emplean la antidad de grupos, la funión de distania utilizada, los entros estableidos y los oefiientes de borrosidad. Los resultados a los que se llegan on el empleo de estos índies no son neesariamente los (8)

32 8 mismos. Mientras que el oefiiente de partiión y el de entropía deberían oinidir, no neesariamente suederá ello on el índie Xie- Beni y on el Fukuyama-Sugeno. Para ver una ilustraión de estas onlusiones puede verse Pal y Bezdek (995).