Text Mining Aplicado a la Clasificación y Distribución Automática de Correo Electrónico y Detección de Correo SPAM

Transcripción

1 Text Mining Aplicad a la Clasificación y Distribución Autmática de Crre Electrónic y Detección de Crre SPAM Pedr Fabrici Echeverría Brines 1 Zila Verónica Altamiran Valarez 2 Alvar Badir Pint Astudill 3 Jhanna del Carmen Sánchez Guerrer 4 1 Directr de Tópic, MSIG, Prfesr de ESPOL; pechever@uniplex.cm.ec 2 Ingeniera en Cmputación Especialización Sistemas Tecnlógics, 2006; valtamir@.fiec.espl.edu.ec 3 Ingeniera en Cmputación Especialización Sistemas Tecnlógics, 2006; apint@fiec.espl.edu.ec 4 Ingenier en Cmputación Especialización Sistemas Tecnlógics, 2006; jdcsanch@fiec.espl.edu.ec Resumen El Text Mining es la más reciente área de investigación del prcesamient de texts. Ella se define cm el prces de descubrimient de patrnes nuevs cncimients en una clección de texts, es decir, El Text Mining es el prces encargad del descubrimient de cncimients que n existían explícitamente en ningún text de la clección, per que surgen de relacinar el cntenid de varis de ells [2]. En el desarrll de nuestr pryect aplicams Text Mining para la creación de un Anti-SPAM, el mism que esta diseñad para us del Algritm de Naive Bayes, y ls algritms de K-mean y reglas de asciación. Teniend cm bjetiv principal la detección de crres basuras SPAM que reciba un usuari que psea una dirección de crre electrónic. Palabras Claves: Text Mining, SPAM, Algritm de Naive Bayes. Abstract The Text Mining is the mst recent area in investigatin f the prsecutin f texts. She is defined as the prcess f discvery f patterns and new knwledge in a cllectin f texts, that is t say, The Text Mining is the prcess in charge f the discvery f knwledge that they didn't exist explicitly in any text f the cllectin, but that they arise f relating the cntent f several f it. In ur develpment prject we apply the Text Mining fr the creatin f an Anti-SPAM, the same ne that this designed fr use f the Algrithm f Naive Bayes, and the algrithms f they K- mean and assciatin rules. Having as main bjective t detect the mail garbage r SPAM that a user r pssesses an electrnic mail address receives. 1. Intrducción En la actualidad el crre electrónic es un medi de cmunicación eficiente y cada vez más ppular. Al ser extremadamente ecnómic y fácil de enviar, es también un medi para el cmerci electrónic. Desafrtunadamente, est ha causad que vendedres de td tip bmbardeen ls buznes de crre cn mensajes n slicitads y n deseads, cncids cm crre basura SPAM. La cnsecuencia de est es la pérdida de tiemp de ls lectres de crre electrónic, el cste de recibir este tip de mensajes (a veces fensivs) y el riesg de llenar el espaci de almacenamient del servidr ( el buzón). Debid a est, se prpus la siguiente slución a dich planteamient. Dichs crres basura SPAM, serán detectads mediante la implementación de un filtr anti-spam basad en el algritm de Naive Bayes, en el cual se btendrá ls dats desde una base de dats cnteniend palabras SPAM y palabras n SPAM, las cuales habrán sid btenidas de mensajes SPAM y mensajes legítims respectivamente. Psterirmente realizams el análisis del cntenid del crre haciend us de la minería de text, para lueg determinar si dich cntenid es n un SPAM. Además del filtr anterirmente mencinad se desarrll un interfaz cm ayuda para el administradr del crre, en la que le permitirá cncer ls usuaris que reciben crre basura SPAM.

2 2. Definicines, Métds y Materiales 2.1. Definicines QUE ES EL SPAM? El SPAM es el crre electrónic n slicitad, nrmalmente cn cntenid publicitari, que se envía de frma masiva CARACTERÍSTICAS Algunas de las características más cmunes que presentan este tip de mensajes de crre electrónic sn: La dirección que aparece cm remitente del mensaje n resulta cncida para el usuari, y es habitual que esté falseada. El mensaje n suele tener dirección para reenviar. Presentan un asunt llamativ. El cntenid es publicitari: anuncis de sitis web, fórmulas para ganar diner fácilmente, prducts milagr, fertas inmbiliarias, simplemente listads de prducts en venta en prmción. Aunque el métd de distribución más habitual de este tip de publicidad es el crre electrónic, existen diversas variantes, cada cual cn su prpi nmbre asciad en función de su canal de distribución [6]: SPAM: Enviad a través del crre electrónic. Spim: Específic para aplicacines de tip Mensajería Instantánea (MSN Messenger, Yah Messenger, etc). Spit: SPAM sbre telefnía IP. La telefnía IP cnsiste en la utilización de Internet cm medi de transmisión para realizar llamadas telefónicas. SPAM SMS: SPAM destinad a enviarse a dispsitivs móviles mediante SMS (Shrt Message Service) TIPOS DE SPAM En td el mund, el SPAM tiende a anunciar cierta gama de bienes y servicis, sin que imprte el lenguaje y la gegrafía. El SPAM pertenece a las siguientes categrías: Prngrafía Tecnlgías infrmáticas Finanzas persnales Educación / entrenamient Otrs. Prngrafía: Esta categría incluye fertas de prducts diseñads para aumentar mejrar la ptencia sexual, enlaces a sitis prngráfics anuncis de prngrafía. Ejempl: Tema: Una ayuda muy barata para su erección :-) Buens días! Le frecems la Viagra más barata del mund!. La puede cmprar en: {ENLACE} Sinceramente, Liza Stkes Figura 1. SPAM Prngráfic Tecnlgías infrmáticas: Esta categría incluye fertas de hardware y sftware a baj preci, cm también servicis para ls usuaris de sitis Web: hspedaje (hsting), registr de dminis, ptimización de sitis Web y así pr el estil. Ejempl

3 Tema: Grandes ahrrs en sftware OEM. Tdas las mejres marcas a tu dispsición. Buscas sftware de alta calidad a baj preci? Nstrs tenems l que necesitas Windws XP Prfessinal $50 Adbe Phtshp $60 Micrsft Office XP Prfessinal $60 Crel Draw Graphics Suite $60 y much más... Figura 2. SPAM de Tecnlgías infrmáticas Finanzas persnales: El SPAM de esta categría frece segurs, servicis de reducción de deudas, préstams cn bajs intereses. Ejempl: Tema: Ls prestamistas cmpiten entre sí...tú ganas. Reduce tus pags de hipteca. Ls intereses están creciend! Dale a tu familia la libertad financiera que se merece. Refinancia hy y ahrra. *Rápid y fácil *CONFIDENCIAL *Cients de prestamistas *100% gratis *Obtén las mejres tasas Slicítal hy! {ENLACE} Cualquier crédit será aceptad. Para brrar tu nmbre de nuestra base de dats pulsa aquí Gracias. Llama escríbens a: 1700 E. Ellit Rd. STE3-C4 Tempe, AZ Figura 3. SPAM de Finanzas Persnales Educación: Esta categría incluye fertas de seminaris, entrenamients en línea. Ejempl: Tema: Obtén un diplma de licenciatura dctrad desde tu casa. Llama a {númer de teléfn} para averiguar sbre nuestrs prgramas de graduación. Si estás buscand un grad de licenciatura, dctrad MBA Pdems darte credenciales cmpletamente verificables para que hagas carrera. BACK ON TRACK! Sin exámenes ni tesis. Llama: {Teléfn} Call: {Phne Num.}. Ns disculpams si n querías recibir este mensaje. Para darte de baja de nuestra lista, pr favr llama {Teléfn} Figura 4. SPAM de Educación 2.2. Métds El filtr bayesian es técnica utilizada en la detección de SPAM, ests filtrs se basan en estadísticas de palabras que aparecen en ls crres n deseads. Generalmente trabajan cn grups de ds tips de crres, ls legítims y ls SPAM, para cada palabra en ests crres, ls filtrs calculan las prbabilidades de SPAM basadas en la prprción de currencias de ls misms, pr ejempl, la palabra garantizad aparece un 99% de las veces en crres SPAM que en crres legítims y la palabra deducir aparece cn un prcentaje menr pues n es usada en ls crres n deseads.

4 2.2.1 Métd de Naive Bayes Utilizams este métd para realizar el filtr Anti-SPAM, cm ya hems mencinads la necesidad de crear este filtr se debe a la gran cantidad de crres basuras SPAM que recibims en nuestrs crres. Métd a utilizar Se escgerá una base de dats muestra de entrenamient cnteniend palabras SPAM y palabras n SPAM cada grup de palabra fuern seleccinadas de crre basura y mensajes legítims respectivamente, Tds ls crres de ls usuaris sn extraíds desde el servidr de crre para psterirmente realizar el respectiv análisis, para est hacems us de las fórmulas que a cntinuación se expndrems y de acuerd al resultad btenid de estas, se pdrá definir si el cntenid de ls crres analizads es un crre SPAM n. Terema de Bayes P(B A) = ( P(A B) * P(B) ) / P(A) Terema de Bayes para filtr de crre Event SPAM = mensaje es SPAM Event palabras = mensaje cntiene palabras malas P(SPAM palabras)=p(palabras SPAM) * P(SPAM P(palabras) Prbabilidad de que un mensaje es SPAM, dad que cntiene palabras malas. Se aplica el Filtrad Bayesian Clasificadr Se realiza internamente El usuari pdrá revisar su crre, ls crres SPAM se encuentra en su respectiva carpeta NO SPAM Figura 5. Descripción gráfica del filtrad bayesian

5 Métd de Regla de Asciación Utilizams este métd para realizar ls Cntacts Indirects, a cntinuación se explica cn detalle l plantead. Origen Este prces surge de la necesidad de ls diferentes usuaris de cncer ls tips de cntacts que n pertenecen a su lista de favrits, per de una u tra manera están relacinads cn sus cntacts mas afines ya sea prque se encuentran en sus listas de cntacts estén relacinads pr ls crres Est es cn el fin de determinar si ests cntacts al que llamams Cntacts indirects pueden pertenecer a nuestra lista de cntacts persnales a un determinad grup el cual pdríams tener persnalizads de acuerd a ls cntacts de nuestra cnveniencia. Determinar si ests cntacts indirects están repercutiend en nuestr buzón de crres, enviand tips de crres denminads SPAM par l cual pdríams cnsiderarls cm un usuari cuys crres sn de n imprtancia y de esta manera pder clasificar a este usuari. Métd a utilizar Se realiza una representación del algritm de asciación para verificar ests tips de usuaris. Creams una matriz nxn dnde n esta representad pr tds cntacts favrits agregads pr ls diferentes usuaris. Esta matriz de cntacts estarán cn dats de 1 s y 0 s de acuerd a la relación que se tenga entre ells, 1 para si ests cntacts tienen relación directa de acuerd si esta agregad a su lista de cntacts favrits y cer en el cas de que n tengan relación alguna. Figura 6. Gráfic representativ de ls cntacts favrits Esta relación se la realiza de acuerd a ls cntacts favrits de tds ls usuaris cn respect a ls mís. Esta relación tiene una cbertura, el cual esta dad para un cntact indirect determinad cm relación directa de un mas de mis cntacts favrits. Esta cbertura me servirá para determinar la cnfianza (en %) que pdría tener para determinar si este usuari n puede ser parte de mis cntacts de acuerds a las relacines encntradas. Ests parámetrs serán persnalizads, l que indicaría que el usuari puede sl querer ver ls detalles de aquells cntacts indirects cuya cbertura sea específica y cn grad de cnfianza determinad Materiales Nuestr sistema será implementad cn las herramientas actuales y adaptables a ls requerimients exigids pr el mism, permitiend cn est tener una gran eficiencia, un fácil us y a su vez tenga una mayr escalabilidad. Las herramientas a utilizar sn mstradas en las siguientes tablas y se las detallan en ls siguientes punts a tratar:

6 Sftware Windws 2003 Server Exchange Server 2003 Descripción Sistema Operativ Cntenedr de Crres Tabla 1. Sftware recmendad para el desarrll del Servidr de Crre Sftware Windws XP Prfessinal Visual C# Net SQL Server 2005 Crystal Reprts Descripción Sistema Operativ Ambiente de Desarrll Mtr de Base de Dats Generadr de reprtes Tabla 2. Sftware recmendad para el desarrll del Cliente Platafrma Se eligió trabajar cn la platafrma Micrsft Windws XP Prfessinal ya que es un de ls entrns de escritri más usads a nivel Persnal, Empresarial y Crprativs. De acuerd a nuestr enfque el cual está dad a ls niveles antes mencinads, el sistema será más adaptable y cmprensible para dichs usuaris ya que es una herramienta de us diari para ells. Otra platafrma a utilizar es.net, dada que es desarrllad pr el mism Micrsft l cual permitirá un mejr acplamient cn las demás herramientas a utilizar haciend así nuestr sistema más estable y cmpatible cn ls cambis tecnlógics que se puedan dar en un futur Herramientas de Desarrll VISUAL C# NET: Es un lenguaje de prpósit general rientad a bjets cread pr Micrsft para su nueva platafrma, además frece una interfaz cmún para trabajar de manera cómda y visual cn cualquiera de ls lenguajes de la platafrma.net SQL SERVER 2005: Además de las ventajas de reducir ls tiemps de inactividad de las aplicacines, mayr escalabilidad y rendimient y estricts cntrles de seguridad, el SQL Server 2005 cmprenderá también mejras significativas de gestión de la infrmación empresarial en ls siguientes aspects: Dispnibilidad Escalabilidad Seguridad Facilidad de gestión Interperabilidad 3. Resultads btenids Cm resultad se btuv una herramienta para pderns Defender de ls mensajes basura de algunas maneras, aunque n hay métds infalibles. Pr un lad, cn unas ciertas nrmas que debems seguir ante ls mensajes SPAM que recibams. Pr tr, filtrand ls mensajes que ns llegan para intentar recibir la menr cantidad psible de este crre n slicitad.

7 En la parte de que prprcinams a ls usuaris cncer ls tips cntacts que n pertenecen a su lista de favrit, Se les permite determinar si ests cntacts al que llamams Cntacts indirects pueden pertenecer a su lista de cntacts persnales a un determinad grup el cual pdríams tener persnalizads de acuerd a ls cntacts de nuestra cnveniencia, si ests cntacts indirects están repercutiend en nuestr buzón de crres, enviand tips de crres denminads SPAM par l cual pdríams cnsiderarls cm un usuari cuys crres sn de n imprtancia y de esta manera pder clasificar a este usuari. Finalmente en la interfaz que prprcinams al Administradr de crre, en la que pdrá encntrar una clasificación de usuari pr el espaci de disc que cupan sus crres y pr el númer de crres SPAM que reciben ls misms, se btuv cm resultad diferentes grups de usuaris entre ls que cupan mayr espaci de disc y así mism l que mayr crre basura reciben en sus crre. 4. Cnclusines Se ptimizó la capacidad de clasificar si el cntenid de ls crres recibids sn n SPAM, permitiend así que el espaci de disc n se cupad pr crres basuras. Se permitió que el Administradr de crre pueda tener un mejr cncimient de cuales sn ls usuaris que mayres crres SPAM, recibían que cupaban demasiad espaci de disc. También prprcinams al usuari cncer ls tips de cntacts que n pertenecen a su lista de favrits, per de una u tra manera está relacinada cn sus cntacts mas afines ya sea prque se encuentran en sus listas de cntacts estén relacinads pr ls crres. 7. Referencias [1] Tesis de Ingeniería en Infrmática, [2] Text Mining, [3] Adriaans, P (1996). Data mining. Addisn-Wesley [4] Pyle. D. (1999). Data preparatin fr data mining. Mrgan Kaufman [5] Berry, M. (1997) Data mining techniques. Wiley [6] Filtr Anti-Spam