AsignacionAutomaticadeEtiquetasdeDominiosenWordNet. Resumen:Enesteartculosedescribeunprocedimientoparaasignardeforma

Transcripción

1 AsignacionAutomaticadeEtiquetasdeDominiosenWordNet MauroCastillo,FrancisReal UniversidadPolitecnicadeCatalu~na JordiGironaSalgado Barcelona GermanRigau UniversidaddelPasVasco 649PostaKutxa 20080Donostia Resumen:Enesteartculosedescribeunprocedimientoparaasignardeforma automaticaetiquetasdedominioalasglosasdewordnet.unadelasmotivaciones principalesdeltrabajoesenriquecerfuenteslexicasconinformaciondewordnet. Paraello,seutilizanlosWordNetDomains.Finalmente,seproponenycorrigen etiquetasdedominiosparalapartenominalyverbaldewordnet. Palabrasclave:WordNet,WordNetDomains,EtiquetajeAutomatico. Abstract:Thispaperdescribesaprocesstoautomaticallyassignwordnetdomain labelstowordnetglosses.oneofthemaingoalsofthisworkistoenrichlexical sourceswithwordnetinformation.wornetdomainsareusedasknowledgesource. Finally,Domainlabelsfornounsandverbsaresuggestedandveried. Keywords:WordNet,WordNetDomains,AutomaticLabeling. 1Introduccion AunquelaimportanciadeWordNethatranscendidoampliamentelospropositosparalos quefuecreado(milleretal.,1990),yesahora unrecursoimprescindibleparamuchasapro- ximacionesalprocesamientosemantico(mc- Carthy,2001;AgirreyMartinez,2002),en suestadoactual,siguesinserunrecursosu- cientementericocomopara,directamente, darsoporteamuchasaplicacionesconceptualesavanzadas(harabagiu,pasca,ymaiorano,2000). Sinembargo,inclusoahora,desarrollarBasesdeConocimientosucientementegrandesyricascomoparaprocesar semanticamentetextonorestringido,sigue siendounatareatitanicaquesolopueden abordargrandesgruposdetrabajoalolargodelargosperiodosdetiempo(fellbaum, 1998;Atseriasetal.,1997;Bentivogli,Pianta,yGirardi,2002). UnadelasmotivacionesprincipalesdeestetrabajoesenriquecerWordNet(ocualquierotrorecursolexico,comodiccionarios, etc.)deformasistematicaconlasetiquetas dedominiosemanticodewordnetdomains (MagniniyStrapparava,2002).Esterecur- sohaprovadosuecaciaenladesambigua- Esteartculohasidonanciadoparcialmentepor lacomisioneuropea(meaningist ), GeneralitatdeCatalunya(2002FI00648)yUniversidadTecnologicaMetropolitana-Chile. ciondelosdominiosdelaspalabras(eningles WordDomainDisambiguation)(Magniniy Cavaglia,2000), Enestetrabajoexploramoseletiquetaje semanticoderecursoslexicos,asignandode formaautomaticaysistematicaetiquetasde dominioaglosasydenicionesdediccionariosċomoveremos,elmetodopropuestotambienpuedeservirparacorregiryvericarel etiquetajepropuestoydaralgunasrecomendacionesparaasignaretiquetasdedominio enunadeniciondeundiccionarioountextolibre. Elartculoseorganizadelasiguientemanera.Enlaseccion2sedescribeWN.AcontinuacionsedescribenlosWorNetDomains ysusposiblesaplicaciones.enlaseccion4 sedetallalaexperimentacionrealizada.luego,enlaseccion5sedetallanlaevaluacion yresultados.enlaseccion6sepresentala discusionyanalisisdelosresultados.finalmentesepresentanlasconclusionesytrabajo futuro. 2WordNet WordNetesunabasededatoslexicaparael inglesquefuedesarrolladoenlauniversidad deprinceton.esunabasededatosconceptualestructuradaenformaderedsemantica, quecontienenombres,verbos,adjetivosyadverbios.elsynset(synonymsetsoconjuntos

2 nimia,antonimia,hiponimia/holonimia,me- ronimia/holonimia,implicacionycausa.la deestetrabajoseconsideralawn1.6debido aladisponibilidaddeloswornetdomains. representaunconceptolexicalizado.lasre- versionactualdewnesla1.7.1.aefectos desinonimos)eslaunidadbasicadewnque lacionessemanticasentresynsetsson:sino- LaversiondeWN1.6contiene99.638synsets y palabrasdiferentes.enwnsedeneunoomassentidosporcadapalabra.unrrolladoenitc-irstpor(magniniycava- tienedosomassentidos. 3WordNetDomains WordNetDomainsesunrecursolexicodesa- palabrapuedesermonosemicacuandosolo poseeununicosentidoypolisemicacuando puedeapreciarcomolagranmayoradelos synsetsoloposeenunaetiquetadedominio. glia,2000)dondelossynsetshansidoanota- riasetiquetasdedominiodeunconjuntode 165etiquetasorganizadasjerarquicamente. deetiquetasqueposeecadasynset.enellase dosdeformasemiautomaticaconunaova- Latabla1muestraladistribuciondelnumero #nomveradjadv% Tabla1:DistribuciondelnumerodeetiquetasdedominiosporsynsetenWordNet tanconlainformacioncontenidaenword- Lasetiquetasdedominiossecomplemen tirdediferentessubjerarquasdewn:por denombresyverbos. MEDICINEpuedecontenersentidosapartir Net.Undominiopuedeincluirsynsetsde diferentescategorassintacticas:porejemplo otros. tidosdeunapalabraenclaseshomogeneas, object#n#1,act#n#2,location#n#1entre ejemplosportcontienediferentessentidosderivadosdesdelifeform#n#1,physical- Ademaslosdominiospuedenagruparsen- Undominiopuedeincluirsentidosapar- ideaveamosunejemploextradode(b.mag- conlanalidaddereducirlapolisemiadelas palabrascontenidasenwn.parailustrartal nini,2001),paralapalabra\bank"queposee 10sentidosenWN. NroSF #1group #2objectGeographyGeology #3possession #4artifactArchitectureEconomy #5group #6artifact Dominio Factotum Tabla2:Sentidosde\bank"enWNconSemanticFile(SF)yetiquetasdeDominios disminuirlapolisemia. dominios.ademassiconsideramoselsemanticfiledecadasynsetclaramentepodemos palabra\bank"comonombre,loscualesse puedenreducira7sentidossiseagrupapor enmasdeunaetiquetadedominio,nopare- Latabla2muestralos10sentidosdela #10act #7objectGeographyGeology #8possession #9object EconomyPlay Transport censeguirningunapatronregular,porejemplo: 1.sultana#n#1(paleyellowseedless Porotroladoenaquellossynsetquepose- 3.canicolafever#n#1(anacutefeverishdiseaseinpeopleandindogsmarked BotanyGastronomy 2.morocco#n#2(asoftpebblegrained grapeusedforraisinsandwine) bygastroenteritisandmildjaundice) MedicinePhysiologyZoology shoesandbookbindingsetc.) AnatomyZoology leathermadefromgoatskin;usedfor 4.blue#n#1blueness#n#1(thecolor oftheclearskyinthedaytime;"hehad defactotum. logy.enelejemplo4lasetiquetasdependen elejemplo2lasetiquetasdependendebioquasdedominiosdiferentes.encambioen Elejemplo1y3dependendesubjera- eyesofbrightblue") Estehecho,seguramentedependeengran ColorQuality medidadelprocesoquesemiautomaticoque sesiguioparasuconstruccion.muchasde

3 lasetiquetasfueronasignadasennivelesaltosdelasjerarquasdewnyfueronpropagadasautomaticamenteatravesdelajerarqua dehiponimosytroponimos.debemosdestacar,quehastaelmomentonoseharealizado unavericacioncompleta,yaseamanualo automaticadetodaslasasignacionesdedominiosasynsets. 3.1Factotum SeconsideralaetiquetadedominioFactotum paraaquellossynsetsquenopertenecenaun dominioespecco,peropuedenapareceren muchosdeellos.estaetiquetadedominio incluyedostiposdesynsets: Synsetsgenericos:Seutilizaparamarcar lossentidosdewnquenopertenecena undominioespecco.comoporejemplo:persona,dadeunmes,etc. StopSenses:Aquellossynsetsqueaparecenconfrecuenciaendiversoscontextos, comoporejemplo:numeros,dasdela semana,colores,etc. 3.2Jerarquadedominios Existen165etiquetasdedominiosorganizadasencuatronivelesenformajerarquica, dondecadanivelesdeacuerdoalgradode especicacion(vergura1). pure_science biology botany zoology anatomy entomology TOP Figura1:PartedelaJerarquadeDominios dewordnet Enelnivelunodelajerarquadedominios econtramossescategoras: Doctrines:fart,archaeology,astrology,literature,linguistics...g Freetime:fplay,sportg AppliedScience:fagriculture,alimentation,architecture,medicine,...g PureScience:fastronomy,mathematics,biology,earth,chemistry,...g SocialScience:fanthoropology,law, military,pedagogy,sociology,...g Factotum:fnumber,color,person,...g 3.3AplicacionesdeWordNet Domains Laimportanciadelasetiquetasdedominios dewnhasidotratadaenvariostrabajosen losultimosa~nos.entareasdewordsensedisambiguation(wsd),(gonzaloetal., 1998)enfatizaelroldelosdominiosenWSD. (MagniniyStrapparava,2000)introducen WordDomainDisambiguation(WDD)como unavariantedewsddondeparacadapalabraenuntextoseeligelaetiquetadedominio envezdelaetiquetadesentido.ademasen tareascomo\textcategorization"(tc)se hautilizadowordnetdomains(magniniet al.,2002),entreotras. 4Experimentacion Apesardeserunrecursomuyvalioso, WordNetDomainsalhaberseconstruidodeformasemiautomatica,requierede unprocesodevericacion,yaseamanualo automatico,quenospermitavalidarlasasignacionesrealizadasdeetiquetasdedominioa synsetsdewordnet1.6.masaun,nosplanteamosadquirirlosmodelosimplcitosdeasignaciondedominiosaglosas,parapoderetiquetardeformaautomaticaotrosrecursos, diccionariosyversionesdewordnetqueno sehayanactualmenteenriquecidasconetiquetasdedominio.portanto,losprimeros experimentosrealizadossehancentradoen: Laasignacionautomaticadedominios aglosasdewordnet1.6(uotrasver- sionesanterioresoposterioresdeword- Net),uotrasdenicionesdediccionarios genericos. Lavalidaciondelaconsistenciadelas asignacionesdedominiosawordnet1.6 yenparticularvericarquelasetiquetas Factotumhansidoasignadasdeforma sistematica. Latabla3muestraelporcentajedeetiquetasfactotumparanombres,verbos,adjetivos

4 POSconFacsinFac%Fac noun verb adj adv Tabla3:DistribuciondeSynsetsconysin etiquetasdedominiosfactotumenwn1.6 yadverbiosenwn1.6.existeunporcentaje elevadodesynsetsetiquetadoscomofactotum,exceptoenelcasodelosnombres. Paranuestrosexperimentosseselecciono aleatoriamenteel1%delossynsetsdecada POSpararealizareltestyelrestoparael entrenamiento(vertabla4). POSSFCF%Fac noun verb Tabla4:Corpusdetestparanombresyverbossinfactotum(SF)yconfactotum(CF) 4.1Metododeetiquetado Elmetododeetiquetadoautomatico,quese detallaacontinuacion,estabasadoen(rigau,atserias,yagirre,1997): Calculodelamatrizdepesos:setoma enconsideracionlaspalabrasqueconformanelsynsetdelcorpusdeentrenamiento,esdecir,losvariantosinonimos ylaglosa.sedeterminalafrecuenciade cadapalabraconrespectoalaolasetiquetasdedominioqueposeeelsynset. Luegosegeneraunvectordepesospara cadapalabra,utilizandolasmedidasdescritasen4.2.comoejemplo(vertabla5) sepresentapartedelvectordepesosparalosnombressoccer(monosemico)y orange(polisemico). Ajustedeparametros:Losparametros quesetomaronenconsideracionfueron entreotros,elporcentajedelosvariant (70%)ypalabrasdelaglosa(30%).Se normalizolosvectoresobtenidosparacadasynsetyseconsiderocomoetiquetas propuestasaquellasqueestuvieranenel 15%superior(rangodeumbral[1..0,85]). soccer orange pesoetiquetapesoetiqueta 2.826soccer8.181botany 2.183play5.129gastronomy 1.987football3.019color 1.917sport1.594entomology 0.998rugby1.205jewellery Tabla5:Vectordepesosparanombrescon factotum(cf) 4.2Medidas Paracalcularlospesosdelaspalabrasasignadasaundominiohemosprobadotresfuncionesdistintas: M1:Formuladelarazcuadrada f(x;y)?1 Nf(x)f(y) pf(x;y) M2:AssociationRatio Pr(w=SC)log2(Pr(w=SC) Pr(w)) M3:Formuladellogaritmo log2(nf(x;y) f(x)f(y)) 5Evaluacionyresultados Lasmedidasdeevaluacionutilizadasenlos distintosexperimentossedetallanacontinuacion: MiAMedidai-esimaalconsiderarlosaciertosentrelaetiquetapropuestaylaetiquetacorrecta MiDMedidai-esimaalconsiderarlosaciertosderivadosdelajerarquadedominios.PorejemplosilaetiquetapropuestaesZoologyylacorrectaesBiologogy, seconsideracomounacierto. APAccuracyparalaprimeraetiquetapropuesta AP=aciertosdelaprimeraetiqueta totaldesynset

5 ATAccuracyparatodaslasetiquetaspropuestas AT=aciertosdetodaslasetiquetas totaldesynset Precision P=(etiquetaspropuestasycorrectas) (totaletiquetaspropuestas) Recall R=(etiquetaspropuestasycorrectas) totaletiquetascorrectas F1 F1=2PR (P+R) NAPATPRF1 M1A M1D M2A M2D M3A M3D Tabla6:Resultadosparanombresconsiderandofactotum(CF) NAPATPRF1 M1A M1D M2A M2D M3A M3D Tabla7:Resultadosparanombressinconsiderarfactotum(SF) Paralosnombresserealizaronexperimentosqueentrenabanconfactotumytesteabanconfactotum,losresultadosobtenidos semuestranenlatabla6.enlatabla7 semuestranlosresultadosalrealizarunentrenamientoytestdenombressinfactotum. Losmejoresresultadosenpromedioobtenidosenambosexperimentosseobtuvieroncon VAPATPRF1 M1A M1D M2A M2D M3A M3D Tabla8:Resultadosparaverbosconsiderandofactotum(CF) VAPATPRF1 M1A M1D M2A M2D M3A M3D Tabla9:Resultadosparaverbossinconsiderarfactotum(SF) lamedidam1.destacandoquemasdel70% delasprimerasetiquetaspropuestascoincidenconloswornetdomains. Enlatabla8semuestranlosresultados alrealizarunentrenamientoytestdeverbos confactotum.mientrasquelatabla9muestralosresultadosdeentrenamientoytestde verbossinfactotum.enamboscasosseobtienenpeoresresultadosqueparalosexperimentosconnombres.unadelasrazones puedeserelaltonumerodesynsetsdeverbosetiquetadosconfactotum(vertabla4). Peroenelcasodelosverbossinfactotum seapreciaunamejoradecercadel70%de etiquetascorrectascomoprimerapropuesta. TrainCF TestCF TestSF PRPR M1A M1D Tabla10:Entrenamientoconfactotumpara nombresusandomedidam1 Enlatabla10sehaceunacomparacion paralosnombresalrealizarunentrenamientoconfactotumyuntestcondiferentescor-

6 TrainSF TestCF TestSF PRPR M1A M1D Tabla11:Entrenamientosinfactotumpara nombresusandomedidam1 pus(cfysf).sepuedeapreciarunamejora considerablealentrenarconfactotumyhaceruntestsinfactotum,llegandoal86.15% deprecisionenlaprimeraasignacion,locual puededeberseaquelasetiquetasdistintasde factotumestancorrectamenteasignadas. Encambioalhacerelexperimentodeentrenarsinfactotumyhacertestvariados(CF ysf),comosemuestraenlatabla11,podemosdarnoscuentaquesucedelocontrario alcasoanterior.larazonpuededebersea quenuevamentelaetiquetasdiferentesafactotumestanbienetiquetadas. Peroalcompararlosresultadosdelastablas10y11podemosdecirquesealcanza enpromediounaprecisioncercanaal80%en lasetiquetaspropuestasenprimerlugar. 6Discusion Aunquelosresultadosobtenidossonalentadores,sirealizamosunanalisismasdetalladodelasasignacioneserroneasrealizadaspor elmetodoautomatico,comprobamosademas queenlamayoradeloscasos,lasetiquetas propuestasresultanserbastanteparecidas. Estosugiereciertafaltadesistematicidaden laasignaciondeetiquetas.ademas,enaquelloscasosdondeseconsideralajerarquade dominiosenlaasignacion(mid),seobtiene tambien,enlamayoradeloscasos,unosmejoresresultados. Amododeilustracion,semuestran acontinuacionalgunossynsetdondela etiquetapropuestafueconsideradacomo erroneaenlaevaluacion,peroalanalizar laglosarespectiva,podemosintuirqueen muchoscasospodraserconsideradacomo unaetiquetacorregida. 1.Palabrasmonosemicas.Aquellaspalabrasdelaglosaqueseanmonosemicas puedenayudaraencontrareldominio masadecuado. creditapplication#n#1(anapplicationforalineofcredit) EtiquetadoconSCHOOL Propuesta1:Banking Propuesta2:Economy OBS:lineofcredit#n#1esmonosemicoyestaetiquetadocomo Banking. plaguespot#n#1(aspotontheskin characteristicoftheplague) EtiquetadoconARCHITECTURE Propuesta1:Physiology Propuesta2:Medicine OBS:plague#n#1esmonosemicoyestaetiquetadocomo Physiology-Medicine.Yskin#n posee6sentidoscomonombreetiquetadoscomoanatomy,transport yfactotum. 2.RelacionentreEtiquetas.Existeuna relaciondirectaenlajerarquadedominiosentrelasetiquetaspropuestasylas correctas. academicprogram#n#1(aprogramofeducationinliberalarts andsciences(usuallyinpreparation forhighereducation)) EtiquetadoconPEDAGOGY Propuesta1:School Propuesta2:University OBS:Pedagogyespadrede SchoolydeUniversity. shopping#n#1(searchingforor buyinggoodsorservices) EtiquetadoconECONOMY Propuesta1:Commerce OBS:Enlajerarquadedominios, CommerceyEconomydependen directamentedesocialscience. authorisation#n#1(theactofauthorizing) EtiquetadoconPOLITICS Propuesta1:Law OBS:EnestecasoLawyPoliticsdependenenformadirectade Socialscience.

7 recontrolradar#n#1(radarthat controlsthedeliveryofreona militarytarget) Etiquetado con MER- CHANTNAVY Propuesta1:Military OBS:Merchantnavydepende detransport.mientrasquemilitaryytransportdependende Socialscience. 3.RelacionesenWN.Enalgunoscasos lossynsetestanrelacionadosconpalabrascontenidasenlaglosa. bowling#n#2(agameinwhichballs arerolledatanobjectorgroupof objectswiththeaimofknocking themoverplay) EtiquetadoconBOWLING Propuesta1:Play OBS:game#n#2eshiperonimoyestaetiquetadocomoPlay. Ademasplay#n#16etiquetado comoplay-sport,estarelacionado porholonimiacongame#n#2. Ademasenlajerarquadedominios,PlayySportsonhermanos;y BowlingdependedeSport. costanalysis#n#1(breakingdown thecostsofsomeoperationand reportingoneachfactorseparately) EtiquetadoconFACTOTUM Propuesta1:Economy OBS:Lapalabra\cost"pertenecientealaglosaposee3sentidos, etiquetadoseconomy,moneyy Qualityrespectivamente. 4.Casosinciertosydudosos.Existen casosendondelaetiquetapropuestano respondeaningunpatron,peroquepuedeserconsideradacomolaetiquetacorrecta. birthmark#n#1(ablemishonthe skinformedbeforebirth) EtiquetadoconQUALITY Propuesta1:Medicine bardolatry#n#1(idolizationofwilliamshakespeare) EtiquetadoconRELIGION Propuesta1:history Propuesta2:literature 7Conclusionesytrabajofuturo Comosehavistoenlosresultados,elprocedimientoparaasignaretiquetasdedominioa glosasdewordnetesbastantealentador,sobretodosiconsideramosqueesunproblema difcil,altenerenconsideracionlapolisemia existenteenwnylaformaenquefuerongeneradaslasetiquetasdedominios,generadas atravesdeunprocesodepropagacionsemiautomaticoatravesdelasrelacionesexistentesenwn. Elprocedimientoesbastanteableenlas etiquetasqueproponecomoprimeraprioridad,alcanzandomasdel70%decoincidencia conlasetiquetasdedominiopropuestaspor (MagniniyCavaglia,2000). Tambienhemosrealizadounprimerestudiosobrelatipologadeloserroresdel metodoquesugierequeenciertoscasospodramosa~nadirnuevasetiquetascorrectas alsynsetencuestionocorregirlas,substituyendolas. Tambienhemosvistoquelossynsetsactualmenteetiquetadoscomofactotum,puedenser,etiquetadosconunaetiquetadedominio. Comotrabajofuturo,planeamosrealizar ciertasmejorasyadaptacionesalalgoritmo paraetiquetarotrasversionesdewordnet yparalograretiquetaruntextolibre(p.e. SemCor)conlasetiquetasdedominiosde WN. Hemosplanicadotambienrealizarunextensiondelmetodoconsiderandolasglosasde synsetsrelacionadasconelsynsetetiquetado (medianterelacionesdehiponimiaomeronimia). Porultimo,tambienqueremosrealizarun estudiosobrelabondaddecadaasignacion automatica,proporcionandocredibilidadsolo aaquellasquesuperenunciertoumbral,o cumplandeterminadaspropiedades. Bibliografa Agirre,E.yD.Martinez.2002.Integratingselectionalpreferencesinwordnet. EnProceedingsoftherstInternational WordNetConferenceinMysore,India,21-25January.

8 Atserias,J.,S.Climent,X.Farreres,G.Rigau,yH.Rodrguez.1997.Combining multiplemethodsfortheautomaticconstructionofmultilingualwordnets.en ProcceedingofRANLP'97,paginas143{ 149,Bulgaria.AlsotoappearinaBook. B.Magnini,G.Cavaglia,G.Pezzulo A.Gliozzo.2001.UsingDomainInformationforWordSenseDisambiguation. ProceedingnsofSENSEVAL-2,France. Bentivogli,L.,E.Pianta,yC.Girardi Multiwordnet:developinganalignedmultilingualdatabase.EnFirstInternational ConferenceonGlobalWordNet,Mysore, India. Fellbaum,C.,editor.1998.WordNet.An ElectronicLexicalDatabase.TheMIT Press. Gonzalo,J.,F.Verdejo,C.Peters,yN.Calzolari.1998.Applyingeurowordnetto cross-languagetextretrieval.computers andhumanities. Harabagiu,S.,M.Pasca,yS.Maiorano Experimentswithopen-domaintextualquestionanswering.EnProceedings ofcoling-2000,saarbrukengermany. Magnini,B.yG.Cavaglia.2000.Integratingsubjecteldcodesintowordnet. EnInProceedingsoftheSecondInternatgionalConferenceonLanguageResources andevaluationlrec'2000,athens.greece. Magnini,B.yC.Strapparava.2000.ExperimentsinWordDomainDisambiguation forparalleltexts.proceedingnsofacl, HomgKong. Magnini,B.yC.Strapparava.2002.User modellingfornewswebsiteswithcontent- basedtechniques.enproceedingswww- 2002,theEleventhInternationalWorld WideWebConference,Postersession, Honululu,Hawaii,USA,. Magnini,B.,C.Strapparava,G.Pezzulo,y A.Gliozzo.2002.ComparingOntology- BasedandCorpus-BasedDomainAnnotationsinWordNet.InProceedingsofFirst InternationalWordNetConference. McCarthy,D.2001.LexicalAcqusitionatthe Syntax-SemanticsInterface:DiathesisAlternations,SubcategorizationFramesand SelectionalPreferences.Ph.D.tesis,UniversityofSussex. Miller,G.,C.Beckwith,D.Fellbaum, D.Gross,yK.Miller.1990.Fivepapers onwordnet.cognitivesciencelaboratory,princetonuniversity,report43. Rigau,G.,J.Atserias,yE.Agirre Combiningunsupervisedlexicalknowledgemethodsforwordsensedisambiguation.EnProceedingsofjoint35thAnnualMeetingoftheAssociationforComputationalLinguisticsand8thConferenceoftheEuropeanChapteroftheAssociationforComputationalLinguistics ACL/EACL'97,Madrid,Spain.