PLN y aprendizaje automático

Transcripción

1 PLN y aprendizaje automático

2 Índice Introducción Tareas, recursos y herramientas Referencias

3 Introducción

4 Un caso real En 2001, el Ministerio de Trabajo de los EEUU decidió construir un sistema web para buscar las ofertas de formación en todo el país. Los requisitos eran: Soportar búsquedas sobre todas las ofertas según distintos criterios. Recopilar automáticamente las ofertas desde los diferentes sitios web. Analizar la base de datos obtenida para encontrar patrones comunes o tendencias.

5 Los problemas Múltiples fuentes de información. Casi ningún sistema ofrecía interfaces a sus bases de datos internas. El apoyo más útil era el de los aspectos de presentación (tablas, columnas, marcas HTML). La información podía aparecer en texto sin formato.

6 Las soluciones Buscadores de documentos. Clasificadores de documentos. Wrappers: extractores basados en formatos (HTML, CSV, tablas). Extracción de información

7 Extracción de información Se encarga de completar los campos de una base de datos desde texto sin formato. Comprende las siguientes etapas: Segmentación Clasificación Asociación Normalización De-duplicación

8 Texto inicial

9 Las distintas etapas

10 FlipDog.com Extrae ofertas de trabajo de us sitios web de empresas. En poco tiempo dobló el número de ofertas de Monster (u de los líderes en EEUU). Produce un informe mensual de tendencias analizando su base de datos.

11 ZoomInfo.com Extrae información de personas y empresas de las páginas de todo el mundo (>30 millones). Genera informes automáticamente. Permite a los interesados añadir información a esos informes.

12 MediClaim de Verity Escanea formularios de solicitudes a seguros médicos. Se apoya en la regularidad de esos formularios para extraer la información relevante. Cubre el proceso papel -> base de datos ahorrando costes.

13 CiteSeer Extrae información de citas desde la cabecer de artículos científicos. Puede identificar los artículos semilla en cada campo o calcular índices de impacto. Cumple además una función de buscador de documentos científicos.

14 Cómo se hace esto Se puede hacer una extracción simple con expresiones regulares. Para casos un poco más complejos se pueden usar reglas apoyadas en características como el tipo de letra o la posición en la página. En ambos casos se necesita cierta regularidad. En cuanto la variedad es grande ninguna de las soluciones es viable. Hasta que llegue la Web Semántica, enfrentarse al Lenguaje Natural parece la única vía y el aprendizaje automático una buena opción.

15 Aprendizaje automático Se basa en algoritmos que producen automáticamente reglas. El criterio para producirlas es su adaptación a los ejemplos disponibles. Ahora ya hay que escribir reglas, hay que buscar ejemplos. Es más fácil, barato y adaptable.

16 Un buen mil Cuanto más lee una persona, mejor sabe: expresarse leer y comprender lo leído Una rama muy importante del aprendizaje automático sigue una filosofía similar: Cuantos más ejemplos de un problema tenga registrados una máquina, mejor sabe: resolver ese problema

17 Bases de datos de entrenamiento Base de datos de un supermercado: leche cerveza pañales azúcar agua mantequilla carne Un estudio detectó que los viernes se compran más pañales y cerveza. Puede ayudar a la toma de decisiones. pescado

18 Y en el PLN? Nos centraremos en el PLN escrito. En este contexto los ejemplos vienen incluidos en textos. Las bases de datos utilizadas son colecciones de documentos y se deminan corpus: Un corpus puede estar atado o

19 Conexión PLN Aprendizaje automático Hay algoritmos de aprendizaje propios para el procesamiento de textos, pero el esquema general podría ser a: Nuevo ejemplo Corpus Extracción de características Base de datos Entrenamiento Modelo Resultado

20 Nada es perfecto Los límites actuales de las diversas tareas involucradas en la extracción de información son: - Recocimiento de mbres: 80%-90% - Asociación de mbres: 60% - De-duplicación: 70%-80%

21 Herramientas para extraer Herramientas de software libre para extraer información: - GATE - MALLET - MirThird - Road Runner

22 Tareas, recursos y herramientas

23 Clasificación de documentos <corpus> <documento> <id> 1001 </id> <clase> deporte </clase> <texto> La Agencia Tributaria ha decretado el embargo preventivo de los ingresos televisivos y publicitarios del Atlético de Madrid y 7 equipos de Segunda, entre ellos el recién ascendido Albacete. La cantidad que se embargaría asciende a 43,5 millones de euros debido al "riesgo de impago" de la deuda que tienen contraídos dichos clubes con el Ministerio de Hacienda. </texto> </documento> <documento> <id> 1005 </id> <clase> nacional </clase> <texto> El presidente de la Generalitat, Jordi Pujol, ha asegurado que el pasado sábado, fecha en la que se constituyeron los ayuntamientos tras las municipales del 25-M, obligó al candidato de CiU de El Vendrell a presentarse para evitar ser reelegido con el voto de la plataforma xenófoba. </texto> </documento> </corpus>

24 Etiquetado morfo-sintáctico Corpus CLiC-TALP (UPC) De de SPS00 la el DA0FS0 ma ma NCFS000 de de SPS00 un u DI0MS0 tío tío NCMS000 suyo suyo DP3MS0,, Fc volvió volver VMIS3S0 a a SPS00 casa casa NCFS000 una u DI0FS0 tarde tarde NCFS000,, Fc fue ir VMIS3S0 al al SPCMS cuarto cuarto NCMS000

25 Recocimiento de mbres Corpus CoNLL-2002 El O presidente O del O Consejo B-ORG por I-ORG la I-ORG Paz I-ORG, O organismo O observador O de O Perú B-LOC, O Francisco B-PER Díez I-PER Canseco I-PER, O consideró O

26 Análisis sintáctico superficial Corpus CoNLL-2000 But CC O analysts NNS B-NP reckon VBP B-VP underlying VBG B-NP support NN I-NP for IN B-PP sterling NN B-NP has VBZ B-VP been VBN I-VP eroded VBN I-VP by IN B-PP the DT B-NP chancellor NN I-NP 's POS B-NP failure NN I-NP to TO B-VP anunce VB I-VP any DT B-NP

27 Determinación del significado Corpus SemCor (vinculado a WordNet) <s snum=2> <wf cmd=igre pos=dt>the</wf> <wf cmd=done pos=nn lemma=farmer wnsn=1 lexsn=1:18:00::>farmer</wf> <wf cmd=igre pos=pos>'s</wf> <wf cmd=done pos=nn lemma=life wnsn=2 lexsn=1:26:02::>life</wf> <wf cmd=igre pos=md>must</wf> <wf cmd=done pos=vb ot=tag>be</wf> <wf cmd=done pos=vb lemma=arrange wnsn=0 lexsn=2:36:04::>arranged</wf> <wf cmd=igre pos=to>to</wf> <wf cmd=done pos=vb lemma=meet wnsn=6 lexsn=2:41:02::>meet</wf> <wf cmd=igre pos=dt>the</wf> <wf cmd=done pos=nn lemma=demand wnsn=5 lexsn=1:09:00::>demands</wf> <wf cmd=igre pos=in>of</wf> <wf cmd=done pos=nn lemma=crop wnsn=1 lexsn=1:20:00::>crops</wf> <wf cmd=igre pos=cc>and</wf> <wf cmd=done pos=nn lemma=livestock wnsn=1 lexsn=1:05:00::>livestock</wf> <punc>.</punc> </s>

28 TnT. Modelos de Markov TnT: Trigram Tagger P(I-ORG B-ORG) P(B-ORG O) I-ORG B-ORG P(O B-ORG)... O... P(B-LOC B-ORG) B-LOC P(Extremadura B-LOC) Extremadura... P(Londres B-LOC) Londres

29 TreeTagger. Árboles de decisión c1 c2 c3 c4 clase A c3<2 c3>= A B... c1<3 c1>=3 A A B A

30 fntbl. Basado en transformaciones TBL: Transformation Based (Error driven) Learning Recursos iniciales: W,T -> T W-1,T->T W-1,W,T->T Corpus etiquetado Plantillas de reglas del,vrb->nn Reglas 1 al,vrb->nn del,vrb->nn Reglas N C0-simple C1 CN

31 MBT. Basado en memoria MBT: Memory Based Tagger MBL: Memory Based Learning Optimización del método de los k-vecis más cercas

32 Referencias

33 Textos General Foundations of Statistical Natural Language Processing Extracción de información: Information Extraction. Distilling Structured Data from Unstructured Text Clasificación automática: Machine Learning in Automated Text Categorization Text Categorization and Prototypes MoL text.pdf

34 Recursos Corpus CLic-TALP Corpus análisis sintáctico superficial Corpus recocimiento de mbres Corpus determinación de significado WordNet

35 Herramientas de etiquetado TnT TreeTagger fntbl MBT

36 Herramientas de extracción GATE MALLET Road Runner MirThird third.sourceforge.net