Corpus Etiquetado léxico FreeLing

Tamaño: px

Comenzar la demostración a partir de la página:

Download "Corpus Etiquetado léxico FreeLing"

Lucía Núñez Roldán
hace 8 años
Vistas:

1 Corpus Etiquetado léxico FreeLing

2 Qué es un corpus? Un corpus es una colección de material lingüístico. Es de utilidad en diferentes áreas, principalemente en lingüística computacional y lingüística teórica.

3 Cómo se confecciona un corpus? Hay que definir varios puntos: escrito / oral idioma (un idioma o multilingüe) tipo de texto (prensa, literario, científico,...) dominio (arte, lingüística, bio-informática,...) anotado / no anotado (conjunto de etiquetas)

o multilingüe) tipo de texto (prensa, literario, científico,.

4 Cómo se consigue el material? textos en la web pedirlos (o comprarlos) a publicaciones derechos para uso / modificación / distribución

5 Algunos corpus importantes inglés Corpus Brown Penn Treebank español CREA y CORDE Corpus del español de Davies

6 Brown Corpus 1961 inglés americano palabras sólo material escrito (500 textos de aprox palabras) anotado (POS tags) disponible pagando licencia contiene material clasificado en 15 categorías: prensa: reportajes, editoriales,... literarios: misterio, ciencia ficción, romance,... religión humor...

2000 palabras) anotado (POS tags) disponible pagando licencia contiene

7 Penn Treebank 1989 inglés americano palabras material escrito y oral anotado (POS tags e información sintáctica) disponible pagando licencia contiene: artículos científicos noticias capítulos de obras literarias oraciones de manuales de computación el corpus Brown completo re-etiquetado

sintáctica) disponible pagando licencia contiene: artículos científicos

8 Corpus de Referencia del Español Actual (CREA) inicio 1993 español actual, todas las variedades palabras material escrito y oral no anotado disponible para consultas en línea (sin suscripción) contiene: ver descripción en RAE: Departamento de Banco de Da

000 palabras material escrito y oral no anotado disponible para

9 Corpus Diacrónico del Español (CORDE) inicio 1993 español anterior a 1975, todas las variedades palabras material escrito no anotado disponible para consultas en línea (sin suscripción) contiene: ver descripción en RAE: Departamento de Banco de Da

000 palabras material escrito no anotado disponible para

10 Corpus del Español (Mark Davies) 2001 español histórico y actual palabras material oral y escrito anotado disponible para consultas en línea (sin suscripción) contiene: ver descripción en

000 palabras material oral y escrito anotado disponible

11 Algunos sitios web Linguistic Data Consortium (LDC): licencia para acceso en-línea: U$ 1000 por año suscripciones para obtener los corpus en CD-ROM se puede acceder al Penn Treebank y el Brown Corpus, entre otros materiales Real Academia Española: se pueden consultar en línea el CREA y el CORDE no se puede acceder a los corpus completos

CD-ROM se puede acceder al Penn Treebank y el Brown Corpus, entre otros materiales Real

12 Algunos sitios web Corpus del español: se puede consultar en línea por palabras, lemas o categorías no se puede acceder al corpus completo

13 CORIN: un corpus del español de Uruguay proyecto que se está desarrollando en la Licenciatura en Lingüística. corpus anotado conjunto de etiquetas muy complejo dificultades para la anotación completa corpus pequeño

14 Proceso de anotación del Penn Treebank POS tags asignación automática de etiquetas + corrección manual Información sintáctica generación automática de subárboles + generación manual de la estructura completa de cada oración

Información sintáctica generación automática de

15 Proceso de anotación del Penn Treebank Conjunto de POS tags basado en las etiquetas del Brown Corpus conjunto más reducido por ejemplo, se eliminan etiquetas que aportan información recuperable a nivel léxico

conjunto más reducido por ejemplo, se eliminan

16 Proceso de anotación del Penn Treebank Conjunto de POS tags Brown Corpus Penn Treebank VB sing HV have DO do VB sing, have, do VBD sang HVD had DOD did VBD sang, had, did VBG singing, doing HVG having VBG singing, having, doing VBN sung, done HVN had VBN sung, had, done VBZ sings HVZ has DOZ does VBZ sings, has, does

sang, had, did VBG singing, doing HVG having -- -- VBG singing, having, doing VBN

17 Proceso de anotación del Penn Treebank Asignación automática de POS tags tagger PARTS (AT&T Bell Labs) tasa de error de 3-5 % asigna etiquetas del corpus Brown mapeo automático a etiquetas del Penn Treebank

18 Proceso de anotación del Penn Treebank Corrección manual de POS tags diferentes anotadores utilización de un software específico se agregan correcciones sin eliminar etiqueta del tagger (para posibles mejoras del tagger)

de un software específico se agregan correcciones sin

19 Proceso de anotación del Penn Treebank Anotación sintáctica

20 ( (S PENN TREEBANK (NP-SBJ (DT The) (NN move)) (VP (VBD followed) (NP (NP (DT a) (NN round)) (PP (IN of) (NP (NP (JJ similar) (NNS increases)) (PP (IN by) (NP (JJ other) (NNS lenders))) (PP (IN against) (NP (NNP Arizona) (JJ real) (NN estate) (NNS loans)))))) (,,) (S-ADV (NP-SBJ (-NONE- *)) (VP (VBG reflecting) (NP (NP (DT a) (VBG continuing) (NN decline)) (PP-LOC (IN in) (NP (DT that) (NN market))))))) (..))) The move followed a round of similar increases by other lenders against Arizona real estate loans, reflecting a continuing decline in market.

(S-ADV (NP-SBJ (-NONE- *)) (VP (VBG reflecting) (NP (NP (DT a) (VBG continuing) (NN decline)) (PP-LOC (IN in) (NP (DT that) (NN

21 Etiquetado léxico INPUT Texto + Etiquetador Léxico Conjunto de Etiquetas OUTPUT Texto Etiquetado

22 Etiquetado léxico Objetivo: dado un texto, atribuir a cada constituyente su categoría gramatical. Por ejemplo: El gato come pescado. <det> <nom> <verbo> <nom> <sp> Podemos automatizarlo? Problemas?

23 Etiquetado léxico: categorías Conjuntos reales de categorías gramaticales: Léxicas (se asignan a palabras o locuciones) Sintagmáticas (se asignan a constituyentes) Categorías léxicas Cuántas distintas? Simples o estructuradas Asignables por métodos automáticos

24 Etiquetado léxico: categorías Categorías del corpus Brown BE verb "to be", infinitive or imperative be BED BED* FW-JJ VBN VBZ verb "to be", past tense, 2nd person singular or all persons plural verb "to be", past tense, 2nd person singular or all persons plural, negated foreign word: adjective verb, past participle verb, present tense, 3rd person singular were weren't serieuses royaux anticus Sovietskaya conducted charged won deserves believes receives takes

25 Etiquetado léxico: más información Y si queremos más información? (ejemplo utilizando Freeling)

26 Etiquetado léxico: ambigüedad Algunos ejemplos de ambigüedad: Bajo con el hombre bajo a tocar el bajo bajo la escalera. El señor Mesa se mesa la barba al lado de la mesa. Dejá en la barra la barra de pan, para que el mozo barra. Sobre la mesa está el sobre.

27 Etiquetado léxico: palabras desconocidas Palabras desconocidas: es habitual que aparezcan, especialmente en dominios técnicos. Alta probabilidad de que sean sustantivos (especialmente nombres propios). Aparecen también adjetivos, verbos, adverbios. Cómo se resuelven? usar morfología (-ión, -ando, -mente, etc.).

28 Etiquetado léxico: enfoques Dos enfoques principales: Por reglas: Grandes bases de conocimiento con reglas de desambiguación. Enfoques estadísticos: Entrenamiento de modelos a partir de grandes corpus. Estimación de la probabilidad de que una palabra tenga determinada categoría gramatical dado un contexto. Se combinan los dos enfoques

29 Etiquetado léxico: evaluación Se compara el desempeño del etiquetador con el desempeño ideal. Cuál es el desempeño ideal? Desempeño humano Pero distintas personas suelen no coincidir Concordancia entre anotadores 97%, similar a performance de los etiquetadores actuales 100% si hay discusión

30 Etiquetado léxico: evaluación Techo : concordancia inter-anotadores - gold standard. Piso : asignar a cada palabra su categoría más probable baseline. Se ha reportado alrededor de un 91% de acierto usando la categoría más probable. FreeLing alcanza un 98% de acierto.

31 FreeLing Es un etiquetador de distribución libre desarrollado por la Universidad Politécnica de Catalunya y la Universidad de Barcelona.

32 Freeling: conjunto de categorías 1. Adjetivos 2. Adverbios 3. Determinantes 4. Nombres 5. Verbos 6. Pronombres 7. Conjunciones 8. Preposiciones 9. Interjecciones (ah, ejem, eh ) 10. Signos De Puntuación (Preprocesamiento) 11. Cifras (222, cuarenta y ocho, cinco pesos ) 12. Fechas Y Horas (lunes 20 de mayo de 1974, marzo de 2002, cinco de la mañana )

33 Freeling: conjunto de categorías Para cada categoría define atributos y valores posibles. Lematiza y etiqueta combinando atributos.

34 Freeling: conjunto de categorías

Documentos relacionados

Introducción al Procesamiento de Lenguaje Natural. Grupo de PLN - InCo

Introducción al Procesamiento de Lenguaje Natural Grupo de PLN - InCo Análisis Léxico Análisis Léxico Objetivo: dado un texto, atribuir a cada constituyente su categoría gramatical. Por ejemplo: El/DET