Procesadores de Lenguaje

Transcripción

1 Procesadores de Lenguaje El Procesamiento de Lenguajes Naturales Cristina Tîrnăucă Dept. Matesco, Universidad de Cantabria Fac. Ciencias - Ing. Informática - Primavera de de mayo de 2010

2 Componentes Análisis fonológico: fonemas Análisis morfológico: morfemas (ejemplo: espantapájaros) Definición buena: Es la rama de la lingüística que estudia la estructura interna de las palabras para delimitar, definir y clasificar sus unidades, las clases de palabras a las que da lugar (morfología flexiva) y la formación de nuevas palabras (morfología léxica)

3 Componentes Análisis fonológico: fonemas Análisis morfológico: morfemas (ejemplo: espantapájaros) Definición buena: Es la rama de la lingüística que estudia la estructura interna de las palabras para delimitar, definir y clasificar sus unidades, las clases de palabras a las que da lugar (morfología flexiva) y la formación de nuevas palabras (morfología léxica) Análisis léxico: nombre, adjetivo, artículo, pronombre, verbo...

4 Componentes Análisis fonológico: fonemas Análisis morfológico: morfemas (ejemplo: espantapájaros) Definición buena: Es la rama de la lingüística que estudia la estructura interna de las palabras para delimitar, definir y clasificar sus unidades, las clases de palabras a las que da lugar (morfología flexiva) y la formación de nuevas palabras (morfología léxica) Análisis léxico: nombre, adjetivo, artículo, pronombre, verbo... Análisis sintáctico: sujeto, predicato, complemento...

5 Componentes Análisis fonológico: fonemas Análisis morfológico: morfemas (ejemplo: espantapájaros) Definición buena: Es la rama de la lingüística que estudia la estructura interna de las palabras para delimitar, definir y clasificar sus unidades, las clases de palabras a las que da lugar (morfología flexiva) y la formación de nuevas palabras (morfología léxica) Análisis léxico: nombre, adjetivo, artículo, pronombre, verbo... Análisis sintáctico: sujeto, predicato, complemento... Análisis semántico

6 Componentes Análisis fonológico: fonemas Análisis morfológico: morfemas (ejemplo: espantapájaros) Definición buena: Es la rama de la lingüística que estudia la estructura interna de las palabras para delimitar, definir y clasificar sus unidades, las clases de palabras a las que da lugar (morfología flexiva) y la formación de nuevas palabras (morfología léxica) Análisis léxico: nombre, adjetivo, artículo, pronombre, verbo... Análisis sintáctico: sujeto, predicato, complemento... Análisis semántico Análisis del discurso: anáforas, catáforas...

7 Componentes Análisis fonológico: fonemas Análisis morfológico: morfemas (ejemplo: espantapájaros) Definición buena: Es la rama de la lingüística que estudia la estructura interna de las palabras para delimitar, definir y clasificar sus unidades, las clases de palabras a las que da lugar (morfología flexiva) y la formación de nuevas palabras (morfología léxica) Análisis léxico: nombre, adjetivo, artículo, pronombre, verbo... Análisis sintáctico: sujeto, predicato, complemento... Análisis semántico Análisis del discurso: anáforas, catáforas... Análisis pragmático: insinuaciones, alusiones, juegos de palabras, presuposiciones...

8 Dificultades en el PLN Ambigüedad (a nivel léxico, referencial: anáforas y catáforas, estructural: de agrupamiento o funcional, pragmático,...)

9 Dificultades en el PLN Ambigüedad (a nivel léxico, referencial: anáforas y catáforas, estructural: de agrupamiento o funcional, pragmático,...) Han puesto un banco nuevo en la plaza.

10 Dificultades en el PLN Ambigüedad (a nivel léxico, referencial: anáforas y catáforas, estructural: de agrupamiento o funcional, pragmático,...) Los ladrones robaron los cuadros. Los encontraron posteriormente.

11 Dificultades en el PLN Ambigüedad (a nivel léxico, referencial: anáforas y catáforas, estructural: de agrupamiento o funcional, pragmático,...) A esto me refiero: a que te has portado mal.

12 Dificultades en el PLN Ambigüedad (a nivel léxico, referencial: anáforas y catáforas, estructural: de agrupamiento o funcional, pragmático,...) María guardó las revistas que Paco dejó bajo la cama.

13 Dificultades en el PLN Ambigüedad (a nivel léxico, referencial: anáforas y catáforas, estructural: de agrupamiento o funcional, pragmático,...) Compraré solo este regalo.

14 Dificultades en el PLN Ambigüedad (a nivel léxico, referencial: anáforas y catáforas, estructural: de agrupamiento o funcional, pragmático,...) Salió de la cárcel con tanta honra, que le acompañaron doscientos cardenales sino que a ninguno llamaban eminencia.

15 Dificultades en el PLN Ambigüedad (a nivel léxico, referencial: anáforas y catáforas, estructural: de agrupamiento o funcional, pragmático,...) Desambiguación: word-category disambiguation (POS), word-sense disambiguation (corpora, hidden Markov models, programación dinámica,...)

16 Dificultades en el PLN Ambigüedad (a nivel léxico, referencial: anáforas y catáforas, estructural: de agrupamiento o funcional, pragmático,...) Desambiguación: word-category disambiguation (POS), word-sense disambiguation (corpora, hidden Markov models, programación dinámica,...)

17 Dificultades en el PLN Ambigüedad (a nivel léxico, referencial: anáforas y catáforas, estructural: de agrupamiento o funcional, pragmático,...) Desambiguación: word-category disambiguation (POS), word-sense disambiguation (corpora, hidden Markov models, programación dinámica,...)

18 Dificultades en el PLN Ambigüedad (a nivel léxico, referencial: anáforas y catáforas, estructural: de agrupamiento o funcional, pragmático,...) Desambiguación: word-category disambiguation (POS), word-sense disambiguation (corpora, hidden Markov models, programación dinámica,...) Detección de separación entre las palabras o frases (text segmentation: word segmentation, sentence segmentation)

19 Dificultades en el PLN Ambigüedad (a nivel léxico, referencial: anáforas y catáforas, estructural: de agrupamiento o funcional, pragmático,...) Desambiguación: word-category disambiguation (POS), word-sense disambiguation (corpora, hidden Markov models, programación dinámica,...) Detección de separación entre las palabras o frases (text segmentation: word segmentation, sentence segmentation) Recepción imperfecta de datos

20 Gramáticas para el NLP, una retrospectiva El enfoque estructuralista (Ferdinand de Saussure, ) and phrase structure/constituency (Leonard Bloomfield)

21 Gramáticas para el NLP, una retrospectiva El enfoque estructuralista (Ferdinand de Saussure, ) and phrase structure/constituency (Leonard Bloomfield) Chomsky: generative grammars (CFGs,...)

22 Gramáticas para el NLP, una retrospectiva El enfoque estructuralista (Ferdinand de Saussure, ) and phrase structure/constituency (Leonard Bloomfield) Chomsky: generative grammars (CFGs,...) Transformational grammars (Chomsky)

23 Gramáticas para el NLP, una retrospectiva El enfoque estructuralista (Ferdinand de Saussure, ) and phrase structure/constituency (Leonard Bloomfield) Chomsky: generative grammars (CFGs,...) Transformational grammars (Chomsky) Valencies and interpretations

24 Gramáticas para el NLP, una retrospectiva El enfoque estructuralista (Ferdinand de Saussure, ) and phrase structure/constituency (Leonard Bloomfield) Chomsky: generative grammars (CFGs,...) Transformational grammars (Chomsky) Valencies and interpretations Constraints: generalized phrase structure grammars (GPSG)

25 Gramáticas para el NLP, una retrospectiva El enfoque estructuralista (Ferdinand de Saussure, ) and phrase structure/constituency (Leonard Bloomfield) Chomsky: generative grammars (CFGs,...) Transformational grammars (Chomsky) Valencies and interpretations Constraints: generalized phrase structure grammars (GPSG) Head-driven phrase structure grammars (HDPSG)

26 Gramáticas para el NLP, una retrospectiva El enfoque estructuralista (Ferdinand de Saussure, ) and phrase structure/constituency (Leonard Bloomfield) Chomsky: generative grammars (CFGs,...) Transformational grammars (Chomsky) Valencies and interpretations Constraints: generalized phrase structure grammars (GPSG) Head-driven phrase structure grammars (HDPSG) Unification

27 Gramáticas para el NLP, una retrospectiva El enfoque estructuralista (Ferdinand de Saussure, ) and phrase structure/constituency (Leonard Bloomfield) Chomsky: generative grammars (CFGs,...) Transformational grammars (Chomsky) Valencies and interpretations Constraints: generalized phrase structure grammars (GPSG) Head-driven phrase structure grammars (HDPSG) Unification Meaning-text theory (MTT)

28 El NLP en la actualidad Trade-off entre gramáticas con propriedades bonitas y gramáticas que son facil de analizar desde el punto de vista computacional

29 El NLP en la actualidad Trade-off entre gramáticas con propriedades bonitas y gramáticas que son facil de analizar desde el punto de vista computacional Los analizadores modernos son, al menos parcialmente, estadísticos: se basan en un corpus de datos de entrenamiento previamente anotados Colorless green ideas sleep furiously. / Furiously sleep ideas green colorless.

30 El NLP en la actualidad Trade-off entre gramáticas con propriedades bonitas y gramáticas que son facil de analizar desde el punto de vista computacional Los analizadores modernos son, al menos parcialmente, estadísticos: se basan en un corpus de datos de entrenamiento previamente anotados Colorless green ideas sleep furiously. / Furiously sleep ideas green colorless. La mayoría de los algoritmos de análisis estadísticos se basan en una forma (modificada) de chart parsing

31 El NLP en la actualidad Trade-off entre gramáticas con propriedades bonitas y gramáticas que son facil de analizar desde el punto de vista computacional Los analizadores modernos son, al menos parcialmente, estadísticos: se basan en un corpus de datos de entrenamiento previamente anotados Colorless green ideas sleep furiously. / Furiously sleep ideas green colorless. La mayoría de los algoritmos de análisis estadísticos se basan en una forma (modificada) de chart parsing Ejemplos: Earley parser, Cocke-Younger-Kasami (CYK) parser

32 El NLP en la actualidad Trade-off entre gramáticas con propriedades bonitas y gramáticas que son facil de analizar desde el punto de vista computacional Los analizadores modernos son, al menos parcialmente, estadísticos: se basan en un corpus de datos de entrenamiento previamente anotados Colorless green ideas sleep furiously. / Furiously sleep ideas green colorless. La mayoría de los algoritmos de análisis estadísticos se basan en una forma (modificada) de chart parsing Ejemplos: Earley parser, Cocke-Younger-Kasami (CYK) parser adecuados para gramáticas ambiguas

33 El NLP en la actualidad Trade-off entre gramáticas con propriedades bonitas y gramáticas que son facil de analizar desde el punto de vista computacional Los analizadores modernos son, al menos parcialmente, estadísticos: se basan en un corpus de datos de entrenamiento previamente anotados Colorless green ideas sleep furiously. / Furiously sleep ideas green colorless. La mayoría de los algoritmos de análisis estadísticos se basan en una forma (modificada) de chart parsing Ejemplos: Earley parser, Cocke-Younger-Kasami (CYK) parser adecuados para gramáticas ambiguas programación dinámica

34 El NLP en la actualidad Trade-off entre gramáticas con propriedades bonitas y gramáticas que son facil de analizar desde el punto de vista computacional Los analizadores modernos son, al menos parcialmente, estadísticos: se basan en un corpus de datos de entrenamiento previamente anotados Colorless green ideas sleep furiously. / Furiously sleep ideas green colorless. La mayoría de los algoritmos de análisis estadísticos se basan en una forma (modificada) de chart parsing Ejemplos: Earley parser, Cocke-Younger-Kasami (CYK) parser adecuados para gramáticas ambiguas programación dinámica Herramientas: tree transducers, synchronous grammars, tree bimorphisms