Curso de procesamiento del lenguaje natural

Transcripción

1 Curso de procesamiento del lenguaje natural César Antonio Aguilar Facultad de Lenguas y Letras 02/05/2012 Cesar.Aguilar72@gmail.com

2 Qué es una palabra dentro de un corpus? (1) Un hecho que se da muchas veces por sentado en lenguaje natural es el término palabra. Usualmente, la vemos como una cadena de caracteres delimitada por espacios en blanco, con un contenido léxico específico, además de tener rasgos fonológicos, morfológicos y sintácticos. Ahora, esto es así de claro siempre? Qué pasa con las lenguas que tienen como medio de escritura los ideogramas? El primer grafo se pronuncia rén, y significa persona ; el segundo se prouncia mù, y significa árbol. Ambos son identificados como palabras.

3 Qué es una palabra dentro de un corpus? (2) Otro caso, por ejemplo, son las lenguas con morfología aglutinante, p. e., en alemán una frase como La biblioteca de la Universidad de Stuttgart equivalen a dos palabras: Universitätsbibliothek Stuttgart. Existen casos curiosos como la palabra Bundeslandwirtschaftsministerin, que equivale en español a Ministro de Estado para Asuntos Económicos.

4 Qué es una palabra dentro de un corpus? (3) Incluso en español tenemos casos curiosos. Cómo escribirían estas palabras?:

5 Análisis al nivel de palabra (1)

6 Análisis al nivel de palabra (2)

7 Análisis al nivel de palabra (3)

8 Un déjà vu con el POS

9 Por qué es útil el etiquetado POS?

10 Textos crudos y cocidos

11 Procesando textos nuevamente (1) Retomemos nuestros experimentos con NLTK, para lo cual vamos a emplear nuestro conocido texto sobre Turing. Las herramientas que requerimos importar primero son: Una vez hecho esto, importemos nuestro archivo de texto: Cadena_Turing01 = open( Escritorio/turing01.txt', 'ru').read()

12 Procesando textos nuevamente (2) Volvamos a desarrollar el código que hicimos la clase pasada: 1. Tokenizar con la opción que NLTK da default: Tokens_Turing01 = nltk.word_tokenize(cadena_turing01) 2. Insertar etiquetas POS default desde NLTK: Tagged_Turing01 = nltk.pos_tag(tokens_turing01) 3. Mostrar algunos resultados: Tagged_Turing01[0:100]

13 Procesando textos nuevamente (3) Pregunta: que tenemos realmente en nuestro archivo Turing: types o tokens asociados a palabras? Mientras pensamos esto, resolvamos la siguiente cuestión: cuántas palabras hay aquí?

14 Procesando textos nuevamente (4)

15 Procesando textos nuevamente (5) >>> Tokens_Turing01 = nltk.word_tokenize(cadena_turing01)

16 Procesando textos nuevamente (6) Un resultado conocido:

17 Procesando textos nuevamente (6) Un atajo: podemos tokenizar directamente nuestro documento con las siguientes funciones:

18 El algoritmo de Porter (1) La lematización de corpus textuales (sobre todo en inglés) ha tenido un avance considerable a partir de la implementación del algoritmo de Porter.

19 El algoritmo de Porter (2) Para ahorrarnos unas palabras, veamos la explicación que da de este algortimo Dan Jurafsky en su curso:

20 El algoritmo de Porter (3) Las reglas que aplica Porter son las siguientes:

21 El algoritmo de de Porter (4) (4) El algoritmo permite trabajar con palabras que tengan flexión regular o irregular:

22 El algoritmo de Porter (5) Finalmente, este algoritmo nos permite hacer un análisis morfológico bastante eficaz, incluso adaptándolo a otras lenguas.

23 El algoritmo de Porter (6)

24 El algoritmo de Brill (1) Otro algoritmo útil en esta clase de procesamiento al nivel de palabra es el que desarrolló Eric Brill, el cual reconoce formas de palabras, asociándolas posteriormente a una etiqueta sintáctica. Al respecto pueden ver el siguiente sitio WEB: Brill_tagger Eric Brill

25 El algoritmo de Brill (2) El algoritmo de Brill se fundamenta en el aprendizaje basado en transformaciones y dirigido por el error. Este algoritmo consta de los siguientes módulos:

26 El algoritmo de Brill (3) El etiquetador léxico funciona del siguiente modo:

27 El algoritmo de Brill (4) Por su parte, el etiquetador de palabras desconocidas intenta adivinar una etiqueta para una palabra desconocida en función de sus afijos (sufijos o prefijos), y de otras propiedades relevantes similares

28 El algoritmo de Brill (5) El algoritmo de Brill cuenta también con una plantilla genérica de transformaciones léxicas, esto es:

29 El algoritmo de Brill (5) Un ejemplo de transformaciones:

30 El algoritmo de Brill (6) Ejemplos de aplicación en español:

31 El algoritmo de Brill (7) El etiquetador contextual actúa justo después del etiquetador de palabras desconocidas, ya que aplica en orden una secuencia de reglas contextuales que han sido aprendidas de manera automática a partir del corpus de entrenamiento. Un ejemplo es:

32 El algoritmo de Brill (8) El etiquetador contextual también cuenta con una plantilla de transformaciones:

33 El algoritmo de Brill (9) Veamos un caso aplicado al inglés. Supongamos que queremos aplicar un proceso de etiquetado basados en el Corpus Brown:

34 El algoritmo de Brill (10) Aplicamos nuestro etiquetador, y obtenemos oraciones anotadas como:

35 El algoritmo de Brill (11) Si aplicamos el algoritmo de Brill, el módulo de etiquetado contextual podría aplicar las siguientes reglas:

36 El algoritmo de Brill (12) Aplicando la segunda regla obtenemos: Para mayores detalles, pueden consultar la siguiente página, la cual es una explicación que dan Miguel Alonso, Jorge Graña y Jesús Virales, de la Universidad de La Coruña (España):

37 El algoritmo de Porter en NLTK (1) NLTK nos permite usar estos dos algoritmos de manera automática para detectar raíces en nuestros textos. En esta clase, vamos a abordar en concreto el algoritmo de Porter. La instrucción para importarlo es: >>> porter = nltk.porterstemmer() Vamos a complementar el uso del algoritmo de Porter con otro similar, llamado alroritmo de Lancaster: >>> lancaster = nltk.lancasterstemmer()

38 El algoritmo de Porter en NLTK (2) Apliquemos entonces el algoritmo de Porter con la siguiente instrucción: >>> [porter.stem(t) for t in Tokens_Turing01] El resultado lo podemos ver en la siguiente lámina:

39 El algoritmo de Porter en NLTK (3) Intuitivamente, qué errores comete el algoritmo en nuestro texto? De qué manera creen que puedan mejorarse?

40 El algoritmo de Porter en NLTK (4) Ahora, usemos el algoritmo de Lancaster: >>> [lancaster.stem(t) for t in Tokens_Turing01] El resultado lo podemos ver en la siguiente lámina:

41 El algoritmo de Porter en NLTK (5) Qué diferencias encuentran respecto a los resultados arrojados por el algoritmo de Porter?

42 Usando WordNet para lematizar palabras (1) Finalmente, también se puede lematizar un documento. Para ello, NLTK emplea como diccionario una red léxica (otros lo llamarían ontología) con un listado de palabras asociadas a uno o varios ítems léxicos. Esta red léxica es WordNet. La instrucción es: >>> wnl_turing01 = nltk.wordnetlemmatizer() >>> [wnl_turing01.lemmatize(t) for t in Tokens_Turing01]

43 Usando WordNet para lematizar palabras (2) Resultado: Qué diferencias encuentran respecto a la tokenización y la lematización? En qué les podría resultar útil?

44 Gracias por su atención Blog del curso: