Introducción al Procesamiento de Lenguaje Natural. Obligatorio Corrector Ortográfico en Python

Transcripción

1 Introducción al Procesamiento de Lenguaje Natural Obligatorio Corrector Ortográfico en Python Facultad de Ingeniería Instituto de Computación Grupo de Procesamiento de Lenguaje Natural El objetivo de este obligatorio es incorporar a un editor de texto algunas funcionalidades básicas de corrección ortográfica y análisis fonético. Nota previa - IMPORTANTE Se debe cumplir íntegramente el Reglamento del Instituto de Computación ante Instancias de No Individualidad en los Laboratorios, disponible en En particular está prohibido utilizar documentación de otros grupos, de otros años, de cualquier índole, o hacer público código a través de cualquier medio (news, correo, papeles sobre la mesa, etc.). Forma de entrega La entrega se realizará a través del sitio del curso, en una página destinada a tal fin que se habilitará cerca de la fecha de entrega. Se debe entregar un solo archivo 'ob1.zip' que contenga los ítems descritos en el apartado Entregable. Fecha de entrega Los trabajos deberán ser entregados siguiendo el procedimiento descrito anteriormente antes del domingo 19 de setiembre de 2010 a las 23:30 horas, sin excepciones. No se aceptará ningún trabajo pasada la citada fecha. Observaciones Si bien las herramientas que se utilizarán durante la construcción del laboratorio están disponibles para diversas plataformas, no son portables de manera transparente y para adaptar su funcionamiento en general se requiere cambiar varias secciones de código. Por tal motivo recomendamos que para la implementación del obligatorio se utilicen las versiones disponibles para la plataforma Windows. Página 1 de 5

2 Descripción del problema El objetivo del obligatorio a lo largo de todo el semestre es construir un corrector ortográfico que funcione sobre un procesador de texto simple. En cada entrega del obligatorio se construirán nuevas funcionalidades del corrector, las cuales irán creciendo en complejidad. En esta primera etapa tenemos como objetivo general acostumbrarnos al manejo del lenguaje Python, entender el funcionamiento del procesador de texto que utilizaremos, y aprender a manejar algunas de las bibliotecas externas que necesitaremos. El objetivo específico de la primera entrega es la implementación de las siguientes funcionalidades: Tokenización y búsqueda de las palabras del texto en un diccionario Búsqueda de palaras cercanas (para las que no estén en el diccionario) Identificación de la pronunciación de una palabra Detección de homófonos de una palabra Editor de Texto Se proveerá un editor de texto simple implementado en Python [1]. El mismo tiene incorporadas las invocaciones a las funcionalidades de corrección ortográfica que se deben implementar. En este primer obligatorio las funcionalidades del editor son: un comando del menú Herramientas para revisar la ortografía, y un menú contextual para selecciones de texto. Este último permite revisar la ortografía, o ver el análisis fonético en caso de seleccionar una sola palabra. Cuando se realiza la revisión ortográfica, los errores se marcan en rojo, y se asocia un menú contextual con las palabras alternativas. Los módulos que se proveen son: editor_texto.py: contiene toda la lógica del procesador de texto e invoca las funciones del módulo pln_corrector. Este módulo no debe modificarse. pln_commons.py: contiene clases que se utilizarán como interfaz entre el módulo del editor de texto y el módulo corrector a implementar. Este módulo no debe modificarse. pln_corrector.py: stub que contiene la firma de los métodos de corrección ortográfica que utiliza el editor de texto. Durante el obligatorio se realizará la implementación de este módulo. Para la resolución de algunos de los problemas, el código a implementar tendrá que interactuar con sistemas externos a Python que se ejecutan mediante un binario directamente en la consola. Para poder interactuar con estos programas se recomienda el uso de subprocesos de Python a través del módulo subprocess [2]. El módulo pln_corrector contiene la clase Corrector, que define varios métodos utilizados por el editor de texto para realizar la corrección ortográfica. En las diferentes etapas del obligatorio se irán implementando estos métodos de forma incremental, y se indicará para cada entrega cuáles son los métodos importantes a desarrollar. De las clases contenidas en el módulo pln_commons, en esta primera etapa se utilizarán las siguientes: TokenTexto: Clase que representa un string junto con sus índices de inicio y fin dentro del texto, y un análisis de tipo TokenAnalisis. TokenAnalisis: Incluye toda la información que utiliza el editor de texto para presentar los errores y las alternativas de corrección. Ortografia: Clase que encapsula la información sobre si la palabra está en el diccionario, o qué alternativas cercanas hay en el diccionario. Fonetica: Clase que encapsula la pronunciación y la lista de homófonos de la palabra. Página 2 de 5

3 Bibliotecas de Python Para el correcto funcionamiento del editor de texto, se deberán instalar las siguientes bibliotecas de Python: tkinter La biblioteca gráfica utilizada por el editor de texto es tkinter [3], que se basa en la ampliamente difundida librería para construcción de GUIs tk. nltk El framework nltk [4] es un conjunto de herramientas para pln implementadas en Python. El editor de texto utiliza algunas de sus funcionalidades para presentar ciertos tipos de objetos lingüísticos. Su utilización será más importante en entregas siguientes del laboratorio, pero como es de código abierto es posible analizar cómo están implementadas algunas funciones que nos pueden ayudar en esta primera entrega. Uso del encoding Uno de los primeros problemas con el que nos encontramos al trabajar con textos en español es la existencia de diferentes codificaciones para los caracteres especiales (tildes y eñes, por ejemplo). El editor de texto permite seleccionar el encoding a utilizar para cargar los archivos, pero tener en cuenta que hay que asegurar la compatibilidad con los módulos externos y con archivos que se carguen de disco. Por más información ver [5]. Búsqueda en diccionario En primer lugar se debe confeccionar un diccionario de términos en español. Para eso se pueden utilizar las fuentes que se consideren adecuadas, siempre y cuando se documente de dónde se obtuvieron los datos. Cuando el usuario desea revisar la ortografía del texto, el editor de texto invocará el método revisarortografia del módulo corrector. Dentro de este método se debe realizar lo siguiente: Separar el texto en tokens, obteniendo para cada token el string que lo representa y los índices de inicio y fin del mismo (todo esto se representa mediante la clase TokenTexto). Se debe considerar que cada símbolo de puntuación es un token independiente. Incluir la lógica de esta operación en el método obtenertokens, que toma además el parámetro ini, un entero indicando el offset del texto ingresado dentro del texto original. Buscar cada token (salvo los símbolos de puntuación) en el diccionario construido. Para cada uno se debe armar la estructura Ortografia donde se indicará si pertenece o no al diccionario y las alternativas (en este método es opcional, si no se devuelven se volverán a pedir en el método descrito más abajo ). cargardiccionario(self): list of string obtenertokens(texto: string, ini: int): list of TokenTexto revisarortografia(texto: string, ini: int): list of TokenTexto Búsqueda de palabras cercanas Para cada palabra que no se encuentre en el diccionario, se le deben indicar al usuario como alternativas palabras válidas que sean similares a la que escribió. Se propone para esto buscar palabras válidas cercanas según la distancia de Levenshtein [6] (cuya distancia sea menor o igual a 2). buscaralternativasortografia(token: TextToken): list of string Página 3 de 5

4 Identificación de pronunciación y homófonos Dada una palabra, se debe obtener una aproximación a su pronunciación en español del Río de la Plata. Para eso nos basaremos en un alfabeto fonético simplificado, y en una versión muy simplificada de la fonética del español del río de la plata, que utilizará las siguientes reglas: La transcripción fonética de la palabra no llevará tildes ni diéresis. Los fonemas permitidos son: /a/ /b/ /c'/ /d/ /e/ /f/ /g/ /i/ /j/ /k/ /l/ /m/ /n/ /ñ/ /p/ /r/ /r'/ /s/ /s'/ /t/ /u/ La forma de utilizar cada uno de los fonemas se explica en la siguiente tabla. Considerar que todas las letras que no aparecen en la tabla se pronuncian por defecto utilizando el mismo símbolo de la letra. Letras Fonemas Contexto Ejemplos c /k/ Por defecto casa /kasa/ octal /oktal/ c /s/ Si está seguida de e o i ácido /asido/ acceso /akseso/ ch /c'/ Siempre chancho /c'anc'o/ g /g/ Por defecto gato /gato/ g /j/ Si está seguida de e o i gema /jema/ gu /g/ Si está seguida de e o i guiso /giso/ gü /gu/ Siempre agüita /aguita/ h No tiene efecto en la transcripción, salvo que esté participando de otra combinación de letras hijo /ijo/ ahora /aora/ k /k/ Siempre kilo /kilo/ l /l/ Si no está seguida de otra l altura /altura/ ll /s'/ Siempre calle /kas'e/ qu /k/ Siempre aquel /akel/ r /r/ Si no está al principio de la palabra araña /araña/ harto /arto/ r /r'/ Si está al inicio de la palabra ratón /r'aton/ rr /r'/ Siempre arroyo /ar'os'o/ v /b/ Siempre vida /bida/ w /u/ Siempre walter /ualter/ x /ks/ Siempre taxi /taksi/ y /i/ Por defecto muy /mui/ aymará /aimara/ y /s'/ Si está seguida de una vocal guayaba /guas'aba/ z /s/ Siempre zapallo /sapas'o/ Utilizando estas reglas simplificadas, la relación entre las palabras y sus transcripciones fonéticas es fácilmente modelable mediante relaciones regulares. Se pide construir un transductor, mediante el framework de xfst [7], que nos permita lo siguiente: dada una palabra, encontrar sus posibles transcripciones fonéticas dada una transcripción fonética, encontrar todas las palabras que se pronuncian de esa manera Se debe integrar el transductor construido mediante xfst a la implementación en Python del obligatorio, de forma de poder integrar esta herramienta como un módulo más de nuestro programa. Página 4 de 5

5 Teniendo el transductor construido con las operaciones directa e inversa, es fácil construir un detector de homófonos de una palabra: se obtiene el conjunto de pronunciaciones posibles de la palabra se obtiene el conjunto de palabras potenciales que generan cada pronunciación se devuelven todas palabra potenciales que además están en el diccionario analisisfonetico(palabra: string): Fonetica Entregable Se deberá entregar: 1. Documentación que incluya: a) fuentes que se utilizan para la confección del diccionario b) módulos que componen la solución c) descripción de la solución implementada, incluyendo los principales aspectos teóricos aplicados, pseudocódigo de los métodos, funcionamiento del transductor 2. Implementación: a) Código fuente de la solución, implementando los métodos de pln_corrector e incluyendo todos los otros módulos que sean necesarios. b) Otros archivos que sean necearios para ejecutar la solución. Por ejemplo: archivos para la carga del diccionario, archivos de configuración, módulos externos a Python. Insumos De la página del curso se pueden descargar los módulos necesarios para la implementación del obligatorio. Está a disposición un corpus de artículos periodísticos en español de Uruguay denominado CorIn que puede utilizarse para hacer pruebas. Tener en cuenta que no se puede construir un diccionario con las palabras de este corpus, porque no se garantiza que esté libre errores de ortografía. Nota Es necesario que en el informe figuren el nombre y la cédula de identidad de cada integrante del grupo. En caso que esto no se cumpla el obligatorio no será corregido, con la consecuente pérdida del curso de sus autores. Solo se aceptarán informes en formato PDF (ver Referencias [1] Python (versión 2.5 en adelante, pero no la versión 3), [2] Subprocess management, The Python Standard Library, [3] tkinter, [4] Natural Language Toolkit, [5] How to Use UTF-8 with Python, [6] Levenshtein Distance, Artículo de Wikipedia, [7] Finite State Morphology, Página 5 de 5