Tratamiento Automático de Reglas Ortográficas para la Detección y Corrección de Errores

Transcripción

1 para la Detección y Corrección de Errores Brian Plüss Laura Pomponio Universidad Nacional de Rosario Facultad de Ciencias Exactas, Ingeniería y Agrimensura Departamento de Computación {bpluss,pomponio}@fceia.unr.edu.ar 11 de septiembre de 2008

2 Contenidos

3 Motivación La detección y corrección de errores ortográficos es un problema importante y cotidiano. Enfoque universal: diccionarios Se busca la palabra en el diccionario. Correcciones propuestas de acuerdo a una distancia.

4 Motivación Problema 1: falsos errores. Problema 2: errores no detectados. Estas soluciones no utilizan propiedades lingüísticas de la palabra y su contexto.

5 Propuesta Propuesta: atacar el problema mediante reglas que usen estas propiedades. Cuáles reglas? Las que propone la Real Academia Española (RAE). Análisis y clasificación según sus cualidades lingüísticas. Implementación de un prototipo en Prolog. Esbozo de una arquitectura que integre el corrector a editores de texto y haga uso de herramientas auxiliares.

6 Propuesta Propuesta: atacar el problema mediante reglas que usen estas propiedades. Cuáles reglas? Las que propone la Real Academia Española (RAE). Análisis y clasificación según sus cualidades lingüísticas. Implementación de un prototipo en Prolog. Esbozo de una arquitectura que integre el corrector a editores de texto y haga uso de herramientas auxiliares.

7 Las Reglas Formuladas para su uso por humanos. Resuelven ambigüedades con información adicional sobre a palabra. Quien escribe posee esa información, lo que permite su aplicación. : (Se escriben con b) Las terminaciones -aba, -abas, -ábamos, -abais, -aban del pretérito imperfecto de indicativo de los verbos de la primera conjugación. : cantaba, bajabas, amaban. Terminaciones, conjugación: morfología. (Se escriben con b) Las que contienen el elemento compositivo bio-, -bio ( vida ). : biografía, biosfera, anaerobio, microbio. Significado ( vida ): semántica.

12 Las Reglas : (Se escriben con b) Las que empiezan por el elemento compositivo bi-, bis-, biz- ( dos o dos veces ). : bipolar, bisnieto, bizcocho. (Se escriben con v) Las que empiezan por el elemento compositivo vice-, viz- o vi- ( en lugar de ). : vicealmirante, vizconde, virrey. Sílabas homófonas, semántica, ambigüedad: pragmática

13 Las Reglas : (Se escriben con b) Las que empiezan por el elemento compositivo bi-, bis-, biz- ( dos o dos veces ). : bipolar, bisnieto, bizcocho. (Se escriben con v) Las que empiezan por el elemento compositivo vice-, viz- o vi- ( en lugar de ). : vicealmirante, vizconde, virrey. Sílabas homófonas, semántica, ambigüedad: pragmática

14 Lingüística Fonología: determina qué secuencias de sonidos están en un idioma. Conceptos: fonema, sílaba Aplicación: separación en sílabas, determinación de elementos compositivos Morfología: estudia la estructura interna de las palabras. Conceptos: categorías, flexiones, derivación, composición, palabra, forma de palabra. Aplicación: categorización, lematización. Sintaxis: estudia la combinatoria de palabras en estructuras superiores. Conceptos: sintagmas, oración. Aplicación: clasificación por análisis sintáctico, resolución de ambigüedades.

17 Lingüística Semántica: ciencia de los significados literales. Conceptos: léxica, textitcomposicional, mapeo cognitivo. Aplicación: desambiguación respecto del significado absoluto. Pragmática: trata del lenguaje en uso. Conceptos: contexto, textitsentido común, inferencia, referencia, interpretación, coherencia. Aplicación: desambiguación respecto del significado en contexto.

18 Lingüística Semántica: ciencia de los significados literales. Conceptos: léxica, textitcomposicional, mapeo cognitivo. Aplicación: desambiguación respecto del significado absoluto. Pragmática: trata del lenguaje en uso. Conceptos: contexto, textitsentido común, inferencia, referencia, interpretación, coherencia. Aplicación: desambiguación respecto del significado en contexto.

19 Arquitectura Gran parte de los editores populares soportan plugins. : OpenOffice.org, jedit, Eclipse, EditPlus, emacs,... Frontera entre el editor y el corrector. Herramientas auxiliares: tokenizers, que eliminen signos de puntuación; alguna función de librería, que lleve las palabras a minúsculas; un silabeador, que separe en sílabas cada una de las palabras; por nombrar sólo algunas. utiliza las reglas en la BC para tratar cada palabra. Cuando necesita información lingüística usa herramientas externas.

20 Prototipo Implementado en Prolog. BC con las reglas, mecanismo de inferencia y algunas de las herramientas auxiliares parciales, implementadas ad-hoc. No se intentó vincular el mismo a ninguna de las herramientas de procesamiento lingüístico mencionadas en la arquitectura propuesta. Reglas clasificadas de acuerdo a la información lingüística que requerirán del usuario. Se tratan las palabras con las letras conflictivas. Excepciones tratadas en primer lugar. Se asume que hay error y se intenta determinar qué reglas se violaron. Reglas con poca o nula intervención del usuario se aplican antes.

21 Prototipo aplicar(x,q):- (excepcion(x) -> (Q = X, write( Es excepción : \" ), write(q), write( \". ),nl,!)); ((retract(buffer(_)) -> true; true), assert(buffer(x)), (exist_v(x) -> ((regla_b(regla), aplicar_reglas(regla,z,y,t)); (exist_b(x) -> ((regla_v(regla), aplicar_reglas(regla,z,y,t)); %%Si exist_v y exist_b buffer(q)); %%Si exist_v y NO exist_b buffer(q))); %% Si NO exist_v (exist_b(x) -> ((regla_v(regla), aplicar_reglas(regla,z,y,t)); %%Si NO exist_v y exist_b buffer(q)); %% Si NO exist_v y NO exist_b Q=X))). aplicar_reglas(regla,z,y,t):- buffer(z), T =.. [Regla,Z,Y], T, write( Aplicar regla a \" ),write(z), write( \" : ), write(t),nl, retract(buffer(z)),assert(buffer(y)),fail.

22 Prototipo Ejemplo: (Se escriben con b) Las palabras acabadas en -bilidad. : amabilidad, habilidad, posibilidad. Excepciones: movilidad, civilidad y sus compuestos. rb4(x, Y):- ((sub_atom(x,_,_,0, vilidad )-> H = bilidad); (sub_atom(x,_,_,0, vilidades )-> H = bilidades) ) -> (atom_length(h,n), sub_atom(x,0,_,n,pre), atom_concat(pre,h,y)); Y=X. Al aplicar rb4, se corrige una palabra termina en -vilidad/-vilidades.

23 Ejemplo 1 verificabilidad. 1. f. Fil. Cualidad de verificable. Del diccionario de la RAE. Pero... Microsoft Word 2003 Mozilla Thunderbird

24 Ejemplo 1 2?- corregir. Ingrese una frase o una lista de palabras entre doble comilla " " y en letras minúsculas: : "la verificabilidad es una característica deseable". Aplicar regla a "verificabilidad" : rb1(verificabilidad, verificabilidad)... Aplicar regla a "verificabilidad" : rb17(verificabilidad, verificabilidad) Aplicar regla a "verificabilidad" : rv1(verificabilidad, verificabilidad)... Aplicar regla a "verificabilidad" : rv10(verificabilidad, verificabilidad) Aplicar regla a "deseable" : rv1(deseable, deseable)... Aplicar regla a "deseable" : rv10(deseable, deseable) El resultado de la corrección es: "la verificabilidad es una característica deseable" Yes 3?- corregir. Ingrese una frase o una lista de palabras entre doble comilla " " y en letras minúsculas: : "la verificavilidad es una característica deseable". Aplicar regla a "verificavilidad" : rb1(verificavilidad, verificavilidad)... Aplicar regla a "verificavilidad" : rb4(verificavilidad, verificabilidad)... Aplicar regla a "verificabilidad" : rb17(verificabilidad, verificabilidad) El resultado de la corrección es: "la verificabilidad es una característica deseable" Yes

25 Ejemplo 2 Tanto vaya como baya estarán en los diccionarios. Entonces... Microsoft Word 2003 Mozilla Thunderbird

26 Ejemplo 2 4?- corregir. Ingrese una frase o una lista de palabras entre doble comilla " " y en letras minúsculas: : "esto no significa que baya a funcionar correctamente". Aplicar regla a "baya" : rv1(baya, baya)... Aplicar regla a "baya" : rv8(baya, baya) Ud. quiso escribir "vaya" en lugar de "baya" donde "vaya" es presente subjuntivo del verbo "ir"?(s / n) : s. Aplicar regla a "baya" : rv9(baya, vaya) Aplicar regla a "vaya" : rv10(vaya, vaya) El resultado de la corrección es: "esto no significa que vaya a funcionar correctamente" Yes

27 Trabajos futuros Implementar más reglas. Análisis de herramientas de procesamiento lingüístico y factibilidad de integración, intervención del usuario, posibles errores, etc. Pruebas estadísticas de efectividad y comparación con herramientas tradicionales. Corpus y scripts. Implementación de un plugin para incorporar el corrector a algún editor popular.

28 Conclusiones Propuesta alternativa para resolver un problema habitual. Análisis de factibilidad práctica y teórica. Posibilidad de automatización total con el uso de herramientas de auxiliares. Nunca antes abordado? El inglés, cuántas reglas ortográficas tiene?