Alineación. Introducción: Introducción Alineación de oraciones Alineación de palabras Alineación de colocaciones. Introducción.

Transcripción

1 Alineación Introducción: Alineación Modelo real de traducción Introducción Alineación de oraciones Alineación de palabras Alineación de colocaciones Problema abierto Recursos lingüísticos bilingües nivel de resolución el par de lenguas complejidad grado corrección - oraciones 99% (dominios restringidos y lenguas próximas tipológi.) - colocaciones % Aplicabilidad propuestas - pares de lenguas próximas tipológicamente - disponibilidad recursos bilingües Introducción Objeto de estudio Corpus paralelo bilingüe Alineación ORDEN FORAL número 4.514/95, del 28 de septiembre, por la que se conceden ayudas xcepci onales a la compra de ganado sele c cionado de raza autóctona de bovi no pirenaico. Te niendo en cuenta el costo realizado por el Depar g gbgtamento de Agri cultura de la Dip fuente de conocimiento bilingüe alineación de corpus paralelos serie de textos en dos lenguas (bitexto) relación explícita ORDEN FORAL número 4.514/95, del 28 de septiembre, por la que se conceden ayudas xcepci onales a la compra de ganado sele c cionado de raza autóctona de bovi no pirenaico. Te niendo en cuenta el costo realizado por el Depar tamento de Agri cultura de la Dip TA (EBMT), terminología bilingüe, RIM desambigüación semántica, verificación automática de traducciones generación de documentación bilingüe Introducción: 4Primeras referencias Melby (1981): almacenar en formato electrónico un mismo texto escrito en dos lenguas con el fin de reutilizar la traducción realizada Harris (1988): insistió en la posibilidad de sacar partido de las traducciones existentes Para reutilizar las traducciones existentes el reto consiste en establecer de forma automática enlaces entre un texto fuente y un texto meta, es decir, en alinear los textos paralelos 1 2

2 Introducción: 4Problema se aborda para una determinada granularidad Los trabajos realizados y la bibliografía derivada de ellos se centran en un nivel de granularidad concreto (oración, palabra,...). 4Enfoques utilizados: Estadístico Lingüístico modelo estadístico (corpus de entrenamiento) emparejamiento de unidades léxicas Introducción: Híbrido En los últimos años la mayoría de las técnicas de alineación que se proponen están basadas en un enfoque híbrido Una gran parte utilizan modelos estadísticos en los que las probabilidades de la alineación se calculan utilizando conocimiento lingüístico (diccionarios bilingües, heurísticas que relacionan el par de lenguas, gramáticas de tipo declarativo) Híbrido modelo estadístico + conocimiento lingüístico Introducción: Estadístico Según este enfoque la alineación se formaliza mediante un modelo estadístico basado en la similitud de ciertos rasgos identificados en el corpus paralelo Lingüístico Los trabajos que siguen un enfoque lingüístico puro son escasos y son de los primeros años de la década de los noventa Introducción: Híbrido Otras propuestas, fundamentalmente las que se aplican en los niveles de resolución intraoracional, se apoyan en mayor medida en conocimiento lingüístico y utilizan medidas cuantitativas (frecuencia, información mutua, distribución,...) En su mayoría se ocupan de la alineación de determinados sintagmas asumiendo que las oraciones están alineadas Se basan generalmente en el emparejamiento de las unidades léxicas que componen los sintagmas 3 4

3 Introducción: Granularidad o niveles de resolución comunes: oraciones palabras términos multipalabra y colocaciones Los diferentes métodos de alineación utilizan diferentes tipos de información: Longitud de las oraciones en caracteres y palabras Identificación de cognados y puntos ancla o anclajes Anotaciones POS... Tipos de alineaciones: Las más frecuentes son las alineaciones 1-1: una oración del texto origen se corresponde con una oración en el texto meta Hay otros tipos como: omisiones (1-0 o 0-1) expansiones (n-m: n<m y n,m>= 1) contracciones (n-m: n>m y n,m>= 1) uniones (n-n: n>1) Inicios. Referencias más destacadas: (Brown et al. 1991) y métodos estadísticos nº palabras nº caracteres Modelo estadístico simple de la longitud de las oraciones Idea principal: oraciones largas en la lengua origen tenderán a ser traducidas en oraciones largas en la lengua meta, lo mismo con las cortas Determina la alineación teniendo sólo en cuenta dicho modelo 5 6

4 Fundamento: Se basa en un modelo estadístico basado en la longitud en caracteres de las oraciones en uno y otro corpus No utiliza conocimiento lingüístico Utiliza la idea de que las oraciones largas (nº caracteres) en una lengua tienden a ser traducidas a oraciones largas en la otra lengua y que las oraciones cortas (nº caracteres) tienden a ser traducidas a oraciones cortas. El algoritmo fue probado en un corpus paralelo trilingüe formado por 15 informes económicos de la Unión Bank of Switzerland (UBS) en inglés, francés y alemán.según los autores había aproximadamente el mismo número de errores (4%) en las alineaciones inglés-francés que en las inglés-alemán, por lo que sugieren que su método es bastante independiente del lenguaje A cada par de oraciones candidatas al emparejamiento se le asigna una probabilidad Dicha probabilidad se basa en el ratio de las longitudes de las dos oraciones en caracteres, en una y otra lengua, y en la varianza de ese ratio Mediante programación dinámica se determina, a partir de esas probabilidades la alineación con mayor probabilidad En las lenguas del corpus UBS (inglés, francés y alemán) el ratio de caracteres de una oración es un valor muy próximo a 1 (Por ejemplo: nº caract. oración inglés / nº caract. oración francés) En el algoritmo de alineación los autores consideraron que ese valor era 1 Así mismo, Gale y Church indican que las técnicas de alineación basadas en programación dinámica, serán más o menos satisfactorias dependiendo de que el orden de las oraciones no difiera radicalmente en las dos lenguas 7 8

5 En el corpus U.B.S. el algoritmo fallaba en el 100% de los casos en alineaciones de 1 oración en una lengua con 0 en la otra, o de 0 a 1, de 3 a 1 o de 1 a 3, de 3 a 2 o de 2 a 3 Para mejorar este resultado, los autores proponen la incorporación de restricciones léxicas Se suele considerar un buen método teniendo en cuenta su simplicidad Hay varios proyectos internacionales que han desarrollado alineadores que se fundamentan en este método Los más destacados son: - MULTEX - CRATER Además, numerosos grupos de investigación en Europa, USA y Canadá se han basado en él para desarrollar sus alineadores El proyecto BCP (Bilingual Concordancy Program) que utilizó este algoritmo detectó las siguientes limitaciones: - No se pueden fijar anclajes: no permite establecer un punto ancla en cada texto y alinear las regiones que se encuentran antes y después de dichos puntos - No da resultados utilizables en textos que no son completamente paralelos (la aparición en uno de los textos de caracteres extra podría provocar errores significativos en los resultados del algoritmo) La primera limitación podría ser superada pero la segunda tiene una mayor dificultad dados los principios en los que se basa el método En el proyecto CRATER informaron de: - un 98% de alineaciones correctas en un corpus del dominio de las telecomunicaciones inglés/francés, - un 75% de alineaciones correctas en un corpus de informes económicos inglés/alemán - un 54% de corrección en un corpus de artículos periodísticos en chino/inglés 9 10

6 (Brown et al. 1991) Fundamento: Se basa en un modelo estadístico basado en la longitud en palabras de las oraciones en uno y otro corpus El corpus de partida es el Hansard Canadiense (la trascripción de sesiones parlamentarias en inglés y francés) Dicho corpus se formatea en Tex Las etiquetas Tex pueden servir como puntos de anclaje para la alineación (Brown et al. 1991) Para la alineación de los anclajes mayores se sigue el siguiente procedimiento: - a cada alineación candidata se le asigna un coste que favorece los emparejamientos exactos y penaliza las omisiones o emparejamientos inexactos - mediante programación dinámica se determina la alineación con coste total menor (Brown et al. 1991) Los puntos de anclaje se dividen en menores y mayores Algunos puntos de anclaje pueden ser: comienzo de párrafo, número de sesión, nombre del orador, tiempo... Los anclajes menores son más comunes que los mayores Para conseguir una alineación más robusta se realiza en dos fases: primero se alinean los anclajes mayores y luego los (Brown et al. 1991) De la alineación de los anclajes mayores se obtiene el corpus como una secuencia de secciones con los anclajes mayores alineados ORDEN FORAL número 4.514/95, del 28 de septiembre, por la que se conceden ayudas xcepci onales a la compra de ganado sele c cionado de raza autóctona de bovi no pirenaico. Te niendo en cuenta el costo realizado por el Depar g gbgtamento de Agri cultura de la Dip ORDEN FORAL número 4.514/95, del 28 de septiembre, por la que se conceden ayudas xcepci onales a la compra de ganado sele c cionado de raza autóctona de bovi no pirenaico. Te niendo en cuenta el costo realizado por el Depar tamento de Agri cultura de la Dip menores 11 12

7 (Brown et al. 1991) Los anclajes menores dividen las secciones restantes en subsecciones Los autores comprobaron que el número de tokens en las oraciones que son traducciones una de la otra se corresponden en un alto grado Aplican un modelo oculto de Markov basado en el número de palabras, para alinear las oraciones Resultados: - utilizando los puntos ancla: 98% corrección - sin utilizar los puntos ancla, solo con el modelo de palabras 96,8% de corrección Otros trabajos destacados: 4(Melamed 1996) y (Melamed 2000) Identifica puntos de correspondencia en el bitexto utilizando técnicas de reconocimiento de patrones Utiliza predicados de emparejamiento: heurísticas para decidir si un par de tokens son traducción mutua Los predicados se basan en: identificación de cognados (ngramas) y diccionarios bilingües Limitaciones de ambas propuestas: Sensibles a pequeñas omisiones en uno de los textos Mal comportamiento con oraciones de similar extensión Mal comportamiento pares de lenguas no próximas tipológicamente Otros trabajos destacados: 4(Melamed 1996) y (Melamed 2000) Idea principal: Las oraciones origen y meta (bitexto) son respectivamente los ejes de un espacio rectangular Cada token se asocia con la posición de su carácter mitad en cada parte del bitexto Cuando un token de la posición x del texto origen se corresponde con un token de la posición y del texto meta se dice que constituyen un punto de correspondencia 13 14

8 Otros trabajos destacados: 4(Melamed 1996) y (Melamed 2000) Utilizan 2 algoritmos para alinear oraciones: 1. SIMR (Smooth Injective Map Recognizer): produce los puntos de correspondencia entre tokens en los textos origen y meta 2. GSA (Geometric Segment Alignment): alinea las oraciones partiendo de los puntos de correspondencia y de la información de la segmentación en oraciones Otros trabajos: 4(Martínez et al. 1998) Se apoya en : Dado un etiquetado diverso y consistente del bitexto y dado un espacio de alineación (documento por defecto), las oraciones que se corresponden tendrán similares anotaciones Ciertas anotaciones son neutras con respecto a diferencias entre lenguas de tipo: gramatical, ortográfico, tipológico Otros trabajos destacados: 4(Hofland 1996) Se apoya en diversos criterios para alinear: Lexicón bilingüe Patrones ortográficos de comienzo de mayúsculas (palabras candidatas a ser nombres propios) Caracteres especiales (signos de exclamación, interrogación,...) Identificación de cognados Longitud de las oraciones (Martínez et al. 1998) Ventajas: No necesita conocimiento contrastivo (diccionarios bilingües, heurísticas relacionen las lenguas) Laslenguas pueden ser diferentes tipológicamente y ortográficamente No necesita estimaciones de la probabilidad de la traducción Recursos necesarios: Recursos monolingües (segmentadores SGML) recursos bilingües más costosos más escasos 15 16

9 (Martínez et al. 1998) 4Abstracción de elementos textuales sustituyéndolos por los identificadores de la clase a la que pertenecen etiquetas SGML 4Transformar cada oración en un conjunto anotaciones Tipos de manipulación del corpus: 4Procesamiento monolingüe: Anotación de cada cara del bitexto de forma independiente 4Procesamiento bilingüe características idiosincrásicas de cada lengua Segmentación y etiquetado Alineación El conjunto L (alineaciones candidatas) 4 Heurísticas de selección de alineaciones candidatas varían según el nivel de resolución se refieren a: - orden de las UA - nivel de agrupamiento - tamaño de las UA HEURÍSTICAS 4 Heurística de selección del sentido de la alineación determina la lengua origen y la meta reducir el nº de alineaciones candidatas coste alineación (Martínez et al. 1998): Formalización del espacio de alineación como un grafo bipartito Dado un espacio de alineación EA l y un nivel de resolución UA O1 UA M1 G = (UA O i n UA M k p, N ) UA O2 UA O3 UA O4 UA M2 UA M3 UA M4 UA M5 N = {(UA O i, UA M k ) : UA O i UA UA O i n Mk UA M k p } que determinen las heurísticas de dicho nivel UA O i n UA M k p G = (UA O i n UA M k p, N ) N = {(UA O i, UA M k ) : UA O i UA O i n UA Mk UA M k p } Alineación problema de asignación con restricciones en un grafo bipartito el conjunto de todas las alineaciones candidatas: L {N} una alineación A: A L {N} Problema de satisfacción de restricciones (PSR) 17 18

10 Otros trabajos destacados: 4(Piperidis et al. 2000) Se basa en un aspecto crítico en traducción: preservar el significado Tradicionalmente las 4 clases de palabras abiertas o de palabras de contenido (verbos, nombres, adjetivos y adverbios) contienen la mayor parte del significado de un texto Otros trabajos destacados: 4(Isabelle et al. 1993),(Davis et al. 1995) y (McEnery & Oakes 1996) modelo contar caracteres combinan emparejamiento n-gram, números El criterio de alineación de este método se basa en la carga semántica de una oración definida como: la unión de todas las clases abiertas que se pueden asignar a las palabras de dicha oración Otros trabajos destacados: 4(Piperidis et al. 2000) Requiere que el corpus paralelo contenga anotaciones POS Identifican puntos de correspondencia en el bitexto (Melamed, Davis, McEnery) heurísticas diccionarios bilingües n-gram (cognados) Dos oraciones se alinean si y sólo si la carga semántica de las oraciones origen y destino son similares Limitaciones: Mal comportamiento con pares de lenguas no próximas tipológicamente Necesidad de recursos lingüísticos que pueden no existir 19 20

11 Algunos resultados: Evaluación con 3 corpus paralelos de Inglés Portugués: CorpusPE: resúmenes (abstracts) de artículos de informática (sin revisión manual) CorpusALCA: textos sobre el Área de Libre Comercio en América CorpusNYT: textos del periódico New York Times Métodos evaluados: (Melamed 1996) y (Melamed 2000); (Hofland 1996); (Piperidis et al. 2000); (Gale & Church 1991) Alineación de palabras: Propuesta que no utiliza conocimiento lingüístico (Fung & Church 1994) El algoritmo que proponen recibe el nombre de K-vec y su objetivo es obtener un lexicón bilingüe Fundamento Determinación de la similitud de las distribuciones de pares de palabras en sus respectivas lenguas Para ello, los textos se dividen en k partes y la distribución de cada palabra en su texto se representa mediante un vector de k elementos binarios Algunos resultados: Evaluación con 3 corpus paralelos de Inglés Portugués: (Melamed 1996) y (Melamed 2000) mejores resultados con CorpusPE (Hofland 1996) mejores resultados con CorpusALCA y CorpusNYT (Hofland 1996) obtuvo la tasa de error más baja en omisiones, el 40% Todos el 100% error en alineaciones 2-3 Sólo y (Melamed) no obtuieron el 100% de error en alineaciones 2-2, el error fue del 83,33% Alineación de palabras: (Melamed 1997) Propone un algoritmo genérico de reconocimiento de patrones para establecer correspondencias en un corpus paralelo Para determinar los puntos de correspondencia candidatos requiere de heurísticas que establezcan relaciones entre los pares lenguas y recurre a la identificación de cognados Si el par de lenguas es tipológicamente muy distinto sugiere la utilización de diccionarios bilingües No utiliza técnicas estadísticas pero requiere diversos tipos de conocimiento bilingüe 21 22

12 Alineación de colocaciones: Colocación: expresión formada por dos o más palabras que tiene carácter no composicional o semicomposicional Alineación de términos: Fundamentos de las propuestas híbridas: No composicional: el significado de la colocación no coincide con la suma de los significados de las palabras que la forman Conocimiento bilingüe - corpus paralelo alineado - diccionario bilingüe Semicomposicional: alguna de las palabras de la colocación mantienen su significado Término multipalabra: expresión que denota un concepto propio de un dominio (algunos pueden presentar una naturaleza no composicional o semicomposicional) Se suelen aplicar técnicas similares para la identificación y alineación de ambos Restricción de las categorías sintácticas: SN y SV Uso de correlación estadística Seleccionan pares de términos de un corpus paralelo alta frecuencia Un término de especialidad tiene una única traducción Alineación de colocaciones Colocaciones y términos multipalabra Perspectivas de estudio: 4Estadística 4Lexicográfica 4Lingüística coapariciones recurrentes de palabras naturaleza idiosincrásica e impredecible y deben aparecer en los diccionarios su carácter viene dado por la no aplicación de reglas léxicas y sintácticas de transformación categorial definición operacional + conocimiento lingüístico Alineación de colocaciones: (Smadja et al. 1996) Champollion (su programa) alinea colocaciones y palabras individuales partiendo de un corpus paralelo bilingüe con las oraciones alineadas Etapa 1. Champollion identifica para cada colocación origen las palabras individuales en el lenguaje meta con las que tenga una alta correlación en su distribución - Así se construye un conjunto de palabras candidatas en el lenguaje meta 23 24

13 Alineación de colocaciones: (Smadja et al. 1996) Etapa 2. Considera pares de palabras y repite el proceso Etapa 3. Repite el proceso con tríos, determinando incrementalmente las posibles traducciones en la lengua meta Etapa n. El proceso se repite hasta que no se encuentran combinaciones de palabras cuya medida de correlación supere un determinado umbral. Etapa n+1. Champollion selecciona el grupo de palabras con mayor cardinalidad y factor de correlación como la colocación meta traducción de la origen Alineación de colocaciones: (Eijk 1993) Supone que las colocaciones corresponden a la categoría de sintagmas nominales Utiliza un corpus paralelo con las oraciones alineadas Utiliza anotaciones morfosintácticas Este compara la frecuencia local de la colocación origen (frecuencia en las oraciones que la contienen)con la frecuencia global (frecuencia en el corpus) Alineación de colocaciones: (Smadja et al. 1996) Se evaluó con un subconjunto del corpus Hansards La precisión del método oscila entre un 65% y un 78% dependiendo de la frecuencia de aparición de las colocaciones en el corpus Los enfoque basados en técnicas estadísticas comparten la limitación de necesitar corpus muy extensos Requieren que las colocaciones o los términos aparezcan con una frecuencia alta para que puedan ser alineados Alineación de colocaciones: (Eijk 1993) El valor de la correlación decrece en un peso que representa la distancia entre la posición actual del termino meta y su posición esperada Se evaluó en un corpus inglés-alemán obteniendo una precisión del 68% y una cobertura del 64%

14 Alineación de colocaciones: (Fung & McKeown 1994) Parten de la propuesta de (Fung & Church 1994), el algoritmo K-vec Utilizan un vector adicional para cada palabra que almacena la diferencia entre las sucesivas posiciones en las que aparece una palabra en el texto El algoritmo DK-vec utiliza técnicas de pattern matching para seleccionar el par de palabras con mayor similitud de distribución y posición Alineación de colocaciones: Los enfoques híbridos hacen uso de: Restricción de las categorías sintácticas La mayoría de las propuestas,(no Smadja) restringen el tipo de colocaciones que se plantean alinear a los sintagmas nominales Utilización de un corpus paralelo alineado o un diccionario bilingüe Todos utilizan algún tipo de conocimiento bilingüe Alineación de colocaciones: (Fung & McKeown 1994) Los autores proponen esta estrategia para obtener un lexicón bilingüe que sirva para apoyar la alineación de oraciones en corpus que no sean totalmente paralelos Sugieren que podría ser utilizada para la alineación de términos multipalabra y colocaciones. Alineación de colocaciones: Conocimiento lingüístico en forma de anotaciones morfosintácticas Las anotaciones morfosintácticas permiten identificar los patrones sintácticos de los términos. Utilización de la correlación estadística como criterio de alineación Los trabajos que parten que corpus alineados, seleccionan aquellos pares de términos origen-meta que tienen una correlación estadísticamente significativa 27 28

15 Bibliografía (Brown et al. 1991) Brown, P. Lai, J.C., Mercer, R. "Aligning Sentences in Parallel Corpora". Proceedings of the 29th Annual Meeting of the Association for Computational Linguistics (ACL'91), (Davis et al. 1995) Davis, M.W., Dunning, T.E., Ogden, W.C."Text Alignment in the Real World: Improving Alignments of Noisy Translations Using Common Lexical Features, String Matching Strategies and N-Gram Comparisons". Proceedings of the ACL SIGDAT Workshop, From Texts to tags: Issues in Multilingual Language Analysis, (Eijk 1993) Eijk, P. van der."automating the acquisition of Bilingual Terminology". Proceedings Sixth Conference of the European Chapter of the Association for Computational Linguistic (EACL'93), (Fung & Church 1994) Fung, P., Church, K.W. "K-vec: A New approach for Aligning Parallel Texts". Proceedings of the 15th International Conference on Computational Linguistic (COLING-94), (Fung & McKeown 1994)Fung, P., McKeown, K. "Aligning Noisy Parallel Corpora Across Language Groups: Word Pair Feature Matching by Dynamic Time Warping". Proceedings of the First Conference of the Association for Machine Translation in the Americas (AMTA'94), Gale, W., Church, K. W. "A Program for Aligning Sentences in Bilingual Corpora". Proceedings of the 29th Annual Meeting of the Association for Computational Linguistics (ACL'91), Bibliografía (Hofland 1996) Hofland, K. A Program for aligning English and Norwegian sentences". Research in Humanities Computing, , Oxford University Press. (Isabelle et al. 1993) Isabelle, P., Dymetman, M., Foster, G., Jutras, J.M., Macklovitch, F.P., Ren, X., Simard, M."Translation Analysis and Translation Automation". Proceedings of the 4th International Conference on Theoretical and Methodological Issues in Machine Translation (TMI'93). (Martínez et al. 1998) R. Martínez, J. Abaitua, A. Casillas. "Bitext Correspondences through Rich Mark-up ". Proceedings of the 17th International Conference on Computational Linguistics (COLING'98) and 36th Annual Meeting of the Association for Computational Linguistics. (McEnery & Oakes 1996) McEnery, A.M., Oakes, M.P. "Sentence and word alignment in the CRATER project". Using Corpora for Language Research, Longman, (Melamed 1997) Melamed, I.D. "A Portable Algorithm for Mapping Bitext Correspondence". Proceedings of the 35th Annual Meeting of the Association for Computational Linguistics, (Melamed 2000) Melamed, I.D. Pattern Recognition for Mapping Bitext Correspondence". Parallel text processing: Alignment and use of translation corpora, 25-47, Kluwer Academic Publishers. (Piperidis et al. 2000) Piperidis, S; Papageorgiou, H; Boutsis, S. From sentences to words and clauses. Parallel text processing: Alignment and use of translation corpora, , Kluwer Academic Publishers. (Smadja et al. 1996) Smadja, F., McKeown, K., Hatzivassiloglou, V."Translating Collocations for Bilingual Lexicons: A Statistical Approach". Computational Linguistics, 22(1),