TRADUCCIÓN AUTOMÁTICA DE TEXTOS ENTRE LENGUAS SIMILARES UTILIZANDO MÉTODOS ESTADÍSTICOS

Transcripción

1 UNIVERSIDAD POLITÉCNICA DE VALENCIA Departamento de Sstemas Informátcos y Computacón TESIS DOCTORAL TRADUCCIÓN AUTOMÁTICA DE TEXTOS ENTRE LENGUAS SIMILARES UTILIZANDO MÉTODOS ESTADÍSTICOS Presentada por: Jesús Tomás Gronés Drgda por: Dr. D. Francsco Casacuberta Valenca, Novembre 2003

2 Trabajo presentado en la Unversdad Poltécnca de Valenca para optar al grado de Doctor en Informátca. Este trabajo ha sdo subvenconado parcalmente por la Comsón Intermnsteral de Cenca y Tecnología (C.I.C.Y.T., proyectos TAVAL, TIC-IFD y SISHITRA, TIC C02) y por la Comsón Europea (proyecto TransType II, IST ).

3 Resumen La traduccón automátca medante métodos estadístcos está alcanzando mportantes logros y presenta un futuro prometedor (Ney et al., 2000). Esta técnca trata de resolver el problema de la traduccón con un enfoque puramente nductvo, sn la necesdad de utlzar conocmento lngüístco. La aproxmacón clásca en traduccón estadístca utlza modelos de traduccón del tpo palabra a palabra (Brown, 993). Una defcenca de estos modelos es que sólo son capaces de establecer relacones entre palabras ndvduales, por lo tanto, no se tene en consderacón nformacón contextual a la hora de decdr una traduccón. En esta memora se van a presentar varos modelos que tratan de buscar relacones entre secuencas de palabras, en lugar de entre palabras ndvduales. El prmer modelo que presentaremos trata de recoger de forma explícta qué secuencas de palabras son la traduccón de qué secuencas de palabras. Este modelo obtene resultados de traduccón nteresantes entre lenguas que no requeren apenas reordenacón en el proceso de traduccón, como el caso del castellano-catalán, o en tareas de domno restrngdo. Un mportante nconvenente del modelo anteror es que no dspone de la capacdad de generalzacón a la hora de reordenar la salda. Una posble solucón puede encontrarse en la aproxmacón basada en plantllas (Och et al., 999), la cual trata de traducr secuencas de clases de palabras en lugar de secuencas de palabras. Presentamos un modelo basado en plantllas que usa un etquetador morfosntáctco para las clases de palabras. Tambén se propone un modelo mejorado que trata de combnar los dos anterores. La dea básca consste en que s una secuenca de palabras ha sdo vsta en el entrenamento, el modelo basado en secuencas de palabras es utlzado, en caso contraro, se utlzará el modelo basado en plantllas. En la gran mayoría de los sstemas de traduccón estadístca, cuando se traduce una palabra (o secuenca de palabras) se tene en consderacón exclusvamente la palabra (o palabras) orgen con la que ha sdo alneada junto con las dos o tres palabras de salda anterores. Exste un certo número de palabras, conocdas como ambguas, que para una msma forma léxca dsponen de varos sgnfcados, y por lo tanto, de varas traduccones. Para estas palabras, la nformacón que utlzan los sstemas convenconales es claramente nsufcente. Para obtener una correcta traduccón de una palabra ambgua resulta

4 mprescndble conocer el contexto donde la palabra aparece. En esta memora se descrbe un trabajo que trata de aplcar una técnca estándar de desambguacón léxca, para dsponer de nformacón adconal en el proceso de traduccón. La técnca de desambguacón que hemos utlzado es la conocda como clasfcador bayesano naf, que pese a su smplcdad obtene excelentes resultados en comparacón con otras técncas (Mooney, 996). Algunas de las conclusones de esta memora han sdo hechas públcas prevamente en las sguentes publcacones: (Tomás y Casacuberta, 2003; Tomás et al., 2003; Tomás y Casacuberta, 2002; Tomás y Casacuberta; 200; Tomás et al.; 200). Una demostracón de algunos traductores obtendos puede encontrase en la sguente dreccón de Internet

5 Resum La traduccó automàtca mtjançant mètodes estadístcs està arrbant a mportants èxts presenta un futur prometedor (Ney et al., 2000). Aquesta tècnca tracta de resoldre el problema de la traduccó amb un enfocament purament nductu, sense la necesstat d'utltzar conexement lngüístc. L'aproxmacó clàssca en traduccó estadístca utltza models de traduccó del tpus paraula a paraula (Brown, 993). Una defcènca d'aquests models és que sol són capaços d'establr relacons entre paraules ndvduals, per tant, no es té en consderacó nformacó contextual a l'hora de decdr una traduccó. En aquesta memòra es presentaran dversos models que ntenten buscar relacons entre seqüènces de paraules, en lloc d'entre paraules ndvduals. El prmer model que presentarem tracta de recollr de forma explícta qunes seqüènces de paraules són la traduccó de qunes seqüènces de paraules. Aquest model obté resultats de traduccó nteressants entre llengües que no necessten a penes reordenacó en el procés de traduccó, com el cas del castellà-català, o en fenes de domn restrngt. Un mportant nconvenent del model anteror és que no dsposa de la capactat de generaltzacó a l'hora de reordenar la sortda. Una possble solucó pot trobar-se en l'aproxmacó basada en plantlles (Och et al., 999), que tracta de tradur seqüènces de classes de paraules en lloc de seqüènces de paraules. Presentem un model basat en plantlles que fa servr un etquetador morfosntàctc per a les classes de paraules. També es proposa un model mllorat que tracta de combnar els dos anterors. La dea bàsca consstex que s una seqüènca de paraules ha estat vsta l'entrenament, el model basat en seqüènces de paraules és utltzat, en cas contrar, s'utltzarà el model basat en plantlles. En la gran majora dels sstemes de traduccó estadístca, quan es traduex una paraula (o seqüènca de paraules) es té en consderacó exclusvament la paraula (o paraules) orgen amb la que ha estat alneada juntament amb les dues o tres paraules de sortda anterors. H ha un cert nombre de paraules, conegudes com a ambgües, que per a Este resúmen ha sdo obtendo de forma automátca, a partr del resumen en castellano, utlzando uno de los traductores descrtos en la tess. Posterormente ha sdo revsado por el servco de normalzacón lngüístca de la U.P.V. Hemos subrayado aquellas palabras que han sdo corregdas.

6 una matexa manera lèxca dsposen de dversos sgnfcats, per tant, de dverses traduccons. Per a aquestes paraules, la nformacó que utltzen els sstemes convenconals és clarament nsufcent. Per obtenr una correcta traduccó d'una paraula ambgua resulta mprescndble conèxer el context on la paraula aparex. En aquesta memòra es descru un treball que tracta d'aplcar una tècnca estàndard de desambguacó lèxca, per dsposar d'nformacó addconal en el procés de traduccó. La tècnca de desambguacó que hem utltzat és l'anomenada classfcador bayesà naïf, que malgrat la seva smplctat obté excel lents resultats en comparacó d altres tècnques (Mooney, 996). Algunes de les conclusons d'aquesta memòra han estat fetes públques prèvament en les següents publcacons: (Tomás y Casacuberta, 2003; Tomás et al., 2003; Tomás y Casacuberta, 2002; Tomás y Casacuberta; 200; Tomás et al.; 200). Una demostracó d'alguns traductors obtnguts pot trobar-se en la següent dreccó d'internet:

7 Abstract Statstcal methods have proven to be valuable n tasks such as automatc speech recognton and natural language processng, and they present a new opportunty for automatc translaton (Ney et al., 2000). Ths approach tres to solve the problem usng a pure nductve method, wthout usng lngustc knowledge. The classcal statstcal machne translaton uses sngle-word based models (Brown, 993). These models have an mportant defcency; relatons between words are word to word. Thus, they do not take contextual nformaton nto account for the translaton decson. In ths work, we present some models that try to fnd relatons between sequences of words (phrases), nstead of between sngle words. The frst model, named phrase-based, explctly learns the probablty of a sequence of words n a source sentence beng translated to another sequence of words n the target sentence. We show how ths approach obtans nterestng results when the languages do not requre much reorderng, or n reduced doman task. One shortcomng of the pervous model s the generalzaton capablty. If a sequence of words has not been seen n tranng, the model cannot reorder t properly. A possble soluton could be the template-based approach (Och et al., 999), whch uses sequences of classes of words nstead of sequences of words. We present a template-based algnment model that uses a Part Of Speech tagger for word classes. We also propose an mproved model that combnes both models. The basc dea s that f a sequence of words has been seen n tranng, the phrase-based model can be used; otherwse, the templatebased model can be used. In statstcal machne translaton, there are many source words that can present dfferent translatons. The usual approach to dsambguatng these words s to use a target language model. These models are based on local phenomena and n many cases are not capable of properly translatng some of these words. To deal wth ths problem, a new approach s proposed that s based on the so-called nave Bayesan classfer. After a process of automatc selecton of ambguous words, an adequate bnary feature set that maxmzes the nformaton gan s chosen. A Bayesan classfer can be used to choose the most adequate translaton of a word, usng ths feature set.

8 Some of the conclusons of ths work have been prevously publshed n the followng publcatons: (Tomás y Casacuberta, 2003; Tomás et al., 2003; Tomás y Casacuberta, 2002; Tomás y Casacuberta; 200; Tomás et al.; 200). A demonstraton of some of the translators can be found n ths address:

9 Índce General. Introduccón Objetvos de la tess Organzacón de la memora La traduccón automátca basada en corpus Arqutectura de un traductor basado en corpus La traduccón basada en ejemplos La traduccón medante traductores de estados fntos La traduccón medante redes neuronales La traduccón estadístca basada en el modelo de canal Modelos de alneamento palabra a palabra Modelos de alneamento basados en plantllas Modelos de alneamento basados en gramátca Modelos de alneamento basados en secuencas de palabras Entrenamento por máxma verosmltud Modelos de traduccón estadístca por máxma entropía Obtencón de corpus de entrenamento y preproceso La evaluacón en los sstemas de traduccón Meddas de evaluacón para la traduccón DARPA... 33

10 2 Índce general Meddas de evaluacón automátcas Meddas de evaluacón no automátcas Nuevas meddas de evaluacón propuestas Conclusones Traduccón estadístca basada en secuencas de palabras La teoría de produccón del lenguaje de Becker La traduccón por secuencas de palabras Aproxmacón drecta en traduccón estadístca Traduccón monótona por secuencas de palabras Entrenamento medante un corpus alneado a nvel de frase Entrenamento medante un corpus alneado a nvel de palabra Extraccón de secuencas blngües Estmacón de los parámetros Traduccón no monótona por secuencas de palabras Búsqueda de la mejor traduccón Algortmo de búsqueda monótono Algortmo de búsqueda no monótono Nueva propuesta de algortmo no monótono Resultados expermentales La tarea XRCE La tarea El Peródco Conclusones Traduccón estadístca basada en plantllas El modelo Estmacón de los parámetros... 85

11 Índce general Combnacón de los modelos de secuencas de palabras y de plantllas Resultados expermentales Conclusones El modelo de desambguacón Introduccón La desambguacón léxca basada en corpus Integracón del modelo de desambguacón Clasfcador bayesano naf Seleccón de característcas Seleccón de palabras ambguas Resultados expermentales Conclusones Conclusones Conclusones Trabajo futuro Publcacones relaconadas con la tess...06 A. Nomenclatura...07 B. Obtencón de corpus de entrenamento y preproceso...09 B.. B.2. Obtencón de corpus multlngües desde Internet...09 Búsqueda automátca de corpus en Internet...0 B.3. Fragmentacón del texto...2 B.4. B.5. Undades de traduccón dentfcables...4 Alneamento de sentencas en textos paralelos...5 B.6. Resultados obtendos...8 B.7. Conclusones...9

12 4 Índce general C. Herramenta para la evaluacón de traductores...2 D. Ejemplo de desambguacón...25 E. Traduccón automátca combnando métodos estadístcos y lngüístcos...29 E.. Defcencas de los dos planteamentos...30 E.2. Alternatvas para combnar los dos planteamentos...3 E.3. Propuestas mplementadas...33 E.4. Resultados expermentales...36 E.5. Conclusones...39 Bblografía...4

13 CAPÍTULO Introduccón Los sstemas de traduccón automátca cobran una mportanca crecente en una socedad cada vez más globalzada. Su mportanca radca en que pueden contrbur a elmnar las barreras de comuncacón entre personas de dferentes culturas. Aunque en la actualdad ya se comercalzan algunos sstemas de traduccón automátca, la obtencón de un sstema de caldad y totalmente automátco está lejos de consegurse. La dea de dsponer de una máquna capaz de realzar traduccones es muy antgua (Weaver, 994), sn embargo hasta la aparcón de los prmeros ordenadores no fue factble su construccón. Dos planteamentos dferentes compten en la actualdad para abordar el problema: En un lado tenemos los métodos basados en el conocmento, deductvos o lngüístcos (Arnold et al., 994; Whte et al., 994), que tratan de transferr al sstema todo el conocmento lngüístco (o de otros tpos) necesaro para resolver el problema. Es decr, se ha de codfcar de algún modo en el sstema los conocmentos que un experto posee sobre los lenguajes de entrada y salda, y la forma de traducr correctamente entre ellos. Todo este conocmento ha de formalzarse para que pueda ser manpulado por un ordenador. En el lado opuesto, tenemos los métodos empírcos o nductvos (Brown et al., 990; Prat, 998), que toman como únca nformacón de partda gran cantdad de ejemplos para tratar de aprender a resolver el problema.

14 6 Introduccón Los sstemas de traduccón basados en el conocmento presentan certos nconvenentes: Como se ha ndcado, resulta mprescndble la partcpacón de expertos lngüstas que han de domnar tanto la lengua de partda como la de llegada. El esfuerzo necesaro para plasmar el proceso de traduccón en formalsmos capaces de ser procesados por un ordenador es de gran magntud. Hay que ntroducr en el sstema nformacón morfológca, sntáctca, semántca y de traduccón, tanto en una lengua como en la otra. Tanto los expertos como el trabajo a realzar, sólo son aplcables a la traduccón entre dos lenguas determnadas. Este hecho hace que esta tarea solo es prevsble que se afronte entre dos lenguas de mucho uso, como el nglés y castellano. Por el contraro, es poco probable que se desarrolle un traductor entre dos lenguas menos extenddas, como el rumano y el fnés. La traduccón empírca, no presenta nnguno de los nconvenentes antes ndcados. Pero por el contraro presenta los sguentes: Los resultados obtendos medante métodos nductvos han sdo nferores a los obtendos medante métodos deductvos. Hasta la actualdad no ha sdo vable construr un traductor comercal basado en técncas nductvas. Por el contraro, en tareas de domno restrngdo sí han ofrecdo resultados satsfactoros. En algunos casos ncluso con resultados superores a los métodos deductvos (Ney et al., 2000). Requeren de la exstenca de grandes volúmenes de texto blngüe, para entrenar los sstemas. Además el resultado obtendo es muy dependente tanto del tpo de corpus de entrenamento utlzado como tambén del proceso al que se somete el corpus. Los métodos empírcos y los basados en el conocmento se presentan en prncpo como opuestos. Sn embargo, algunos autores (Arnold et al., 994) afrman que nnguna de las dos técncas puede resolver completamente el problema, por lo que en un futuro será mprescndble nvolucrar de forma conjunta ambos planteamento, dando lugar a traductores híbrdos. Dentro del campo emprcsta, la traduccón basada en métodos estadístcos parece tener un futuro prometedor (Och y Ney, 2000). La aproxmacón estadístca ya ha demostrado su efcaca en el campo del reconocmento automátco del habla (Jelnek, 973; Bahl, 983; Tarró et al., 990). Esta aproxmacón se basa en la defncón de una funcón que trata de estmar la probabldad de que una frase en el lenguaje de llegada sea la traduccón de una frase en el lenguaje de partda. La construccón de un sstema de traduccón estadístca presenta los sguentes tres aspectos claves: El modelado consste en defnr una funcón que estme la probabldad de que una sentenca sea la traduccón de otra. Se han defndo gran cantdad de alternatvas a la hora de defnr esta dstrbucón estadístca (Brown et al., 990; Och et al., 999). Todas estas propuestas tenen en común hacer uso de un tpo especal de estructura conocda como

15 Introduccón 7 alneamento. Un alneamento nos permte establecer la correspondenca entre las palabras en la frase orgen y la frase destno, asgnando poscones de palabra destno a poscones de palabra orgen. Los modelos de traduccón obtendos suelen constar de mles o mllones de parámetros, los cuales son estmados en la fase de entrenamento. Para este propósto resulta mprescndble dsponer de gran cantdad de ejemplos de traduccones, el corpus de entrenamento. La fase de entrenamento suele consstr en encontrar los parámetros del modelo que maxmcen la probabldad del corpus de entrenamento (Brown et al., 993; Papnen et al., 998). Una vez dsponemos de estos parámetros, el proceso de traduccón consstrá en encontrar la frase de salda que maxmce la funcón defnda en la prmera etapa, dada una frase de entrada. Esta últma etapa es conocda como búsqueda o decodfcacón. El algortmo de búsqueda es una parte crucal en un sstema de traduccón estadístca, dado que su rendmento afecta drectamente en la caldad y efcenca de las traduccones (Wang y Wabel, 998b)... Objetvos de la tess En el presente trabajo se pretende estudar los métodos estadístcos de traduccón automátca aplcados a lenguas de Europa Occdental, tales como el nglés, francés, castellano o catalán. A contnuacón se descrben los aspectos partculares que se tratará de cubrr: No exsten demasados trabajos que abarquen todos los aspectos de un sstema de traduccón estadístco. Frecuentemente se descrben sólo certos componentes, como por ejemplo los modelos de alneamento. Sn embargo, resulta mprescndble consderar el resto de componentes del sstema para poder evaluar los resultados. En esta tess se pretende descrbr todos los aspectos necesaros para obtener un sstema automátco de traduccón medante métodos estadístcos. Estos aspectos comprenderán la obtencón de corpus blngües de entrenamento, el preproceso de los textos, la defncón de modelos, el entrenamento y la fase de búsqueda. Una defcenca en la aproxmacón clásca en traduccón estadístca es que sólo es capaz de establecer relacones entre palabras ndvduales. Un objetvo del presente trabajo es desarrollar varos modelos que tratan de buscar relacones entre secuencas de palabras, en lugar de con palabras ndvduales. Estudaremos dos alternatvas, establecer de forma explcta la relacón entre dos secuencas de palabras o utlzar clases de palabras para establecer estas relacones. Un problema especalmente complejo en el campo de la traduccón es el tratamento de las palabras ambguas. Este fenómeno ocurre cuando una msma expresón léxca hace referenca a varos conceptos, y por lo tanto puede presentar traduccones dferentes. Los modelos actuales de traduccón estadístca no resuelven de forma satsfactora este fenómeno. Para soluconar el problema se pretende ncorporar un modelo estadístco de

16 8 Introduccón desambguacón, que tratará de dstngur entre las posbles traduccones de una palabra, a partr de certas palabras relevantes que aparecen cerca de esta. La mayoría de trabajos realzados en el ámbto de la traduccón estadístca utlzan el nglés como lengua predomnante. Exsten muy pocos trabajos que no tengan al nglés como orgen o destno de la traduccón. Uno de los objetvos de esta tess es estudar la aplcacón de los métodos estadístcos entre lenguas románcas. Dada la gran smltud entre estos tpos de lenguas, tenemos la esperanza de obtener unos resultados en traduccón de caldad aceptable. Se presentará un nuevo modelo de traduccón que toma ventaja de esta smltud entre las lenguas. Los métodos basados en el conocmento son los que se están utlzando en la práctca para la construccón de sstemas de traduccón comercales. Uno de los objetvos de esta tess es comparar hasta qué punto los métodos estadístcos pueden ser compettvos con los basados en el conocmento. Para resolver esta cuestón estudaremos el caso del castellano-catalán, par de lenguas para el que se han desarrollado varos traductores basados en el conocmento. Compararemos los resultados obtendos por estos traductores con otros basados en métodos estadístcos, utlzando para ello dferentes crteros de evaluacón. Los traductores basados en el conocmento y los estadístcos utlzan planteamentos muy dferentes. Este hecho puede hacernos pensar que la nformacón contenda en cada uno de estos tpos de traductores, puede ser complementara. Por lo tanto, estudaremos la posbldad de combnar los dos tpos de traductores con el fn de mejorar la caldad de las traduccones. Resumendo, los objetvos centífcos y tecnológcos que nos hemos planteados conssten en estudar y perfecconar los actuales métodos estadístcos de traduccón, aplcados en la traduccón entre lenguas de Europa Occdental. Concretamente trataremos los sguentes aspectos: Descrbremos cómo podemos obtener de forma automátca corpus blngües desde Internet. Plantearemos nuevos modelos estadístcos de traduccón que utlzan como elemento clave la secuenca de palabras. Propondremos una alternatva a la aproxmacón clásca del canal rudoso. Fnalmente, trataremos de mejorar la traduccón de certas palabras ntegrando un modelo estadístco de desambguacón..2. Organzacón de la memora Una vez ntroducdo los objetvos generales que estamos nteresados en cubrr, pasamos a descrbr cómo se ha estructurado la tess. En el sguente capítulo se realza una descrpcón general de un sstema de traduccón nductvo. Tambén se comentan las prncpales aproxmacones a la traduccón automátca medante estos métodos, hacendo especal hncapé en los métodos estadístcos. En este capítulo tambén se comentará un aspecto consderado muchas veces como secundaro, pero que resulta clave para obtener buenos resultados de traduccón. Nos refermos a la obtencón del corpus de entrenamento y el necesaro preproceso al que hay que someter a los textos para poder aplcar las técncas estadístcas. A lo largo del apéndce

17 Introduccón 9 B se proporcona nformacón más detallada de los métodos segudos en la obtencón de los corpus de entrenamento. Así msmo, en el capítulo dos, se ntroducrá el problema de la evaluacón en la traduccón automátca, descrbendo dferentes métodos que nos permtrán comparar los sstemas. En el capítulo tercero se presenta un modelo estadístco basado en la traduccón monótona de secuencas de palabras. Se estudan dferentes posbldades a la hora de obtener los parámetros del modelo. Tambén se presentan algortmos de búsqueda para la decodfcacón, tanto en su versón monótona como en la varante no monótona. Los modelos presentados en el capítulo tercero, tenen como prncpal defcenca su escasa capacdad de generalzacón. Para tratar de soluconar este problema, en el capítulo qunto, se presenta un modelo smlar al anteror, aunque en lugar de traducr secuencas de palabras, trata de traducr secuencas de clases de palabras. Tambén veremos cómo la combnacón de este modelo con el anteror nos proporcona los mejores resultados en la traduccón. En el capítulo qunto tratamos de resolver un problema común a la gran mayoría de los sstemas de traduccón, la desambguacón de palabras que presentan varas traduccones. Se ntroducrá un modelo estadístco que aporta nueva nformacón para poder traducr algunas de estas palabras ambguas. En el capítulo sexto termnaremos mostrando las conclusones.

18

19 CAPÍTULO 2 La traduccón automátca basada en corpus La aproxmacón nductva al problema de la traduccón puede traducrse como: dado un conjunto de ejemplos de traduccones, obtener un modelo que los explque y, en la medda de lo posble, los generalce. Este planteamento conlleva necesaramente dos fases. La prmera que es aprendzaje, donde el modelo se genera o parametrza a partr de los ejemplos. Y la segunda que es de generalzacón, donde dada una frase de entrada, se utlza el modelo obtendo en la fase anteror para buscar su traduccón más adecuada. Se ha ensayado una gran varedad de posbldades a la hora de aplcar esta aproxmacón. A contnuacón se descrbe el planteamento general de esta aproxmacón, pasando luego a repasar brevemente los paradgmas de mayor relevanca: 2.. Arqutectura de un traductor basado en corpus Un traductor automátco basado en corpus, toma como nformacón de entrada un texto en una lengua natural y es capaz de generar como salda la traduccón correspondente en una lengua natural dferente, utlzando como fuente de nformacón prncpal gran cantdad de ejemplos de traduccones prevamente realzadas. En la sguente fgura se representa el esquema general que sgue la mayoría de este tpo de traductores (Wang et al., 998a):

20 2 La traduccón automátca basada en corpus corpus paralelo Preproceso texto a traducr Entrenamento Modelos Generacón otras fuentes de conocmento Postproceso texto traducdo Fgura 2. Arqutectura de un traductor basado en corpus. Podemos dferencar dos fases en el desarrollo de un traductor basado en corpus: La fase de entrenamento, marcada con flechas blancas, toma como partda gran cantdad de textos generados por traductores humanos. Estos textos han de ser preprocesados para facltar su posteror manpulacón. Esta fase suele consstr en la deteccón de undades de traduccón, como palabras o frases. Tambén es frecuente una reduccón del número de formas léxcas, vtal para reducr el problema de la escasez de datos de entrenamento (Berger et al., 996a). Algunos autores proponen una fase de preproceso más profunda, conocda en este caso como análss, donde se trata de obtener nformacón adconal de los textos, habtualmente nformacón sntáctca (Wang, 998; Yamada y Knght, 200). Los textos procesados son pasados a una etapa de entrenamento, donde de forma automátca se trata de extraer la nformacón necesara para realzar posterores traduccones. Esta nformacón es almacenada en una sere de modelos para su posteror utlzacón. La fase de traduccón, marcada con flechas grses, toma como partda un texto a traducr. Tras su preproceso, la etapa de generacón trata de obtener la salda que se consdere óptma combnando la nformacón de los modelos. A la hora de tomar esta decsón, tambén pueden tenerse en consderacón otras fuentes de conocmento adqurdas de forma deductva.

21 La traduccón automátca basada en corpus La traduccón basada en ejemplos La traduccón basada en ejemplos (example based machne translaton) posee un nombre confuso, dado que es muy smlar al de traduccón basada en corpus. En (Turcano y Popowch, 200) se defne un sstema de traduccón basado en ejemplos como aquel que cumple las sguentes dos condcones:. Utlza un corpus blngüe como base prncpal de conocmento. 2. Utlza este corpus blngüe en tempo de ejecucón. Por lo tanto se excluyen aquellas aproxmacones que utlzan el corpus en una fase ncal de entrenamento para la construccón de un modelo (estadístco, conexonsta, ) de traduccón. La traduccón basada en ejemplos (Cracas et al., 994; Lews, 997; Schäler, 200) parte de la dea de realzar traduccones tratando de mtar ejemplos de sentencas smlares, de las que ya conocemos su traduccón. Para consegur estos ejemplos de sentencas, se utlza un gran volumen de texto blngüe convenentemente alneado (p. e. a nvel de frase). Todos estos ejemplos de traduccones han de ser almacenados en una base de datos de texto, para que con posterordad, se faclte su localzacón a partr de cualquera de las palabras contendas en los ejemplos. Otra aproxmacón estrechamente relaconada con la traduccón basada en ejemplos son las memoras de traduccón. Medante esta técnca no es frecuente tratar de construr un sstema totalmente automátco de traduccón, sno que se suele enfocar al desarrollo de sstemas de ayudas para traductores humanos. La dea consste en buscar en el corpus blngüe ejemplos de cómo se han traducdo frases smlares a la que en este momento el traductor se encuentra traducendo. Una vez vsualzada esta nformacón, el traductor podrá utlzarla como referenca. Un programa de traduccón basado en ejemplos/memoras actúa de la sguente manera: se ntroduce un texto de entrada del que se pretende realzar una traduccón. El sstema fragmenta esta entrada en undades de texto y busca en la base de datos los ejemplos almacenados que concden en mayor o menor medda con estas undades. En el caso de un sstema de memoras de traduccón, toda la nformacón localzada que se consdere de nterés, será mostrada para que un traductor humano tome las decsones oportunas y construya las frases de salda más adecuadas. La traduccón basada en ejemplos trata de r un poco más lejos, susttuyendo la partcpacón del traductor humano por un mecansmo automátco, que explota los ejemplos encontrados combnándolos y aventurándose a producr una sentenca de salda. Según (Cranas et al., 994) se pueden dstngur tres aspectos claves que permten trabajar a los sstemas de traduccón basados en ejemplos: Establecer las correspondencas entre las undades (frases o palabras) a partr de un corpus multlngüe. Dada una entrada, establecer un mecansmo de recuperacón de las undades que concdan mejor con esta entrada dentro de la base de datos. En este apartado hay que establecer la undad de texto que determna s la búsqueda se realzará a nvel

22 4 La traduccón automátca basada en corpus de sentenca o subsentenca. Tambén será necesaro la defncón de una métrca de smltud entre dos undades de texto y, por últmo, la reduccón del espaco de búsqueda. Aprovechar los ejemplos de traduccón encontrados para producr una propuesta de traduccón de la sentenca de entrada. El problema de establecer correspondencas en corpus paralelos ha sdo amplamente estudado. En (Brown et al., 99a; Kay y Röschesen, 993; Gale et al., 993) se proponen métodos para establecer la correspondenca entre sentencas dentro de corpus blngües. En (Brown, 993; Dagan et al., 993) se trata el problema de alnear las palabras de dos frases blngües. Dentro del segundo punto, resulta un aspecto clave establecer la undad de texto que determna s la búsqueda se realzará a nvel de sentenca o subsentenca. La eleccón obva sería utlzar como undad de texto la sentenca, dado que podemos obtener las fronteras de forma no ambgua. Sn embargo, las sentencas pueden ser a veces demasado largas. Esto ocasonaría que sea muy mprobable que estas sentencas sean encontradas de forma exacta en la base de datos, por lo que se perdería cobertura. S por el contraro se seleccona la subsentenca como undad de texto, aparece un problema todavía mayor, s la marcacón de las fronteras de dvsón no es adecuada, ocasonaría una traduccón ncorrecta (Schäller, 200). S se trabaja con subsentencas, será necesaro un procedmento que alnee textos paralelos a nvel de subsentenca. Tambén resulta muy nteresante utlzar algortmos que estmen la longtud óptma de las subsentencas. Hay que tener en cuenta que pueden aparecer problemas de ambgüedad cuando la longtud de los segmentos es demasado pequeña. A pesar de que muchos de los sstemas de que están funconando en la actualdad emplean como undad de texto la sentenca, el potencal de los sstemas basados en ejemplos, está en explotar fragmentos de texto más pequeños que la sentenca, combnándolos para producr sentencas completas. Sn embargo, el alneamento automátco de subsentencas es un problema todavía no resuelto La traduccón medante traductores de estados fntos Los traductores basados en modelos de estados fntos se caracterzan por utlzar para representar el proceso de traduccón un tpo de modelo formal conocdo como autómata de estados fntos (Vdal et al., 997; Castellanos et al., 998; Alshaw et al., 2000)). Los autómatas de estados fntos presentan un amplo abanco de posbldades. Por un lado, la comundad nteresada en el procesado de lenguaje natural, ha utlzado a menudo los modelos de estados fntos en muchas aplcacones, prncpalmente en domnos restrngdos. Por otro lado, en reconocmento del habla el uso de modelos de n-

23 La traduccón automátca basada en corpus 5 gramas, que no es más que un subtpo muy smple de modelo de estados fntos, es la técnca más fuertemente asentada en domnos no restrngdos (Prat, 998). Los autómatas de estados fntos, que se engloban dentro de la teoría clásca de los lenguajes formales, han demostrado sus posbldades en el tratamento del lenguaje natural. Tradconalmente la nformacón contenda en estos formalsmos es ntroducda de forma deductva, aunque recentes estudos han demostrado que pueden ser aprenddos medante técncas nductvas y pueden ser formulados bajo un marco estadístco. Dentro de la clase de los transductores de estados fntos tenemos los transductores subsecuencales y a su vez dentro de la clase de los transductores subsecuencales encontramos los transductores secuencales. Un transductor secuencal es aquel que preserva los prefjos de las cadenas de entrada-salda a medda que son analzadas. Es decr, la traduccón de un prefjo es sempre un prefjo de traduccón. Este tpo de transductores sólo es aplcable a tareas muy sencllas como la traduccón palabra a palabra (Vdal et al., 989). Por su parte los transductores subsecuencales son aquellos que los símbolos de su salda son generados sólo cuando se han vsto sufcentes símbolos en la entrada para garantzar una salda correcta. Recentemente se ha demostrado que los transductores subsecuencales pueden ser correctamente aprenddos a partr de una representacón postva de ejemplos de entradassaldas (Oncna et al., 993). Una de las más mportantes aportacones que han sdo recentemente presentadas es el algortmo OSTIA ( Onward Subsecuental Transducer Inference Algorthm ). La dea básca de esta aproxmacón consste en almacenar los ejemplos de traduccón en un autómata de estados fntos, hacendo corresponder cada estado con una representacón del árbol de prefjos del lenguaje orgen, para realzar más tarde un proceso teratvo de mezcla de estados. Varos trabajos han utlzado este tpo de algortmos para el aprendzaje de traductores en domnos restrngdos (Jménez et al., 995; Vdal, 997; Castellanos et al., 998). Una evolucón del algortmo OSTIA es el algortmo Omega, que permte la utlzacón de nformacón adconal (que puede ser extraída del propo corpus de aprendzaje) (Vlar, 998). Una de las prncpales ventajas de los sstemas de traduccón basados en traductores de estados fntos es la posbldad de nferrlos a partr de pares de muestras de entrenamento. Sn embargo, no exsten demasadas técncas que permtan realzar este trabajo (Vdal et al., 989; Oncna et al., 993). Sn embargo, exste un gran número de técncas que permten nferr gramátcas regulares a partr de un conjunto de cadenas de entrenamento en una sola lengua (Vdal et al., 995a). En (Casacuberta, 2000) se descrbe el método GIATI (Gramatcal Inference and Algnment for Transducer Inference) para nferr transductores de estados fntos, basado en la relacón formal entre los transductores de estados fntos y las gramátcas regulares. Esta dea es utlzada en la construccón de un traductor automátco medante los sguentes pasos: ) Se construye un corpus de cadenas de entrenamento a partr del corpus blngüe. Para este propósto se utlza un corpus alneado a nvel de palabra, obtendo medante modelos estadístcos 2. 2) Se nfere una 2 Este proceso es muy parecdo al que se descrbe en el apartado 4.5..

24 6 La traduccón automátca basada en corpus gramátca regular utlzando la técnca de los n-gramas. 3) Se transforma la gramátca en un transductor de estados fntos. Una de las ventajas de mayor nterés de las máqunas de estados fntos es su fácl ntegracón en sstemas de reconocmento del habla y la efcenca de los motores de traduccón, facltando así el desarrollo de sstemas de traduccón con entrada oral La traduccón medante redes neuronales El uso de redes neuronales es uno de los recursos más amplamente utlzados en tareas de aprendzaje nductvo. Su aplcacón más tradconal se enmarca dentro del reconocmento geométrco de formas, por lo que en un prncpo no resulta trval su utlzacón en tareas de procesado de lenguaje natural. Sn embargo su gran potenca de aprendzaje, puede ofrecer nteresantes aportacones, sobre todo en tareas de domnos restrngdos. Convene resaltar que este planteamento podría consderarse como un caso partcular de aproxmacón estadístca. Pasemos a comentar algunas propuestas enfocadas a resolver el problema de la traduccón medante redes neuronales. En algunos trabajos se utlza una típca topología de perceptrón multcapa (Koncar et al., 994). Este planteamento mpone un requsto dfícl de aceptar en una aplcacón práctca, el número de palabras tanto en la frase de entrada, como en la de salda, ha de permanecer constante. Para resolver este problema resulta rrescndble realzar certas operacones para adaptar la entrada y la salda. Otro planteamento puede consstr en el uso de redes recurrentes, como las utlzadas en (Castaño y Casacuberta, 999), donde utlzando un planteamento muy smple se obtenen buenos resultados de traduccón en una tarea seudo-natural con vocabularo reducdo. Uno de los aspectos crucales para que sea factble el entrenamento de redes neuronales en tareas de procesado de lenguaje natural es cómo codfcar el lenguaje para ser ntroducdo en las entradas de la red. Cuando el tamaño del vocabularo con el que se trabaja es grande, o ncluso medo, una representacón local de las palabras no sería adecuada, dado que nos conducría a un número excesvo, y por tanto nadecuado, de conexones a entrenar. Una solucón a este problema (Castaño y Casacuberta, 999b) pasa por codfcar cada palabra del vocabularo de forma dstrbuda, buscando codfcacones smlares para las palabras que aparecen en contextos sntáctcos smlares. En el msmo objetvo de encontrar representacones adecuadas al léxco de una lengua, en (Martínez, 995) se estuda la forma de asocar los símbolos físcos del lenguaje a símbolos conceptuales. Con este propósto se propone el uso de redes asocatvas estructurales. Estas redes compettvas representan un símbolo físco y su correspondente semántco como una capa bdmensonal de neuronas. El proceso de aprendzaje consste en crear asocacones entre la capa físca y la semántca. Las redes neuronales tambén han sdo muy utlzadas en colaboracón con otras técncas. Por ejemplo, en (Prat, 998) se descrbe cómo pueden ser utlzadas para estmar

25 La traduccón automátca basada en corpus 7 las probabldades de asocacón entre reglas dentro de un marco de traduccón medante asocacón de gramátcas (Vdal et al., 995b) La traduccón estadístca basada en el modelo de canal. La traduccón automátca medante técncas estadístcas fue uno de los prmeros planteamentos ensayados para resolver el problema. Ya en la década de los 50, Warren Weaver (Weaver, 954), propone utlzar una aproxmacón empírca/estadístca. Sn embargo, pronto cayó en desgraca cuando Chomsky y otros autores señalaron sus lmtacones. Su argumentacón prncpal era que resulta muy dfícl capturar relacones a larga dstanca (Churck, 996). Por ejemplo, una técnca basada en trgramas dfíclmente podrá establecer la concordanca de género que ha de exstr entre el verbo y el sujeto en una oracón. Aún aumentando el tamaño de la ventana a cuatro o cnco palabras, el problema no se resuelve, dado que las restrccones entre verbo y sujeto pueden expresarse en termno de verbos y sujetos, pero dfíclmente en termno de palabras. A pesar de las lmtacones antes comentadas, las técncas estadístcas han expermentado un nterés crecente en los últmos años. Las razones de este resurgmento, pueden deberse a varas causas: Por un lado el crecente número de textos masvos de fácl dsponbldad (corpus de entrenamento). Por otro los grandes avances en el mundo de los ordenadores nos permten dsponer de máqunas cada vez más rápdas y con mayor capacdad. Este nterés por estos métodos se ve reforzado por los excelentes resultados obtendos en el reconocmento del habla (Jelnek, 976; Katz, 987). En esta tarea, los métodos estadístcos han demostrado que son una opcón vable para el procesado del lenguaje. Dentro del campo de la traduccón, uno de los prncpales responsables del resurgmento de las técncas estadístcas es el centro de nvestgacón IBM J. Thomas Watson (Brown et al., 990). Su trabajo se basa en el modelo de canal rudoso de Shannon. Imagnemos que una secuenca de texto correcto (e), atravesa un canal rudoso, obtenendo a su salda una secuenca de texto corrupto (f). e Canal Rudoso f Fgura 2.2. El canal rudoso de Shanon. Es posble que un algortmo pueda reconstrur la entrada de texto correcto, e, a partr del texto corrupto, f? S dspuséramos de una funcón que estmara la probabldad

26 8 La traduccón automátca basada en corpus de que se produzca una determnada entrada a partr de una salda, Pr(e f) 3, sería posble reconstrur la entrada más probable, ê, probando todas la posbles entradas de e, y selecconando la de mayor puntuacón. La traduccón estadístca se basa por tanto en la defncón de esta funcón, Pr(e f), que asoca un número a cada par de sentencas e, f (Brown, 993). Este número será nterpretado como la probabldad de traduccón de que dada la frase orgen f = f...f f = f e f, se obtenga la frase destno e = e...e e = e. Donde f y e representan el número de palabras de las frases f y e. Una vez defnda esta funcón, el problema puede plantearse de la sguente forma: Dada una frase orgen f hay que obtener una frase de salda e que mnmce la funcón Pr(e f). Aplcando el Teorema de Bayes, podemos obtener: Pr( e)pr( f e) Pr( e f ) = (2.) Pr( f ) Por lo tanto, para obtener la traduccón que maxmce la probabldad de esta funcón, podemos escrbr: e = arg max Pr( e)pr( f e) e (2.2) Esta ecuacón permte desdoblar en dos la nformacón que dspondrá el sstema para realzar la traduccón. Por un lado tendrá el modelo de lenguaje, Pr(e), que permte dstngur qué frases del lenguaje de llegada son más probables. Por el otro lado tenemos el modelo de traduccón, Pr(f e), que trata de estmar la probabldad de que una frase sea la traduccón de otra. Este planteamento es muy smlar al utlzado en el reconocmento del habla, por lo que vamos a aprovechar muchas técncas desarrolladas para este campo. La ecuacón 2.2 resume los tres problemas prncpales que se nos van a plantear: Por un lado, necestaremos defnr los modelos estocástcos que aproxmen Pr(e) y Pr(f e) para que descrban adecuadamente el proceso de traduccón. En la frase de aprendzaje, tendremos que estmar los parámetros de estos modelos, a partr de gran cantdad de muestras de entrenamento. Y por últmo, vamos a necestar un algortmo que permta encontrar la frase ê que maxmce este producto. Esta búsqueda ha de ser rápda y efcente, aun a resgo de que sea subóptma. 3 Con el fn de smplfcar las ecuacones, vamos a relajar la notacón, escrbremos Pr(x) en lugar de Pr(X=x) y Pr(x y) en lugar de Pr(X=x Y=y).

27 La traduccón automátca basada en corpus 9 En resumen esta técnca de traduccón parte de la defncón de un modelo estadístco; que no es más que una funcón que trata de estmar la probabldad de que, dadas dos frases cada una en un doma, una sea la traduccón de la otra. Estos modelos estadístcos están formados por mles de parámetros, que han de ser estmados a partr de muestras de aprendzaje. Puede resultar controvertdo afrmar que las técncas estadístcas consegurán su objetvo fnal: la construccón de sstemas de traduccón de caldad totalmente automátcos. Lo que no admte dscusón es que pueden resultar de gran ayuda en certas tareas relaconadas con la traduccón. Por ejemplo, resulta posble utlzar programas de alneamento (Dagan et al., 993) para la construccón automátca de glosaros. El uso de la termnología técnca resulta una de las mayores dfcultades para los traductores. En el pasado, los traductores tenían que leer gran cantdad de textos blngües para domnar los térmnos utlzado en un determnado contexto. En la actualdad, este trabajo puede ser realzado de forma automátca (Dagan y Church, 994). Otros autores (Brown, 994; Dymetman, 994; Brousseau, 995) proponen utlzar las técncas de traduccón estadístca, como ayuda en la construccón de sstemas de dctado para traductores. La dea consste en utlzar como nformacón de entrada para realzar el reconocmento del habla, no sólo la señal acústca pronuncada por el traductor, sno además la frase que el traductor está traducendo en ese momento. En los sguentes apartados pasaremos a descrbr los modelos de traduccón estadístca más relevantes Modelos de alneamento palabra a palabra Los modelos estadístcos de traduccón fueron ntroducdos a prncpo de la década de los noventa por un grupo de nvestgadores del centro de nvestgacón IBM T. J. Watson (Brown et al., 990). Los cnco modelos propuestos por este grupo son conocdos como modelos IBM, y son utlzados hoy día como base de referenca en el resto de nvestgacones en este campo. A lo largo de este texto nos referremos a ellos como modelo uno (M), modelo dos (M2) y así hasta el modelo cnco (M5). La característca más mportante de estos modelos es la ntroduccón del concepto de alneamento. Este planteamento parte de la dea de que cada palabra, o grupo de palabras, de la frase de partda, genera una, o varas palabras, en la frase de llegada. A contnuacón se muestran algunos ejemplos de alneamentos:

28 20 La traduccón automátca basada en corpus está anotado el teléfono? s the phone bll ncluded? prepárenos nuestra factura, por favor could you prepare our bll for us, please? Fgura 2.3. Ejemplo de posbles alneamentos entre frases en castellano (orgen) y en nglés (destno). Los segmentos de línea nos ndcan qué palabras de la frase orgen han generado cada una de las palabras de la frase destno. Aquellas palabras de las que sale un segmento corto no alneado con otras palabras, no generaran nnguna palabra, s se trata de la frase orgen o aparecen de forma espontánea, s se trata de la frase destno. Como el lector puede observar, estos alneamentos, no son más que una de las muchas posbldades que podemos plantear, todas ellas perfectamente váldas. Convene ndcar que el concepto de alneamento no es algo mplícto a la tarea de traduccón, sno más ben, una herramenta medante la cual vamos a tratar de resolver el problema. Es un concepto ntutvo, que nos ayuda en la defncón de la probabldad condconal Pr(f e), que puede ser formalzado matemátcamente de dversas formas. Ejemplos de dstntos planteamentos para formalzar el concepto de alneamento los encontramos en (Brown, 993; Epsten, 996; Vogel et al., 996; Petra et al., 997; Och et al., 999; Ney et al., 2000b). En los modelos de IBM (Brown et al.,992) se propone utlzar concretamente la sguente defncón de alneamento: Un alneamento oculto a = a..a f descrbe una relacón entre cada una de las poscones orgen j con una poscón destno a j. Tambén puede contener alneamentos con a j = 0, s se consdera que la palabra orgen j no se alnea con nnguna palabra destno. De esta manera, cada una de las palabras orgen pueden ser alneadas con una únca palabra destno, o con nnguna. Mentras que las palabras destno pueden estar alneadas con nnguna, una o varas de la frase orgen. Los modelos estadístcos que utlzan un alneamento palabra a palabra, se conocen como modelos de alneamento palabra a palabra. (Brown et al., 993; Vogel et al., 996; Wang y Wabel, 997; Melamed, 997a). Una vez defndo un alneamento podemos formular el modelo de traduccón de la sguente forma: Pr( f e) = Pr( f,a e) (2.3) a

29 La traduccón automátca basada en corpus 2 Sn perdda de generaldad podemos obtener esta probabldad de la sguente forma: (Brown, 993): Pr( f,a e) = Pr( f Pr( f e) j a f ( j= j, f Pr( a j j a, f, e j )), f j, f, e) (2.4) Con esta descomposcón, obtenemos tres dstrbucones de probabldad dferentes: La prmera nos ndca la probabldad de la longtud de f, la segunda es conocda como probabldad de alneamento y la tercera es la probabldad léxca. Resulta evdente que estas dstrbucones de probabldad no pueden ser estmadas de forma drecta. Por esta razón es necesaro realzar certas asuncones en la dependenca de los parámetros para smplfcarlas. En el modelo M se asume, que la dstrbucón de alneamento es unforme y que la probabldad léxca de f j, depende exclusvamente de la palabra con la que es alneada. Este últmo parámetro es compartdo por cas todos los modelos de alneamento palabra a palabra. j j Pr( a j a, f, f, e) = (2.5) e + j j Pr( f a, f, f, e) = p( f e ) (2.6) j j a j En el modelo M2 se ntroduce una nueva dstrbucón (llamada de dstorsón) para estmar la probabldad de alneamento. Esta dstrbucón trata de estmar la probabldad de que una palabra orgen en poscón j, sea alneada con otra palabra destno en poscón. Pr( a j j a, f, f, e) p( a j j, e, f ) j = (2.7) Una alternatva a este planteamento la encontramos en el modelo de alneamento basado en cadenas ocultas de Markov (HMM) (Vogel et al., 996). En este modelo se asume que la probabldad de dstorsón depende, no de las poscones absolutas de las palabras orgen y destno, s no del anteror alneamento realzado. Este modelo de prmer orden obtene mejores resultados que los anterores. j j Pr( a j a, f, f, e) = p( a j a j, e ) (2.8)

30 22 La traduccón automátca basada en corpus Los modelos M3, M4 y M5 son conocdos como modelos de fertldad, dado que se ntroduce un nuevo parámetro que modela la probabldad de que una palabra destno pueda estar alneada con un número determnado de palabras orgen. Este tpo de modelos utlza una descomposcón dferente de la ndcada en la ecuacón 2.3 (Brown, 993). Dado que no tene excesva relevanca con los modelos presentados en la tess, no consderamos necesaro desarrollar esta descomposcón. En el modelo M3 se ntroduce el parámetro de fertldad, junto con la probabldad léxca y de dstorsón ya utlzadas en el modelo M2. En el modelo M4 la dstrbucón de dstorsón es susttuda de manera que: La poscón de una palabra destno alneada con una orgen, depende de la poscón de la palabra destno alneada a la palabra orgen que precede la palabra orgen actual, más que en la poscón la actual palabra orgen. Es decr, es un modelo de prmer orden. En el cálculo de esta dstrbucón se utlzan clases de palabras, en lugar de palabras ndvduales, para palar el problema de la escasez de datos de entrenamento. Tanto el modelo M3 como el M4 gnoran s una poscón orgen ya ha sdo alneada. Además, una masa de probabldad es reservada para poscones orgen fuera de los límtes de la sentenca. Esto hace que la suma de probabldades para todos los posbles alneamentos váldos no sume uno. Estos tpos de modelos son conocdos como defcentes (Brown, 993). El modelo M5 es una versón no defcente del modelo cuatro. Tanto el modelo HMM como el M4 y M5, son modelos de prmer orden, aunque trabajan de forma dferente. La probabldad de alneamento en el modelo HMM predce la dstanca entre dos poscones de la frase orgen consecutvas, mentras que el modelo cuatro predce la dstanca entre dos clases de palabras consecutvas de la frase destno. En (Och, 2003) se propone el modelo M6, que tene en consderacón ambos tpos de dependencas. El modelo es obtendo como una combnacón logarítmca lneal de los modelos HMM y M4, controlada medante el parámetro α. p M 6 ( f,a e) = f',a' p p M 4 M 4 α ( f,a e) p α ( f',a' e) p HMM HMM ( f,a e) ( f',a' e) (2.9) Donde p M6 es la probabldad obtenda por el modelo M6, p M4 es la probabldad obtenda por el modelo M4 y p HMM es la probabldad obtenda por el modelo HMM Modelos de alneamento basados en plantllas La prncpal defcenca de los modelos de alneamento basados en palabras es que gnoran el contexto donde aparece la palabra a traducr. Para soluconar esta lmtacón, se