USO DE CADENAS DE MARKOV PARA LA DESAMBIGUACIÓN MORFOLÓGICA.

Transcripción

1 USO DE CADENAS DE MARKOV PARA LA DESAMBIGUACIÓN MORFOLÓGICA. José Luis TRIVIÑO RODRIGUEZ Rafael MORALES BUENO Dep. Lenguajes y Ciencias de la Compuación E.T.S.I Informáica Universidad de Málaga Campus Teainos Málaga España RESUMEN: El problema de la desambiguación morfológica es la elección del análisis morfológico correco para una palabra denro del conexo de una frase enre odos los análisis morfológicos válidos para esa palabra. El uso de cadenas de Markov ha consiuido un méodo sencillo y eficaz para el cálculo de la dependencia del análisis con el conexo de la frase y, por ano, para la desambiguación morfológica. En ese informe se describe ano el enrenamieno y cálculo de la mariz de ransición de una cadena de Markov como su uso para la desambiguación en sus dos modalidades: a parir de exo eiqueado y a parir de exo sin eiquear mediane modelos de Markov oculos (HMM). Palabras claves: Compuaional Learning, Hidden Markov Model (HMM), Naural Language Procesing (NLP), Análisis Morfológico, Par of Speech Tagger, Vierbi Tagging, Maximum Likelihood Training. 1Inroducción. El inglés es donde más iempo se lleva esudiando el análisis morfológico de las palabras mediane el ordenador. En ese idioma, las palabras ienen una única forma poco relacionada con la clase gramaical a la que perenecen. Eso es debido a la escasa riqueza flexiva del inglés donde se da un escaso uso del sufijo excepo para plurales, varios iempos de verbos o algunos pocos casos más. Eso ha hecho que los esfuerzos por realizar un análisis morfológico auomáico se hayan basado en el esudio de la palabra denre del enorno de la frase más que en conemplar la palabra de forma aislada. De esa forma, odos los análisis válidos para una palabra se obienen a parir de un diccionario léxico. Denro del diccionario se almacena cada palabra juno a odos sus posibles análisis. La elección del análisis correco para la palabra denro del conexo de la frase de enre odos los posibles asignados en el diccionario léxico para esa palabra consiuye el verdadero problema del análisis morfológico de exos en inglés. A esa elección del análisis correco en función del conexo se denomina desambiguación morfológica. 1

2 En cambio en el español ocurre odo lo conrario, ya que la mayor flexibilidad de ese idioma no hace an dependiene la clase gramaical de una palabra con su conexo. De esa forma aparecen las dos siguienes líneas de desarrollo de análisis morfológico del español: Una primera aproximación al análisis morfológico del español supone el uso de concepos como raíces, sufijos, prefijos y demás elemenos de la Gramáica Española. Esos méodos se podrían llamar gramaicales y esan basados en proporcionar al ordenador gran canidad de información sobre cómo analizar las palabras, como puede ser la descomposición en raíces y sufijos de las palabras. De esa forma preendemos crear un algorimo que descomponga la palabra en esos componenes para realizar su análisis morfológico. Esos méodos se basan en la morfología en dos niveles descria por Kokenniemi (1983) con dos componenes principales: en primer lugar, un modelo de morfoácicas que define qué morfemas pueden combinarse con oros y, en segundo lugar, un modelo de fonología y morfografismo que define cómo las secuencias de fonemas en los morfemas son rasladadas a sonidos y escriura. El modelo morfoácico es uilizado para el análisis morfológico y especifica un léxico dividido en "clases de coninuación". Por ejemplo, en inglés, las raíces de los verbos regulares son miembros de una clase de coninuación, la cual es seguida por los miembros de la clase de coninuación de sufijos de inflexión formada por s y de. Ese modelo consiuye en esencia un auómaa finio de morfoácicas. Siguiendo ese modelo se han desarrollado numerosos analizadores morfológico, como por ejemplo: Klein y Simmons (1963); Brodda (1982); Paulussen y Marin (1992); Triviño (1993) y Klanvas (1991) Moreno y Goñi (1995); González y Goñi (1995). Esa forma de realizar el análisis morfológico puede llegar a dar resulados acepables y iene la venaja indiscuible de esar basada en la gramáica del lenguaje y en un esquema de razonamieno humano. Por ello, esos programas son familiares y fáciles de manejar para personas sin grandes conocimienos informáicos. Sin embargo, iene oros inconvenienes que impiden obener unos resulados ópimos en el análisis. Por ora pare, la forma más eficiene de abordar un programa por pare de un ordenador no siempre es la misma que uilizaría una persona debido, claro esá, a la dificulad de alcanzar el esquema de rabajo del cerebro humano por el sisema informáico. Frene a esa solución del problema de análisis morfológico exise un méodo compleamene opueso que se limia a suminisrar al ordenador la información mínima para realizar un análisis morfológico, eso es, una serie de palabras y sus correspondienes análisis, a parir de los cuales el ordenador, mediane una serie de cálculos, obendrá la información necesaria para analizar cualquier ora palabra. Eso nos lleva al concepo de aprendizaje para el que una posible definición sería: "mejora de la eficiencia sin reprogramación". Así, un algorimo de aprendizaje podría esudiar la similiud enre palabras de la misma clase gramaical y sus diferencias con el reso de las palabras represenando la información obenida de forma úil para un poserior análisis. Ejemplos de analizadores morfológicos mediane aprendizaje auomáico son: Nakamura, M. y Shikanom K. (1989); Triviño, J.L. y Calle, J. (1997). Sin embargo, a pesar de que en el español no basa con la uilización de un diccionario léxico y se hace necesario el uso de algorimos de análisis basados en la gramáica o mediane aprendizaje auomáico, una vez realizado el análisis de la palabra fuera del conexo de la frase, en la mayoría de los casos ese proceso produce más de 2

3 un eiqueado posible para la palabra. De esa forma, se hace necesario un proceso desambiguador poserior similar al realizado para exos en inglés que, en función del conexo de la palabra, seleccione el eiqueado correco enre odos los posibles para esa palabra. A coninuación se analizará uno de los modelos más uilizados para la desambiguación morfológica, eso es, el análisis probabilísico de secuencias de eiqueas mediane un modelo maemáico basado en cadenas de Markov, descrio enre oros por Merialdo (1994), Dermaas y Kokkinakis (1995) y Charniak (1993). El uso de cadenas de Markov permie esudiar la probabilidad de un deerminado análisis en función de los precedenes, omando como correco aquel con mayor probabilidad. En función de la probabilidad que se maximiza exisen dos ipos diferenes de eiqueado probabilísico: omar la secuencia de eiqueas más probable para la frase (Vierbi Tagging) y omar las eiqueas más probables para cada palabra denro de la frase (Maximum Likelihood Tagging). De esa forma, mienras Vierbi Tagging oma para cada palabra la eiquea que hace más probable la secuencia complea de eiqueas para la frase, Maximum Likelihood Tagging elige la eiquea más probable para cada palabra enre odas las secuencias posibles sin considerar las eiqueas elegidas para las oras palabras. El cálculo del modelo se puede realizar mediane enrenamieno a parir de un exo previamene eiqueado o bien mediane un modelo inicial impreciso calculado a parir del méodo anerior y un refinamieno del modelo de Markov oculo (HMM) a parir de exo sin eiquear. A coninuación, en la sección dos, se definirá el modelo maemáico de cadena de Markov juno con algunas de sus propiedades. Poseriormene, en la sección 3, se esudiará el problema del eiqueado como función maemáica y su formulación en érminos probabilísicos para, poseriormene, describir el modelo riclásico para la desambiguación morfológica basado en cadenas de Markov y los méodos de enrenamieno del mismo. Por úlimo se expondrán los resulados experimenales obenidos con los dos méodos probabilísicos de desambiguación morfológica ciados aneriormene (Vierbi Tagging y Maximum Likelihood Tagging), finalizando con una series de conclusiones obenidas a parir de esos resulados. 2Cadenas de Markov. Definición. Una Cadena de Markov es fuene de información en la que, la probabilidad de aparición de cada símbolo, solo depende de un número finio m de símbolos que le han precedido y del iempo. A m se le llama el orden de la cadena. Definición. Una cadena de Markov es esacionaria si la probabilidad de aparición de un símbolo no depende del iempo. Definición. En un insane, se define el esado de una fuene de Markov de orden m como la cadena formada por los m símbolos precedenes. Habrá como máximo n m esados posibles. Donde n es el número de símbolos del alfabeo. Una cadena de Markov de orden m viene definida por un conjuno finio de esados E={e 0, e 1,..., e M } y un conjuno de probabilidades de ransición π ij (), definidas por: 3

4 π ij = E + 1 = e j E = e i ( ) Pr{ ( ) ( ) } donde E() es una variable aleaoria emporal que oma sus valores en E en cada insane de iempo. Definición. La mariz de probabilidades de ransición para una cadena de Markov esacionaria se define como: Π ( ) ( ) ( ( )) M + 1 M + 1 = π ij Definición. Las probabilidades de observación son la probabilidad de aparición de un deerminado símbolo k cuando la cadena se encuenra en un esado e i : b ( k) = Pr( T = / E = e ) i k i Definición. Sea p j () la probabilidad de que el esado en el iempo sea e j, es decir, p j ()=Pr{E()=e j }. Se define el vecor de probabilidades de esado como: p( ) = ( p0 ( ), p1 ( ), K, p ( )) Proposición. (Cálculo del vecor de probabilidades en el insane ) p( ) = p( 0) Π 3Análisis de exos mediane un modelo probabilísico. M 3.1El problema del eiqueado. Supondremos que el usuario ha definido un conjuno de eiqueas. Consideremos una frase W = W W W 1 2 K n, es decir, la cadena de caraceres enre dos punos consecuivos, y una secuencia de eiqueas T = T T T 1 2 K n de la misma longiud. Llamaremos al par (W,T) una alineación. Diremos que la palabra W i iene asignada la eiquea T i en esa alineación. Supondremos que las eiqueas ienen un significado lingüísico para el usuario por lo que, de odas las posibles alineaciones para una frase sólo exise una que sea correca desde un puno de visa gramaical. Un algorimo de análisis es una función φ que hace corresponder una secuencia de eiqueas (define una alineación) para cada frase: φ: W T = φ(w) Hay dos medidas de la eficiencia de ese proceso de análisis: Nivel de frase Nivel de palabra perf s (φ) = porcenaje de frases correcamene analizadas. perf w (φ) = porcenaje de palabras correcamene analizadas. 4

5 En la prácica, la eficiencia en el nivel de frases es generalmene menor que en el nivel de palabras, ya que odas las palabras de la frase deben ser analizadas correcamene para que la frase esé correcamene analizada. La medida esándar usada normalmene es el rendimieno en el nivel de palabra, por lo que será el que consideraremos aquí. 3.2Formulación probabilísica. Para la formulación probabilísica del problema de análisis supondremos que las alineaciones son generadas por un modelo probabilísico de acuerdo a una disribución de probabilidades: Pr(W,T) En ese caso, dependiendo del crierio elegido para la evaluación, el análisis ópimo es el siguiene: Para una evaluación en el nivel de frase (Vierbi Tagging), elegiremos la secuencia de eiqueas más probable para una frase: φ( W) = T / T, Pr( T W) Pr( T / W) T cumple ademas: T, Pr(W, T ) Pr(W, T) Para evaluación en el nivel de palabra (Maximum Likelihood Tagging), elegiremos el análisis más probable para cada palabra en la frase: φ( W) = /,Pr( = W) Pr( = W), i i i cumple ademas Pr( W, T ) Pr( W, T) T : i = T: i = Donde φ(w) i es el análisis dado a la palabra W i por la función de análisis φ en el conexo de la frase W. Es ineresane noar que el méodo más comúnmene usado es Vierbi agging (DeRose 1988; Church 1989) a pesar de que no es el méodo ópimo para la evaluación a nivel de palabra. Las razones para esa preferencia en su uso son: Es más simple de implemenar que ML agging y requiere menos compuación (aunque ambos engan la misma complejidad asinóica). Vierbi agging proporciona una mejor inerpreación para las frases, lo cual es lingüísicamene acepable. ML agging puede producir secuencias de análisis que son lingüísicamene imposibles (debido a que la elección de un análisis depende de odos los conexos omados junos). Sin embargo, en las experiencias desarrolladas por Merialdo, se observó que Vierbi y ML agging producen resulados de similar rendimieno. 5

6 Por supueso, el análisis real no ha sido generado por un modelo probabilísico e, incluso si así fuese, no sería posible deerminar ese modelo exacamene por limiaciones prácicas. Por lo ano el modelo aquí consruido sólo será una aproximación a un modelo ideal inexisene. A pesar de ello, ese modelo odavía es capaz de obener un rendimieno razonablemene bueno. 3.3El modelo riclásico. Pariremos de la siguiene expresión: n i 1 1 i 1 i 1 i i 1 1 i 1 i 1 i= 1 Pr( W, T) = Pr( W W T... W T T ) p( T W T... W T ) El modelo riclásico (o ri POS [Derouaul (1986)], o ri Gram [Codogno e al. (1987)], o HK) esá basado en las siguienes aproximaciones: La probabilidad de un análisis depende sólo de los úlimos dos análisis: Pr( T W T... W T ) = h( T T T ) i 1 1 i 1 i 1 i i 2 i 1 La probabilidad de una palabra depende sólo de su análisis: Pr( W WT... W T T ) k( W T ) i i 1 i 1 i 1 i = i i Con objeo de definir compleamene el modelo es necesario especificar los valores de las probabilidades h y k. Si N W es el amaño del vocabulario y N T el número de diferenes eiqueas, enonces enemos: N T *N T *N T valores para las probabilidades h. N W *N T valores para las probabilidades k. Debido a que odas las disribuciones de probabilidades suman uno, enemos: N T *N T ecuaciones para calcular el valor de las probabilidades h. N T ecuaciones para calcular el valor de las probabilidades k. El número oal de parámeros libres es enonces de: (N W 1)*N T +(N T 1)*N T *N T Es imporane noar que ese número crece sólo linealmene con respeco al amaño del vocabulario, lo cual hace ese modelo apropiado para vocabularios de un gran amaño. El modelo riclásico permie a cualquier palabra ener cualquier análisis. Sin embargo, si usamos un diccionario que especifique la lisa de posibles análisis para cada palabra, podremos usar esa información para calcular el modelo: si no es un análisis válido para la palabra w enonces esamos seguros de que: k(w/) = 0 6

7 Hay, por ano, anos valores disinos de 0 para las probabilidades k como posibles pares (palabra, análisis) permia el diccionario. 3.4Enrenamieno del modelo riclásico. Consideraremos dos ipos diferene de enrenamieno: Enrenamieno de frecuencia relaiva (RF) Enrenamieno de máxima probabilidad (Maximum Likelihood) realizado mediane el algorimo Forward Backward (FB) Enrenamieno de frecuencia relaiva. Si disponemos de ciera canidad de exo analizado podemos calcular el número de veces N(w,) que una palabra dada w aparece con el análisis, y el número de veces N( 1, 2, 3 ) que la secuencia ( 1, 2, 3 ) aparece en el exo. Podemos ambién esimar las probabilidades h y k mediane el cálculo de las frecuencias relaivas a los correspondiene sucesos: N ( 1, 2, 3) hrf ( 3 1, 2 ) = f ( 3 1, 2 ) = N (, ) N ( w, ) krf ( w f ) = f ( w ) = N( ) Esas esimaciones asignan probabilidad 0 a cualquier secuencia de análisis que no aparezca en los daos de enrenamieno. Pero esas secuencias pueden ocurrir si consideramos oros exos. Una probabilidad 0 para una secuencia crea problemas porque cualquier alineación que la conenga endrá probabilidad 0. Por lo ano, puede ocurrir que, para algunas secuencias de palabras, odas las alineaciones engan probabilidad 0 y el modelo sea inúil para ales secuencias. Para impedir eso se inerpolará esa disribución con una disribución uniforme. Por ejemplo, consideremos la inerpolación del modelo definido por: 1 2 h (, ) = λ h (, ) + ( 1 λ) h (, ) in rf unif k ( w ) = λ k ( w ) + ( 1 λ) k ( w ) in rf unif Donde: 1 hunif ( 3 1, 2) = N k unif T 1 ( w ) = Nú mero de palabras con el aná lisis El coeficiene de inerpolación λ es calculado usando el deleed inerpolaion algorihm (Jelinek y Mercer 1980) (También sería posible uilizar dos coeficienes de inerpolación, uno para h y oro para k). El valor de ese coeficiene debe ser al que se 7

8 incremene al aumenar el amaño del exo de enrenamieno, ya que las frecuencias relaivas deben ser más fiables. Ese procedimieno de inerpolación ambién es llamado "suavizado". El suavizado es realizado de la siguiene forma: Ciera canidad de exo analizado del exo de enrenamieno no es usado en el cálculo de las frecuencias relaivas. Ese exo es llamado "daos exernos". El coeficiene λ es elegido para maximizar la probabilidad de emisión de los daos exernos por el modelo inerpolado. Esa maximización puede ser realizada mediane el sandard Forward Backward (FB) o Baum Welch algorihm (Baum and Eagon (1967); Jelinek (1976); Bahl, Jelinek y Mercer (1983); Poriz (1988)), considerando λ y 1 λ como la probabilidad de ransición de un modelo de Markov. Hay que noar que se pueden usar oros esquemas de inerpolación más complejos. Por ejemplo, diferenes coeficienes pueden ser usados dependiendo de la cuena de ( 1, 2 ), inuyendo que las frecuencias relaivas serán más exacas cuano mayor sea esa cuena. Ora posibilidad es la inerpolación con modelo de diferenes órdenes como h rf ( 3 / 2 ) o f rf ( 3 ). El proceso de suavizado ambién puede ser conseguido con procedimienos disinos de la inerpolación. Un ejemplo sería la esraegia "backing off" propuesa por Kaz (1987) Enrenamieno de máxima probabilidad. Usando el modelo riclásico M es posible calcular la probabilidad de cualquier secuencia de palabras W de acuerdo con ese modelo: Pr M ( W) = Pr M ( W, T) donde la suma es omada sobre odas las posibles alineaciones. El enrenamieno de máxima probabilidad (ML) encuenra el modelo M que maximiza la probabilidad del exo de enrenamieno: max Pr ( M W ) M donde el produco es omado sobre odas las frases W en el exo de enrenamieno. Ese problema corresponde con el enrenamieno de un modelo de Markov oculo 1. Una solución conocida a ese problema es el Forward Backward (FB) o Baum Welch algorihm (Baum y Eagon (1967); Jelinek (1976); Bahl, Jelinek y Mercer (1983)), el cual consruye ieraivamene una secuencia de modelos que mejoran la probabilidad de los daos de enrenamieno. W T 1 Se denomina oculo porque la secuencia de análisis es desconocida. 8

9 La venaja de ese enfoque es que no requiere exo analizado para el enrenamieno, pero supone que el modelo correco es aquel en el que los análisis son usados para conseguir una predicción mejor de la secuencia de palabras. 3.5Algorimo Forward Backward. Ese algorimo prermie calcular los valores α y β uilizados por el algorimo Baum Welch para el cálculo del modelo riclásico M durane el enrenamieno de la cadena de Markov ocula. Def. Valores α: Def. Valores β: α i = M T = K 1 1 T = E = e i ( ) Pr (,,, ) β i = M T = K T n = n E = e i ( ) Pr (,, / ) En la prácica, el cálculo de esos valores se puede realizar de la siguiene forma: Calculo de los valores hacia adelane (α): Cálculo de los valores hacia arás (β): α α ( i) = p ( 0) b ( ) 1 i i 1 NT ( j) = α ( i) Π bj ( T + 1) i= ij β β n ( i) = 1 NT ( i) = Π b ( T ) β ( i) ij j j = 1 Hay que señalar que, a parir de los valores α, es posible calcular la probabilidad de una secuencia de eiqueas de la forma: N T Pr ( T) = Pr( T, K, T, E = e ) M 1 n n i i= 1 = NT i= 1 α n ( i) 3.6Algorimo Baum Welch. Para realizar el Maximum Likelihood Trainning es necesario un méodo de ajuse de los parámeros (mariz de ransición, probabilidades de observación y vecor de probabilidades de esado inicial) del modelo M. Suponiendo una correspondencia biunívoca enre los esados y los símbolo observados enemos que N T =M y b i (j)=1 si j=i y 0 si j i. En ese caso, el modelo de 9

10 Makov ya no es oculo y el HMM es una cadena de Markov. Para esimar los parámeros de esa cadena de Markov es suficiene con calcular las frecuencias apropiadas a parir de los daos. En el caso más general, los esados no pueden ser direcamene observados por lo que no se pueden calcular esas frecuencias. Por ello, en lugar de calcular las frecuencias direcamene de los daos observados, los parámeros del modelo son calculados ieraivamene, comenzando por un conjuno de valores arbirarios para los parámeros que cumplan las resricciones de una disribución de probabilidades. En lugar de calcular las frecuencias direcamene a parir de los daos observados, los parámeros son esimados ieraivamene. Para ello, se comienza por un conjuno arbirario de valores para los parámeros que saisfagan los requisios de una disribución de probabilidades. Las frecuencias esperadas se calculan a parir del modelo y los daos observados. Esas frecuencias son obenidas ponderando las ransiciones observadas por las probabilidades especificadas en el modelo acual. Las frecuencias esperadas obenidas de esa forma susiuyen a los aniguos parámeros del modelo y se vuelve a ierar hasa que no haya mejoras en el mismo. En cada ieración se mejoran las probabilidades de observación hasa que algún límie es alcanzado. Ese proceso ieraivo garaniza la convergencia en un máximo local de la medida de rendimieno de la enropía cruzada. A coninuación se definirán una serie de concepos necesarios para la realización del algorimo Baum Welch. Def. Probabilidad de una rayecoria desde el esado e i en el insane que ransie al esado e j en el insane +1 dado la secuencia observada T y el modelo M: xi ( i, j) = Pr ( E = e, E = e / T) M i +1 j Esas probabilidades son calculadas a parir de los valores del algorimo Forward Backward de la forma siguiene: α xi ( i, j) = Πij ( i) ( T ) β ( j) Pr ( T) Def. Probabilidad de esar en el esado e i en el insane dado la secuencia observada T y el modelo M: M γ = M = i ( i) Pr ( E e / T) Ese valor puede ser obenido de la forma: γ ( i) = xi ( i, j) De esa forma, el algorimo Baum Welch queda de la siguiene forma: 1. Elegir arbirariamene los parámeros iniciales del modelo: ij, b i(k) y p(0). 2. Recalcular los parámeros: j 10

11 bar{ p ( 0)} = γ ( i) bar{ Π } = i ij n 1 bar{ b ( k)} = j = 1 n 1 = 1 xi ( i, j) n 1 γ γ = 1 n 1 = 1 ( i) ( j) l γ ( j) T = k donde l T k = = 1 si T=k y 0 en oro caso. bar { Π} = { bar { Πij}} 3. Asignar, bar{ B} = { bar{ bi ( k)}} bar { p ( 0)} { bar { p y i ( 0)}} =. 4. Si los parámeros no han cambiado respeco a la ieración anerior enonces erminar, en caso conrarior volver al paso Algorimos de análisis. El algorimo Vierbi agging es más fácil de implemenar usando un esquema de programación dinámica (Bellman 1957). En cambio, el algorimo ML, resula más complejo a primera visa ya que supone el cálculo de una suma de probabilidades de un gran número de alineaciones. Sin embargo, en el caso de un modelo oculo de Markov, esos cálculos son similares a los usados durane el algorimo FB por lo que la sobrecarga de compuación necesiada es lineal respeco a la longiud de la frase (Baum y Eagon 1967). 3.8Resulados experimenales. A coninuación se muesran los resulados experimenales obenidos por Merialdo (1994) para los dos enrenamienos aneriormene descrios. Esa experiencia se realizó sobre exos en lengua inglesa procedenes de "reebank". Esos exos esaban formados por frases (aproximadamene un millón de palabras) de la Associaed Press las cuales han sido eiqueadas por la Unidad para el Desarrollo Informáico del Lenguage Inglés (Universiy of Lancaser, U.K.) en colaboración con IBM U.K. (Wincheser) y el grupo de Reconocimieno del Habla de IBM en Yorkown Heighs (USA) Enrenamieno RF. En ese experimeno, se exrajeron N frases analizadas de los daos de enrenamieno. Seguidamene se realizó el cálculo de las frecuencias relaivas de esas frases y se realizó un modelo suavizado uilizando el procedimieno descrio aneriormene. Ese modelo fue usado para analizar 2000 frases de prueba. En la siguiene abla se muesran 11

12 los resulados para varios valores de N, indicando el coeficiene de inerpolación y el número y porcenaje de palabras correcamene analizadas: Daos de enrenamieno (frases) Coeficiene de inerpolación λ Número de errores (palabras) % de análisis correcos 0 0, , , , , , , , , , , , (Todo) 0, ,0 Como era esperado, al incremenar el amaño del exo de enrenamieno, el coeficiene de inerpolación crece y la calidad del análisis mejora. Cuando N es igual a 0, el modelo viene dado por una disribución uniforme. En ese caso, odas las alineaciones para una frase ienen la misma probabilidad, por lo que la elección del análisis correco es realizada aleaoriamene. Sin embargo, el porcenaje de análisis correcos es relaivamene alo (más de res, de cuaro) porque: Más de la miad de las palabras del exo ienen un único análisis posible, por lo que no es posible comeer ningún error al analizarlas. Aproximadamene un cuaro de las palabras del exo ienen sólo dos posibles análisis, por lo que la probabilidad de asignar el análisis correco es del 50%. Podemos noar que se obienen resulados acepables rápidamene. Usando frases analizadas (menos de palabras) el error de análisis es menor del 5%. Usando 10 veces más exo ( frases analizadas) obenemos una mejora de sólo 1,5% Enrenamieno ML. En el enrenamieno ML se omaron odos los daos disponibles ( frases) pero sólo se usaron las secuencias de palabras, no los análisis asociados (excepo para calcular el modelo inicial). Eso fue posible ya que el algorimo FB es capaz de enrenar un modelo usando sólo la secuencia de palabras. En la primera experiencia se omó un modelo con disribución uniforme como inicial. La única resricción que se aplicó fue para los valores k(w/) que se igualaron a 0 cuando el análisis no era posible para la palabra w (según el diccionario). Enonces se ejecuó el algorimo y se evaluó la calidad del análisis. Los resulados obenidos fueron los siguienes: 12

13 En ese figura se puede observar como el enrenamieno ML mejora la asa de error del modelo. Sin embargo, esa asa permanece relaivamene ala, incluso mayor que la obenida con el enrenamieno RF con 100 frases. Una vez comprobado que el enrenamieno ML es capaz de mejorar el modelo uniforme se inenó comprobar si era capaz de mejorar oros modelos más precisos. Para ello se omó como modelo inicial los generados por el enrenamieno RF y, para cada uno, se aplicó el enrenamieno ML usando odas las secuencias de palabras disponibles. Los resulados obenidos se muesran en la siguiene abla: Número de frases analizadas para calcular el modelo inicial Ier odas Análisis correco (% palabras) después de ML sobre 10 6 palabras 0 77,0 90,0 95,4 96,2 96,6 96,9 97,0 1 80,5 92,6 95,8 96,3 96,6 96,7 96,8 2 81,8 93,0 95,7 96,1 96,3 96,4 96,4 3 83,0 93,1 95,4 95,8 96,1 96,2 96,2 4 84,0 93,0 95,2 95,5 95,8 96,0 96,0 5 84,8 92,9 95,1 95,4 95,6 95,8 95,8 6 85,3 92,8 94,9 95,2 95,5 95,6 95,7 7 85,8 92,8 94,7 95,1 95,3 95,5 95,5 8 86,1 92,7 94,6 95,0 95,2 95,4 95,4 9 86,3 92,6 94,5 94,9 95,1 95,3 95, ,6 92,6 94,4 94,8 95,0 95,2 95,2 Esos resulados muesran como, usando poco exo analizado, el modelo obenido por RF no es muy bueno y el enrenamieno ML es capaz de mejorarlo. Sin embargo, cuando el uso de exo analizado aumena, el modelo obenido por RF es más preciso y el enrenamieno ML lo mejora sólo en las ieraciones iniciales, 13

14 deeriorándolo a coninuación. Si se usan más de frases analizadas, incluso en las primeras ieraciones, el enrenamieno ML empeora el análisis. 4Conclusiones. Como puede observarse, el uso de cadenas de Markov permie desarrollar algorimos de desambiguación morfológica relaivamene sencillos en base a una eoría probabilísica que, si bien no alcanza una efecividad del 100%, obienen resulados acepables. Por oro lado, el uso de modelos de Markov oculos (HMM) permie enrenar el algorimo sin necesidad de una gran canidad de exo eiqueado difícil de conseguir salvando, de ese modo, el inconveniene de oros algorimos de aprendizaje supervisado como pueden ser las redes neuronales. Sin embargo, el mayor inconveniene del uso de cadenas de Markov para la desambiguación morfológica viene dado por el límie superior de aciero inrínseco al méodo, ya que se preende emular un sisema no probabilísico como es el lenguaje naural mediane un modelo probabilísico. En principio, esa límie superior podría mejorarse aumenando el orden de la cadena de Markov haciendolo superior a 2 (uilizado en el modelo riclásico). Sin embargo eso planearía problemas de cálculo al aumenar exponencialmene el número de esados e incluso puede llegar a disminuir el número de aciero para cieras consrucciones sinácicas. Una posible solución a ese problema consisiría en el uso de PSA (Probabilisic Suffix Auomaas), los cuales se pueden definir informalmene como cadenas de Markov de orden variable. De esa forma, el modelo omará en cada caso la longiud ópima para el cálculo del eiqueado. Además, la exisencia de algorimos para el parendizaje de PSA de forma eficiene, hacen de esos una alernaiva ineresane a las cadenas de Markov. 5Referencias. 1. Bahl, Lali R., Jelinek, Frederick y Mercer, Rober L. (1983): "A maximum likelihood approach o coninuous speech recogniion", IEEE Transacions on PAMI, 5(2), Baum, L. E. y Eagon, J. A. (1967): "An inequaliy wih applicaion o saisical esimaion for probabilisic funcions of Markov processes and o a model for ecology", Bullein of he American Mahemaicians Sociey, 73, Bellman, R. E. (1957): "Dynamic programming", Princeon Universiy Press. 4. Brodda, Benny (1982): "Problems wih agging and a soluion", Nordic Journal of Linguisics: Church, Kenneh W. (1989). "A sochasic pars program noun phrase parser for unresriced ex". IEEE Proceeding of he ICASSP, Glasgow,

15 6. Codogno, M., Fissore, L, Marelli, A., Pirani, G. y Volpi, G. (1987): "Experimenal evaluaion of ialian language models for large dicionary speech recogniion". Proceedings, European Conference on Speech Technology, Edinburgh, Deroraul, Anne Marie y Merialdo, Bernard (1986): "Naural language modeling for phoneme o ex ranscripion". IEEE Transacions on Paern Analysis and Machine Inelligence, 8(6), Dermaas, Evangelos y Kokkinakis, George (1995, junio): "Auomaic sochasic agging of naural language exs", Compuaional Linguiscs, 20(2), DeRose, S. (1988). "Grammaical caegory disambiguaion by saisical opimizaion". Compuaional Linguisics, 14(1), González, Angel L. y Goñi, José M. (1995, noviembre): "Un analizador morfológico para el casellano basado en char", Acas de la VI Conferencia de la Asociación Española para la Ineligencia Arificial, CAEPIA 95, Alicane: Jelinek, Frederick (1976): "Coninuous speech recogniion by saisical mehods". Proceedings of he IEEE, 64, Jelinek, Frederick y Mercer, Rober L. (1980): "Inerpolaed esimaion of Markov source parameers from sparse daa". Proceedings, Workshop on Paern Recogniion in Pracice, Amserdam, Kaz, S. (1987): "Esimaion of probabiliies from sparse daa for he language model componen of a speech recognizer", IEEE Transacions on ASSP, 34(3), Klanvans, Judih L. y Chodorow, Marin S. (1991): "Using a morphological analyzer o each heoreical morphology", Compuers and he Humaniies 25: Klein, S. y Simmons, R.F. (1963): "A grammaical approach o grammaical coding of english words", JACM 10: Koskenniemi, Kimmo (1983): "Two level morphology: a general compuaional model for word form recogniion and producion", Publicaion 11, Deparmen of General Linguisics, Universiy of Helsinki, Helsinki, Findland. 17.Merialdo, Bernard (1994): "Tagging English Tex wih a Probabilisic Model". Compuers and Humaniies, 20(2), pag Moreno, Anonio y Goñi, Jpsé M. (1995, sepiembre): "A morphological processor for Spanish implemened in prolog", Proceedings of he Join Conference on Declaraive Programming, GULP PRODE 95, Marina di Vieri, Ialy: Nakamura, M. y Shikanom K. (1989): "A sudy of english word caegory predicion based on neural neworks", IEEE Proceedings of he ICASSP, Glasgow: Paulyssen y Marin, W. (1992); "Dilemma 2: A lemmaizer agger for medical absracs", Proceedings, Third Conference on Applied Language Processing, Treno, Ialy: Poriz, Alan B. (1988): "Hidden Markov models: a guided our", IEEE Proceedings of he ICASSP, New York,

16 22.Triviño, José L. (1993): Analizador morfológico del español, Proyeco fin de carrera. Dep. Lenguajes y Ciencias de la Compuación, Universidad de Málaga, España. Triviño, José L. y Calle, Javier (1997): "SEAM (Sisema Expero para Análisis Morfológico)", Revisa Inerlingüísica (ISSN ) 7, Faculad de Filología de la Universidad Compluense de Madrid. 16