Modelos estadísticos y la entropía del lenguaje. Dr. Luis Alberto Pineda Cortés

Transcripción

1 Modelos estadísticos y la entropía del lenguaje Dr. Luis Alberto Pineda Cortés

2 Contenido Teoría de la probabilidad Modelos estadísticos Reconocimiento de voz Entropía (de un lenguaje) Cadenas de Markov Entropía entre lenguajes (EEL) EEL y evaluación de modelos

3 Contenido Teoría de la probabilidad Modelos estadísticos Reconocimiento de voz Entropía (de un lenguaje) Cadenas de Markov Entropía entre lenguajes (EEL) EEL y evaluación de modelos

4 Teoría de la probabilidad: Variables Random Evento: Tirar una moneda al aire diagnosticar a un enfermo Apuntar al azar a una palabra en un texto Resultado del evento: variable random X propiamente Que salga una cara de la moneda Que se detecte una enfermedad Se escoge una palabra en particular Posibles resultados: rango de la variable random o V(X) V(X) = {águila, sol} V(X) = {viruela, varisela, paperas} V(X) = el conjunto de todas las palabras del texto

5 Teoría de la probabilidad: Variables Random Notación: x es un resultado posible de X (x V(X)) Probabilidad de x: P(X = x) o P(x) Número de veces que X sale x: X = x Ejemplo: Sea W el resultado de señalar al azar un texto Sea w i la i-esima palabra del español (word type) Sea w i el número de veces que w i aparece (word tokens) Probabilidad P(W = w i ) = w i w Σ j=1 w j

6 Probabilidad condicional y secuencia de eventos Dos eventos: Seleccionar al azar dos palabras seguidas en un texto Dos variables aleatorias: W 1, W 2 Probabilidad condicional La probabilidad de que se diga casa dado que se dijo la es mucho mayor que la probabilidad que se diga correr en el mismo contexto P(W 2 = w j W 1 = w i ) = W 1 = w i, W 2, = w j W 1 = w i

7 El Teorema de Bayes A B P(A B) = P(A B) P(B) P(B A) = P(A B) P(A) P(A B) P(B) = P(A) P(B A) P(A B) = P(A) P(B A) P(B)

8 El Teorema de Bayes P(A B) = P(A) P(B A) P(B) A: conclusión (diagnóstico: el niño tiene amigdalitis) B: evidencia observable (síntomas: el niño tiene calentura) P(A): probabilidad que el niño tenga amigdalitis P(B): probabilidad que el niño tenga calentura P(B A): probabilidad que tenga calentura dado que tiene amigdalitis P(A B): probabilidad que tenga amigdalitis dado que tiene calentura

9 El Teorema de Bayes Si se require P(B), la probabilidad de la calentura, es necesario considerar todas las enfermedades que tienen calentura como síntoma La probabilidad de la calentura se puede obtener su se observa calentura dado que se tiene la enfermeda i, para toda i P(B = b) = Σ P(B = b A = a i ) P(A = a i ) a V(A)

10 Generalización del Teorema de Bayes Los eventos pueden tener diferente granularidad: x, y son ocurrencias de dos eventos de apuntar a dos palabras (i.e., x = comió carne y = el perro ) P(x y) es la probablidad de que se diga comió carne dado que se dijo el perro O cada acción puedes tomarse como eventos independientes x, y, z, w son ocurrencias de eventos de apuntar a una palabra (i.e., w = comió, x = carne, y = el y z = perro ) P(w, x y, z) = P(w, x) P(y, z w, x ) P(y, z)

11 Generalización del Teorema de Bayes La probabilidad de una secuencia de n eventos: P(w 1, w 2, w 3,..., w n ) = P(w 1 ) P(w 2 w 1 ) P(w 2 w 1,w 2 )... P(w n w 1,...,w n-1 ) La probabilidad de una secuencia de n eventos condicionada a la ocurrencia de otro evento x: P(w 1, w 2, w 3,..., w n x ) = P(w 1 x) P(w 2 w 1, x) P(w 3 w 1,w 2, x)... P(w n w 1,...,w n-1, x)

12 Contenido Teoría de la probabilidad Modelos estadísticos Reconocimiento de voz Entropía (de un lenguaje) Cadenas de Markov Entropía entre lenguajes (EEL) EEL y evaluación de modelos

13 Modelos estadísticos Propósito: Aprender un lenguaje en base a las regularidades estadísticas observadas en un corpus Muchas regularidades irrelevantes Agredar conocimiento del lenguaje para obtener regularidades relevantes Aprender (learn) modelos estadísticos: asignar una probabilidad a todas las secuencias de palabras! Dada una secuencia de longitud n se quiere asignar un número a: P(W 1,n = w 1, n ) Para todas las secuencias w 1,n donde W 1,n es una secuencia de n variables random, W 1, W 2,..., W n cada una de las cuales toma una palabra del lenguaje

14 Modelos estadísticos La gente puede asignar probabilidades a secuencias de palabras: P(w 1,n ) = P(w 1 ) P(w 2 w 1 ) P(w 3 w 1,2 )... P(w n w 1,n-1 ) Hay experimentos que indican que la gente es más exacta que los métodos estadísticos más sofisticados! El método no depende sólo de las palabras precedentes Ejemplo: el (árbol cielo) azul P(el árbol azul) = P(el) P(árbol el) P(azul el árbol) P(el cielo azul) = P(el) P(cielo el) P(azul el cielo) Prejuicios: sólo contra los métodos rollorizados Ventajas: depende de la aplicación

15 Contenido Teoría de la probabilidad Modelos estadísticos Reconocimiento de voz Entropía (de un lenguaje) Cadenas de Markov Entropía entre lenguajes (EEL) EEL y evaluación de modelos

16 Reconocimiento de voz P(W A) = P(W) P(A W) P(A) P(W): Modelo del lenguaje (probabilidad de que se diga W) P(A): probabilidad el sonido sea voz P(A W): Modelo acústico (probabilidad la evidencia acústica dado que se pronunció W) P(W A): Probabilidad de que se reconozca W dada la evidencia acústica. W max = max P(W A) = P(W) P(A W)

17 Procedador acústico: Evidencia acústica habla procesador de señales σ i comparador a i ρ i prototipos acústicos

18 Modelo de reconocimiento del habla (source-channel) W max = max P(W A) = P(W) P(A W) mente W generador del habla habla procesador acústico A decodificador linguístico W max Hablante Reconocedor canal acústico

19 Contenido Teoría de la probabilidad Modelos estadísticos Reconocimiento de voz Entropía (de un lenguaje) Cadenas de Markov Entropía entre lenguajes (EEL) EEL y evaluación de modelos

20 Entropía Se define una figura de mérito para comparar modelos estadísticos: entropía entre lenguajes (cross entropy) Teoría de codificación: cuánto cuesta mandar un mensaje de un lenguaje dada una notación explícita (binario, decimal, ect.)? Problema: mandar un mensaje cada 5 minutos para informar de los ocupantes de una casa (una pareja!) de acuerdo al siguiente código Andan de vagos: 00 El hombre está en casa: 01 La mujer está en casa: 10 Los dos están en casa: 11 Si la probabilidad de cada mensaje es la misma, necesitamos dos bits... pero podemos mejorar?

21 Entropía Supongamos las siguientes probabilidades Andan de vagos:.5 El hombre está en casa (sólo):.125 La mujer está en casa (solá):.125 Los dos están en casa:.25 Mandemos los mensajes más probables con menos bits! Situación Probabilidad Código Andan de vagos:.5 0 Sólo el hombre: Sólo la mujer Los dos : Cuántos bits se necesitan en promedio? 1/2 * 1 bit + 1/4 * 2 bits + 1/8 * 3 bits + 1/8 * 3 bits = 1.75 bits!

22 Entropía Pero hay que decodificar los mensajes (cuando empizan y cuando terminan! pos. 0 pos. 1 0 (nadie) 10 (los dos) Decodificador 0 1 pos (el hombre) 111 (la mujer)

23 Entropía y variables random El mensaje en si puede considerarse como una variable random W, cuyo rango es el conjunto de posibles mensajes específicos V(W). Existe una cota mínima para codificar estos mensajes?. Definimos H(W) como la entropía de la variable random W Ejemplo: H(W) = Σ P(w) log 2 P(w) w V(W) H(W) = (1/2 * log 1/2 + 1/4 * log 1/4 + 1/8 * log 1/8 + 1/8 * log 1/8) = (1/2 * ( 1) + 1/4 * ( 2) + 1/8 * ( 3) + 1/8 * ( 3) ) = 1.75 H(W) = Σ P(w) log 2 P(w) = Σ P(w) bits-requeridos(w) w V(W) w V(W)

24 Relación entre Entropía y Codificación La entropía es la cota mínima promedio para transmitir un mensaje Es posible en la práctica estar cerca de dicha cota! Codificar cada mensaje w V(W) con log 2 P(w) La entropía es una medida de la incertidumbre del mensaje: Mientras menos bits necesitemos más seguros estamos de cuál es el mensaje Mientras más grande H más difícil de interpretar el mensaje Abreviando: H(W 1,n ) = Σ P(w 1,n ) log 2 P(w 1,n ) w V(W 1,n ) H(W 1,n ) = Σ P(w 1,n ) log 2 P(w 1,n ) w 1,n

25 Relación entre Entropía y Codificación Entropía de un mensaje de longitud n: H(W 1,n ) = Σ P(w 1,n ) log 2 P(w 1,n ) w 1,n Consideremos un sistema de reconocimiento del habla que transcribe palabras del conjunto (todas las palabras tienen la misma probabilidad): {el, un, gato, perro, comió, durmió, aquí, allá} Longitu del mensaje: n = 1 H(W 1 ) = P(el) log 2 (el) P(un) log 2 (un)... P(allá) log 2 (allá) = 8 * ( 1/8 log 2 (1/8)) = 8 * ( 1/8 * (- 3)) = 3

26 Relación entre Entropía y Codificación Entropía por palabra (donde n es la longitud del mensaje): 1/n H(W 1,n ) = 1/n Σ P(w 1,n ) log 2 P(w 1,n ) w 1,n Fuente ergódica: Entropía por palabra, cuando la longitud del mensaje tiende a infinito H(L) = lim 1/n Σ P(w 1,n ) log 2 P(w 1,n ) n w 1,n

27 Contenido Teoría de la probabilidad Modelos estadísticos Reconocimiento de voz Entropía (de un lenguaje) Cadenas de Markov Entropía entre lenguajes (EEL) EEL y evaluación de modelos

28 Cadenas de Markov Autómatas finitos probabilisticos Como generadores: se generan cadenas con cierta probabilidad Como aceptores: asignan una probabilidad a las cadenas aceptadas Las probabilidades de salida de cada nodo suman uno 0.5 aquí 0.5 el 0.5 perro 0.5 comió 0.5 un 0.5 gato 0.5 aquí 0.5 durmió

29 Contenido Teoría de la probabilidad Modelos estadísticos Reconocimiento de voz Entropía (de un lenguaje) Cadenas de Markov Entropía entre lenguajes (EEL) EEL y evaluación de modelos

30 Entropía por palabra: Entropía entre lenguajes: 1/n H(W 1,n ) = 1/n Σ P(w 1,n ) log 2 P(w 1,n ) w 1,n 0.5 aquí 0.5 el 0.5 perro 0.5 comió 0.5 un 0.5 gato 0.5 durmió 0.5 allá Son 16 mensajes de longitud 4: 1/n H(W 1,n ) = 1/4 * (16 * (1/2 4 log 2 (1/2 4 ))) 1/n H(W 1,n ) = 1/4 * ( 4) = 1

31 Entropía por palabra: Entropía entre lenguajes: 1/n H(W 1,n ) = 1/n Σ P(w 1,n ) log 2 P(w 1,n ) w 1,n Sin estructura: Entropía por palabra (eligiendo palabras al azar) H(W 1 ) = P(el) log 2 (el) P(un) log 2 (un)... P(allá) log 2 (allá) = 8 * ( 1/8 log 2 (1/8)) = 8 * ( 1/8 * (- 3)) = 3 Con estructura: Son 16 mensajes de longitud 4 (Cadena de Markov) 1/n H(W 1,n ) = 1/4 * (16 * (1/2 4 log 2 (1/2 4 ))) 1/n H(W 1,n ) = 1/4 * ( 4) = 1

32 Qué tan bueno es un modelo: EEL (cross entropy) Conjunto de variables random W 1,n Modelo correcto es P(w 1,n ) Modelo estimado P M (w 1,n ) Cross-Entropía del lenguaje: EEL por palabra: Diferencia: H(W 1,n, P M ) = Σ P(w 1,n ) log 2 P M (w 1,n ) w 1,n 1/n H(W 1,n, P M ) = 1/n Σ P(w 1,n ) log 2 P M (w 1,n ) w 1,n H(W 1,n ) <= H(W 1,n, P M ) Entropía entre lenguajes (cross entropy of a language) H(L, P M ) = lim 1/n Σ P(w 1,n ) log 2 P M (w 1,n ) n

33 Qué tan bueno es un modelo: EEL Cuál es la entropia del lenguaje: 0.5 el 0.5 aquí 0.5 perro 0.5 comió 0.5 un con respecto al lenguaje random (P M (w 1,n ) = 1/8)? 0.5 gato 0.5 allá 0.5 durmió H(W 1,n, P M ) = Σ P(w 1,n ) log 2 P M (w 1,n ) w 1,n = 16 * ( 1/2 4 * log 2 (1/8)) = 16 * ( 1/16 * (- 3)) = 3

34 Cross-entropía Cuál es la entropia por palabra de 0.5 el 0.5 aquí 0.5 perro 0.5 comió con respecto al modelo incorrecto? 0.5 un 0.75 el 0.5 gato 0.5 durmió 0.5 allá 0.75 aquí 0.75 perro 0.75 comió 0.25 un 0.25 gato 0.25 allá 0.25 durmió

35 Cross-entropía 1/n H(W 1,n, P M ) = 1/n Σ P(w 1,n ) log 2 P M (w 1,n ) w 1,n Hay 16 mensajes con distribución binomial respecto a las probabilidades de 1/4 y 3/4, por lo tanto: 1/n H(W 1,n, P M ) = 1/4 (1 * 1/24 * log 2 (1/4 4 ) + 4 * 1/2 4 * log 2 (1/4 3 * 3/4) + 6 * 1/2 4 * log 2 (1/4 2 * (3/4) 2 ) + 4 * 1/2 4 * log 2 (1/4 * (3/4) 3 ) + 1 * 1/2 4 * log 2 (3/4) 4 ) = 1.2 Comparar con la entropía por palabra del lenguaje correcto: 1/n H(W 1,n ) = 1/4 * (16 * (1/2 4 log 2 (1/2 4 ))) 1/n H(W 1,n ) = 1/4 * ( 4) = 1

36 Contenido Teoría de la probabilidad Modelos estadísticos Reconocimiento de voz Entropía (de un lenguaje) Cadenas de Markov Entropía entre lenguajes (EEL) EEL y evaluación de modelos

37 EEL y evaluación de modelos Tres modelos (1) El correcto con con structura de Markov con transiciones de 1/2 (2) El modelo con estructura de Markov, con transiciones de 1/4 y 3/4 (3) El modelo random(sin estructura) La cross-entropías de (2) y (3) con respecto a (1): H(W 1,n = 1, P M = 3) = 3 H(W 1,n = 1, P M = 2) = 1.2 La cross-entropía por palabra nos permite evaluar diferentes modelos con respecto al modelo correcto! El modelo (2) es mejor que el modelo (3)

38 EEL y evaluación de modelos Si conocemos el modelo del español o el inglés, podemos evaluar que tan buenos son nuestros modelos con: H(L, P M ) = lim 1/n Σ P(w 1,n ) log 2 P M (w 1,n ) w n 1,n Pero lo que no tenemos es precisamente un modelo del español... Sin embargo, lo podemos estimar a través de una muestra suficientemente larga! H(L, P M ) = lim 1/n Σ log 2 P M (w 1,n ) w n 1,n Si lo que queremos comparar es entre diferentes modelos, tan sólo nos interesa aquel que tenga la menor cross-entropía (P(w 1,n ) es el mismo para todos los modelos). Se require que cualquier muestra del lenguaje, si es suficientemente larga es perfecta : el lenguaje es ergódico.

39 EEL y evaluación de modelos Para crear modelos se requiere un corpus balanceado El modelo se crea con un fragmento del corpus (90%) y el resto (10%) se deja para validar el modelo Para validar hay que medir las probabilidades reales del corpus de prueba En la evaluación el modelo tiene que asignar una probabilidad al corpus de prueba similar a la probabilidad que éste realmente tiene. Si la selección del corpus para crear y evaluar el modelo es automática es posible realizar una validación cruzada. Se requiere que cualquier muestra del lenguaje, si es suficientemente larga sea perfecta : que el lenguaje sea ergódico.

40 EEL y evaluación de modelos Se requiere de un corpus real, de donde tomar datos para experimentación En inglés se cuenta con el Brown corpus Contiene aproximadamente 500 segmentos de 2000 palabras cada uno Segmentos por área: Reportajes de prensa 44 Editoriales 27 Reviews de prensa 17 Religión 17 Habilidades y pasatiempos 36 Atractivos populares 48 Literatura 75 Micelaneos 30 Escritos eruditos 80

41 FIN