Introducción a la Teoría de la Información. Tomás V. Arredondo 8/4/2011

Transcripción

1 Introducción a la Teoría de la Información Tomás V. Arredondo 8/4/20

2 Introducción a la a la Teoría de la Información y Aplicaciones Contenidos: Introducción a algunos aspectos de la teoría de la información (T.I.): información y probabilidades Entropía Reseña de algunas aplicaciones en diferentes áreas incluyendo: Comunicaciones, Encripción y Bioinformática.

3 Introducción a la a la Teoría de la Información y Aplicaciones: Introducción Que es la información? La información como es conocida comúnmente es una amalgama de muchas nociones vagas e imprecisas que generalmente es medida basada en la cantidad de noticia (o sorpresa) que provee. Que es la teoría de la información? Serie de las leyes para relacionar determinado orden de fenómenos relacionados con la comunicación de la información entre su origen y su destino a través de un canal.

4 Introducción a la a la Teoría de la Información y Aplicaciones: Introducción Sistema de Comunicaciones Básico Origen Canal Destino Mensaje M Mensaje M

5 Introducción a la a la Teoría de la Información y Aplicaciones: Introducción Cuál es el rol de las probabilidades en las comunicaciones? Las probabilidades nos dan una manera de determinar cuantitativamente las características que queremos estudiar en los sistemas (ej. la distribución de la información de un origen, la confiabilidad de un canal, la relación entre el origen y el destino de la información entre otras) Las probabilidades están basadas en las frecuencias observables de la ocurrencia de eventos

6 Introducción a la a la Teoría de la Información y Aplicaciones: Introducción Las frecuencias y las probabilidades Si repetimos un experimento N veces que tiene M diferentes resultados posibles y contamos el numero de veces que se observan las diferentes posibilidades n, n 2,..., n M entonces podemos determinar la frecuencia de estas observaciones (f, f 2,..., f M ) al dividir n, n 2,..., n M por N. Si N estas frecuencias son la probabilidad (p, p 2,..., p M ) de ocurrencia del evento y sus valores posibles son entre 0 y. El siguiente es el caso de tener los eventos A, B, AB (A y B, ambos eventos ocurriendo), A B (ninguno de los dos). A B A AB B

7 Introducción a la a la Teoría de la Información y Aplicaciones: Introducción Las frecuencias y las probabilidades (cont) Permutaciones: Las permutaciones son el reordenamiento de objetos o símbolos en secuencias distinguibles: El numero de permutaciones de n objetos es n! n(n-)(n-2) ! = La formula para el numero de permutaciones de r objetos seleccionados de un conjunto de n objetos: P n,r = n! n r! Cada uno de los objetos es distinguible de los otros

8 Introducción a la a la Teoría de la Información y Aplicaciones: Introducción Las frecuencias y las probabilidades (cont) Ejemplo: Si tengo 6 tarros de pintura de color y una flota de 4 autos (Ferrari, Jaguar, Corvette, Citroen), el numero de permutación posibles para pintar los autos es o usando la formula: P n,r = P 6, 4 = 6! 6 4! =360 Si alguien eligiera una permutación de colores para su flota al azar la probabilidad de ella seria = /360

9 Introducción a la a la Teoría de la Información y Aplicaciones: Introducción Las frecuencias y las probabilidades (cont) En otras situaciones no nos importa la posición de selección de los objetos en cuestión. En ese caso se quieren determinar el numero de las combinaciones de elegir r objetos de un set de n objetos: Estas cantidades se llaman coeficientes binomiales porque fueron estudiados en relación con la expansion de binomiales en los cuales las maneras de seleccionar el numero de las variables es dado por la relación descrita anteriormente (a + b) 3 = a 3 + 3a 2 b + 3ab 2 + b 3 (a + b) 3 = C n, r = n r 3 0 a3 3 a2b 3 2 ab2 3 3 b3 n n n 2... n r = = r! n! n r! r!

10 Introducción a la a la Teoría de la Información y Aplicaciones: Introducción Las frecuencias y las probabilidades (cont) Ejemplo: Si alguien compra 3 tipos de quesos del supermercado de 2 posibles tipos Cual es el numero de combinaciones de compra? No nos importa el orden en que los compramos (e.g. {Gruyere, Suizo, Cabra} se considera la misma combinación que {Suizo, Gruyere, Cabra}) C 2,3 = 2 3 = 2! 9! 3! =220 Si nos importara el orden el resultado seria una permutacion: P(2,3) = 2 0 = 320

11 Introducción a la a la Teoría de la Información y Aplicaciones: Introducción Las frecuencias y las probabilidades (cont) Probabilidad condicional Muchas veces es importante saber la probabilidad de un evento (A) basado en información previa sobre otro evento o variable, este otro evento o variable determina el espacio de muestreo (S) que se esta usando y por ende el valor de la probabilidad La probabilidad de A dado S se escribe: P(A S}

12 Introducción a la a la Teoría de la Información y Aplicaciones: Introducción Las frecuencias y las probabilidades (cont) Si se observan el siguiente numero de eventos: A ocurre, B no ocurre (AB ): n B ocurre, A no ocurre (BA ): n 2 A y B ocurren (AB): n 3 Ni A ni B ocurren (A B ): n 4 A o B o ambos ocurren (A + B): n + n 2 + n 3 El total de los eventos son N: N = n + n 2 + n 3 + n 4 Las frecuencias son: f {A} = (n + n 3 )/N, f {B} = (n 2 + n 3 )/N, f {AB} = n 3 /N, f {A+B} = (n + n 2 + n 3 )/N = f {A} + f {B} f {AB}, La frecuencia que A ocurre si sabemos que B ya ocurrió f {A B} = n 3 /(n 2 + n 3 ), La frecuencia que B ocurre si sabemos que A ya ocurrió f {B A} = n 3 /(n + n 3 ), A B A AB AB B BA

13 Introducción a la a la Teoría de la Información y Aplicaciones: Introducción Las frecuencias y las probabilidades (cont) Cuando N tiende a estas frecuencias tienden a probabilidades: P{A+B} = P{A B} = P{A} + P{B} - P{AB} P{A} + P{B} P{AB} = P{A B} = P{A} P{B A} P{AB} = P{A B} = P{B} P{A B} P{A B} = P{AB}/P{B}, P{B} 0 P{B A} = P{AB}/P{A}, P{A} 0 Para eventos A y A (inversos) P{A+A }= P{AA } = 0

14 Introducción a la a la Teoría de la Información y Aplicaciones: Introducción Las frecuencias y las probabilidades (cont) Ejemplo: Se saca una carta de un mazo de cartas: A = Sale una carta roja, B = sale un rey, AB = sale un rey rojo, A + B = sale un rey o sale una carta roja Prob{A} = /2, Prob{B} = /3, Prob{AB} = (/3)(/2)= /26 Prob{A + B} = Prob{A} + Prob{B} Prob{AB} = /2 +/3 /26 = 7/3

15 Introducción a la a la Teoría de la Información y Aplicaciones: Introducción Las frecuencias y las probabilidades (cont) Ejemplo: Si estamos tirando dos dados y tenemos los siguientes eventos: A = Dado sale 3, B = dado 2 sale, C = la suma de ambos da 8. Probs. apriori (antes de tener mas datos): P{A} = P{B} = /6, P{C} = 5/36 Probs. conjuntas: P{A Β} = /36, P{A C} = /36, P{B C} = 0/36 Probs. condicional: P{C Β} = 0, P{C A} = / 6, P{B A } = P{B} dado que A y B son independientes.

16 Introducción a la a la Teoría de la Información y Aplicaciones: Introducción Las frecuencias y las probabilidades (cont) Si el evento A y B son independientes P{A B} = P{A} P{B A} = P{B} P{A+B} = P{A B} = P{A} + P{B} P{AB} = P{A B} = P{A} P{B} A B A AB B BA

17 Introducción a la a la Teoría de la Información y Aplicaciones: Introducción Las frecuencias y las probabilidades (cont) Ejemplo: Se tiran dos dados, uno rojo y uno blanco: A = Dado rojo sale uno, B = Dado blanco sale seis AB = dado rojo sale uno y dado blanco sale seis A + B = dado rojo sale uno o dado blanco sale seis Prob{A} = P{A B} = /6, Prob{B} = P{B A} = /6, Prob{AB} = (/6)(/6)= /36 Prob(A + B) = /6 + /6 = /3

18 Introducción a la a la Teoría de la Información y Aplicaciones: Introducción Las frecuencias y las probabilidades (cont) Si el evento A y B son excluyentes: P{AB} = { } Ejemplo: Se tira un dado: A = el dado sale, B = el dado sale 2 AB = el dado sale y el dado sale 2 A+B = el dado sale o el dado sale 2 Prob{A} = /6, Prob{B} = /6, Prob{AB} = { } Prob{A+B} = /6 + /6 = /3

19 Introducción a la a la Teoría de la Información y Aplicaciones: Introducción Función Discreta de Probabilidad (PDF) y Función Cumulativa de Probabilidad (CDF) Si se tiene un experimento aleatorio y los resultados se pueden poner en correspondencia con un numero de enteros positivos entonces ese numero de enteros se denomina un espacio de muestreo discreto. En un espacio discreto de muestreo, cuando la variable aleatoria X asume valores {x, x 2, x 3,...,x k } la función discreta de probabilidad f(x) se define como: {p,p 2, p 3,...,p k } en el cual f(x k ) = Prob{X = x k } = x k La función cumulativa de probabilidad se define como: F x = x j x f x j

20 Introducción a la a la Teoría de la Información y Aplicaciones: Introducción Función Discreta de Probabilidad (PDF) y Función Cumulativa de Probabilidad (CDF) (cont) Ejemplo: Se tira una moneda repetidamente hasta que sale una cara X = La moneda sala cara por primera vez en el tiro k X = {, 2, 3,...,k} PDF: f = {/2, /4, /8,..., 2 -k } CDF: F(x) = x.5 f(x) F(x) x x

21 Introducción a la a la Teoría de la Información y Aplicaciones: Introducción Funciones Discretas de Multiples Variables En la mayoría de los problemas en ingeniería es importante saber la distribución entre multiples variables aleatorias. Esto puede ser para por ejemplo saber el comportamiento de un sistema con inputs (X) y outputs (Y). Para estudiar esto se formaliza la idea de una distribución discreta multivariable. Si se tienen dos variables aleatorias X e Y entonces la PDF y CDF se definen de esta forma: PDF: f(x, y) = Prob{X = x, Y= y} CDF: F x, y = x j x y k y f x j, y k Se denominan probabilidades marginales cuando solo se considera solo una de las dos variables sin consideración por la otra.

22 Introducción a la a la Teoría de la Información y Aplicaciones: Introducción Funciones Discretas de Multiples Variables (cont) Distribución (probabilidad) marginal La distribución marginal de una matrix (n x m) de probabilidades se calculan según: P( X = i) = Σ j (p ij ) = p i + p i p in, P( Y = j) = Σ i (p ij ) = p j + p 2j p mj Y= Ejemplo: P( X = ) = p +p 2 +p 3 +p 4 = 4/6 = /4 P( Y = 2) = p 2 +p 22 +p 32 +p 42 = 5/6 [ X= ] 4/6 4/6 4/6 4/6 3/6 5/6 5/6 3/6

23 Introducción a la a la Teoría de la Información y Aplicaciones: Introducción Funciones Discretas de Multiples Variables (cont) Ejemplo: Un sistema con input (X) y output (Y). Cual es la Prob{ 3 X 5, 2 Y 3 } y las probabilidades marginales de X e Y? Probabilidad de cada punto en la muestra: P{X=i, Y=j} = /36 P{ 3 X 5, 2 Y 3 } = 6/36 = /6 Probabilidades marginales: P{ 3 X 5} = 8/36 = /2 P{ 2 Y 3} = 2/36 = /3 X e Y son independientes, ya que todos los valores del arreglo /36 = (/6)(/6) X= Y= [ /6 /6 /6 /6 /6 /6 ] /6 36 /6 36 /6 36 / /6 36 /6

24 Aplicaciones: n v/s log n Como se usan las probabilidades en las comunicaciones? Si se quieren comparar fuentes y canales de datos, se pueden usar medidas de las diferencias entre ellos Estas medidas nos pueden dar un reflejo del tipo de fuente y del tipo de canal que se esta estudiando X Sistema de comunicaciones Y

25 Aplicaciones: n v/s log n Como se usan las probabilidades en las comunicaciones? Ejemplo: Binary Symmetric Channel (BSC), un modelo de un canal simple pero que incluye gran parte de la complejidad del problema de comunicaciones en general. Nos interesa P{Y X}, mas específicamente: P{0 0} = P{ } = p, P{ 0} = P{0 } = q X 0 q p Y 0 q p

26 Aplicaciones: n v/s log n Como se usan las probabilidades en las comunicaciones? Ejemplo: Binary Erasure Channel (BEC) Para el BEC P{0 0} = P{ } = p, P{z 0} = P{z } = q X Y p 0 0 q q z p

27 Introducción a la a la Teoría de la Información y Aplicaciones: Introducción Funciones Discretas de Multiples Variables (cont) Probabilidades Condicionales Considere una matrix de probabilidades para dos variables aleatorias X, Y representando un transmisor y un receptor: Como se calcula la probabilidad de X dado Y: P( X Y } o Y dado X: P( Y X }? P{ X = i Y = j ) = p(x i y j ) = p(x i, y j ) / Σ i (p ij ) Y= P{ Y = j X = i )= p(y j x i ) = p(x i, y j ) / Σ j (p ij ) Ejemplo: X= P( X = Y = 2) = p(x, y 2 ) / Σ i (p i2 ) = (/6) / (5/6) = /5 P( Y = 3 X = 3) = p(x 3, y 3 ) / Σ j (p 3j ) = (2/6) / (4/6) = /2 [ ] 4/6 4/6 4/6 4/6 3/6 5/6 5/6 3/6

28 Introducción a la a la Teoría de la Información y Aplicaciones Contenidos: Introducción a algunos aspectos de la teoría de la información (T.I.): información y probabilidades Entropía Reseña de algunas aplicaciones en diferentes áreas incluyendo: Comunicaciones, Encripción y Bioinformática.

29 Aplicaciones: log n v/s Entropía La entropía H(X) H(X) es una medida de la incertidumbre o de la información promedio que nos provee una variable aleatoria (o grupo de variables aleatorias) La selección de un evento de dos posibles eventos de igual probabilidad requiere bit de información La selección de un evento de cuatro posibles eventos de igual probabilidad requiere 2 bits de información...etc...

30 Aplicaciones: log n v/s Entropía La entropia H(X) (cont) Si tenemos un espacio de muestreo dividido en 2 N eventos que son igualmente probables E k (k =, 2,..., 2 N ) entonces la información (en bits) proveida por el evento E k es: I(E k ) = log(p k ) = log 2 N = N

31 Aplicaciones: log n v/s Entropía La entropia H(X) (cont) La información promedio dada por una variable aleatoria X que representa un sistema finito de probabilidades entonces n es: H(X) cumple con varios requisitos: Continuidad Simetría Extrema: cuando todos los eventos son equiprobables H(X) tiene que ser máximo, cuando uno es el unico probable H(X) tiene que ser mínimo Aditiva H(X) = I(E k ) = k = p k log 2 (p k )

32 Aplicaciones: n v/s log n La entropia H(X): porque nlogn como medida? Si se tiene un sistema con por ejemplo n diferentes opciones de transmisión Y si se quiere tener una medida basada en esas opciones para poder diferenciar un sistema de otro o para diseñar sistemas en el cuales el origen, el canal y el destino estuvieran bien dimensionados. Podría usarse por ejemplo el numero de estados n como medida de las opciones disponibles?

33 Aplicaciones: n v/s log n La entropia H(X): n, una posible medida de un sistema probabilistico Ejemplo: Un sistema de comunicaciones Morse en el cual se pueden mandar tres diferentes combinaciones de claves. En nuestro ejemplo cada una de las tres claves tiene dos posibles estados (raya y punto).

34 Aplicaciones: n v/s log n La entropia H(X): n, una posible medida de un sistema probabilistico Ejemplo (cont): Asumiendo que todos los estados son equiprobables las probabilidades son: P{cl=raya} = P{cl=punto} = P{cl2=raya} = P{cl2=punto} = P{cl3=raya} = P{cl3=punto} = ½ En nuestro ejemplo el sistema visto como conjunto tiene ocho posibles estados (raya-raya-raya, raya-raya-punto,, puntopunto-punto, 2 3 =8) pero las tres claves como componentes del sistema nos da seis posibles estados (2+2+2=6).

35 Aplicaciones: n v/s log n Clave 3 Clave 2 Clave Estado

36 Aplicaciones: n v/s log n La entropia H(X): n, una posible medida de un sistema probabilistico El numero de estados (n) para el sistema es m s = 8, para cada clave m c =m c2 =m c3 = 2 Una cualidad deseable en cualquier medida es que se puedan sumar los estados de los componentes del sistema y que esta suma sea igual a los estados del sistema completo m c + m c2 + m c3 = m s Pero Entonces simplemente usar n no funciona Qué hacer? Afortunadamente una manera de transformar productos de números a sumas es usando el logaritmo.

37 Aplicaciones: n v/s log n La entropia H(X): log n, otra posible medida de sistema probabilistico log 2 n tiene la capacidad requerida de nuestra medida ya que: log 2 (2) + log 2 (2) + log 2 (2) = log 2 (8) Entonces usando nuestra nueva medida m = log 2 (n) Para el sistema entero log 2 (n s ) = log 2 (8) y para cada clave log 2 (n c )= log 2 ( n c2 ) = log 2 ( n c3 ) = log 2 (2) Esta nueva medida si tiene esta cualidad deseada (propiedad aditiva) m c + m c2 + m c3 = m s Típicamente se usa la base 2 para el logaritmo especialmente en sistemas binarios. En este caso la unidad de información de sistemas binarios se llama bit que es una contracción de binary unit.

38 Aplicaciones: log n v/s Entropía La entropia H(X): Sistemas con probabilidades distintas En sistemas en los cuales las probabilidades de los componentes transmitidos en mensajes no son equiprobables, entonces es necesario ampliar nuestra medida (log 2 (n)). Esta medida se llama entropía se usa el símbolo H para designarla.

39 Aplicaciones: log n v/s Entropía La entropia H(X): Sistemas con probabilidades distintas No se pueden sumar las contribuciones de los diferentes componentes de manera igual ya que en sistemas reales los componentes de los mensajes tienen diferentes frecuencias y probabilidades. Incluir esas probabilidades es esencial para que nuestra medida mida las contribuciones de las diferentes opciones en nuestro mensajes de manera mas realista.

40 Aplicaciones: log n v/s Entropía La entropia H(X): Sistemas con probabilidades distintas Ejemplo: Sistema morse Si {P(raya) =. y P(punto) =.9} se puede decir que la información promedio contribuida por una raya es P raya log(p raya ) y la información promedio contribuida por un punto es P punto log(p punto ).

41 Aplicaciones: log n v/s Entropía La entropia H(X): Sistemas con probabilidades distintas Asumiendo que X = {raya, punto}, P(raya)=., P(punto)=.9, x es una variable aleatoria del espacio X, N es la cantidad de opciones igual a 2 (raya o punto). H(X) deberia tender a 0 cuando P(x n ) tiende a cero o a ya que eso indica certeza en el mensaje y al haber certeza no hay incertidumbre (una pista: -P(x n )logp(x n ) tiende a cero cuando P(x n ) es cero o uno). El valor máximo de H(X) es cuando P(x n ) = /N = ½ indicando mayor incertidumbre en el mensaje y más información transmitida sobre el sistema (propiedad extrema).

42 Aplicaciones: log n v/s Entropía La entropia H(X): Sistemas con probabilidades distintas Si el numero de posibles resultados equiprobables se incrementa entonces la entropía también se incrementa. También nos interesa que esta función H(X) tenga simetría con respecto a la probabilidades de izquierda a derecha H(X) debiera ser concava hacia abajo (limitada) y continua Para que cumpla con estos requerimientos, la entropía se define de la siguiente forma: H(X) = i pi log(pi )

43 Aplicaciones: log n v/s Entropía Medidas Valores log(p) -log(p) -Plog(P) Probabilidad P

44 Aplicaciones: log n v/s Entropía Medidas Valores Plog(P) Probabilidad P

45 Aplicaciones: log n v/s Entropía Medidas Valores P2log(P2) Probabilidad P

46 Aplicaciones: log n v/s Entropía Medidas.2 Valores H(x) H(x)=-Plog(P)-P2log(P2) Probabilidad P (P2 = - P)

47 Aplicaciones: Entropía Ejemplos H(X): Si P(raya) =., P(punto) =.9: H(X) = -(.log log 2.9) = bits Si P(raya) =.9, P(punto) = 0.: H(X) = -(.9log log 2.) = bits {simetría} Si P(raya) =.5 y P(punto)=.5: H(X) = -(.5log log 2.5) =.0 bits {P=(/N) H(x) Máx } Si P(raya) =0 y P(punto)=: H(x) = -(0log log 2 ) = 0 bits {P=() H(x) Min =0}

48 Aplicaciones: Entropía Conclusion: Que es la entropía? La entropía H(X) mide la información o incertidumbre promedio de una variable aleatoria X (o sistema representado por X).

49 Aplicaciones: Entropía Entropías a considerar en un sistema Igual que cuando se estudio las probabilidades en el caso de tener dos variables aleatorias (Ej: transmisor X y receptor Y) se consideran las siguientes entropías para medir relaciones entre las variables: H(X) : Información o entropia por carácter en el transmisor (en bits) H(Y) : Información o entropia por carácter en el receptor (en bits) H(X,Y) : Información o entropia por par de caracteres transmitidos y recibidos (en bits) H(Y X) : Información o entropia condicional sobre el receptor Y sabiendo que X = i fue transmitido (en bits) H(X Y) : Información o entropia condicional sobre el transmisor sabiendo que Y = j fue recibido, también conocido como equivocación (en bits)

50 Aplicaciones: Entropía Ejemplo: Entropías a considerar en un sistema p(x=)=0.25, p(x=2)=0.4, p(x=3)=0.5, p(x=4)=0.5, p(x=5)=0.05 p(y=)=0.35, p(y=2)=0.35, p(y=3)=0.20, p(y=4)=0. Y= p( x y ) = p(x, y ) / Σ i (p i ) =0.25/0.35 =.74 [ ] 2 p( y x ) = 0.25/0.25 = X= p( y 2 x 3 ) = 0.05/0.5 = H X = i j p x, y log p X =i = i p X =i log p X =i H(X) = log log log log log log log log 0.05 = bits Equivalentemente: H(X) = log log log log log 0.05 = bits

51 Aplicaciones: Entropía Ejemplo: Entropías a considerar en un sistema H Y = i j H(Y) = log log log log log log log log 0. =.856 bits X= Equivalentemente: H(Y) = log log log log 0. =.856 bits H X, Y = i p x, y log p Y = j = j j p x, y log p x, y H(X, Y) = log log log log log log log log 0.5 = bits p Y = j log p Y = j [ 0.25 Y= ]

52 Aplicaciones: Entropía Ejemplo: Entropías a considerar en un sistema (cont) H X Y = i j H(X Y) = -p(x,y ) log p(x y ) - p(x 2,y ) log p(x 2 y ) - p(x 2,y 2 ) log p(x 2 y 2 ) - p(x 3,y 2 ) log p(x 3 y 2 ) - p(x 4,y 3 ) log p(x 4 y 3 ) - p(x 4,y 4 ) log p(x 4 y 4 ) - p(x 5,y 3 ) log p(x 5 y 3 ) - p(x 5,y 4 ) log p(x 5 y 4 ) = bits p X =i,y = j log p x y = j p Y = j H X Y = j Equivalentemente: H(X Y) = 0.35 H(0.25/0.35, 0./0.35) H(0.3/0.35, 0.05/0.35) H(0./0.2, 0.05/0.2, 0.05/0.2) + 0. H(0./0.) = bits [ X= Y= ]

53 Aplicaciones: Entropía Ejemplo: Entropías a considerar en un sistema (cont) H Y X = i j H(Y X) = - p(y,x ) log p(y x ) - p(y,x 2 ) log p(y x 2 ) p(y 2,x 2 ) log p(y 2 x 2 ) - p(y 2,x 3 ) log p(y 2 x 3 ) - p(y 3,x 3 ) log p(y 3 x 3 ) - f(y 3,x 4 ) log p(y 3 x 4 ) - f(y 3,x 4 ) log p(y 3 x 4 ) - p(y 3,x 5 ) log p(y 3 x 5 ) = 0.6 bits p X =i,y = j log p y x = i p X =i H Y X =i Equivalentemente: H(Y X) = 0.25 H(0.25/0.25) H(0./0.4,0.3/0.4) H(0.05/0.5, 0./0.5) H(0.05/0.5, 0./0.5) H(0.05/0.05) X= = 0.6 bits [ Y= ]

54 Aplicaciones: Entropía Ejemplo: Entropías a considerar en un sistema (cont) Hay que notar que H(x,y) < H(X) + H(Y) < y que: H(X,Y) = H(Y) + H(X Y) = H(X) + H(Y X) = = H(X, Y) H(X, Y) H(X) H(Y X) H(X Y) H(Y)

55 Aplicaciones: Entropía Información Mutua La información mutua I(X;Y) es una medida de la información proveida por los pares de símbolos (x,y), la relación entre I(X;Y) y la entropia es: H(X,Y) = H(X) + H(Y X) = H(Y) + H(X Y) H(X,Y) = H(X) + H(Y) - I(X;Y) I(X;Y) = H(X) H(X Y) I(X;Y) = H(Y) H(Y X) I(X;Y) mide la dependencia entre el input X y el output Y, o la información transmitida por el canal, es positiva y simétrica en X y Y. H(X, Y) H(X) H(Y) H(X Y) I(X;Y) H(Y X)

56 Aplicaciones: Entropía Información Mutua La capacidad de un canal definida por Shannon es C = max I(X;Y), max I(X;Y) es cuando la incertidumbre de lo que se transmitió (X) dado Y es zero o cuando la incertidumbre de recibir Y dado X es zero: Si I(X;Y) = H(X) H(X Y), cuando H(X Y) = 0 max I(X;Y) = C Si I(X;Y) = H(Y) H(Y X), cuando H(Y X) = 0 max I(X;Y) = C H(Y X) maxima H(X, Y) H(Y X) grande H(X, Y) H(Y X) chica H(Y X) = 0 H(X, Y) H(X, Y) H(X) H(Y X) = H(Y) I(X;Y)=0 I(X;Y) I(X;Y) H(X) = H(Y) = H(X, Y) = I(X;Y)

57 Aplicaciones: Entropía Información Mutua (cont) Para un canal libre de ruido (canal perfecto): p( x y ) = 0.25/0.25 =, p( x 2 y 2 ) = 0.25/0.25 = p( x 3 y 3 ) = 0.25/0.25 =, p( x 4 y 4 ) = 0.25/0.25 = X= Y= [ ] p( y x ) = 0.25/0.25 =, p( y 2 x 2 ) = 0.25/0.25 = p( y 3 x 3 ) = 0.25/0.25 =, p( y 4 x 4 ) = 0.25/0.25 = todos los otros f(x y) y f(y x) son zero H X,Y = x y p x, y log p x, y H(X, Y) = 0.25 log log log log 0.25 = 2 bits

58 Aplicaciones: Entropía Información Mutua (cont) H(X) = 0.25 log log log log 0.25 = 2 bits H(Y) = 0.25 log log log log 0.25 = 2 bits X= Y= [ ] H(Y X) = log 0.25log -0.25log -0.25log = 0 similarmente H(X Y) = 0 Para este canal libre de ruido : I(X;Y) = H(X) = H(Y) = H(X,Y) = 2 bits

59 Aplicaciones: Entropía Información Mutua (cont) Para un canal con inputs y output independientes: H(Y X) = H(Y) (maxima) H(X, Y) H(X) = H (X Y) H(Y X) = H(Y) I(X;Y)=0 X= 2 H(X) = H(X Y) =, H(Y) = H(Y X) =, H(X,Y) = 2 I(X;Y)= H(X) H(X Y) = = 0 bits = H(Y) H(Y X) = = 0 bits Para un canal libre de ruido (canal perfecto): X= H(Y X) = 0 2 H(X, Y) H(X) =, H(Y) =, H(X,Y) =, H(X Y) = 0, H(X Y) = 0 Y= 2 [ ] Y= 2 [ ] I(X;Y)= H(X) H(X Y) = 0 = bit H(X) = H(Y) = H(X, Y)=I(X;Y) = H(Y) H(Y X) = 0 = bit

60 Aplicaciones: Entropía Relativa Que es la entropía relativa? La entropía relativa es una medida de la distancia o divergencia entre dos funciones de probabilidad p(x) y q(x). También es conocida como distancia Kullback Leibler (KL y KL2). La medida Jensen/Jeffreys (simétrica) es la suma de KL y KL2 : J = KL + KL2. Hay muchas otras medidas de divergencia aparte de KL, KL2 y J. KL = KL2 = D(p q) = D(p q) = i i p log(p i i / qi ) q i log(qi / pi )

61 Aplicaciones: Entropía Relativa Ejemplos de H(x), KL, KL2 y J: Hay dos dados (los dos están arreglados!) y por consecuencia dos variables aleatoria X e Y con los siguientes valores y probabilidades. Posibles eventos : X = [, 2, 3, 4, 5, 6], Y = [, 2, 3, 4, 5, 6] Ejemplo : Funciones de probabilidades discreta: f(x) = {p x, p x2, p x3, p x4, p x5, p x6 } = {/3,/3,/2,/2,/2,/2}, f(y) = {p y, p y2, p y3, p y4, p y5, p y6 } = {/2,/2,/6,/6,/6,/3} 4/2 4/2 f(x) 3/2 2/2 f(y) 3/2 2/2 /2 / X Y

62 Aplicaciones: Entropía Relativa Ejemplo de H(x), KL, KL2 y JS (cont): H(X) = -(/3log 2 /3+/3log 2 /3+...+/2log 2 /2) = H(Y) = -(/2log 2 /2+/6log 2 /6+...+/3log 2 /3) = KL = D(X Y) = KL2 = D(X Y) =.333 J = KL + KL2 = Ejemplo 2: f(x) = {/2,/2,/6,/6,/6,/3} f(y) = {/3,/3,/2,/2,/2,/2}, KL = D(X Y) =.333 KL2 = D(X Y) = J = KL + KL2 = KL y KL2 no son simétricas pero J si lo es.

63 Introducción a la a la Teoría de la Información y Aplicaciones Contenidos: Introducción a algunos aspectos de la teoría de la información (T.I.): información y probabilidades Entropía Reseña de algunas aplicaciones en diferentes áreas incluyendo: Comunicaciones, Encripción y Bioinformática.

64 Aplicaciones: Aplicaciones Comunicaciones La T.I. es muy importante en el continuo desarrollo de las comunicaciones. Un canal de comunicaciones es un sistema en el cual el output (M ) depende probabilisticamente del input (M). La entropía H(x) mide la incertidumbre de una variable aleatoria (X). Para medir la incertidumbre de un canal de comunicaciones se usa una medida llamada la información mutual I(X;Y) = H (X) H(X Y).

65 Introducción a la a la Teoría de la Información y Aplicaciones: Introducción Sistema de Comunicación Origen Codificador Canal Decodificador Destino Mensaje M Mensaje M

66 Aplicaciones: Aplicaciones Comunicaciones I(X;Y) mide la dependencia entre el input X y el output Y es positiva y simétrica en X y Y. La capacidad de un canal es C=max I(X;Y); max I(X;Y) es cuando la incertidumbre de lo que se transmitió (X) dado Y es zero : H(X Y) = 0 C=max I(X;Y).

67 Aplicaciones: Aplicaciones Comunicaciones Claude Shannon demostró que la información puede ser transmitida con fiabilidad hasta el ritmo permitido por la capacidad del canal C. Esta fiabilidad era independiente del ritmo de la transmisión siempre que fuera menor que C. El teorema de codificación de canales de Shannon prometió la existencia de códigos que permitirían la transmisión de información a velocidades mas rapidas. Algunos codigos que usaron estas ideas son los codigos de Hamming y Reed-Solomon.

68 Aplicaciones: Aplicaciones Criptografía La teoría de la información también es usada en otras áreas como la encriptación. Usando M como el mensaje, C como el cypher texto, K como la llave para la encriptación. La situación corresponde al sistema de comunicaciones pero con agregando seguridad a la informacion transmitida.

69 Introducción a la a la Teoría de la Información y Aplicaciones: Introducción Sistema de Encriptación K Generador de llaves K Origen Encriptor Canal Decriptor Destino Interceptor Mensaje M Mensaje M (e, K, C) C=e(M,K)

70 Aplicaciones: Aplicaciones Criptografía Shannon describió la equivocación de la llave H(K C) el cual mide la incertidumbre promedio de una llave K cuado un criptograma C ha sido interceptado. Conceptos de la teoría de la información han sido usado en procesos y algoritmos como PGP, RSA, DES y otros. Gracias a estos algoritmos existe el internet como se conoce hoy.

71 Aplicaciones: Aplicaciones Bioinformática Los conceptos de divergencia (Kullback Leibler) entre distribuciones ha sido usado en la Bioinformática para la detección de patrones en secuencias de ADN. Estas secuencias son un patrón estocástico que puede ser considerado como un generador ergodico de caracteres. Los caracteres usados en el ADN son el A, T, C, y G. Usando métodos basados en la Teoría de la Información es posible mejorar el análisis de codones (tripletes de ADN que generan proteínas), motifs (grupos de caracteres que tienen una significancia biológica) y otros relieves de interés.

72 Aplicaciones: Aplicaciones Ejemplo: Usando la diferencia en sus estadísticas se han creado medidas para medir la divergencia entre de codones y nocodones. Usando un indicador (pointer) se calculan las frecuencias de los doce diferentes nucleótidos (A0, T0, C0, G0, A, T, C, G, A2, T2, C2, G2) a la izquierda y derecha del indicador Se usan las doce frecuencias a la izquierda como p: (fia0,...fig2) y las otras doce como q: (fda0,...,fdg2) Se usan diferentes medidas (KL, KL2,...) para calcular D(p q) y detectar codones y no codones. Hay muchas (mas de treinta) diferentes medidas que pueden ser usadas con estos propósitos.

73 Aplicaciones: Aplicaciones Bioinformatica Medida Kullback Leibler (KL) y KL2 KL,2 = I,2 = P log(p / p2) KL2, = I2, = P2 log(p2 / p) Medida Jensen Jeffreys (J) J = KL + KL,2 2,

74 Aplicaciones: Aplicaciones Bioinformatica Medida Kullback Leibler para detectar codones () human ; (2) ecoli; (3) jannaschii; and (4) rprowazekii) I II III I II III 0.06 () 0.06 (2) KL KL (3) 0.3 (4) KL KL Pointer position Pointer position

75 Aplicaciones: Conclusión En general estas medidas y la Teoría de la Información pueden ser usadas para detectar patrones estadísticos en muchos tipos de secuencias, imagenes u otras formas de información. La Teoría de la Información nos da una base teórica para la investigación de muchas áreas diferentes aparentemente no relacionadas.

76 Aplicaciones Referencias: [] Reza, F., An Introduction to Information Theory, Dover Publications, 994 [2] Cover, T., Elements of Information Theory, Wiley, 99 [3] Galvan, P.B. et al, Finding Borders between Coding and Noncoding DNA Regions by an Entropic Segmentation Method, Physical Review Letters, 85 (2000) [4] en.wikipedia.org