TEORÍA DE LA INFORMACIÓN Y CODIFICACIÓN CÓDIGOS

Transcripción

1 TEORÍA DE LA INFORMACIÓN Y CODIFICACIÓN CÓDIGOS CANTIDAD DE INFORMACIÓN. ENTROPÍA. ENTROPÍA CONDICIONADA. CANTIDAD DE INFORMACIÓN ENTRE DOS VARIABLES. LÍMITE DE NYQUIST. LÍMITE DE SHANNON. CONSECUENCIAS DE LOS LÍMITES. TIPOS DE ERRORES. DETECCIÓN DE ERRORES. INTRODUCCIÓN A CÓDIGOS. CÓDIGOS DETECTORES DE ERRORES. DISTANCIA HAMMING Y DESCODIFICACIÓN POR DISTANCIA MÍNIMA. CÓDIGOS PERFECTOS. CÓDIGOS LINEALES. MATRICES GENERATRICES Y MATRICES DE CONTROL - CÓDIGOS CORRECTORES. CÓDIGO DE HAMMING. CÓDIGO DE GOLAY. CÓDIGO DE REED-MULLER. TEORÍA DE LA INFORMACIÓN - CÓDIGOS 1

2 CANTIDAD DE INFORMACIÓN TEORÍA DE LA INFORMACIÓN - CÓDIGOS 2

3 CANTIDAD DE INFORMACIÓN LA CANTIDAD DE INFORMACIÓN ES UNA MEDIDA DE LA DISMINUCIÓN DE INCERTIDUMBRE ACERCA DE UN SUCESO: EJ.: SI SE NOS DICE QUE EL NÚMERO QUE HA SALIDO EN UN DADO ES MENOR QUE DOS, SE NOS DA MÁS INFORMACIÓN QUE SI SE NOS DICE QUE EL NÚMERO QUE HA SALIDO ES PAR. LA CANTIDAD DE INFORMACIÓN QUE SE OBTIENE AL CONOCER UN HECHO ES DIRECTAMENTE PROPORCIONAL AL NÚMERO POSIBLE DE ESTADOS QUE ESTE TENÍA A PRIORI: SI INICIALMENTE SE TENÍAN DIEZ POSIBILIDADES, CONOCER EL HECHO PROPORCIONA MÁS INFORMACIÓN QUE SI INICIALMENTE SE TUVIERAN DOS. EJ.: SUPONE MAYOR INFORMACIÓN CONOCER LOS NÚMEROS GANADORES DEL PRÓXIMO SORTEO DE LA LOTERÍA, QUE SABER SI UNA MONEDA LANZADA AL AIRE VA A CAER CON LA CARA O LA CRUZ HACIA ARRIBA. TEORÍA DE LA INFORMACIÓN - CÓDIGOS 3

4 CANTIDAD DE INFORMACIÓN LA CANTIDAD DE INFORMACIÓN ES PROPORCIONAL A LA PROBABILIDAD DE UN SUCESO: SE CONSIDERA LA DISMINUCIÓN DE INCERTIDUMBRE PROPORCIONAL AL AUMENTO DE CERTEZA. SI LA PROBABILIDAD DE UN ESTADO FUERA 1 (MÁXIMA): LA CANTIDAD DE INFORMACIÓN QUE APORTA SERÍA 0. SI LA PROBABILIDAD SE ACERCARA A 0: LA CANTIDAD DE INFORMACIÓN TENDERÁ A INFINITO: UN SUCESO QUE NO PUEDE SUCEDER APORTARÁ UNA CANTIDAD INFITA DE INFORMACIÓN SI LLEGARA A OCURRIR. LA CANTIDAD I DE INFORMACIÓN CONTENIDA EN UN MENSAJE, ES UN VALOR MATEMÁTICO MEDIBLE REFERIDO A LA PROBABILIDAD p DE QUE UNA INFORMACIÓN EN EL MENSAJE SEA RECIBIDA, ENTENDIENDO QUE EL VALOR MÁS ALTO SE LE ASIGNA AL MENSAJE MENOS PROBABLE. SEGÚN SHANNON: TEORÍA DE LA INFORMACIÓN - CÓDIGOS 4

5 CANTIDAD DE INFORMACIÓN EJ.: SE ARROJA UNA MONEDA AL AIRE; SE DEBE CALCULAR LA CANTIDAD DE INFORMACIÓN CONTENIDA EN LOS MENSAJES CARA O CRUZ SEPARADAMENTE: I = log 2 [(1/(1/2)] = log 2 2 = 1. I MANIFIESTA LA CANTIDAD DE SÍMBOLOS POSIBLES QUE REPRESENTAN EL MENSAJE. SI SE LANZARA UNA MONEDA TRES VECES SEGUIDAS, LOS OCHO RESULTADOS (O MENSAJES) EQUIPROBABLES PUEDEN SER: 000, 001, 010, 011, 100, 101, 110, 111. LA p DE CADA MENSAJE ES DE 1/8, Y SU CANTIDAD DE INFORMACIÓN ES: I = log 2 [1/(1/8)] = 3. TEORÍA DE LA INFORMACIÓN - CÓDIGOS 5

6 CANTIDAD DE INFORMACIÓN LA I DE LOS MENSAJES ES IGUAL A LA CANTIDAD DE BITS DE CADA MENSAJE. UNA NOTACIÓN SIMILAR ES LA SIGUIENTE. SE EMPLEA UNA VARIABLE ALEATORIA V PARA REPRESENTAR LOS POSIBLES SUCESOS QUE SE PUEDEN ENCONTRAR: EL SUCESO i-ésimo SE DENOTA COMO x i. P(x i ) SERÁ LA PROBABILIDAD ASOCIADA A DICHO SUCESO. n SERÁ EL NÚMERO DE SUCESOS POSIBLES. LA CANTIDAD DE INFORMACIÓN SERÁ: TEORÍA DE LA INFORMACIÓN - CÓDIGOS 6

7 ENTROPÍA TEORÍA DE LA INFORMACIÓN - CÓDIGOS 7

8 ENTROPÍA LA SUMA PONDERADA DE LAS CANTIDADES DE INFORMACIÓN DE TODOS LOS POSIBLES ESTADOS DE UNA VARIABLE ALEATORIA V ES: LA MAGNITUD H(V) SE CONOCE COMO LA ENTROPÍA DE LA VARIABLE ALEATORIA V. SUS PROPIEDADES SON LAS SIGUIENTES: TEORÍA DE LA INFORMACIÓN - CÓDIGOS 8

9 ENTROPÍA LA ENTROPÍA ES PROPORCIONAL A LA LONGITUD MEDIA DE LOS MENSAJES QUE SE NECESITARÁ PARA CODIFICAR UNA SERIE DE VALORES DE V: DE MANERA ÓPTIMA DADO UN ALFABETO CUALQUIERA. ESTO SIGNIFICA QUE CUANTO MÁS PROBABLE SEA UN VALOR INDIVIDUAL, APORTARÁ MENOS INFORMACIÓN CUANDO APAREZCA: SE PODRÁ CODIFICAR EMPLEANDO UN MENSAJE MÁS CORTO. SI P(x i ) = 1 NO SE NECESITARÍA NINGÚN MENSAJE: SE SABE DE ANTEMANO QUE V VA A TOMAR EL VALOR x i. SI P(x i ) = 0,9 PARECE MÁS LÓGICO EMPLEAR: MENSAJES CORTOS PARA REPRESENTAR EL SUCESO x i. MENSAJES LARGOS PARA LOS x j RESTANTES: EL VALOR QUE MÁS APARECERÁ EN UNA SECUENCIA DE SUCESOS ES PRECISAMENTE x i. TEORÍA DE LA INFORMACIÓN - CÓDIGOS 9

10 ENTROPÍA EJEMPLOS: ENTROPÍA DE LA VARIABLE ALEATORIA ASOCIADA A LANZAR UNA MONEDA AL AIRE: H(M) = -(0,5 log 2 (0,5) + 0,5 log 2 (0,5)) = 1. EL SUCESO APORTA EXACTAMENTE UNA UNIDAD DE INFORMACIÓN. SI LA MONEDA ESTÁ TRUCADA (60% DE PROBABILIDADES PARA CARA, 40% PARA CRUZ), SE TIENE: H(M) = -(0,6 log 2 (0,6) + 0,4 log 2 (0,4)) = 0,970. LA CANTIDAD DE INFORMACIÓN ASOCIADA AL SUCESO MÁS SIMPLE: CONSTA UNICAMENTE DE DOS POSIBILIDADES EQUIPROBABLES (CASO DE LA MONEDA SIN TRUCAR). SERÁ LA UNIDAD A LA HORA DE MEDIR ESTA MAGNITUD, Y SE DENOMINARÁ BIT. TEORÍA DE LA INFORMACIÓN - CÓDIGOS 10

11 ENTROPÍA SE EMPLEAN LOGARITMOS BASE 2 PARA QUE LA CANTIDAD DE INFORMACIÓN DEL SUCESO MÁS SIMPLE SEA IGUAL A 1. LA ENTROPÍA DE UNA VARIABLE ALEATORIA ES EL NÚMERO MEDIO DE BITS QUE SE NECESITARÁN PARA CODIFICAR C/U DE LOS ESTADOS DE LA VARIABLE: SE SUPONE QUE SE EXPRESA C/ SUCESO EMPLEANDO UN MENSAJE ESCRITO EN UN ALFABETO BINARIO. SI SE QUIERE REPRESENTAR LOS DIEZ DÍGITOS DECIMALES USANDO SECUENCIAS DE BITS: CON 3 BITS NO ES SUFICIENTE, SE NECESITA MÁS. SI SE USAN 4 BITS TAL VEZ SEA DEMASIADO. LA ENTROPÍA DE 10 SUCESOS EQUIPROBABLES ES: TEORÍA DE LA INFORMACIÓN - CÓDIGOS 11

12 ENTROPÍA EL VALOR CALCULADO ES EL LÍMITE TEÓRICO, QUE NORMALMENTE NO SE PUEDE ALCANZAR. SE PUEDE DECIR QUE NO EXISTE NINGUNA CODIFICACIÓN QUE EMPLEE LONGITUDES PROMEDIO DE MENSAJE INFERIORES AL NÚMERO CALCULADO. EL MÉTODO DE HUFFMAN PERMITE OBTENER CODIFICACIONES BINARIAS QUE SE APROXIMAN BASTANTE AL ÓPTIMO TEÓRICO DE UNA FORMA SENCILLA Y EFICIENTE. TEORÍA DE LA INFORMACIÓN - CÓDIGOS 12

13 ENTROPÍA LA ENTROPÍA H DE UN SISTEMA DE TRANSMISIÓN ES IGUAL A LA CANTIDAD DE INFORMACIÓN MEDIA DE SUS MENSAJES, ES DECIR: H = I med. SI EN UN CONJUNTO DE MENSAJES SUS PROBABILIDADES SON IGUALES, LA ENTROPÍA TOTAL SERÁ: H = log 2 N. N ES EL NÚMERO DE MENSAJES POSIBLES EN EL CONJUNTO. EJ.: SE TRANSMITEN MENSAJES BASADOS EN UN ABECEDARIO. CUÁL SERÁ LA ENTROPÍA?: SE SUPONE QUE LAS COMBINACIONES SON ALEATORIAS Y LOS MENSAJES SON EQUIPROBABLES. LA CANTIDAD DE LETRAS ES 26. LA CANTIDAD DE SIGNOS DE PUNTUACIÓN ES 5. LA CANTIDAD DE SIGNOS ESPECIALES ES 1 (ESPACIO EN BLANCO). LA CANTIDAD TOTAL DE SÍMBOLOS ES ENTONCES 32. TEORÍA DE LA INFORMACIÓN - CÓDIGOS 13

14 ENTROPÍA LA ENTROPÍA SERÁ: H = log 2 32 = 5. DESDE LA ÓPTICA BINARIA ESTO SIGNIFICA QUE SE NECESITAN 5 BITS PARA CODIFICAR CADA SÍMBOLO: 00000, 00001, 00010, 11111, ETC.: ESTE RESULTADO COINCIDE CON LA RECÍPROCA DE LA PROBABILIDAD p. LA ENTROPÍA: INDICA LA RECÍPROCA DE LA PROBABILIDAD DE OCURRENCIA. PERMITE VER LA CANTIDAD DE BITS NECESARIOS PARA REPRESENTAR EL MENSAJE QUE SE VA A TRANSMITIR. TEORÍA DE LA INFORMACIÓN - CÓDIGOS 14

15 ENTROPÍA CONDICIONADA TEORÍA DE LA INFORMACIÓN - CÓDIGOS 15

16 ENTROPÍA CONDICIONADA SE SUPONE QUE TENEMOS UNA VARIABLE ALEATORIA BIDIMENSIONAL (X,Y). LAS DISTRIBUCIONES DE PROBABILIDAD MÁS USUALES QUE SE PUEDEN DEFINIR SOBRE DICHA VARIABLE, TENIENDO n POSIBLES CASOS PARA X Y m PARA Y SON: DISTRIBUCIÓN CONJUNTA DE (X, Y): DISTRIBUCIONES MARGINALES DE X E Y: TEORÍA DE LA INFORMACIÓN - CÓDIGOS 16

17 ENTROPÍA CONDICIONADA DISTRIBUCIONES CONDICIONALES DE X SOBRE Y Y VICEVERSA: SE DEFINE LA ENTROPÍA DE LAS DISTRIBUCIONES COMO SIGUE: TEORÍA DE LA INFORMACIÓN - CÓDIGOS 17

18 ENTROPÍA CONDICIONADA HACIENDO LA SUMA PONDERADA DE LOS H(X/Y = y j ) SE OBTIENE LA EXPRESIÓN DE LA ENTROPÍA CONDICIONADA DE X SOBRE Y: SE DEFINE LA LEY DE ENTROPÍAS TOTALES: SI X E Y SON VARIABLES INDEPENDIENTES: TEORÍA DE LA INFORMACIÓN - CÓDIGOS 18

19 CANTIDAD DE INFORMACIÓN ENTRE DOS VARIABLES TEORÍA DE LA INFORMACIÓN - CÓDIGOS 19

20 CANTIDAD DE INFORMACIÓN ENTRE DOS VARIABLES TEOREMA DE DISMINUCIÓN DE LA ENTROPÍA: LA ENTROPÍA DE UNA VARIABLE X CONDICIONADA POR OTRA Y ES MENOR O IGUAL A LA ENTROPÍA DE X: LA IGUALDAD SE DA SI Y SÓLO SI LAS VARIABLES X E Y SON INDEPENDIENTES. IDEA INTUITIVA: CONOCER ALGO ACERCA DE LA VARIABLE Y PUEDE QUE AYUDE A SABER MÁS SOBRE X (ES UNA REDUCCIÓN DE SU ENTROPÍA). EN NINGÚN CASO PODRÁ HACER QUE AUMENTE LA INCERTIDUMBRE. SHANNON PROPUSO UNA MEDIDA PARA LA CANTIDAD DE INFORMACIÓN QUE APORTA SOBRE UNA VARIABLE EL CONOCIMIENTO DE OTRA. TEORÍA DE LA INFORMACIÓN - CÓDIGOS 20

21 CANTIDAD DE INFORMACIÓN ENTRE DOS VARIABLES SE DEFINE LA CANTIDAD DE INFORMACIÓN DE SHANNON QUE LA VARIABLE X CONTIENE SOBRE Y COMO: SIGNIFICA QUE LA CANTIDAD DE INFORMACIÓN QUE APORTA EL HECHO DE CONOCER X AL MEDIR LA INCERTIDUMBRE SOBRE Y ES IGUAL A LA DISMINUCIÓN DE ENTROPÍA QUE ESTE CONOCIMIENTO CONLLEVA. SUS PROPIEDADES SON LAS SIGUIENTES: TEORÍA DE LA INFORMACIÓN - CÓDIGOS 21

22 LÍMITE DE NYQUIST TEORÍA DE LA INFORMACIÓN - CÓDIGOS 22

23 LÍMITE DE NYQUIST NYQUIST DEMOSTRÓ LA EXISTENCIA DE UNA FRECUENCIA DE MUESTREO LLAMADA FRECUENCIA DE NYQUIST, IGUAL CUANTO MÁS AL DOBLE DE LA FRECUENCIA NATURAL DE ENTRADA (LA FRECUENCIA DE LA SEÑAL QUE SE VA A MUESTREAR). NYQUIST SOSTIENE QUE SI SE HACE UN MUESTREO CON UNA FRECUENCIA SUPERIOR AL DOBLE: LA INFORMACIÓN RECUPERADA ES REDUNDANTE. ESTO SE DEBE INTERPRETAR COMO QUE LA CANTIDAD DE INFORMACIÓN OBTENIDA AL RECUPERAR UN MENSAJE QUE SE HA MUESTREADO A UNA FRECUENCIA MAYOR QUE EL DOBLE DE LA NATURAL: NO DIFIERE DE LA OBTENIDA CUANDO SE MUESTREA A UNA FRECUENCIA DEL DOBLE DE LA NATURAL. TEORÍA DE LA INFORMACIÓN - CÓDIGOS 23

24 LÍMITE DE NYQUIST F N ES LA FRECUENCIA DE NYQUIST: F N = 2 f. UTILIZANDO EL PASABANDA PARA LOS CANALES DE INFORMACIÓN: F N 2 ΔF. NYQUIST ESTABLECIÓ QUE: SI LOS CANALES SON SIN RUIDO. SI LAS SEÑALES SON BINARIAS CON UNA TRANSMISIÓN MONONIVEL. LA F N COINCIDE CON LA MÁXIMA VELOCIDAD BINARIA: BPS 2 ΔF. ESTO ES UN LÍMITE FÍSICO. TEORÍA DE LA INFORMACIÓN - CÓDIGOS 24

25 LÍMITE DE NYQUIST ES POSIBLE SUPERAR ESTE MÁXIMO SI LA TRANSMISIÓN ES MULTINIVEL: POR C/ INSTANTE DE MUESTREO SE TRANSMITIRÁ UN SÍMBOLO QUE CONTIENE MÁS DE DOS BITS Y POR LO TANTO I > 1: BPS 2 ΔF log 2 m. m ES LA CANTIDAD DE NIVELES DE LA MODULACIÓN. ASÍ SE RELACIONA LA MÁXIMA VELOCIDAD BINARIA CON EL ANCHO DE BANDA, LA CANTIDAD DE NIVELES Y LA ENTROPÍA. A ESTA VELOCIDAD BINARIA SE LA DENOMINA LÍMITE DE NYQUIST: BPS = 2 ΔF H. TEORÍA DE LA INFORMACIÓN - CÓDIGOS 25

26 LÍMITE DE NYQUIST EJ.: EN UN CANAL DE TRANSMISIÓN SE USA UNA MODULACIÓN 64QAM Y ES DEL TIPO CANAL DE VOZ. CUÁL SERÁ EL LÍMITE DE NYQUIST?: MODULACIÓN 64QAM: 64 NIVELES DE MODULACIÓN. CANAL DE VOZ: 4 KHZ DE PASABANDA. BPS = 2 ΔF H = 2 x 4 x log 2 64 = 8 x 6 = 48 KBPS. NOTA: COMO LA FRECUENCIA ESTÁ EN KHZ, BPS ESTÁ EN KBPS. EL LÍMITE ES VÁLIDO EN CANALES SIN RUIDO. TEORÍA DE LA INFORMACIÓN - CÓDIGOS 26

27 LÍMITE DE SHANNON TEORÍA DE LA INFORMACIÓN - CÓDIGOS 27

28 LÍMITE DE SHANNON UN CANAL NO IDEAL ES CONSIDERADO POR SHANNON COMO RUIDOSO. EJ.: RUIDO BASE EQUIPARTIDO EXISTENTE EN LOS CANALES DE COBRE USADOS COMO CANALES DE VOZ: COINCIDE EN GENERAL CON EL VALOR DE RUIDO TÉRMICO O LO SUPERA. TEORÍA DE LA INFORMACIÓN - CÓDIGOS 28

29 LÍMITE DE SHANNON SEGÚN SHANNON EN ESTOS CANALES EXISTE UNA RELACIÓN ENTRE: LA CANTIDAD MÁXIMA DE NIVELES QUE EL CANAL PUEDE ADMITIR. LA RELACIÓN SEÑAL-A-RUIDO DEL MISMO, QUE ESTÁ DADO POR: m max = (1 + S/N) ½. m ES LA CANTIDAD DE NIVELES. S Y N SON LOS VALORES DE POTENCIA DE SEÑAL Y DE POTENCIA DEL RUIDO EXPRESADOS EN UNIDADES DE POTENCIA. S/N ES LA RELACIÓN SEÑAL A RUIDO ADIMENSIONAL: NO ES LA MEDIDA DECIBÉLICA DE LA GANANCIA O LA PÉRDIDA. TEORÍA DE LA INFORMACIÓN - CÓDIGOS 29

30 LÍMITE DE SHANNON EL CANAL DEBERÁ ESTAR SUJETO A RUIDO GAUSSIANO LIMITADO EN BANDA: NO SE CONSIDERA LA PRESENCIA DE RUIDO IMPULSIVO. SE BUSCA LA CAPACIDAD MÁXIMA DEL CANAL: SE DEBE MAXIMIZAR m EN EL LÍMITE DE NYQUIST: m max = (1 + S/N) ½. BPS 2 ΔF log 2 m. BPS = 2 ΔF log 2 (1 + S/N) ½. SIMPLIFICANDO LA ECUACIÓN ANTERIOR, SE OBTIENE LA MÁXIMA VELOCIDAD DE TRANSMISIÓN EN FUNCIÓN DEL ANCHO DE BANDA, LA POTENCIA DE LA SEÑAL Y LA DEL RUIDO GAUSSIANO: BPS = ΔF log 2 (1 + S/N). ES EL LLAMAMOS LÍMITE DE SHANNON DADO POR LA LEY DE SHANNON-HARTLEY. TEORÍA DE LA INFORMACIÓN - CÓDIGOS 30

31 CONSECUENCIAS DE LOS LÍMITES TEORÍA DE LA INFORMACIÓN - CÓDIGOS 31

32 CONSECUENCIAS DE LOS LÍMITES SE DEBE TENER PRESENTE LO SIGUIENTE: EN EL CÁLCULO DEL LÍMITE INTERVIENE LA RELACIÓN DE LAS RESPECTIVAS POTENCIAS EN UNIDADES DE POTENCIA: S/N ES ADIMENSIONAL, ES DECIR EN VECES. NO ES LA GANANCIA DEL CIRCUITO NI LA PÉRDIDA DEL MEDIO. EN EL CANAL SE CONSIDERA EL RUIDO GAUSSIANO. LA SOLA APLICACIÓN DE LA LEY DE SHANNON: NO PERMITE DETERMINAR LA MÁXIMA VELOCIDAD DE UN MODULADOR CUALQUIERA EN UN CANAL REAL. SI PERMITE DETERMINAR LA MÁXIMA CAPACIDAD DEL CANAL. TEORÍA DE LA INFORMACIÓN - CÓDIGOS 32

33 CONSECUENCIAS DE LOS LÍMITES EJ.: SI UN CANAL TIENE UN ANCHO DE BANDA DE 2,7 KHZ Y LA RELACIÓN ENTRE SEÑAL Y RUIDO ES S/N = 1000: CUÁL SERÁ EL LÍMITE DE SHANNON?. CUÁNTOS ESTADOS DEBERÁ MANEJAR EL MODULADOR?. BPS = ΔF log 2 (1 + S/N) = 2700 log 2 (1001) = SEGÚN EL LÍMITE DE NYQUIST: BPS = 2 ΔF log 2 m = 2 x 2700 x log 2 m = BPS. SE REQUERIRÁ AL MENOS UN MODULADOR DE 32 ESTADOS PARA ALCANZAR ESA TASA DE BITS EN UN CANAL CON ESE ANCHO DE BANDA. EL LÍMITE DE SHANNON IMPACTA SOBRE LAS TÉCNICAS DE MODULACIÓN Y DE TRANSMISIÓN. TEORÍA DE LA INFORMACIÓN - CÓDIGOS 33

34 CONSECUENCIAS DE LOS LÍMITES ACTUALMENTE LAS REDES PÚBLICAS DE VOZ TIENEN UN VALOR TÍPICO S/N DE 35 db: UNA IMPORTANTE DIFICULTAD PARA MEJORAR ESTE VALOR ES EL RUIDO DE CUANTIFICACIÓN. EFECTO DEL RUIDO DE CUANTIZACIÓN: TEORÍA DE LA INFORMACIÓN - CÓDIGOS 34

35 CONSECUENCIAS DE LOS LÍMITES EL RUIDO DE CUANTIZACIÓN Nq O ERROR DE CUANTIZACIÓN: SE PRODUCE EN EL CODEC, A LA ENTRADA DE LA RED DIGITAL DESDE LA RED ANALÓGICA. ES PROPORCIONAL A LA DIFERENCIA ENTRE EL VALOR DE LA AMPLITUD EN LA ENTRADA Y EL VALOR DE LA AMPLITUD A LA SALIDA DEL CUANTIFICADOR. ES PRODUCTO DE LA NECESIDAD DE ENCAMINAR LAS SEÑALES ANALÓGICAS DE ÚLTIMA MILLA HACIA LAS REDES CONMUTADAS DIGITALES. SE CONOCE EL VALOR EN db INDICADO DE 35 Db: db = 10 log 10 (S/N). EXPRESANDO S/N EN MODO ADIMENSIONAL EN FUNCIÓN DE Db: S/N = 10 db/10. TEORÍA DE LA INFORMACIÓN - CÓDIGOS 35

36 CONSECUENCIAS DE LOS LÍMITES SUSTITUYENDO ESTE VALOR EN LA ECUACIÓN DEL LÍMITE DE SHANNON: bps = ΔF log 2 ( db/10 ). LA MÁXIMA VELOCIDAD EN BPS, SE LOGRA MULTIPLICANDO EL ANCHO DE BANDA DEL CANAL POR EL log 2 DE UNO MÁS DIEZ A LA DÉCIMA PARTE DE LOS DECIBELES DE LA RED. PARA UNA RED CON UN ANCHO DE BANDA ESTÁNDAR DE 3 KHZ, SE OBSERVA QUE: SI LA RED TIENE UNA RELACIÓN DE 35 DB: BPS = (34 KBPS). SI LA RED EN CAMBIO MEJORA A 40 DB: BPS = (38,9 KBPS). TEORÍA DE LA INFORMACIÓN - CÓDIGOS 36

37 TIPOS DE ERRORES TEORÍA DE LA INFORMACIÓN - CÓDIGOS 37

38 TIPOS DE ERRORES EN LOS SISTEMAS DE TRANSMISIÓN DIGITAL SE DICE QUE HA HABIDO UN ERROR CUANDO SE ALTERA UN BIT. EXISTEN DOS TIPOS DE ERRORES: ERRORES AISLADOS: ALTERAN A UN SOLO BIT. ERRORES A RÁFAGAS. HA HABIDO UNA RÁFAGA DE LONGITUD B CUANDO SE RECIBE UNA SECUENCIA DE B BITS EN LA QUE SON ERRÓNEOS: EL PRIMERO. EL ÚLTIMO. Y CUALQUIER NÚMERO DE BITS INTERMEDIOS. TEORÍA DE LA INFORMACIÓN - CÓDIGOS 38

39 TIPOS DE ERRORES LA NORMA IEEE 100 DEFINE UNA RÁFAGA DE ERRORES COMO: GRUPO DE BITS EN EL QUE DOS BITS ERRÓNEOS CUALQUIERA ESTARÁN SIEMPRE SEPARADOS POR MENOS DE UN NÚMERO X DE BITS CORRECTOS. EL ÚLTIMO BIT ERRÓNEO EN UNA RÁFAGA Y EL PRIMER BIT ERRÓNEO DE LA SIGUIENTE ESTARÁN SEPARADOS POR AL MENOS X BITS CORRECTOS. EN UNA RÁFAGA DE ERRORES HABRÁ UN CONJUNTO DE BITS CON UN NÚMERO DADO DE ERRORES: NO NECESARIAMENTE TODOS LOS BITS EN EL CONJUNTO SERÁN ERRÓNEOS. UN ERROR AISLADO SE PUEDE DAR EN PRESENCIA DE RUIDO BLANCO, CUANDO CUALQUIER DETERIORO ALEATORIO EN LA RELACIÓN SEÑAL-RUIDO CONFUNDA AL RECEPTOR EN UN ÚNICO BIT. TEORÍA DE LA INFORMACIÓN - CÓDIGOS 39

40 TIPOS DE ERRORES GENERALMENTE LAS RÁFAGAS SON MÁS FRECUENTES Y MÁS DIFÍCILES DE TRATAR: PUEDEN ESTAR CAUSADAS POR RUIDO IMPULSIVO. EN LA COMUNICACIÓN MÓVIL OTRA CAUSA PARA LAS RÁFAGAS SON LOS DESVANECIMIENTOS. LOS EFECTOS DE UNA RÁFAGA SERÁN SIEMPRE MAYORES CUANTO MAYOR SEA LA VELOCIDAD DE TRANSMISIÓN. EJ.: UN RUIDO IMPULSIVO O UN DESVANECIMIENTO DE 1 µs CAUSARÁ UNA RÁFAGA DE: 10 BITS A UNA VELOCIDAD DE TRANSMISIÓN DE 10 MBPS. 100 BITS A 100 MBPS. TEORÍA DE LA INFORMACIÓN - CÓDIGOS 40

41 DETECCIÓN DE ERRORES TEORÍA DE LA INFORMACIÓN - CÓDIGOS 41

42 DETECCIÓN DE ERRORES EN TODO SISTEMA DE TRANSMISIÓN HABRÁ RUIDO: DARÁ LUGAR A ERRORES QUE MODIFICARÁN UNO O VARIOS BITS DE LA TRAMA. SE CONSIDERA TRAMA A UNA O VARIAS SECUENCIAS CONTIGUAS DE BITS. SE CONSIDERAN LAS SIGUIENTES DEFINICIONES DE PROBABILIDADES PARA LOS POSIBLES ERRORES DE TRANSMISIÓN: P b : PROBABILIDAD DE QUE UN BIT RECIBIDO SEA ERRÓNEO: TASA DE ERROR POR BIT: BER: BIT ERROR RATE. P 1 : PROBABILIDAD DE QUE UNA TRAMA LLEGUE SIN ERRORES. P 2 : PROBABILIDAD DE QUE UTILIZANDO UN ALGORITMO PARA LA DETECCIÓN DE ERRORES, UNA TRAMA LLEGUE CON UNO O MÁS ERRORES NO DETECTADOS. P 3 : PROBABILIDAD DE QUE UTILIZANDO UN ALGORITMO PARA LA DETECCIÓN DE ERRORES, UNA TRAMA LLEGUE CON UNO O MÁS ERRORES DETECTADOS Y SIN ERRORES INDETECTADOS. TEORÍA DE LA INFORMACIÓN - CÓDIGOS 42

43 DETECCIÓN DE ERRORES SI NO SE TOMAN MEDIDAS PARA DETECTAR ERRORES: LA PROBABILIDAD DE ERRORES DETECTADOS: P 3 = 0. SE SUPONE QUE TODOS LOS BITS TIENEN UNA PROBABILIDAD DE ERROR (P b ) CONSTANTE E INDEPENDIENTE: P 1 = (1 - P b ) F. P 2 = (1 P 1 ). F: NÚMERO DE BITS POR TRAMA. LA PROBABILIDAD DE QUE UNA TRAMA LLEGUE SIN NINGÚN BIT ERRÓNEO DISMINUYE AL AUMENTAR LA PROBABILIDAD DE QUE UN BIT SEA ERRÓNEO. LA PROBABILIDAD DE QUE UNA TRAMA LLEGUE SIN ERRORES DISMINUYE AL AUMENTAR LA LONGITUD DE LA MISMA. TEORÍA DE LA INFORMACIÓN - CÓDIGOS 43

44 DETECCIÓN DE ERRORES EJ.: UN OBJETIVO EN LAS CONEXIONES RDSI ES QUE LA BER EN UN CANAL DE 64 KBPS DEBE SER MENOR QUE 10-6 PARA POR LO MENOS EL 90% DE LOS INTERVALOS OBSERVADOS DE 1 MINUTO DE DURACIÓN: SI LOS REQUISITOS SON MENOS EXIGENTES: EN EL MEJOR DE LOS CASOS, UNA TRAMA CON UN BIT ERRÓNEO NO DETECTADO OCURRE POR CADA DÍA DE FUNCIONAMIENTO CONTINUO EN UN CANAL DE 64 KBPS. SI LA LONGITUD DE LA TRAMA ES DE 1000 BITS. EL NÚMERO DE TRAMAS QUE SE PUEDEN TRANSMITIR POR DÍA ES 5,529 x 106: LA TASA DE TRAMAS ERRÓNEAS ES: P2 = 1/(5,529 x 106) = 0,18 x SI Pb = 10-6: P1 = (0,999999)1000 = 0,999. P2 = 10-3: ESTÁ TRES ÓRDENES DE MAGNITUD POR ENCIMA DE LO REQUERIDO. ESTO JUSTIFICA USAR TÉCNICAS PARA DETECCIÓN DE ERRORES. TEORÍA DE LA INFORMACIÓN - CÓDIGOS 44

45 DETECCIÓN DE ERRORES PROCEDIMIENTO PARA DETECTAR ERRORES: TEORÍA DE LA INFORMACIÓN - CÓDIGOS 45

46 DETECCIÓN DE ERRORES PRINCIPIO GRAL. PARA LAS TÉCNICAS DE DETECCIÓN DE ERRORES: DADA UNA TRAMA DE BITS, SE AÑADEN BITS ADICIONALES EN EL TRANSMISOR FORMANDO UN CÓDIGO DETECTOR DE ERRORES. EL CÓDIGO SE CALCULARÁ EN FUNCIÓN DE LOS OTROS BITS QUE SE VAYAN A TRANSMITIR. GENERALMENTE, PARA UN BLOQUE DE DATOS DE k BITS, EL ALGORITMO DE DETECCIÓN DE ERRORES UTILIZA UN CÓDIGO DE n - k BITS: (n k) < k. EL CÓDIGO (CONJUNTO DE BITS) DE DETECCIÓN DE ERRORES, LLAMADO BITS DE COMPROBACIÓN, SE AÑADE AL BLOQUE DE DATOS PARA GENERAR LA TRAMA DE n BITS DE LONGITUD QUE SERÁ TRANSMITIDA. TEORÍA DE LA INFORMACIÓN - CÓDIGOS 46

47 DETECCIÓN DE ERRORES EL RECEPTOR SEPARARÁ LA TRAMA RECIBIDA: k BITS DE DATOS. (n - k) BITS DEL CÓDIGO DE DETECCIÓN DE ERRORES. EL RECEPTOR REPETIRÁ EL CÁLCULO SOBRE LOS BITS DE DATOS RECIBIDOS Y COMPARARÁ EL RESULTADO CON LOS BITS RECIBIDOS EN EL CÓDIGO DE DETECCIÓN DE ERRORES. SE DETECTARÁ UN ERROR SII LOS DOS RESULTADOS MENCIONADOS NO COINCIDEN. P 3 : PROBABILIDAD DE QUE LA TRAMA CONTENGA ERRORES Y EL SISTEMA LOS DETECTE. P 2 : ES LA TASA DE ERROR RESIDUAL: PROBABILIDAD DE QUE NO SE DETECTE UN ERROR AUNQUE SE ESTÉ USANDO UN ESQUEMA DE DETECCIÓN DE ERRORES. TEORÍA DE LA INFORMACIÓN - CÓDIGOS 47

48 DETECCIÓN DE ERRORES COMPROBACIÓN DE REDUNDANCIA CÍCLIDA (CRC) UNO DE LOS CÓDIGOS PARA DETECCIÓN DE ERRORES MÁS HABITUALES Y POTENTES SON LOS DE COMPROBACIÓN DE REDUNDANCIA CÍCLICA (CRC: CYCLIC REDUNDANCY CHECK). SE TIENE UN BLOQUE O MENSAJE DE k-bits. EL TRANSMISOR GENERA UNA SECUENCIA DE (n - k) BITS: SECUENCIA DE COMPROBACIÓN DE LA TRAMA: FCS: FRAME CHECK SEQUENCE. LA TRAMA RESULTANTE CON n BITS SERÁ DIVISIBLE POR ALGÚN NÚMERO PREDETERMINADO. TEORÍA DE LA INFORMACIÓN - CÓDIGOS 48

49 DETECCIÓN DE ERRORES EL RECEPTOR DIVIDIRÁ LA TRAMA RECIBIDA POR ESE NÚMERO Y SI NO HAY RESTO EN LA DIVISIÓN SUPONDRÁ QUE NO HA HABIDO ERRORES. EL RECEPTOR TAMBIÉN PODRÍA DIVIDIR LOS DATOS DE ENTRADA (IGUAL QUE EL EMISOR) Y COMPARAR EL RESULTADO CON LOS BITS DE COMPROBACIÓN. ESTE PROCEDIMIENTO SE PUEDE EXPLICAR USANDO: ARITMÉTICA MÓDULO 2. POLINOMIOS. LÓGICA DIGITAL. TEORÍA DE LA INFORMACIÓN - CÓDIGOS 49

50 DETECCIÓN DE ERRORES ARITMÉTICA MÓDULO 2 USA SUMAS Y RESTAS BINARIAS SIN ACARREO: SON IGUALES A LA OPERACIÓN LÓGICA EXCLUSIVE-OR: x T: TRAMA DE n BITS A TRANSMITIR. M: MENSAJE CON k BITS DE DATOS, CORRESPONDIENTES CON LOS PRIMEROS k BITS DE T. F = (n k) BITS DE FCS: LOS ÚLTIMOS (n k) BITS DE T. P: PATRÓN DE n k + 1 BITS: DIVISOR ELEGIDO. T / P = 0. T = 2 n-k D + F. MULTIPLICAR 2 n-k D EQUIVALE A DESPLAZAR HACIA LA IZQUIERDA n k BITS AÑADIENDO CEROS AL RESULTADO. SUMAR F SIGNIFICA CONCATENAR D Y F. TEORÍA DE LA INFORMACIÓN - CÓDIGOS 50

51 DETECCIÓN DE ERRORES T DEBE SER DIVISIBLE POR P: (2 n-k D) / P = Q + (R / P). HAY UN COCIENTE Y UN RESTO: EL RESTO SERÁ AL MENOS 1 BIT MÁS CORTO QUE EL DIVISOR PORQUE LA DIVISIÓN ES MÓDULO 2. LA SECUENCIA DE COMPROBACIÓN DE LA TRAMA (FCS) SERÁ EL RESTO DE LA DIVISIÓN: T = 2 n-k D + R. R DEBE SATISFACER LA CONDICIÓN DE QUE EL RESTO DE T/P SEA CERO: (T / P) = (2 n-k D + R) / P = (2 n-k D) / P + (R / P). (2 n-k D) / P = Q + (R / P). (T / P) = Q + (R / P) + (R / P). CUALQUIER NÚMERO BINARIO SUMADO A MÓDULO 2 CONSIGO MISMO ES 0: (T / P) = Q + ((R + R) / P) = Q: NO HAY RESTO: T ES DIVISIBLE POR P. TEORÍA DE LA INFORMACIÓN - CÓDIGOS 51

52 DETECCIÓN DE ERRORES FCS SE GENERA FÁCILMENTE: SE DIVIDE (2 n-k D) / P Y SE USAN LOS (n k) BITS DEL RESTO COMO FCS. EN EL RECEPTOR SE DIVIDIRÁ (T / P) Y SI NO HA HABIDO ERRORES EL RESTO SERÁ 0. EJ.: MENSAJE D: (10 BITS). PATRÓN P: (6 BITS). FCS R: A CALCULAR (5 BITS). n: 15; k: 10; (n k): 5. MENSAJE x 2 5 : TEORÍA DE LA INFORMACIÓN - CÓDIGOS 52

53 DETECCIÓN DE ERRORES EL RESULTADO ANTERIOR SE DIVIDE POR P: TEORÍA DE LA INFORMACIÓN - CÓDIGOS 53

54 DETECCIÓN DE ERRORES T = 2 n-k D + R = 2 5 D + R = : ESTO SE TRANSMITE. SI NO HAY ERRORES EL RECEPTOR RECIBE T: LA TRAMA RECIBIDA SE DIVIDE POR P Y SI EL RESTO R ES 0 SE SUPONE QUE NO HA HABIDO ERRORES: TEORÍA DE LA INFORMACIÓN - CÓDIGOS 54

55 DETECCIÓN DE ERRORES EL PATRÓN P: SE ELIGE CON UN BIT MÁS QUE LA LONGITUD DE LA FCS DESEADA. DEPENDERÁ DEL TIPO DE ERROR QUE SE ESPERA SUFRIR. DEBE TENER COMO MÍNIMO EL BIT MENOS SIGNIFICATIVO Y EL BIT MÁS SIGNIFICATIVO EN 1. POLINOMIOS OTRA POSIBILIDAD DE CRC ES EXPRESAR TODOS LOS VALORES COMO POLINOMIOS DE UNA VARIABLE MUDA X, CON COEFICIENTES BINARIOS: D = ; D(X) = X 5 + X 4 + X + 1. P = 11001; P(X) = X 4 + X SE USA ARITMÉTICA MÓDULO 2. EL PROCEDIMIENTO DE CRC ES: TEORÍA DE LA INFORMACIÓN - CÓDIGOS 55

56 DETECCIÓN DE ERRORES EJEMPLO: SE USA EL EJ. ANTERIOR: D = ; D(X) = X 9 + X 7 + X 3 + X P = ; P(X) = X 5 + X 4 + X R = 01110; R(X) = X 3 + X 2 + X. TEORÍA DE LA INFORMACIÓN - CÓDIGOS 56

57 DETECCIÓN DE ERRORES DIVISIÓN DE POLINOMIOS DEL EJEMPLO: TEORÍA DE LA INFORMACIÓN - CÓDIGOS 57

58 DETECCIÓN DE ERRORES UN ERROR E(X) NO SE DETECTARÁ SÓLO SI ES DIVISIBLE POR P(X): SE DETECTARÁN LOS ERRORES NO DIVISIBLES, SI SE ELIGE ADECUADAMENTE EL POLINOMIO P(X): TODOS LOS ERRORES DE UN ÚNICO BIT SI P(X) TIENE MÁS DE UN TÉRMINO DISTINTO DE CERO. TODOS LOS ERRORES DOBLES SI P(X) TIENE AL MENOS UN FACTOR CON TRES TÉRMINOS. CUALQUIER NÚMERO IMPAR DE ERRORES SI P(X) CONTIENE EL FACTOR (X + 1). CUALQUIER RÁFAGA DE ERRORES CON LONGITUD MENOR O IGUAL QUE n k: MENOR O IGUAL QUE LA LONGITUD DE LA FCS. UNA FRACCIÓN DE LAS RÁFAGAS DE ERRORES CON LONGITUD IGUAL A n k + 1: LA FRACCIÓN ES 1 2-(n-k-1). UNA FRACCIÓN DE LAS RÁFAGAS DE ERRORES CON LONGITUDES MAYORES QUE n k + 1: LA FRACCIÓN ES 1 2-(n-k). TEORÍA DE LA INFORMACIÓN - CÓDIGOS 58

59 DETECCIÓN DE ERRORES SI TODOS LOS PATRONES DE ERROR SON EQUIPROBABLES: PARA UNA RÁFAGA DE ERRORES DE LONGITUD r + 1 LA PROBABILIDAD DE QUE NO SE DETECTE UN ERROR ES 1/2 r-1. PARA RÁFAGAS MAYORES LA PROBABILIDAD ES 1/2 r. r ES LA LONGITUD DE LA FCS. TEORÍA DE LA INFORMACIÓN - CÓDIGOS 59

60 DETECCIÓN DE ERRORES EJ. DE DEFINICIONES DE P(X) USADAS FRECUENTEMENTE: LA CRC-32 SE USA EN NORMAS IEEE 802 PARA LAN. LÓGICA DIGITAL CRC SE PUEDE REPRESENTAR E IMPLEMENTAR CON: UN CIRCUITO DIVISOR FORMADO POR PUERTAS EXCLUSIVE-OR. UN REGISTRO DE DESPLAZAMIENTO. TEORÍA DE LA INFORMACIÓN - CÓDIGOS 60

61 DETECCIÓN DE ERRORES EJEMPLO: CIRCUITO CON REGISTROS DE DESPLAZAMIENTO PARA DIVIDIR POR EL POLINOMIO X 5 + X 4 + X 2 + 1: TEORÍA DE LA INFORMACIÓN - CÓDIGOS 61

62 DETECCIÓN DE ERRORES ARQUITECTURA GENÉRICA DE UNA CRC PARA IMPLEMENTAR LA DIVISIÓN POR (1 + A 1 X + A 2 X A n-1 X n-k-1 + X n-k ): TEORÍA DE LA INFORMACIÓN - CÓDIGOS 62

63 INTRODUCCIÓN A CÓDIGOS TEORÍA DE LA INFORMACIÓN - CÓDIGOS 63

64 INTRODUCCIÓN A CÓDIGOS DEFINICIÓN: SE CONSIDERA UN CONJUNTO FINITO A={a 1, a 2,... a q }, AL QUE SE DENOMINA ALFABETO, A SUS ELEMENTOS, a 1, a 2,... a q, SE LOS LLAMA LETRAS O SÍMBOLOS. LAS SUCESIONES FINITAS DE ELEMENTOS DE A SE LLAMAN PALABRAS. LA PALABRA a i1 a i2...a in SE DICE QUE TIENE LONGITUD n O BIEN QUE ES UNA n-palabra. TEORÍA DE LA INFORMACIÓN - CÓDIGOS 64

65 INTRODUCCIÓN A CÓDIGOS EL CONJUNTO DE TODAS LAS PALABRAS SOBRE EL ALFABETO A SE DENOTARÁ COMO A* (CON INDEPENDENCIA DE LA LONGITUD DE LAS PALABRAS). DEFINICIÓN: UN CÓDIGO SOBRE EL ALFABETO A ES UN SUBCONJUNTO C DE A*, (CONJUNTO FORMADO POR PALABRAS DEL ALFABETO). TEORÍA DE LA INFORMACIÓN - CÓDIGOS 65

66 INTRODUCCIÓN A CÓDIGOS A LOS ELEMENTOS DEL CÓDIGO C SE LES LLAMA PALABRAS DE CÓDIGO. EL NÚMERO DE ELEMENTOS DEL CÓDIGO C, QUE NORMALMENTE SERÁ FINITO, SE DENOTA POR C Y SE DENOMINA TAMAÑO DEL CÓDIGO. SI C ES UN CÓDIGO SOBRE A Y A TIENE q ELEMENTOS ( A =q) ENTONCES SE DICE QUE C ES UN CÓDIGO q-ario: EJEMPLO: A = Z 2 = {0,1}: CÓDIGOS BINARIOS. EJEMPLO DE CÓDIGO BINARIO: C = {0100,0010,0111}. TEORÍA DE LA INFORMACIÓN - CÓDIGOS 66

67 INTRODUCCIÓN A CÓDIGOS DEFINICIÓN: SI C ES UN CÓDIGO CUYAS PALABRAS TIENEN TODAS LA MISMA LONGITUD n, SE DICE QUE C ES UN CÓDIGO DE LONGITUD FIJA O UN CÓDIGO DE BLOQUES Y A n SE LE LLAMA LONGITUD DEL CÓDIGO C. EL CÓDIGO C ANTERIOR ES UN CÓDIGO DE BLOQUES DE LONGITUD 4. C = {011, 1011, 10} NO ES UN CÓDIGO DE BLOQUES: NO SE PUEDE HABLAR DE LA LONGITUD DEL CÓDIGO. SI C ES UN CÓDIGO DE LONGITUD n Y TAMAÑO m SE DICE QUE C ES UN (n,m)-código: C = {0100,0010,0111} ES (4,3) CÓDIGO. TEORÍA DE LA INFORMACIÓN - CÓDIGOS 67

68 INTRODUCCIÓN A CÓDIGOS DADO UN ALFABETO S AL QUE DENOMINAREMOS ALFABETO FUENTE Y DADO UN CÓDIGO C SOBRE EL ALFABETO A, SE LLAMA FUNCIÓN DE CODIFICACIÓN A UNA APLICACIÓN BIYECTIVA f: S ES EL ALFABETO EN EL CUAL ESTÁ LA INFORMACIÓN QUE SE QUIERE CODIFICAR. UNA APLICACIÓN BIYECTIVA ENTRE 2 CONJUNTOS ES UNA APLICACIÓN: INYECTIVA: ELEMENTOS DIFERENTES TIENEN IMÁGENES DIFERENTES; Y. SOBREYECTIVA: LOS ELEMENTOS DEL CONJUNTO C SON IMÁGENES DE ALGÚN ELEMENTO DE S, EN ESTE CASO DE 1 YA QUE LA APLICACIÓN ES INYECTIVA. TEORÍA DE LA INFORMACIÓN - CÓDIGOS 68

69 INTRODUCCIÓN A CÓDIGOS A VECES f NO SERÁ UNA APLICACIÓN BIYECTIVA; SI f NO FUESE INYECTIVA HABRÍA VARIOS SÍMBOLOS DEL ALFABETO FUENTE QUE SE CODIFICARÍAN DE LA MISMA FORMA: HARÍA LA DECODIFICACIÓN MUY DIFÍCIL. CUANDO f ES BIYECTIVA HABLAMOS DE CÓDIGOS DESCIFRABLES. TEORÍA DE LA INFORMACIÓN - CÓDIGOS 69

70 INTRODUCCIÓN A CÓDIGOS EJEMPLO: TEORÍA DE LA INFORMACIÓN - CÓDIGOS 70

71 INTRODUCCIÓN A CÓDIGOS POLIVIO O CÓDIGO DE FUEGO GRIEGO (208 A.C.): TEORÍA DE LA INFORMACIÓN - CÓDIGOS 71

72 INTRODUCCIÓN A CÓDIGOS ESTE CÓDIGO NO PERMITE DETECTAR Y/O CORREGIR ERRORES. CÓDIGO MORSE: SE USA PARA TRANSMISIONES TELEGRÁFICAS, PARA CODIFICAR UN MENSAJE FUENTE EN LENGUAJE NATURAL. TEORÍA DE LA INFORMACIÓN - CÓDIGOS 72

73 INTRODUCCIÓN A CÓDIGOS ESTE CÓDIGO NO ES DE LONGITUD FIJA: LAS LETRAS MÁS FRECUENTES SE CODIFICAN CON PALABRAS CORTAS. LAS LETRAS MENOS USADAS SE CODIFICAN CON PALABRAS MÁS LARGAS. ESTO ES PARA CONSEGUIR MÁS EFICIENCIA. LOS ESPACIOS SE USAN PARA SEPARAR PALABRAS (6 ESPACIOS). ESTE CÓDIGO NO PERMITE CORREGIR Y/O DETECTAR ERRORES Y NO TIENE FINES CRIPTOGRÁFICOS. CÓDIGO ASCII (AMERICAN STANDARD CODE FOR INFORMATION INTERCHANGE). EL ASCII ESTÁNDAR USA PALABRAS DE 7 BITS: TEORÍA DE LA INFORMACIÓN - CÓDIGOS 73

74 INTRODUCCIÓN A CÓDIGOS EL CÓDIGO ASCII EXTENDIDO USA PALABRAS DE 8 BITS: AL CÓDIGO ASCII DE 7 BITS SE LE AÑADE UN BIT DE PARIDAD PARA QUE EL NÚMERO DE 1 DE LA PALABRA SEA PAR: ESTE ES EL CÓDIGO ASCII ESTÁNDAR CON CONTROL DE PARIDAD. EL CÓDIGO ASCII ESTÁNDAR: AL AÑADIR EL BIT DE PARIDAD SI SE CAMBIA UN BIT LA PALABRA QUE SE OBTIENE NO ES VÁLIDA: EL NÚMERO DE 1 PASA A SER IMPAR CON LO QUE SE DETECTA EL ERROR. ESTE CÓDIGO SÓLO DETECTA ERRORES, NO PUEDO SABER CUÁL FUE LA PALABRA QUE SE ENVIÓ. TEORÍA DE LA INFORMACIÓN - CÓDIGOS 74

75 INTRODUCCIÓN A CÓDIGOS EL ASCII CON CONTROL DE PARIDAD ES UN (8,128) CÓDIGO, MIENTRAS QUE EL ASCII ESTÁNDAR ES UN (7,128) CÓDIGO. EL CÓDIGO ASCII EXTENDIDO ES UN (8,256) CÓDIGO. EL CÓDIGO ASCII NO ES MUY EFICIENTE YA QUE ES DE LONGITUD FIJA Y USA EL MISMO NÚMERO DE BITS PARA CODIFICAR CARACTERES FRECUENTES Y POCO FRECUENTES. EN ESTE CÓDIGO NO HACE FALTA SEPARAR LAS PALABRAS YA QUE CADA PALABRA TIENE UN NÚMERO FIJO DE BITS. LA VENTAJA DEL ASCII CON BIT DE PARIDAD SOBRE EL ASCII ESTÁNDAR ES QUE PERMITE DETECTAR ERRORES Y SE PUEDE PEDIR REPETIR LA TRANSMISIÓN HASTA QUE ÉSTA SEA CORRECTA. EL INCONVENIENTE ES QUE ES MENOS EFICIENTE YA QUE PARA TRANSMITIR LA MISMA INFORMACIÓN USA PALABRAS DE 8 BITS EN LUGAR DE PALABRAS DE 7 BITS. PARA DETECTAR Y CORREGIR ERRORES A LOS CÓDIGOS SE LES AÑADE REDUNDANCIA CON LO QUE SE PIERDE EFICIENCIA. TEORÍA DE LA INFORMACIÓN - CÓDIGOS 75

76 CÓDIGOS DETECTORES DE ERRORES TEORÍA DE LA INFORMACIÓN - CÓDIGOS 76

77 CÓDIGOS DETECTORES DE ERRORES SE INTENTA BUSCAR UNA TRANSMISIÓN PRECISA ENTRE DOS PUNTOS. ESTOS CÓDIGOS SE USAN CUANDO SE REALIZA UNA TRANSMISIÓN POR UN CANAL RUIDOSO: UN CANAL ES EL MEDIO FÍSICO POR EL CUAL SE REALIZA LA TRANSMISIÓN. UN CANAL RUIDOSO ES UN CANAL QUE ESTÁ SUJETO A PERTURBACIONES Y QUE GENERA ALTERACIONES EN EL MENSAJE. LOS CÓDIGOS DETECTORES DE ERRORES SE USAN PARA RECUPERAR LA INFORMACIÓN QUE LLEGÓ INCORRECTAMENTE: SE USAN TAMBIÉN EN LOS CD, PARA QUE LA INFORMACIÓN SE RECUPERE A PESAR DE QUE EL CD ESTÉ RAYADO. TEORÍA DE LA INFORMACIÓN - CÓDIGOS 77

78 CÓDIGOS DETECTORES DE ERRORES TEORÍA DE LA INFORMACIÓN - CÓDIGOS 78

79 CÓDIGOS DETECTORES DE ERRORES LA CODIFICACIÓN Y DECODIFICACIÓN DEBEN SER FÁCILES Y RÁPIDAS. LA TRANSMISIÓN A TRAVÉS DEL CANAL DEBE SER RÁPIDA. SE DEBE: MAXIMIZAR LA CANTIDAD DE INFORMACIÓN TRANSMITIDA POR UNIDAD DE TIEMPO. DETECTAR Y CORREGIR ERRORES. ESTA ÚLTIMA CARACTERÍSTICA ENTRA EN CONFLICTO CON LAS ANTERIORES: HACE QUE AUMENTE EL TAMAÑO DE LO QUE SE TRANSMITE. EL CÓDIGO DEBE SER LO MÁS EFICIENTE POSIBLE Y DEBE PERMITIR DETECTAR Y CORREGIR ERRORES. TEORÍA DE LA INFORMACIÓN - CÓDIGOS 79

80 CÓDIGOS DETECTORES DE ERRORES EL CANAL ACEPTA SÍMBOLOS DE UN ALFABETO FINITO A={a 1, a 2,... a q } QUE LLAMAREMOS ALFABETO DEL CANAL (EJEMPLO: A = {0, 1}). PARA SABER QUÉ TAN RUIDOSO ES UN CANAL SE DEBE CONOCER CUÁL ES LA PROBABILIDAD DE QUE SI SE EMITE UN SÍMBOLO SE RECIBA OTRO SÍMBOLO: P(a j RECIBIDO a i ENVIADO): PROBABILIDAD DE QUE SI SE HA ENVIADO a i SE RECIBA a j. CUANDO ESTE CONJUNTO DE PROBABILIDADES SE CONOCE PARA TODOS LOS VALORES DE i Y j CONOCEMOS LAS CARACTERÍSTICAS DEL CANAL. EL CANAL PERFECTO SERÍA AQUÉL EN EL QUE: TEORÍA DE LA INFORMACIÓN - CÓDIGOS 80

81 CÓDIGOS DETECTORES DE ERRORES A ESTAS PROBABILIDADES SE LES LLAMA PROBABILIDADES DEL CANAL O PROBABILIDADES DE TRANSICIÓN. EL CANAL PERFECTO NO EXISTE EN LA PRÁCTICA. DEFINICIÓN: UN CANAL ES UN ALFABETO (DE CANAL) A={a 1, a 2,... a q } Y UN CONJUNTO DE PROBABILIDADES DE TRANSICIÓN P(a j RECIBIDO a i ENVIADO) QUE SATISFACEN: TEORÍA DE LA INFORMACIÓN - CÓDIGOS 81

82 CÓDIGOS DETECTORES DE ERRORES EL RUIDO SE DISTRIBUYE ALEATORIAMENTE: LA PROBABILIDAD DE QUE UN SÍMBOLO SEA CAMBIADO POR OTRO EN LA TRANSMISIÓN ES LA MISMA PARA TODOS LOS SÍMBOLOS. LA TRANSMISIÓN DE UN SÍMBOLO NO ESTÁ INFLUENCIADA POR LA TRANSMISIÓN DEL SÍMBOLO PRECEDENTE NI DE LOS ANTERIORES: EL CANAL ES UN CANAL SIN MEMORIA. EL ERROR EN LA TRANSMISIÓN DE UN SÍMBOLO NO AFECTA A LA TRANSMISIÓN DE LOS SIGUIENTES SÍMBOLOS. TEORÍA DE LA INFORMACIÓN - CÓDIGOS 82

83 CÓDIGOS DETECTORES DE ERRORES UN CANAL USADO FRECUENTEMENTE ES EL CANAL BINARIO SIMÉTRICO (BINARY SIMETRIC CHANNEL: BSC). EL ALFABETO DEL CANAL ES A={0,1}. TEORÍA DE LA INFORMACIÓN - CÓDIGOS 83

84 CÓDIGOS DETECTORES DE ERRORES 0 p 1. 1-p: PROBABILIDAD DEL CANAL. p: PROBABILIDAD DEL CRUCE. p: PROBABILIDAD DE QUE UN 0 SEA RECIBIDO COMO UN 1. 1-p: PROBABILIDAD DE QUE UN 0 SEA RECIBIDO COMO UN 0. p = 0: CANAL PERFECTO. p = 1: SIEMPRE SE COMETE ERROR. EN UN CANAL SIMÉTRICO: EXISTE LA MISMA PROBABILIDAD DE QUE UN SÍMBOLO SE RECIBA INCORRECTAMENTE. SI UN SÍMBOLO SE RECIBE INCORRECTAMENTE HAY LA MISMA PROBABILIDAD DE QUE SE RECIBA CUALQUIER OTRO SÍMBOLO. TEORÍA DE LA INFORMACIÓN - CÓDIGOS 84

85 CÓDIGOS DETECTORES DE ERRORES SI SE QUIERE DETECTAR ERRORES: SE DEBE DISEÑAR UN CÓDIGO DE TAL FORMA QUE SI A UNA PALABRA DEL CÓDIGO SE LE CAMBIA UN ÚNICO SÍMBOLO LA PALABRA RESULTANTE NO SEA UNA PALABRA DEL CÓDIGO PARA ASÍ PODER SABER QUE SE HA PRODUCIDO UN ERROR. SI ADEMÁS SE QUIERE CORREGIR ERRORES: HAY QUE SABER CUÁL ES LA PALABRA ENVIADA. LA IDEA BÁSICA ES COMPARAR LA PALABRA RECIBIDA CON TODAS LAS PALABRAS DEL CÓDIGO Y ASIGNARLE LA PALABRA QUE DIFIERA EN MENOS SÍMBOLOS. TEORÍA DE LA INFORMACIÓN - CÓDIGOS 85

86 CÓDIGOS DETECTORES DE ERRORES EJEMPLO: ESTE CÓDIGO NO SERVIRÍA PARA DETECTAR ERRORES: TEORÍA DE LA INFORMACIÓN - CÓDIGOS 86

87 CÓDIGOS DETECTORES DE ERRORES SI SE PRODUCEN ERRORES LAS PALABRAS QUE SE OBTIENEN SON PALABRAS DEL CÓDIGO. PARA DETECTAR ERRORES HAY QUE AÑADIR REDUNDANCIA: SE MODIFICA EL CÓDIGO PARA CONSEGUIR QUE LAS PALABRAS DEL CÓDIGO SE PAREZCAN MENOS ENTRE SÍ. TEORÍA DE LA INFORMACIÓN - CÓDIGOS 87

88 CÓDIGOS DETECTORES DE ERRORES SE CONSIDERA: SI SE RECIBE : SE VE QUE NO ES UNA PALABRA VÁLIDA DEL CÓDIGO Y SE DETECTA QUE SE HA COMETIDO UN ERROR. SE COMPARA ESTA PALABRA CON LAS PALABRAS DEL CÓDIGO Y SE VE EN CUÁNTOS SÍMBOLOS SE DIFERENCIA DE LAS PALABRAS DEL CÓDIGO. SE VE QUE LA PALABRA MÁS PRÓXIMA ES LA YA QUE SÓLO CAMBIA UN SÍMBOLO, POR LO QUE SE PODRÍA ASIGNARLE ESTA PALABRA. TEORÍA DE LA INFORMACIÓN - CÓDIGOS 88

89 CÓDIGOS DETECTORES DE ERRORES ESTE CÓDIGO TIENE LA PROPIEDAD DE QUE SI AL TRANSMITIR UNA PALABRA SE COMETE UN ÚNICO ERROR SIEMPRE SE PUEDE RECUPERAR LA PALABRA ORIGINALMENTE TRANSMITIDA YA QUE DISTA UNO DE UNA PALABRA Y MÁS DE UNO DEL RESTO DE PALABRAS. SE DICE QUE ESTE CÓDIGO CORRIGE UN ERROR: ESTO SE LOGRA A COSTA DE AUMENTAR LA LONGITUD DEL CÓDIGO. SE NECESITA EL TRIPLE DE TIEMPO Y ESPACIO PARA TRANSMITIR LA MISMA INFORMACIÓN: DISMINUYE LA EFICIENCIA DEL CÓDIGO. ESTE CÓDIGO SE DENOMINA CÓDIGO DE REPETICIÓN. TEORÍA DE LA INFORMACIÓN - CÓDIGOS 89

90 CÓDIGOS DETECTORES DE ERRORES CLASES RESIDUALES MÓDULO n. DADO: SEA n Z, n 2. DADOS a, b Z SE DICE QUE a ES CONGRUENTE CON b MÓDULO n SI: TEORÍA DE LA INFORMACIÓN - CÓDIGOS 90

91 CÓDIGOS DETECTORES DE ERRORES LA RELACIÓN DE CONGRUENCIA MÓDULO n ES UNA RELACIÓN DE EQUIVALENCIA, YA QUE ES REFLEXIVA, SIMÉTRICA Y TRANSITIVA. LA RELACIÓN DE EQUIVALENCIA PERMITE DEFINIR LAS CLASES DE EQUIVALENCIA a Z. LA CLASE DE EQUIVALENCIA DE a SE DEFINE COMO AQUELLOS NÚMEROS RELACIONADOS CON a: TEORÍA DE LA INFORMACIÓN - CÓDIGOS 91

92 CÓDIGOS DETECTORES DE ERRORES EL CONJUNTO DE TODAS LAS CLASES DE EQUIVALENCIA FORMAN UNA PARTICIÓN DE Z. AL CONJUNTO DE TODAS LAS CLASES DE EQUIVALENCIA SE LE DENOMINA CONJUNTO COCIENTE (SUS ELEMENTOS SON CLASES). SEAN a,b Z: TEORÍA DE LA INFORMACIÓN - CÓDIGOS 92

93 CÓDIGOS DETECTORES DE ERRORES EN LA DIVISIÓN ENTERA EL RESTO O RESIDUO ES ÚNICO. CADA ELEMENTO ESTÁ EN LA MISMA CLASE DE EQUIVALENCIA QUE SU RESTO AL DIVIDIR POR n. EL NÚMERO DE CLASES ES EL NÚMERO DE POSIBLES RESTOS AL DIVIDIR POR n (n CLASES). TEORÍA DE LA INFORMACIÓN - CÓDIGOS 93

94 CÓDIGOS DETECTORES DE ERRORES DEFINICIÓN: SEA C UN (n,m)-código q-ario ( A = q, SIENDO A EL ALFABETO). SE DEFINE LA TASA DE INFORMACIÓN (O DE TRANSMISIÓN) DE C COMO: EN EL CASO BINARIO SE TIENE: ESTA DEFINICIÓN EXPRESA LA RELACIÓN QUE HAY ENTRE: LOS SÍMBOLOS DEL CÓDIGO DEDICADOS A LA INFORMACIÓN. LOS SÍMBOLOS DEDICADOS A LA REDUNDANCIA (DETECTAR Y/O CORREGIR ERRORES). TEORÍA DE LA INFORMACIÓN - CÓDIGOS 94

95 CÓDIGOS DETECTORES DE ERRORES EJEMPLO: TEORÍA DE LA INFORMACIÓN - CÓDIGOS 95

96 CÓDIGOS DETECTORES DE ERRORES ESTE CÓDIGO NO CORRIGE NI DETECTA ERRORES: TODOS LOS SÍMBOLOS ESTÁN DEDICADOS A LA TRANSMISIÓN DE INFORMACIÓN. ESTE CÓDIGO TIENE LA MÁXIMA TASA DE TRANSMISIÓN. PARA CORREGIR UN ERROR SE AÑADE UN BIT DE PARIDAD. TEORÍA DE LA INFORMACIÓN - CÓDIGOS 96

97 CÓDIGOS DETECTORES DE ERRORES LA TASA DE INFORMACIÓN DISMINUYE: SE AÑADIÓ UN BIT PARA DETECTAR ERRORES PERO NO TRANSMITE INFORMACIÓN. SE PUEDE VER ESTO COMO EL COCIENTE ENTRE EL NÚMERO DE SÍMBOLOS DEDICADOS A LA INFORMACIÓN Y EL NÚMERO TOTAL DE SÍMBOLOS. DADO R NO PODEMOS DETERMINAR SI EL CÓDIGO PERMITE DETECTAR Y/O CORREGIR ERRORES. CONOCIENDO R SABEMOS LA EFICIENCIA DEL CÓDIGO: LOS CÓDIGOS MÁS EFICIENTES TIENEN R = 1. TEORÍA DE LA INFORMACIÓN - CÓDIGOS 97

98 DISTANCIA HAMMING Y DESCODIFICACIÓN POR DISTANCIA MÍNIMA TEORÍA DE LA INFORMACIÓN - CÓDIGOS 98

99 DISTANCIA HAMMING Y DESCODIFICACIÓN POR DISTANCIA MÍNIMA SE CONSIDERA: u ES LA PALABRA TRANSMITIDA Y w ES LA PALABRA RECIBIDA. PARA DESCODIFICAR SE USA UNA REGLA DE DECISIÓN QUE ES UNA APLICACIÓN DE A n EN C: TEORÍA DE LA INFORMACIÓN - CÓDIGOS 99

100 DISTANCIA HAMMING Y DESCODIFICACIÓN POR DISTANCIA MÍNIMA SI f(w) = u DESCODIFICO w COMO u. SI w YA ES UNA PALABRA DEL CÓDIGO ENTONCES f(w) = w. SE TIENE UNA REGLA DE DECISIÓN f: A n C QUE VERIFICA: ESTO SIGNIFICA QUE f(w) TIENE LA PROPIEDAD DE QUE NO HAY NINGUNA OTRA PALABRA DEL CÓDIGO CON MAYOR PROBABILIDAD DE HABER SIDO ENVIADA: SI ESTO SE CUMPLE SE DICE QUE f ES UNA REGLA DE DECISIÓN DE PROBABILIDAD MÁXIMA. TEORÍA DE LA INFORMACIÓN - CÓDIGOS 100

101 DISTANCIA HAMMING Y DESCODIFICACIÓN POR DISTANCIA MÍNIMA SI SE USA UN BSC: NO CONOCEMOS EL VALOR DE 1-p. NO SE CALCULAN PROBABILIDADES, SE VE CUÁL ES LA PALABRA DE CÓDIGO MÁS PRÓXIMA A LA PALABRA RECIBIDA: ESTO COINCIDE, PARA UN BSC, CON LA DESCODIFICACIÓN DE PROBABILIDAD MÁXIMA. TEORÍA DE LA INFORMACIÓN - CÓDIGOS 101

102 DISTANCIA HAMMING Y DESCODIFICACIÓN POR DISTANCIA MÍNIMA PROPOSICIÓN: DADO UN BSC CON 0 p ½ LA REGLA DE DECISIÓN DE PROBABILIDAD MÁXIMA CONSISTE EN ELEGIR LA PALABRA DE CÓDIGO QUE DIFIERA DE LA PALABRA RECIBIDA EN EL NÚMERO MÍNIMO DE SÍMBOLOS POSIBLES. LA PROBABILIDAD DE QUE UNA PALABRA TENGA k ERRORES EN k POSICIONES DADAS ES p k (1-p) k. SI SE ENVÍA v Y LA PALABRA RECIBIDA w DIFIERE DE v EN k LUGARES: LA PROBABILIDAD P(w RECIBIDO v ENVIADO) = p k (1-p) k. PUEDE OCURRIR QUE HAYA VARIAS PALABRAS A DISTANCIA MÍNIMA (MLD). TEORÍA DE LA INFORMACIÓN - CÓDIGOS 102

103 DISTANCIA HAMMING Y DESCODIFICACIÓN POR DISTANCIA MÍNIMA SE DICE QUE LA DESCODIFICACIÓN ES COMPLETA SI SÓLO HAY UNA PALABRA POSIBLE CON DISTANCIA MÍNIMA. SE DICE QUE LA DESCODIFICACIÓN ES INCOMPLETA CUANDO HAY MÁS DE UNA POSIBLE PALABRA CON DISTANCIA MÍNIMA Y SE PRODUCE UN ERROR. DEFINICIÓN: SEA A UN ALFABETO Y u,w A n ; SE DEFINE LA DISTANCIA HAMMING d(u,w) COMO EL NÚMERO DE POSICIONES EN LAS QUE DIFIEREN u Y w. TEORÍA DE LA INFORMACIÓN - CÓDIGOS 103

104 DISTANCIA HAMMING Y DESCODIFICACIÓN POR DISTANCIA MÍNIMA ESTA APLICACIÓN ES UNA MÉTRICA: ES DEFINIDA POSITIVA: ES SIMÉTRICA: PRESENTA DESIGUALDAD TRIANGULAR: TEORÍA DE LA INFORMACIÓN - CÓDIGOS 104

105 DISTANCIA HAMMING Y DESCODIFICACIÓN POR DISTANCIA MÍNIMA DEFINICIÓN: SE LLAMA DISTANCIA MÍNIMA (O DISTANCIA) DE UN CÓDIGO C A: TEORÍA DE LA INFORMACIÓN - CÓDIGOS 105

106 DISTANCIA HAMMING Y DESCODIFICACIÓN POR DISTANCIA MÍNIMA DEFINICIÓN: UN CÓDIGO C ES t-detector (DE ERRORES), t Z +, SI EL NÚMERO DE ERRORES COMETIDOS AL TRANSMITIR UNA PALABRA ES: MAYOR O IGUAL QUE 1 Y. MENOR O IGUAL QUE t. ENTONCES LA PALABRA RESULTANTE NO ES UNA PALABRA DEL CÓDIGO. C SE DICE QUE ES EXACTAMENTE t-detector CUANDO ES t- DETECTOR PERO NO ES (t+1)-detector. PROPOSICIÓN: UN CÓDIGO C ES EXACTAMENTE t-detector SI Y SÓLO SI d(c) = t+1. TEORÍA DE LA INFORMACIÓN - CÓDIGOS 106

107 DISTANCIA HAMMING Y DESCODIFICACIÓN POR DISTANCIA MÍNIMA DEFINICIÓN: UN CÓDIGO C ES t-corrector DE ERRORES SI: LA DESCODIFICACIÓN PERMITE CORREGIR TODOS LOS ERRORES DE TAMAÑO t O MENOR EN UNA PALABRA DEL CÓDIGO. SE SUPONE QUE CUANDO HAY VARIAS PALABRAS DEL CÓDIGO EQUIDISTANTES DE LA PALABRA RECIBIDA EL PROCESO DE DESCODIFICACIÓN DECLARA UN ERROR Y NO SE COMPLETA. UN CÓDIGO C SE DICE QUE ES EXACTAMENTE t-corrector CUANDO ES t-corrector PERO NO ES (t+1)-corrector. ERROR DE TAMAÑO t: ERROR EN EL CUAL EL N DE ERRORES ES t. TEORÍA DE LA INFORMACIÓN - CÓDIGOS 107

108 DISTANCIA HAMMING Y DESCODIFICACIÓN POR DISTANCIA MÍNIMA PROPOSICIÓN: UN CÓDIGO C ES EXACTAMENTE t-corrector SI Y SÓLO SI d(c) = 2t + 1 O 2t + 2. EJEMPLO: TEORÍA DE LA INFORMACIÓN - CÓDIGOS 108

109 DISTANCIA HAMMING Y DESCODIFICACIÓN POR DISTANCIA MÍNIMA LA PALABRA RECIBIDA w DISTA t+1 DE u Y DISTA t DE v, LUEGO EL CÓDIGO NO CORRIGE t+1 ERRORES. DEFINICIÓN: UN CÓDIGO DE LONGITUD n, TAMAÑO m Y DISTANCIA d SE DICE QUE ES UN (n,m,d) CÓDIGO. TEORÍA DE LA INFORMACIÓN - CÓDIGOS 109

110 DISTANCIA HAMMING Y DESCODIFICACIÓN POR DISTANCIA MÍNIMA EJEMPLOS: CÓDIGO DE REPETICIÓN BINARIA DE LONGITUD n: ESTE CÓDIGO CORRIGE (n-1) / 2 ERRORES. TEORÍA DE LA INFORMACIÓN - CÓDIGOS 110

111 DISTANCIA HAMMING Y DESCODIFICACIÓN POR DISTANCIA MÍNIMA EL MARINER 9 (1979) TOMÓ FOTOS EN BLANCO Y NEGRO DE MARTE: LAS IMÁGENES ERAN DE 600X600 Y CON 64 NIVELES DE GRIS. SE USÓ UN CÓDIGO BINARIO DE TAMAÑO 64; UN (32, 64, 16)- CÓDIGO (CÓDIGO DE REED-MULLER): ESTE ERA UN CÓDIGO 7-CORRECTOR. TEORÍA DE LA INFORMACIÓN - CÓDIGOS 111

112 DISTANCIA HAMMING Y DESCODIFICACIÓN POR DISTANCIA MÍNIMA EL VOYAGER ( ) TOMÓ FOTOS EN COLOR DE JÚPITER Y SATURNO DE 4096 COLORES: SE USÓ UN (24, 4096, 8)-CÓDIGO (CÓDIGO DE GOLAY): ESTE ERA UN CÓDIGO 3-CORRECTOR. TEORÍA DE LA INFORMACIÓN - CÓDIGOS 112

113 CÓDIGOS PERFECTOS TEORÍA DE LA INFORMACIÓN - CÓDIGOS 113

114 CÓDIGOS PERFECTOS DEFINICIÓN: SEA A UN ALFABETO, A = q, v A n Y r R, r 0. LA ESFERA DE RADIO r Y CENTRO v ES: TEORÍA DE LA INFORMACIÓN - CÓDIGOS 114

115 CÓDIGOS PERFECTOS EL VOLUMEN DE S q (v,r) ES S q (v,r) Y ESTÁ DADO POR: TEORÍA DE LA INFORMACIÓN - CÓDIGOS 115

116 CÓDIGOS PERFECTOS EJEMPLO: SE TIENE: A = {0, 1}. n = 3. TEORÍA DE LA INFORMACIÓN - CÓDIGOS 116

117 CÓDIGOS PERFECTOS DEFINICIÓN: SEA C A n. EL RADIO DE EMPAQUETAMIENTO DE C ES EL MAYOR ENTERO r TAL QUE TODAS LAS ESFERAS DE RADIO r (S q (v,r), v C) SON DISJUNTAS. DEFINICIÓN: EL RADIO DE RECUBRIMIENTO ES EL MENOR ENTERO s TAL QUE LA UNIÓN DE TODAS LAS ESFERAS DE RADIO s ES A n. r = pr(c); s = cr(c). TEORÍA DE LA INFORMACIÓN - CÓDIGOS 117

118 CÓDIGOS PERFECTOS PROPOSICIÓN: UN CÓDIGO C ES t-corrector SI Y SÓLO SI LAS ESFERAS DE RADIO t S q (v,t), v C, SON DISJUNTOS. C ES EXACTAMENTE t-corrector SI Y SÓLO SI pr(c) = t. EL RADIO DE EMPAQUETAMIENTO DE UN (n,m,d)-código ES: DEFINICIÓN: UN CÓDIGO C A n SE DICE PERFECTO CUANDO cr(c) = pr(c), ES DECIR, CUANDO EXISTE UN ENTERO r TAL QUE S q (v,r), v C, SON DISJUNTAS Y RECUBREN A n : EN ESTE CASO LAS ESFERAS DE RADIO r FORMAN UNA PARTICIÓN DE A n. TEORÍA DE LA INFORMACIÓN - CÓDIGOS 118

119 CÓDIGOS PERFECTOS EJEMPLO: H 2 (3) (HAMMING): ES UN (7,16,3)-CÓDIGO BINARIO. ESTE ES UN CÓDIGO 1-CORRECTOR. d = 3 ; t = 1 = pr(h 2 (3)); m = H 2 (3) = 16. VERIFICACIÓN ACERCA DE SI ESTE CÓDIGO ES PERFECTO: A n = Z 27 = 2 7 = 128. SE DEBE VERIFICAR QUE: LAS ESFERAS DE RADIO 1 RECUBREN Z 27. LA UNIÓN DE TODAS LAS ESFERAS TIENE 128 ELEMENTOS. V 2 (7,1) = S 2 (v,1) = = 8. HAY 16 ESFERAS: TIENEN 8 16 PALABRAS = 128. EL CÓDIGO ES PERFECTO. TEORÍA DE LA INFORMACIÓN - CÓDIGOS 119

120 CÓDIGOS PERFECTOS PROPOSICIÓN (CONDICIÓN DE EMPAQUETAMIENTO DE ESFERAS): SEA C UN (n,m,d)-código q-ario. C ES PERFECTO SI Y SÓLO SI d = 2t + 1 ES IMPAR Y ADEMÁS n V q (n,t) = q n, ES DECIR: (n,m,d)-código q-ario: TEORÍA DE LA INFORMACIÓN - CÓDIGOS 120

121 CÓDIGOS PERFECTOS LA EFICIENCIA Y LA CAPACIDAD DE CORREGIR ERRORES SON INCOMPATIBLES: PARA CORREGIR ERRORES LAS PALABRAS DEBEN SER LARGAS, CON LO QUE SE REDUCE LA EFICIENCIA. SE BUSCAN CÓDIGOS ÓPTIMOS QUE COMBINEN ESTAS DOS PROPIEDADES. DEFINICIÓN: LA TASA DE CORRECCIÓN DE ERRORES DE UN (n,m,d)-código C ES: ES EL NÚMERO DE ERRORES QUE SE CORRIGEN EN RELACIÓN A LA LONGITUD DE LAS PALABRAS. TEORÍA DE LA INFORMACIÓN - CÓDIGOS 121

122 CÓDIGOS PERFECTOS EJEMPLO: TEORÍA DE LA INFORMACIÓN - CÓDIGOS 122

123 CÓDIGOS PERFECTOS CUANTO MAYOR SEA LA LONGITUD DEL CÓDIGO MÁS AUMENTA LA TASA DE CORRECCIÓN DE ERRORES (HASTA EL LÍMITE DE 0.5). NO SE CORRIGEN ERRORES CUANDO TODAS LAS PALABRAS DE A n SON PALABRAS DEL CÓDIGO. EL PROBLEMA DE CUÁLES SON LOS MEJORES CÓDIGO AÚN NO ESTÁ RESUELTO. LA TASA DE CORRECCIÓN DE ERRORES ESTÁ DADA POR d Y n: SE FIJAN d Y n Y SE TRATA DE OPTIMIZAR m PARA QUE EL CÓDIGO TENGA R LO MAYOR POSIBLE. TEORÍA DE LA INFORMACIÓN - CÓDIGOS 123

124 CÓDIGOS PERFECTOS SE DEFINE: A q (n,d) := MAX {m / EXISTE (n,m,d)-código q-ario}. UN (n, A q (n,d),d)-código SE DICE QUE ES UN CÓDIGO OPTIMABLE. PROBLEMA PRINCIPAL DE LA TEORÍA DE CÓDIGOS: DETERMINAR EL VALOR DE A q (n,d). TEORÍA DE LA INFORMACIÓN - CÓDIGOS 124

125 CÓDIGOS PERFECTOS SEGÚN SHANNON EN A MATHEMATICA THEORY OF COMMUNICATION : TEOREMA DEL CANAL RUIDOSO: ESTE TEOREMA DEMUESTRA QUE EXISTEN BUENOS CÓDIGOS PERO NO DICE CÓMO OBTENERLOS. PARA UN BSC CON PROBABILIDAD DE PASO p LA CAPACIDAD ES: SE CONSIDERA UN BSC CON CAPACIDAD C(p): SI R(C) < C(p) ENTONCES PARA CADA > 0 EXISTE UN (n,m)- CÓDIGO C CUYA TASA DE TRANSMISIÓN ES MAYOR O IGUAL QUE R Y PARA EL CUAL P(ERROR DE DESCODIFICACIÓN) <. TEORÍA DE LA INFORMACIÓN - CÓDIGOS 125

126 CÓDIGOS PERFECTOS EJEMPLO: BSC CON p = 0.01; C(p) = (CASI 92%). PODEMOS ENCONTRAR UN CÓDIGO CON R = Y CON PROBABILIDAD DE ERROR ARBITRARIAMENTE BAJA. TEORÍA DE LA INFORMACIÓN - CÓDIGOS 126

127 CÓDIGOS LINEALES TEORÍA DE LA INFORMACIÓN - CÓDIGOS 127

128 CÓDIGOS LINEALES LOS CÓDIGOS LINEALES SON ESPACIOS VECTORIALES SOBRE UN CUERPO FINITO. LOS ALFABETOS QUE USAREMOS SON CUERPOS FINITOS (K). Z p = {0,1...p-1}. q = p r : p PRIMO. F q : CUERPO FINITO CON q ELEMENTOS. EN PARTICULAR, SI q = p (PRIMO), ENTONCES F q = F p = Z p. F 2 = Z 2 = {0,1}. F 3 = {0,1,2}. F 5 = {0,1,2,3,4}. DEFINICIÓN: UN CÓDIGO LINEAL DE LONGITUD n SOBRE K ES UN K-SUBESPACIO VECTORIAL C DE K n. TEORÍA DE LA INFORMACIÓN - CÓDIGOS 128

129 CÓDIGOS LINEALES K = Z 2. EN EL CASO BINARIO LA SUMA DE DOS PALABRAS DEBE SER UNA PALABRA DEL CÓDIGO. C = {010}: NO ES UN CÓDIGO LINEAL, YA QUE NO CONTIENE A 000. C = {000,010,110}: NO ES UN CÓDIGO LINEAL YA QUE = 100 C. TEORÍA DE LA INFORMACIÓN - CÓDIGOS 129

130 CÓDIGOS LINEALES UN CÓDIGO LINEAL BINARIO TIENE UN NÚMERO DE PALABRAS QUE ES POTENCIA DE 2. UN CÓDIGO LINEAL C SOBRE K DE LONGITUD n Y DIMENSIÓN k SE DICE QUE ES UN [n,k]-código (LINEAL): SI LA DISTANCIA ES d, SE DICE QUE ES UN [n,k,d]-código. TEORÍA DE LA INFORMACIÓN - CÓDIGOS 130

131 CÓDIGOS LINEALES DEFINICIÓN: SEA C UN CÓDIGO (NO NECESARIAMENTE LINEAL) Y v C UNA PALABRA DEL CÓDIGO. SE DEFINE EL PESO DE v COMO EL NÚMERO w(v) DE SÍMBOLOS NO NULOS DE v: v = 10010: w(v) = 2. PROPOSICIÓN: SEA C UN CÓDIGO LINEAL Y u,v C. ENTONCES SE VERIFICA: d(u,v) = w(u-v). w(u) = d(u,0). DEFINICIÓN: SEA C UN CÓDIGO. SE LLAMA PESO DE C (O PESO MÍNIMO DE C) A: PROPOSICIÓN: SI C ES UN CÓDIGO LINEAL ENTONCES d(c) = w(c). TEORÍA DE LA INFORMACIÓN - CÓDIGOS 131

132 MATRICES GENERATRICES Y MATRICES DE CONTROL CÓDIGOS CORRECTORES TEORÍA DE LA INFORMACIÓN - CÓDIGOS 132

133 MATRICES GENERATRICES Y MATRICES DE CONTROL CÓDIGOS CORRECTORES DEFINICIÓN: SEA C UN [n,k]-código LINEAL SOBRE UN CUERPO K (C K n ). UNA MATRIZ GENERATRIZ DE C ES UNA MATRIZ DE M kxn (K) CUYAS FILAS FORMAN UNA BASE DE C. C = <101101, , , > ES UN [6,3]-CÓDIGO. TEORÍA DE LA INFORMACIÓN - CÓDIGOS 133

134 MATRICES GENERATRICES Y MATRICES DE CONTROL CÓDIGOS CORRECTORES PARA QUE UNA MATRIZ SEA GENERATRIZ SUS FILAS DEBEN SER UNA BASE DEL CÓDIGO, DEBEN SER UN CONJUNTO LI (LINEALMENTE INDEPENDIENTE). LA MATRIZ DEBE TENER RANGO k (= NÚMERO DE FILAS). PROPOSICIÓN: SI G M kxn (K) CON k n, G ES MATRIZ GENERATRIZ DE UN CÓDIGO LINEAL SOBRE K ([n,k]-código) SI Y SÓLO SI rg(g) = (G) = k. TEORÍA DE LA INFORMACIÓN - CÓDIGOS 134

135 MATRICES GENERATRICES Y MATRICES DE CONTROL CÓDIGOS CORRECTORES PROPOSICIÓN: SEA C UN [n,k]-código LINEAL SOBRE K Y G UNA MATRIZ GENERATRIZ DE C: ENTONCES: LA SIGUIENTE APLICACIÓN ES UN ISOMORFISMO DE k- ESPACIOS VECTORIALES. INTERESA ENCONTRAR MATRICES GENERATRICES LO MÁS SENCILLAS POSIBLES PARA QUE LA DESCODIFICACIÓN SEA SENCILLA. TEORÍA DE LA INFORMACIÓN - CÓDIGOS 135

136 MATRICES GENERATRICES Y MATRICES DE CONTROL CÓDIGOS CORRECTORES DEFINICIÓN: SEA C UN (n,m,d)-código q-ario SOBRE UN ALFABETO A. SE CONSIDERAN LOS DOS TIPOS DE OPERACIONES SIGUIENTES: 1) SEA UNA PERMUTACIÓN DEL CONJUNTO DE ÍNDICES {1, 2,... N}. ES UNA APLICACIÓN BIYECTIVA DE UN CONJUNTO EN SI MISMO. EJEMPLO: PARA CADA PALABRA DEL CÓDIGO u = u 1 u 2...u n, u i A, SE SUSTITUYE u POR LA PALABRA u (1) u (2)... u (n) (PERMUTACIÓN POSICIONAL). TEORÍA DE LA INFORMACIÓN - CÓDIGOS 136

137 MATRICES GENERATRICES Y MATRICES DE CONTROL CÓDIGOS CORRECTORES 2) SEA PARA CADA ÍNDIDE i {1, 2,...n}, i : A A UNA PERMUTACIÓN. SE SUSTITUYE CADA PALABRA DEL CÓDIGO u = u 1 u 2...u n POR u 1 u 2... i (u i )... u n (PERMUTACIÓN DE SÍMBOLOS). EJEMPLO: i = 3. TEORÍA DE LA INFORMACIÓN - CÓDIGOS 137

138 MATRICES GENERATRICES Y MATRICES DE CONTROL CÓDIGOS CORRECTORES DEFINICIÓN: EL CÓDIGO C ES EQUIVALENTE AL CÓDIGO C CUANDO C SE OBTIENE A PARTIR DE C MEDIANTE UNA SUCESIÓN FINITA DE OPERACIONES DE LOS 2 TIPOS ANTERIORES. EJEMPLO: C = {11120, 10221, 21020, 10120, 22011} TEORÍA DE LA INFORMACIÓN - CÓDIGOS 138

139 MATRICES GENERATRICES Y MATRICES DE CONTROL CÓDIGOS CORRECTORES AHORA SE APLICA: SE APLICA 1 : SE APLICA 4 : TEORÍA DE LA INFORMACIÓN - CÓDIGOS 139

140 MATRICES GENERATRICES Y MATRICES DE CONTROL CÓDIGOS CORRECTORES ESTA RELACIÓN ES UNA RELACIÓN DE EQUIVALENCIA, ES DECIR, CUMPLE LAS PROPIEDADES REFLEXIVA, SIMÉTRICA Y TRANSITIVA. ESTAS OPERACIONES CONSERVAN TODOS LOS PARÁMETROS DEL CÓDIGO (LONGITUD, TAMAÑO Y DISTANCIA ENTRE PALABRAS): DOS CÓDIGOS EQUIVALENTES TIENEN LOS MISMOS PARÁMETROS Y LA MISMA DISTANCIA MÍNIMA, CON LO QUE TIENEN LA MISMA CAPACIDAD DE CORREGIR ERRORES. PROPOSICIÓN: SEA C UN CÓDIGO DE LONGITUD n SOBRE EL ALFABETO A Y u A n. ENTONCES EXISTE UN CÓDIGO C EQUIVALENTE A C Y TAL QUE u C. TEORÍA DE LA INFORMACIÓN - CÓDIGOS 140