Fundamentos de los Sistemas Telemáticos Tema 2: Representación de la información

Transcripción

1 Fundamentos de los Sistemas Telemáticos Tema 2: Representación de la información Tema 2: Representación de la información 1 DIT-UPM, Algunos derechos reservados. Este material se distribuye bajo licencia Creative Commons disponible en: Tema 2: Representación de la información 2

2 Representación de la información Conceptos previos Representación de textos Representación de datos numéricos Detección de errores y compresión Tipos de ficheros Formatos de ficheros Material de estudio y trabajo: Documento «Representación de la información» en el Moodle Bibliografía citada en ese documento Ejercicios y prácticas de laboratorio propuestos Tema 2: Representación de la información 3 Representación de la información Conceptos previos Datos, información y conocimiento Bits y bytes, caudal y volumen Soportes de transmisión y de almacenamiento Notación «0x» Extremistas mayores y menores Representación de textos Representación de datos numéricos Detección de errores y compresión Tipos de ficheros Formatos de ficheros

3 Datos, información y conocimiento sensores perceptos (datos) información entorno conocimiento agente razonamiento acciones efectores Información: Datos con significado (datos interpretados por el agente) Conocimiento: Información asimilada Tema 2: Representación de la información 4 Bits y bytes, caudal y volumen Bit: Unidad de medida de información = «binary digit» («0», «1») Byte (u octeto) = 8 bits Caudal = tasa de bits (bitrate) en bps, kbps, Mbps... Volumen = Caudal tiempo en b, B, kb, KB, Mb, MB... Capacidad de almacenamiento: Los multiplicadores son potencias de 2, no de 10 Tema 2: Representación de la información 5

4 Kilos y Kibis, Megas y Mebis... Decimales (SI) Binarios (IEC) Valor Prefijo Valor Prefijo 10 3 kilo (k) 2 10 kibi (Ki) 10 6 mega (M) 2 20 mebi (Mi) 10 9 giga (G) 2 30 gibi (Gi) tera (T) 2 40 tebi (Ti) peta (P) 2 50 pebi (Pi) exa (E) 2 60 exbi (Ei) zetta (Z) 2 70 zebi (Zi) yotta (Y) 2 80 yobi (Yi) Tema 2: Representación de la información 6 Soportes Soportes de transmisión: par, coaxial, fibra... Soportes de almacenamiento: Biestable (flip-flop): un bit Registro: una palabra (varios bytes) RAM (Random Access Memory): varios KiB, o MiB, o GiB lectura k bytes r/w escritura dirección byte direccionado (en binario) n (2 1) Memorias secundarias: discos, cintas, flash... (no volátiles) contenido extraido (caso de lectura) contenido a grabar (caso de escritura) Tema 2: Representación de la información 7

5 Contenidos binarios largos: Notación «0x» se ven mejor agrupando los bits de cuatro en cuatro: 2 {}}{ 0b 10 B {}}{ 1011 Binario Hexadecimal Binario Hexadecimal A B C D E F C {}}{ {}}{ 0111 A {}}{ {}}{ 1001 F {}}{ 1111 E {}}{ 1110 = 0x2BC7A9FE Tema 2: Representación de la información 8 Extremismo (Endianess) En almacenamiento: Si un dato codificado en k bytes se ha de almacenar en una sucesión de k direcciones de una RAM (d, d d + k 1), en qué orden se hace? Convenio extremista menor (little-endian): el byte menos significativo en d, el siguiente en d Convenio extremista mayor (big-endian): el byte más significativo en d, el siguiente en d En transmisión (network byte order): El convenio en la mayoría de los protocolos de red es extremista mayor: se envía primero el byte más significativo. Tema 2: Representación de la información 9

6 Extremistas mayores y menores: ejemplo Petición a la dirección IP , que se codifica en 32 bits: 138 {}}{ 0x 8A 4 {}}{ 04 2 {}}{ {}}{ 3D = { }} { { }} { { }} { { }} { Procesador Intel (little endian) x8A04023D d d+1 d+2 d+3 3D Red (big endian) 8A D t d+1 d+2 8A d+3 d 3D A Procesador Motorola (big endian) x3D02048A Solución por software: función htonl() (host to network long), que reordena los bytes del orden del procesador al orden de la red: x8A04023D d d+1 d+2 d+3 3D A htonl(8a04023d) 3D A t d d+1 d+2 d+3 8A D x8A04023D Tema 2: Representación de la información 10 Representación de la información Conceptos previos Representación de textos Codificación en binario: acuerdos y desacuerdos En el principio era el ASCII......después vinieron muchos... códigos ISO......pero Unicode llegó para quedarse... UCS-2, UTF-16, UTF-8... Representación de datos numéricos Detección de errores y compresión Tipos de ficheros Formatos de ficheros

7 Codificación de caracteres en binario Hola x61 0x6C 0x6F 0x48 ("a") ("l") ("o") ("H") (ASCII) Qué tal? xBF 0x51 0x75 0xE9 0x20 0x74 0x61 0x6C 0x3F (" ") ("Q") ("u") ("é") (" ") ("t") ("a") ("l") ("?") (ISO ) xC2 0xBF 0x51 0x75 0xC3 0xA9 0x20 0x74 0x61 0x6C 0x3F (" ") ("Q") ("u") ("é") (" ") ("t") ("a") ("l") ("?") (Unicode/UTF 8) xC2 0xBF 0x51 0x75 0xC3 0xA9 0x20 0x74 0x61 0x6C 0x3F  Q u à t a l? (Interpretado como ISO ) Tema 2: Representación de la información 11 Desacuerdo en un mensaje de correo Un mensaje codificado en UTF-8 que se ve así... Tema 2: Representación de la información 12

8 Desacuerdo en un mensaje de correo... porque el cliente de correo está configurado para ISO : Tema 2: Representación de la información 13 Acuerdo en un mensaje de correo Configurando el cliente... Tema 2: Representación de la información 14

9 Acuerdo en un mensaje de correo... los ponemos de acuerdo: Tema 2: Representación de la información 15 Desacuerdo entre una página web y un navegador <html> <head> </head> <body> (Este texto está en UTF-8, pero no se indica en la cabecera) <p> comillas. 1. Signo ortográfico doble del cual se usan diferentes tipos en español: las comillas angulares, también llamadas latinas o españolas ( ), las inglesas ( ) y las simples (` '). [...] Antonio me dijo: Vaya `cacharro' que se ha comprado Julián. <br> (Del Diccionario Panhispánico de Dudas) <p> En las aplicaciones telemáticas se usan más las "comillas ASCII", y a las inglesas se les llama "smart quotes". </body></html> Tema 2: Representación de la información 16

10 Desacuerdo entre una página web y un navegador Resultado en un navegador configurado para ISO : Tema 2: Representación de la información 17 Acuerdo entre una página web y un navegador Para verla bien (independientemente de lo que tenga por defecto el navegador), el fichero HTML debe contener esto: <head>... <meta charset='utf-8'>... </head> <body> <p>comillas. 1. Signo ortográfico doble del cual se usan diferentes tipos en español:... (etc.) </body> Tema 2: Representación de la información 18

11 Otro desacuerdo Si el contenido de la página HTML está codificado en ISO , y no lo dice, y el navegador está configurado por defecto para UTF-8 resulta esto: Tema 2: Representación de la información 19 Para verla así: Otro desacuerdo la cabecera debe informar del tipo de contenido: <meta charset="iso "> Tema 2: Representación de la información 20

12 En el principio era el ASCII... «American Standard Code for Information Interchange», 1960 Estándares ISO/IEC 646 y Ecma-6 Código de 7 bits (2 7 = 128 codificaciones) a (0x00 a 0x1F): 32 caracteres de control («Conjunto C0», estándar ISO/IEC 6429): 0x00. NUL: carácter nulo (fin de cadena) 0x0A, LF (line feed): nueva línea 0x0D, CR (carriage return): retorno 0x1B, ESC (escape) a (0x20 a 0x7E): 95 caracteres imprimibles (incluido el espacio, 0x20):!"#$%&'()*+,-./ :;<=>?@ ABCDEFGHIJKLMNOPQRSTUVWXYZ[\]^_` abcdefghijklmnopqrstuvwxyz{ }~ (0x7F): DEL (delete): borrar Tema 2: Representación de la información 21 Codificaciones ASCII de caracteres imprimibles Hex. Dec. Hex. Dec. Hex. Dec. Hex. Dec. Hex. Dec. Hex. Dec P ` p ! A Q a q " B R b r # C S c s $ D T d t % E U e u & F V f v ' G W g w ( H X h x ) I Y i y 2A 042 * 3A 058 : 4A 074 J 5A 090 Z 6A 106 j 7A 122 z 2B B 059 ; 4B 075 K 5B 091 [ 6B 107 k 7B 123 { 2C 044, 3C 060 < 4C 076 L 5C 092 \ 6C 108 l 7C 124 2D 045-3D 061 = 4D 077 M 5D 093 ] 6D 109 m 7D 125 } 2E E 062 > 4E 078 N 5E 094 ^ 6E 110 n 7E 126 ~ 2F 047 / 3F 063? 4F 079 O 5F 095 _ 6F 111 o 7F 127 <d> Tema 2: Representación de la información 22

13 ...después vinieron muchos... La mayoría, extensiones a 8 bits: Windows-1252 («occidental»), Windows-1251 («cirílico»)... MacOS Roman, MacOS Arabic... IBM CP 850, CP EBCDIC, incompatible con ASCII. Utilizado en «mainframes». GSM 03.38: código de 7 bits para el SMS de telefonía móvil... Estándar ISO/IEC 8859 ( ): 16 «partes» (códigos) que comparten las codificaciones ASCII... ISO (o «Latin-1»), para europa occidental ISO (o «Latin-9»), revisión de : introduce e y otros caracteres Tema 2: Representación de la información 23...ISO x00 a 0x7F ASCII 0x80 a 0x9F: caracteres de control («Conjunto C1») Hex. Dec. Hex. Dec. Hex. Dec. Hex. Dec. Hex. Dec. Hex. Dec. A0 160 NBSP B0 176 C0 192 À D0 208 Ð E0 224 à F0 240 ð A1 161 B1 177 ± C1 193 Á D1 209 Ñ E1 225 á F1 241 ñ A2 162 B2 178 ² C2 194  D2 210 Ò E2 226 â F2 242 ò A3 163 B3 179 ³ C3 195 à D3 211 Ó E3 227 ã F3 243 ó A4 164 e B4 180 Ž C4 196 Ä D4 212 Ô E4 228 ä F4 244 ô A5 165 B5 181 µ C5 197 Å D5 213 Õ E5 229 å F5 245 õ A6 166 Š B6 182 C6 198 Æ D6 214 Ö E6 230 æ F6 246 ö A7 167 B7 183 C7 199 Ç D7 215 E7 231 ç F7 247 A8 168 š B8 184 ž C8 200 È D8 216 Ø E8 232 è F8 248 ø A9 169 B9 185 ¹ C9 201 É D9 217 Ù E9 233 é F9 249 ù AA 170 a BA 186 o CA 202 Ê DA 218 Ú EA 234 ê FA 250 ú AB 171 «BB 187» CB 203 Ë DB 219 Û EB 235 ë FB 251 û AC 172 BC 188 Œ CC 204 Ì DC 220 Ü EC 236 ì FC 252 ü AD BD 189 œ CD 205 Í DD 221 Ý ED 237 í FD 253 ý AE 174 BE 190 Ÿ CE 206 Î DE 222 Þ EE 238 î FE 254 þ AF 175 BF 191 CF 207 Ï DF 223 ß EF 239 ï FF 255 ÿ Tema 2: Representación de la información 24

14 ...pero Unicode llegó para quedarse Código universal para todas las lenguas. ISO/IEC Importante para la internacionalización del software (i18n) Define puntos de código: números naturales que se asocian a los distintos caracteres. Unicode 1.1 (1991): 2 16 = puntos de código (U+0000 a U+FFFF) = plano básico multilingüe (BMP) Unicode 6.2 (2012): 17 planos = ( caracteres definidos) Se puede materializar mediante varias formas de codificación: UCS-2 (dos bytes, sólo el BMP) y UTF-16 (dos o cuatro bytes). UCS-4: Codifica todos los puntos de código en cuatro bytes. UTF-8: Actualmente, la forma más usada. Tema 2: Representación de la información 25 UTF-8 A diferencia de otras formas, es compatible con ASCII: los primeros 128 puntos de código se codifican en un solo byte. Código de longitud variable: los puntos del BMP mayores que U+007F se codifican con dos o tres bytes. Los otros planos requieren hasta seis bytes. Ejemplos: Carácter Punto de código Codificación UTF-8 E U x45 (un byte) ñ U+00F1 0xC3 0xB1 (dos bytes) e U+20AC 0xE2 0x82 0xAC (tres bytes) Pts U+20A7 0xE2 0x82 0xA7 (tres bytes) Tema 2: Representación de la información 26

15 Conceptos previos Representación de la información Representación de textos Representación de datos numéricos BCD Bases de numeración Números enteros Operaciones de procesamiento Números reales Detección de errores y compresión Tipos de ficheros Formatos de ficheros BCD (Binary Coded Decimal) Cada dígito decimal se sustituye por su equivalente en binario. Ejemplo: (0x9876) Poco usado, salvo en dispositivos especializados (relojes, calculadoras...) Lo normal es representar los números en binario (base 2) Tema 2: Representación de la información 27

16 Sistemas de numeración posicionales Base de numeración: número de símbolos diferentes (dígitos) para escribir el número n (d n d n 1...d 1 d 0 ) (b) = d k b k Ejemplos: 9876 (10) = ( ) (10) 9876 (16) = ( ) (10) = (10) (10) = 10 9 (10) (2) = (2 9 ) (10) = 512 (10) (2) = ( ) (10) = (2 9 1) (10) = 511 (10) FEDC (16) = ( ) (10) = (10) Es muy útil la base 16 (hexadecimal) porque la correspondencia con la base 2 (binario) es muy fácil (también la base 8, octal). k=0 Tema 2: Representación de la información 28 Conversiones más comunes entre bases Conversión Método Ejemplo Binario a hexadecimal Sustitución x4A2F) decimal Suma/mult (0x4A2F) = Hexadecimal a binario Sustitución 0x4A2F decimal Suma/mult. 0x4A2F = Decimal a hexadecimal División = (F) = (2) = (A) 4 16 = (4) 0x4A2F Tema 2: Representación de la información 29

17 Representación de números en binario Precisión arbitraria: los bits que sean necesarios operaciones aritméticas con grandes números («bignum arithmetic»). Precisión limitada: formatos con un número fijo de bits representación de enteros y racionales, con una precisión (número de bits) y un rango (números máximo y mínimo) fijos: n 1 0 bms, o MSB bms, o LSB Los formatos más utilizados son los de «coma fija» y «coma flotante» Tema 2: Representación de la información 30 Representación de números enteros Se suele utilizar un formato de coma fija (la «coma» se supone situada inmediatamente a la derecha del bms) Números sin signo (enteros no negativos) Máximo representable: = rep(2 n 1) Números con signo: n 1 S 0 b m s En este caso, al bms le llamamos S, porque se reserva para indicar el signo (S = 0: positivo, S = 1: negativo) Máximo representable: = rep(2 n 1 1) Y el mínimo? Depende del convenio para los números negativos. Tema 2: Representación de la información 31

18 Convenios para representar enteros negativos Signo y magnitud: Obvio, pero por motivos de diseño de circuitos para sumar y restar se prefieren: Complemento a 1: La representación de N, rep( N), es tal que: rep(n) + rep( N) = 2 n 1 A efectos prácticos, basta cambiar los 0 por 1 y 1 por 0 en rep(n) Mínimo representable: = rep( 2 n 1 + 1) Dos representaciones para «cero»: +0 (0...0) y 0 (1...1) Complemento a 2 (más frecuente): La representación de N, rep( N), es tal que: rep(n) + rep( N) = 2 n A efectos prácticos, basta cambiar los 0 por 1 y 1 por 0 en rep(n) y luego sumar una unidad. Mínimo representable: = rep( 2 n 1 ) Un solo «cero» y un negativo más. Tema 2: Representación de la información 32 Operaciones de procesamiento básicas Suma sin signo trivial (1 + 1 = 10) Si acarreo del bms desbordamiento Suma con signo igual. Si los dos positivos o los dos negativos y cambia el bit de signo desbordamiento Para restar (usando c. a 2): rep(n1 N2) = rep(n1) + rep( N2) ignorando acarreo de los bits de signo. Indicadores (flags) : biestables en los circuitos del procesador: V: desbordamiento (overflow) C: acarreo (carry) N: negativo (= bms) Z: cero Tema 2: Representación de la información 33

19 Operaciones lógicas op1 op2 NOT(op1) AND OR EOR NAND NOR Ejemplo: de un registro de 32 bits que contiene las codificaciones ASCII de «1234», extraer el «4» y pasarlo a binario: 0x( ) = 0b( ) AND 0x( FF) = 0b( ) («máscara») 0b( ) 0b = 0x34 es la codificación de «4». Restándole 0x30 (codificación de «0») obtenemos el resultado: (c. a 2 de 0x30) (1) (resultado: 4) Tema 2: Representación de la información 34 Desplazamientos y rotaciones A LA DERECHA A LA IZQUIERDA 0 C C 0 LSR LSL (a) desplazamientos logicos C ROR ROL (b) desplazamientos circulares, o rotaciones C C C RORC ROLC (c) desplazamientos circulares con acarreo Ejercicios: S ASR C C S 0 ASL (d) desplazamientos aritmeticos 1 Multiplicar un número por 10 mediante tres desplazamientos y una suma. 2 Pasar de una cadena de dígitos decimales codificados en ASCII a la representación del número en binario mediante rotaciones, máscaras y multiplicaciones por 10. V Tema 2: Representación de la información 35

20 Sistemas de numeración para números reales (d n d n 1...d 1 d 0, c 1 c 2...) (b) = n d k b k + k=0 c k b k k=1 Conversión entre bases: parte entera, como ya sabemos. Parte fraccionaria: Binario a hexadecimal y hexadecimal a binario: por sustitución. Ejemplo: (0, 11001) (2) = (0, ) (2) = (0,C8) (16) = 0x0,C8 Hexadecimal a decimal: por suma y multiplicación. Ejemplo: (0,C8) (16) = = 0,78125 Decimal a binario: pasando por hexadecimal Decimal a hexadecimal: por multiplicaciones sucesivas. Ejemplo: 0, = 12,5 12(C) 0,5 16 = 8,0 8 Resultado: 0,78125 (10) = (0,C8) (16) = (0, ) (2) Tema 2: Representación de la información 36 Representación de números racionales Se puede utilizar un formato de coma fija con un convenio sobre la posición de la coma. Ejemplo: (coma) 15 S 0 (8 bits para la parte entera y 7 para la fraccionaria) Número máximo representable: , = rep(+0xff,fe) = rep(+255, ) Número mínimo representable (en complemento a 2): , = rep( 0x100) = rep( 256) Resolución («salto», o diferencia entre dos números representables): (0, ) (2) = 0x0,02 = 0, Pero se utilizan más los formatos de coma flotante. Tema 2: Representación de la información 37

21 Formatos de coma flotante: la norma IEEE S C M (a) precisión sencilla Número representado: N = ±1, M b E S C M (b) precisión doble Negativos: signo y magnitud M: normalización fraccionaria, omitiendo el bms (= 1) Base: b = 2 E con exceso de 2 e 1 1: E = C 2 e Tema 2: Representación de la información 38 Ejemplo de representación en IEEE 754 Representación de ( 1983,78125) (10) en el formato de precisión sencilla 1 Conversión a binario: (1983,78125) (10) = (7BF,C8) (16) = ( , ) (2) 2 Normalización: , = 1, Ya sabemos: Signo: N = 1 Mantisa: M = Exponente: E = 10 Falta calcular la característica, C 4 E = C 2 e = C = C 127 Luego C = = 137 = (89) (16) = ( ) (2) Resultado: (0xC4F7F900) Ejercicio: Qué número es el representado por 0x44FB8000? Cómo se almacena en la memoria en los bytes d a d + 3? Tema 2: Representación de la información 39

22 Representación de la información Conceptos previos Representación de textos Representación de datos numéricos Detección de errores y compresión Detección de errores Compresión Tipos de ficheros Formatos de ficheros Detección y corrección de errores Muchos algoritmos para detectar errores. En general, basados en añadir redundancia al mensaje: bits de comprobación. Emisor Canal de comunicación Receptor mensaje de n bits Algoritmo de generación n+k bits Algoritmo de comprobación no error n bits error Ruido Hay algoritmos que permiten no sólo detectar errores, también pueden corregirlos. Tema importante que se estudia en otras asignaturas de Telemática. Veamos el principio de los dos algoritmos de detección más sencillos. Tema 2: Representación de la información 40

23 Bit de paridad El algoritmo más sencillo (caso degenerado de CRC): A cada grupo de n bits se le añade un bit de modo que el número total de «1» en los n + 1 bits sea par (paridad par), o bien impar (paridad impar) Ejemplo: Mensaje «Ftel» codificado en ASCII (n = 7) con paridad par: Carácter ASCII (hex) ASCII (bin) Resultado F t e l 6C El receptor comprueba la paridad cada 8 bits. Si en algún grupo hay un número impar de «1» error Si se ha alterado un número par de bits, el algoritmo no lo detecta. Tema 2: Representación de la información 41 Suma de comprobación (checksum) El mensaje se codifica en una sucesión de bloques: Cada bloque tiene m grupos de n bits cada uno. En cada bloque se suman módulo 2 n los m grupos y se envía el complemento a 2 del resultado. En el receptor se suman los m grupos y el complemento a 2 recibido. Si el resultado no es 0, se ha producido un error en ese bloque. Ejemplo: Mensaje «Ftel es interesante» en ISO (en este caso, igual que UTF-8), con m = 5, n = 16 Tema 2: Representación de la información 42

24 Suma de comprobación (checksum): ejemplo Mensaje «Ftel es interesante» en ISO , con m = 5, n = 16 Caracteres Hex. Binario En el receptor Ft el 656C e s in 696E Checksum: 1A8D Complemento a 2: Suma: te re sa nt 6E e Checksum: 22DBF Complemento a 2: Suma: Tema 2: Representación de la información 43 Tratamiento de los errores Algunos métodos para el control de errores: Petición de repetición automática, ARQ (Automatic Repeat Request) Parada y espera: el receptor comprueba y envía «ACK» o «NAK». El emisor espera y si es NAK (o si «timeout») retransmite el bloque Transmisión contínua: el emisor no espera; si error retrocede Corrección de errores en destino, FEC (Forward Error Correction) Se utiliza un código corrector, que utiliza la suficiente redundancia para reducir el número de errores en el receptor ARQ híbrido, HARQ (Hybrid ARQ) Combina los dos anteriores: si el receptor no puede por sí solo recuperar la información recurre a ARQ con un mensaje de reconocimiento negativo Detalles en la asignatura «Teoría de la información» Tema 2: Representación de la información 44

25 Compresión Transformación de una representación con N bytes en otra con N C < N bytes Factor de compresión y porcentaje f c = k : 1 significa: k = N/N C Porcentaje: C = 100/k % = 100N C /N % Compresión sin pérdidas: de los datos comprimidos se pueden recuperar exactamente los originales. Compresión con pérdidas: no es posible recuperar exactamente los originales. Tema 2: Representación de la información 45 Algoritmos de compresión Se basan en la eliminación de redundancias innecesarias en la representación (antes de introducir, en su caso, la redundancia necesaria para la detección y corrección de errores). La elección de un algoritmo es muy dependiente de la aplicación y los recursos disponibles. Es necesario un equilibro entre Factor de compresión: cuanto mayor, menos memoria y menos ancho de banda. Si es con pérdidas, grado (normalmente subjetivo) de distorsión aceptable. Recursos disponibles para la codificación y la decodificación (especialmente importante en streaming). Tema 2: Representación de la información 46

26 Algunos algoritmos de compresión sin pérdidas Codificación de secuencias largas o RLE (Run-Length Encoding) [14]0-[17]1... Usado en fax (mucho espacio en blanco). Codificación con longitud variable, o codificación Huffman Menos bits a los símbolos más frecuentes. Codificación por diccionario (dictionary encoding) [I1][I2][I1][I1]1[I1]0[I2]... Diccionario: I1: I2: El codificador y el descodificador construyen dinámicamente el diccionario. Principio de muchos algoritmos: LZ77 y LZ78 (Lempel-Ziv) LZW (Lempel Ziv Welch) GIF Deflate Combinación de LZ77 y Huffman. Base de los formatos ZIP, GZIP y PNG. Tema 2: Representación de la información 47 Compresión con pérdidas Se aplica normalmente a señales analógicas digitalizadas: datos en binario resultantes de muestreo y cuantificación. Códec: pareja de codificador y descodificador implementados con hardware, con software, o con una combinación siguiendo unos convenios sobre digitalización (frecuencia de muestreo, niveles) algoritmo de compresión La mayoría de los códecs se basan en codificación perceptual: aprovechan características fisiológicas de la percepción. Tema 2: Representación de la información 48

27 Algunas propiedades de la percepción Sonidos. Rango de frecuencias audibles: 20 Hz Hz. Para voz inteligible (telefonía) basta un rango de 300 Hz a Hz Enmascaramiento de frecuencias próximas «sub-band coding» MP3 (f c hasta 12:1) Imágenes. Menor sensibilidad para el color que para el brillo: espacio RGB espacio YCbCr + «chroma subsampling» Menor sensibilidad para frecuencias altas: DCT cuantificación de coeficientes JPEG (f c hasta 30:1) Imágenes en movimiento. Persistencia de la visión: cada imagen persiste 1/25 seg. «principio Lumiére» 30 fps es suficiente No se aprecia distorsión si de los 30 fotogramas algunos no son «reales», sino «promedios» de los próximos, o diferencias con ellos MPEG (f c hasta 50:1 ) Tema 2: Representación de la información 49 Ejemplos de imágenes comprimidas: TIFF y JPEG TIFF Normalmente no compresión, o compresión sin pérdidas (LZW) uso para archivos de imágenes, para edición, o para ciertas aplicaciones, como imágenes médicas JPEG Compresión con pérdidas Los parámetros de los algoritmos pueden ajustarse según la aplicación. Las herramientas que generan JPEG suelen utilizar un parámetro global, Q (calidad): Q=100: máxima calidad, mínima compresión, máximo tamaño Q=0: mínima calidad, máxima compresión, mínimo tamaño Tema 2: Representación de la información 50

28 Compresión JPEG: calidad vs. tamaño Original: Lenna.tiff, 768 KiB Lenna100.jpeg Q=100; 398 KiB Lenna50.jpeg Q=50; 23 KiB Lenna10.jpeg Q=10; 7,4 KiB Lenna1.jpeg Q=1; 2,9 KiB Tema 2: Representación de la información 51 Representación de la información Conceptos previos Representación de textos Representación de datos numéricos Detección de errores y compresión Tipos de ficheros Ficheros regulares y ficheros especiales Metadatos Identificación del tipo de contenido Formatos de ficheros

29 Tipos de ficheros Fichero regular (o «archivo»): bloque de datos codificados en binario, almacenados en memoria secundaria, con un nombre, y disponible para su uso por algún programa, que lo conoce por su nombre. Ficheros especiales Dispositivos de entrada/salida Ficheros especiales de caracteres: /dev/tty, /dev/modem... Ficheros especiales de bloques: /dev/sda, /dev/dvd... Pseudodispositivos: /dev/null, /dev/random... Directorios, enlaces simbólicos, sockets... Tema 2: Representación de la información 52 Metadatos del SGF Datos sobre los datos del fichero: Tipo (especial de caracteres, de bloques, directorio, regular...) Fechas (creación y modificación) Permisos Si es regular, tamaño, bloques asignados... Cada sistema de ficheros tiene su forma de mantenerlos: Windows: FAT, MTFS Unix (Linux, MacOS...): inodes Pero la mayoría de los sistemas de ficheros no tienen metadatos sobre el tipo de contenido de los ficheros regulares Tema 2: Representación de la información 53

30 Contenidos de ficheros regulares Para el sistema de ficheros todos los ficheros regulares son iguales: un fichero es una sucesión de bytes Es el programa que usa al fichero (lo crea, lo lee o lo modifica) el que entiende el significado de su contenido binario Por su contenido, los ficheros pueden ser: Ficheros ejecutables: contienen programas Ficheros de texto: contienen texto codificado en ASCII, UTF-8... Ficheros de documentos: texto con formato, hojas de cálculo... Ficheros multimedia Ficheros estructurados: diseñados para aplicaciones concretas y normalmente gestionados por un SGBD Cada uno tiene asociado un formato: convenios sobre la forma y el orden de almacenamiento Tema 2: Representación de la información 54 Identificación del tipo de contenido de un fichero Tres enfoques: Por la extensión del nombre: caracteres tras el último punto. Más expresivo y seguro: por una cabecera que contiene metadatos: Número mágico: unos bytes que identifican el tipo de contenido. Dependiendo del tipo de contenido, la cabecera puede incluir más metadatos. Utilidad «file»: descubre el tipo de contenido. Ejemplos: Imágenes en formato GIF (.gif): Número mágico: 0x , o bien 0x (codificaciones ASCII de «GIF87a» y «GIF89a») Cuatro bytes con los números de píxeles horizontales y verticales. Imágenes en formato JPEG (.jpeg, o.jpg): Número mágico: 0xFFD8 Codificación ASCII de «JFIF» (JPEG File Interchange Format) Si procede de una cámara, metadatos de EXIF (Exchangeable Image File Format): fecha y hora, marca y modelo, resolución, tiempo de exposición, datos de geolocalización... Tercer enfoque: «Avisando» MIME (correo-e y web) Tema 2: Representación de la información 55

31 Representación de la información Conceptos previos Representación de textos Representación de datos numéricos Detección de errores y compresión Tipos de ficheros Formatos de ficheros Texto plano, documentos, archivos y datos estructurados Imágenes Sonidos Vídeos y contenedores Formatos de texto plano, documentos, archivos y datos estructurados Texto plano: sucesión de codificaciones de caracteres (ASCII, ISO, o Unicode) Pequeñas diferencias entre sistemas de ficheros: final de linea como «CR» (0x0D)+LF (0x0A) en Windows, o sólo LF en Unix. Documentos: diversos formatos «propietarios». Estándares: ODF (Open Document Format):.odt,.odp,.ods... OOXML (Office Open XML):.docx,.pptx,.ppsx... Archivo: fichero concatenación de ficheros, eventualmente comprimido. Datos estructurados: conjunto de «registros» que tienen «campos» (veremos en el tema 5). Tema 2: Representación de la información 56