Representación de la Información (III)

Transcripción

1 Representación de la Información (III) Representación de Caracteres Maximiliano Geier 10/04/2015 Maximiliano Geier Representación de la Información (III) 10/04/ / 14

2 Representación de caracteres La memoria contiene bits, ceros y unos dispuestos en algún orden que se pueden interpretar de diferentes formas. Hasta ahora estuvimos viendo distintas maneras de representar números. Cómo hacemos para guardar en memoria la cadena de caracteres icb2015? Maximiliano Geier Representación de la Información (III) 10/04/ / 14

3 ASCII Respuesta 1: ASCII (American Standard for Information Interchange 1963) Maximiliano Geier Representación de la Información (III) 10/04/ / 14

4 EBCDIC Respuesta 1 bis: EBCDIC (Extended Binary Coded Decimal Interchange Code 1963, IBM) Maximiliano Geier Representación de la Información (III) 10/04/ / 14

5 EBCDIC Respuesta 1 bis: EBCDIC (Extended Binary Coded Decimal Interchange Code 1963, IBM) Problema: y si quiero representar la cadena de caracteres María Elena? Maximiliano Geier Representación de la Información (III) 10/04/ / 14

6 ISO (Latin-1) Respuesta 2: Latin-1 Maximiliano Geier Representación de la Información (III) 10/04/ / 14

7 ISO (Latin-1) Respuesta 2: Latin-1 Y ahora si quiero codificar 你什么名字? Maximiliano Geier Representación de la Información (III) 10/04/ / 14

8 Unicode Para unificar la codificación de caracteres en todas las lenguas del mundo se definió un standard, llamado Unicode, que establece una numeración uniforme para caracteres (versión 7.0, Junio 2014) en 123 scripts diferentes Maximiliano Geier Representación de la Información (III) 10/04/ / 14

9 Unicode Para unificar la codificación de caracteres en todas las lenguas del mundo se definió un standard, llamado Unicode, que establece una numeración uniforme para caracteres (versión 7.0, Junio 2014) en 123 scripts diferentes A esta lista de caracteres se la conoce como UCS (Universal Character Set) Maximiliano Geier Representación de la Información (III) 10/04/ / 14

10 Unicode Para unificar la codificación de caracteres en todas las lenguas del mundo se definió un standard, llamado Unicode, que establece una numeración uniforme para caracteres (versión 7.0, Junio 2014) en 123 scripts diferentes A esta lista de caracteres se la conoce como UCS (Universal Character Set) Algunos scripts incluidos: Árabe, Armenio, Bengaĺı, Bopomofo, Cirílico, Devanagari, Georgiano, Griego, Gujarati, Gurmukhi, Hangul, Hebreo, Hiragana, Kannada, Katakana, Lao, Latín, Malayo, Oriya, Tamil, Telugu, Thai, Tibetano, CJK (chino, japonés y coreano), Sánscrito védico, Javanés, Khmer, Mongol, Tibetano, Braille, Runas, Klingon, etc. Maximiliano Geier Representación de la Información (III) 10/04/ / 14

11 Unicode Para unificar la codificación de caracteres en todas las lenguas del mundo se definió un standard, llamado Unicode, que establece una numeración uniforme para caracteres (versión 7.0, Junio 2014) en 123 scripts diferentes A esta lista de caracteres se la conoce como UCS (Universal Character Set) Algunos scripts incluidos: Árabe, Armenio, Bengaĺı, Bopomofo, Cirílico, Devanagari, Georgiano, Griego, Gujarati, Gurmukhi, Hangul, Hebreo, Hiragana, Kannada, Katakana, Lao, Latín, Malayo, Oriya, Tamil, Telugu, Thai, Tibetano, CJK (chino, japonés y coreano), Sánscrito védico, Javanés, Khmer, Mongol, Tibetano, Braille, Runas, Klingon, etc. Unicode establece el mapa de caracteres, pero no cómo se codifican. Cómo hacemos? Maximiliano Geier Representación de la Información (III) 10/04/ / 14

12 UCS y UTF UCS define una manera de codificar los caracteres, utilizando el número del mismo en el mapa. Para esto necesitamos al menos 17 bits (2 17 = ). Las codificaciones de UCS son de longitud fija, se indica en el nombre la cantidad de bytes de la codificación. Maximiliano Geier Representación de la Información (III) 10/04/ / 14

13 UCS y UTF UCS define una manera de codificar los caracteres, utilizando el número del mismo en el mapa. Para esto necesitamos al menos 17 bits (2 17 = ). Las codificaciones de UCS son de longitud fija, se indica en el nombre la cantidad de bytes de la codificación. Inicialmente UCS-2, luego UCS-4. Maximiliano Geier Representación de la Información (III) 10/04/ / 14

14 UCS y UTF UCS define una manera de codificar los caracteres, utilizando el número del mismo en el mapa. Para esto necesitamos al menos 17 bits (2 17 = ). Las codificaciones de UCS son de longitud fija, se indica en el nombre la cantidad de bytes de la codificación. Inicialmente UCS-2, luego UCS-4. Problema: el texto hola mundo se codificaría en UCS-4 como: F C D E F Mientras que en ASCII la codificación es: 68 6F 6C D 75 6E 64 6F Maximiliano Geier Representación de la Información (III) 10/04/ / 14

15 UCS y UTF UCS define una manera de codificar los caracteres, utilizando el número del mismo en el mapa. Para esto necesitamos al menos 17 bits (2 17 = ). Las codificaciones de UCS son de longitud fija, se indica en el nombre la cantidad de bytes de la codificación. Inicialmente UCS-2, luego UCS-4. Problema: el texto hola mundo se codificaría en UCS-4 como: F C D E F Mientras que en ASCII la codificación es: 68 6F 6C D 75 6E 64 6F Solución: usar codificaciones de longitud variable (UTF = UCS Transformation Format) Maximiliano Geier Representación de la Información (III) 10/04/ / 14

16 UTF UTF define diversos sistemas de transformación del código de un caracter a su representación en memoria. Para indicar el tipo, se suele utilizar un número que representa la cantidad de bits que tiene cada unidad de código (code unit) del formato. Los formatos UTF más utilizados son UTF-32, UTF-16 y UTF-8. Maximiliano Geier Representación de la Información (III) 10/04/ / 14

17 UTF UTF define diversos sistemas de transformación del código de un caracter a su representación en memoria. Para indicar el tipo, se suele utilizar un número que representa la cantidad de bits que tiene cada unidad de código (code unit) del formato. Los formatos UTF más utilizados son UTF-32, UTF-16 y UTF-8. UTF-32 equivalente a UCS-4. Maximiliano Geier Representación de la Información (III) 10/04/ / 14

18 UTF UTF define diversos sistemas de transformación del código de un caracter a su representación en memoria. Para indicar el tipo, se suele utilizar un número que representa la cantidad de bits que tiene cada unidad de código (code unit) del formato. Los formatos UTF más utilizados son UTF-32, UTF-16 y UTF-8. UTF-32 equivalente a UCS-4. UTF-16 toma como base UCS-2, utiliza 2 code units de 16 bits para codificar caracteres cuyo código tiene un valor superior a U Maximiliano Geier Representación de la Información (III) 10/04/ / 14

19 UTF UTF define diversos sistemas de transformación del código de un caracter a su representación en memoria. Para indicar el tipo, se suele utilizar un número que representa la cantidad de bits que tiene cada unidad de código (code unit) del formato. Los formatos UTF más utilizados son UTF-32, UTF-16 y UTF-8. UTF-32 equivalente a UCS-4. UTF-16 toma como base UCS-2, utiliza 2 code units de 16 bits para codificar caracteres cuyo código tiene un valor superior a U UTF-8 toma como base ASCII, codificación de longitud variable entre 1 y 4 code units de 8 bits. Maximiliano Geier Representación de la Información (III) 10/04/ / 14

20 Codificación en UTF-8 En UTF-8 se utiliza la siguiente tabla para codificar caracteres Unicode: Bits Inicio Fin Byte 1 Byte 2 Byte 3 Byte 4 7 U+0000 U+007F 0xxxxxxx 11 U+0080 U+07FF 110xxxxx 10xxxxxx 16 U+0800 U+FFFF 1110xxxx 10xxxxxx 10xxxxxx 21 U U+10FFFF 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx Vamos a codificar el texto 名字, que corresponde a los caracteres Unicode U+540D U+5B Maximiliano Geier Representación de la Información (III) 10/04/ / 14

21 Codificación en UTF-8 (cont.) Primero escribimos ambos números en binario: 540D = B57 = Maximiliano Geier Representación de la Información (III) 10/04/ / 14

22 Codificación en UTF-8 (cont.) Primero escribimos ambos números en binario: 540D = B57 = Como ocupan 15 bits, tenemos que usar la codificación de 3 bytes. La escribimos: 540D E5 90 8D 5B E5 AD 97 Maximiliano Geier Representación de la Información (III) 10/04/ / 14

23 Decodificación de UTF-8 Supongamos que tenemos la siguiente cadena de bytes y la queremos interpretar como UTF-8: 63 C3 B6 E4 BA 9C F0 9D 84 9E Maximiliano Geier Representación de la Información (III) 10/04/ / 14

24 Decodificación de UTF-8 Supongamos que tenemos la siguiente cadena de bytes y la queremos interpretar como UTF-8: 63 C3 B6 E4 BA 9C F0 9D 84 9E 63, en binario U+0063 Maximiliano Geier Representación de la Información (III) 10/04/ / 14

25 Decodificación de UTF-8 Supongamos que tenemos la siguiente cadena de bytes y la queremos interpretar como UTF-8: 63 C3 B6 E4 BA 9C F0 9D 84 9E 63, en binario U+0063 C3, en binario Maximiliano Geier Representación de la Información (III) 10/04/ / 14

26 Decodificación de UTF-8 Supongamos que tenemos la siguiente cadena de bytes y la queremos interpretar como UTF-8: 63 C3 B6 E4 BA 9C F0 9D 84 9E 63, en binario U+0063 C3, en binario Tenemos que leer 1 byte más. Maximiliano Geier Representación de la Información (III) 10/04/ / 14

27 Decodificación de UTF-8 Supongamos que tenemos la siguiente cadena de bytes y la queremos interpretar como UTF-8: 63 C3 B6 E4 BA 9C F0 9D 84 9E 63, en binario U+0063 C3, en binario Tenemos que leer 1 byte más. B6, en binario U+00F6 Maximiliano Geier Representación de la Información (III) 10/04/ / 14

28 Decodificación de UTF-8 Supongamos que tenemos la siguiente cadena de bytes y la queremos interpretar como UTF-8: 63 C3 B6 E4 BA 9C F0 9D 84 9E 63, en binario U+0063 C3, en binario Tenemos que leer 1 byte más. B6, en binario U+00F6 E4, en binario Tenemos que leer 2 bytes más. Maximiliano Geier Representación de la Información (III) 10/04/ / 14

29 Decodificación de UTF-8 Supongamos que tenemos la siguiente cadena de bytes y la queremos interpretar como UTF-8: 63 C3 B6 E4 BA 9C F0 9D 84 9E 63, en binario U+0063 C3, en binario Tenemos que leer 1 byte más. B6, en binario U+00F6 E4, en binario Tenemos que leer 2 bytes más. BA 9C, en binario U+4E9C Maximiliano Geier Representación de la Información (III) 10/04/ / 14

30 Decodificación de UTF-8 Supongamos que tenemos la siguiente cadena de bytes y la queremos interpretar como UTF-8: 63 C3 B6 E4 BA 9C F0 9D 84 9E 63, en binario U+0063 C3, en binario Tenemos que leer 1 byte más. B6, en binario U+00F6 E4, en binario Tenemos que leer 2 bytes más. BA 9C, en binario U+4E9C F0, en binario Tenemos que leer 3 bytes más. Maximiliano Geier Representación de la Información (III) 10/04/ / 14

31 Decodificación de UTF-8 Supongamos que tenemos la siguiente cadena de bytes y la queremos interpretar como UTF-8: 63 C3 B6 E4 BA 9C F0 9D 84 9E 63, en binario U+0063 C3, en binario Tenemos que leer 1 byte más. B6, en binario U+00F6 E4, en binario Tenemos que leer 2 bytes más. BA 9C, en binario U+4E9C F0, en binario Tenemos que leer 3 bytes más. 9D 84 9E, en binario U+1D11E Maximiliano Geier Representación de la Información (III) 10/04/ / 14

32 Buscando en la tablita Ahora que tenemos los caracteres en Unicode, hay que buscar en la tabla qué quieren decir. Nos quedó: U+0063 U+00F6 U+4E9C U+1D11E Maximiliano Geier Representación de la Información (III) 10/04/ / 14

33 Buscando en la tablita Ahora que tenemos los caracteres en Unicode, hay que buscar en la tabla qué quieren decir. Nos quedó: U+0063 U+00F6 U+4E9C U+1D11E Una página que permite buscar caracteres fácilmente teniendo el code point es U+0063 LATIN SMALL LETTER C U+00F6 LATIN SMALL LETTER O WITH DIAERESIS U+4E9C CJK UNIFIED IDEOGRAPH-4E9C U+1D11E MUSICAL SYMBOL G CLEF Maximiliano Geier Representación de la Información (III) 10/04/ / 14

34 Buscando en la tablita Ahora que tenemos los caracteres en Unicode, hay que buscar en la tabla qué quieren decir. Nos quedó: U+0063 U+00F6 U+4E9C U+1D11E Una página que permite buscar caracteres fácilmente teniendo el code point es U+0063 LATIN SMALL LETTER C U+00F6 LATIN SMALL LETTER O WITH DIAERESIS U+4E9C CJK UNIFIED IDEOGRAPH-4E9C U+1D11E MUSICAL SYMBOL G CLEF El texto final es: cö 亜 Maximiliano Geier Representación de la Información (III) 10/04/ / 14

35 Unicode en la vida computacional El uso más preponderante de UTF-8 se encuentra en la web. En Marzo de 2015, el 83,3 % de las páginas web se encontraban codificadas en UTF-8. A pesar de esto, todavía hay ocasiones en las que la codificación de un texto no queda claro cuál es. UTF-32 se utiliza para guardar cadenas de caracteres en memoria, UTF-8 para almacenar y transferir por Internet (en Windows se usa UTF-16 también). Maximiliano Geier Representación de la Información (III) 10/04/ / 14

36 Terminando: Unicode en Python En Python 3, todas las cadenas de caracteres se representan internamente en Unicode ( no es el caso en Python 2!). Los nombres de las variables pueden tener caracteres raros (poco recomendable), siempre y cuando el archivo.py se encuentre guardado utilizando la codificación UTF-8. >>> a~no = 2015 >>> print(a~no) 2015 Maximiliano Geier Representación de la Información (III) 10/04/ / 14

37 Terminando: Unicode en Python En Python 3, todas las cadenas de caracteres se representan internamente en Unicode ( no es el caso en Python 2!). Los nombres de las variables pueden tener caracteres raros (poco recomendable), siempre y cuando el archivo.py se encuentre guardado utilizando la codificación UTF-8. >>> a~no = 2015 >>> print(a~no) 2015 Podemos escribir caracteres con su correspondiente código Unicode utilizando la siguiente notación: >>> print( \u4e9c ) 亜 Maximiliano Geier Representación de la Información (III) 10/04/ / 14

38 Terminando: Unicode en Python En Python 3, todas las cadenas de caracteres se representan internamente en Unicode ( no es el caso en Python 2!). Los nombres de las variables pueden tener caracteres raros (poco recomendable), siempre y cuando el archivo.py se encuentre guardado utilizando la codificación UTF-8. >>> a~no = 2015 >>> print(a~no) 2015 Podemos escribir caracteres con su correspondiente código Unicode utilizando la siguiente notación: >>> print( \u4e9c ) 亜 También podemos interpretar una cadena de bytes como UTF-8: >>> print(b \x63\xc3\xb6\xe4\xba\x9c.decode( utf-8 )) cö 亜 Maximiliano Geier Representación de la Información (III) 10/04/ / 14