Diseño de Conjuntos y Diccionarios con Hashing

Transcripción

1 Diseño de Cojutos y Diccioarios co Hashig

2 Represetació de Cojutos y Diccioarios TAD Diccioario(clave, sigificado) Observadores básicos def?: dicc(clave, sigificado) bool obteer: clave c dicc(clave, sigificado) d sigificado ( def?( c, d ) ) Geeradores vacío: dicc(clave, sigificado) defiir: clave sig dicc(clave, sigificado) dicc(clave, sigificado) Otras Operacioes borrar: clave c dicc(clave, sigificado) d dicc(clave, sigificado) ( def?( c, d ) )

3 Tablas hash Adecuadas para represetar diccioarios Geeralizació del cocepto de arreglo Importates para el acceso a datos e memoria secudaria Los accesos se da e memoria secudaria El costo de los accesos es el predomiate Otras aplicacioes muy importates: criptografía / firma digital

4 Direccioamieto directo Se asocia a cada valor de la clave u ídice de u arreglo 0 1 Por ejemplo, 10 4 clietes claves (DNI) Búsueda e tiempo O(1)! # Claves = # DNI posibles Problema? Mucho desperdicio de memoria!

5 Objetivos es el úmero de claves usadas y N el úmero de las posibles 0 1 Búsueda e tiempo O(1)? O(N) >> O() Problema? << N! -1

6 Tabla hash Represetaremos u diccioario co ua tupla <T, h> tal ue T es u arreglo y h: K à {0,..., T -1} ua fució (llamada fució de hash) N cojuto de claves posibles {0,..., T -1} cojuto de las posicioes de la tabla (a veces llamadas pseudoclaves) La posició del elemeto e el arreglo se calcula a través de la fució h.

7 Hashig perfecto y colisioes Fució de hash perfecta: k 1!=k 2 => h(k 1 )!= h(k 2 ) Reuiere ue T >= Raramete razoable e la práctica Fució de hash real: k 1!=k 2 && h(k 1 ) == h(k 2 ) [colisió] < T (habitualmete << T ) Las colisioes so más frecuetes ue lo ituitivo [ver la paradoja del cumpleaños] Ejercicio: propoer ua fució hash perfecta para el caso i ue las claves sea strigs de largo 3 e el alfabeto {a, b, c}

8 Paradoja del cumpleaños Si elegimos 23 persoas al azar, la probabilidad de ue dos de ellos cumpla años el mismo día es mayor 1/2 (aprox. 50.7%) y si elegimos 57 persoas la probabilidad es mayor a 0.99! E térmios de hashig, aú supoiedo ua distribució uiforme etre las pseudoclaves, la probabilidad de ue co 23 isercioes e ua tabla de 365 posicioes se geere ua colisió es mayor ue 1/2.

9 Resolució de colisioes Los métodos se diferecia por la forma de ubicar a los elemetos ue da lugar a colisió. Existe dos familias: Direccioamieto cerrado (resolució por cocateació): a la i-ésima posició de la tabla se le asocia la lista de los elemetos tales ue h(k)=i. Direccioamieto abierto (resolució por rehashig): todos los elemetos se guarda e la tabla (luego veremos cómo).

10 Reuisitos de ua fució hash La clave del éxito es pesar e la distribució de probabilidad de las claves; sea P(k) = probabilidad de la clave k Uiformidad simple: (80 apple j< T ) {1applek<^h(k)=j} P (k) 1 T Ituitivamete, se uiere ue los elemetos se distribuya e el arreglo de maera uiforme (pesar e el caso P(k) = 1/ T ) La clave del fracaso es ue es difícil costruir fucioes ue satisfaga esta la uiformidad simple pues o se cooce P.

11 Reuisitos de ua fució hash/2 Ejemplo: sea T =5 y h(k)=k mod 5 {1, 7, 10, 14} No se cooce la distribució de las claves Puede haber aglomeració de elemetos {1, 6, 11, 16} E la práctica: se trata de teer idepedecia de la distribució de los datos

12 Cocateació h(k 1 )= h(k 4 )=0 h(k 5 )= h(k 7 )=h(k 2 )= k 1 k 4 k 5 k 7 k 2k2 Ej.: h(k)=k mod 5 k1=0, k4=10 k5=9, k7=14, k2=4

13 Cocateació: complejidad isert(el, k): iserció al pricipio de la lista asociada a la posició h(k): costo O(1) buscar(k): búsueda lieal e la lista asociada a la posició h(k): costo O(logitud de la lista asociada a h(k)) delete(k): búsueda e la lista asociada a la posició h(k): costo O(logitud de la lista asociada a h(k)) Pero cuáto mide las listas?

14 Cocateació: cuáto mide las listas? = #elemetos e la tabla, N = T α = /N: factor de carga Teorema: bajo la hipótesis de uiformidad simple de la fució de hash, si las colisioes se resuelve por cocateació, e promedio ua búsueda fallida reuiere tiempo Θ(1+α) [Teorema 12.1, Corme] ua búsueda exitosa reuiere tiempo Θ(1+α/2-1/ T ) = Θ(1+α) [Teorema 12.2, Corme] O(1) si ~N Dimesioar bie T es importate!

15 Direccioamieto abierto Todos los elemetos se almacea e la tabla Las colisioes se resuelve detro de la tabla Si la posició calculada está ocupada, hay ue buscar ua posició libre. Los distitos métodos co direccioamieto abierto se distigue por el método de barrido ue utilza. La fució hash pasa a depeder tambié del úmero de itetos realizados h(k, i) refiere al i-ésimo iteto h(k, i) debe geerar todas las posicioes de T Problemas co el borrado!

16 Rehashig La fució h(k, i) debe recorrer todas las posicioes de la tabla Varias formas típicas para la fució h(k,i) Liear probig Quadratic probig Double hashig Se diferecia etre sí por su complejidad de cálculo y por el comportamieto respecto a los feómeos de aglomeració.

17 Liear probig h(k, i) = (h (k)+i) mod T, dode h (k) es ua fució de hashig Se recorre todas las posicioes e la secuecia T[h (k)], T[h (k)+1],... T[ T ], 0, 1,..., T[h (k)-1] Sufre el feómeo de aglomeració primaria (primary clusterig): dos secuecias de barrido ue tiee ua colisió, sigue colisioado Los elemetos se aglomera por largos tramos

18 Aglomeració primaria h(k, i) = (h (k)+i) mod 101 h (k)=k mod 101 Secuecia de isercioes {2, 103, 104, 105,...} Caso extremo, pero el problema existe!

19 Quadratic probig h(k, i) = (h (k)+c 1 *i+c 2 *i 2 ) mod T, dode h (k) es ua fució de hashig, c 1 y c 2 so costates Sufre el feómeo de aglomeració secudaria (secodary clusterig): si hay colisió e el primer iteto sigue habiedo colisioes: para todo i, h (k 1 ) == h (k 2 ) => h(k 1,i) == h(k 2,i)

20 Hashig doble Idea: ue el barrido tambié depeda de la clave: h(k, i) = (h 1 (k)+i*h 2 (k)) mod T, dode h 1 (k) y h 2 (k) so fucioes de hashig El hashig doble reduce los feómeos de aglomeració secudaria Y o tiee aglomeració primaria

21 Costrucció de fucioes de Hash Recordemos ue las claves o so ecesariamete úmeros aturales Por ejemplo, las claves podría ser strigs Solució: asociar a cada clave u etero Cómo? Depede de la aplicació, de las claves, etc.

22 Ejemplo: strigs Posible método: asociar a cada caracter su código ASCII y a la cadea el úmero etero obteido e ua determiada base Strig = pt à pseudoclave = 112* *2 0 =340 Ascii( p )=112 Ascii( t )=116

23 Fucioes hash Múchos métodos Divisió Partició Extracció Objetivo: distribució lo más uiforme posible. Diferecias: Complejidad Tratamieto de los feómeos de aglomeració

24 Divisió h(k)=k mod T Baja complejidad Aglomeracioes No potecias de 2: si T =2 p etoces todas las claves co los p bits meos sigificativos iguales, colisioa No potecias de 10 si las claves so úmeros decimales (mismo motivo) E geeral, la fució debería depeder de todas las cifras de la clave, cualuiera sea la represetació Ua buea elecció e la práctica: u úmero primo o demasiado cercao a ua potecia de 2 (ejemplo: h(k)=k mod 701 para K =2048 valores posibles)

25 Partició Particioar la clave k e k 1,k 2,...,k y calcular h(k)=f(k 1,k 2,...,k ) para algua f. Ejemplo: la clave es u No. de tarjeta de crédito. Posible fució hash: à [477, 264, 537, 348] f(477,264,537,348) = ( ) mod 701 = 224

26 Extracció Se usa solamete ua parte de la clave para calcular la direcció Ejemplo: Las 6 cifras cetrales del úmero de tarjeta de crédito à El úmero obteido puede ser maipulado ulteriormete La direcció puede depeder de ua parte de la clave