Análisis de Datos. Estimación de distribuciones desconocidas: métodos no paramétricos. Profesor: Dr. Wilfrido Gómez Flores

Transcripción

1 Análisis de Datos Estimación de distribuciones desconocidas: métodos no paramétricos Profesor: Dr. Wilfrido Gómez Flores 1

2 Introducción La estimación de densidad con modelos paramétricos asumen que las formas de las distribuciones son conocidas. Sin embargo, las formas paramétricas más comunes no siempre describen las densidades reales encontradas en la práctica. Adicionalmente, muchas de las distribuciones paramétricas clásicas son unimodales, mientras que en muchos problemas prácticos se tienen distribuciones multimodales. Los métodos no paramétricos pueden ser usados para describir distribuciones arbitrarias, sin asumir que las formas de las densidades son conocidas. Estas técnicas son variaciones de las aproximaciones por histograma de funciones de densidad desconocidas. 2

3 Estimación de densidad no paramétrica Supóngase que N muestras,,x N son tomadas i.i.d. de acuerdo a una distribución p(x). La probabilidad de que K de estas N muestras caigan en una región R está definida por la distribución binomial N p = p K (1 p) N K (1) K donde el MLE para p es ˆp xxxxxxx, = K/N denominado proporción de frecuencia. El valor de probabilidad se asume constante para todo R y es aproximado por: p(x) ˆp(ˆx) 1 K (2) V N donde x ˆx es el punto medio de R y V es el volumen de R. 3

4 Estimación de densidad no paramétrica Si ˆp(x) converge al valor real de p(x), tres condiciones surgen: limv = 0 para que p(x) no varíe significativamente. N lim K = para asegurar que la proporción de frecuencia convergerá a p. N lim K N = 0 indica que aunque un gran número de muestras cae en una N región muy pequeña R, es una fracción insignificante del total de muestras. En la práctica el número de muestras N es finito; por tanto, N y K deben ser suficientemente grandes y V suficientemente pequeño. Esto dependerá de el tipo de función de densidad y el grado de aproximación que se quiera lograr. 4

5 Estimación de densidad no paramétrica Existen dos formas comunes de estimación de densidad no paramétrica que satisfacen las tres condiciones anteriores: Estimación por ventanas de Parzen: especificar V en función de N, tal como V = 1 N. Estimación por K-vecinos más cercanos: especificar K en función de N, tal como K = N. N = 1 N = 4 N = 9 N = 16 N = 100 V = 1 N K = N Métodos de estimación de densidad alrededor de un punto, aquí representado por el centro de cada círculo. 5

6 Ventanas de Parzen: densidad En el caso de D-dimensiones, la región R es un hipercubo, donde h es la longitud de uno de sus bordes, entonces el volumen está dado por: V = h D (3) Sea x i, i=1,,n, los patrones disponibles, entonces el número de muestras K que caen en el hipercubo centrado en x ˆx es: N K = φ D(ˆx, x ) i h i=1 (4) donde D(, ) es una función de distancia (o métrica) y ϕ( ) es una función de ventana definida como: 1 u 1 2 φ(u) = 0 otro caso la cual define un hipercubo unitario centrado en el origen. (5) 6

7 Ventanas de Parzen: densidad + h 2 ˆx 0.5 h (a) h 2 (b) + h 2 En un espacio bidimensional (a) la función ϕ(x i ) es 1 para cada punto x i que cae dentro del cuadro de área unitaria centrado en el origen y será 0 para todo punto fuera de él. (b) La función ϕ(d(x,x ˆx i )/h) es 1 si x i cae dentro del cuadro de área unitaria centrado en x ˆx y 0 en caso contrario. 7

8 Ventanas de Parzen: densidad Entonces, sustituyendo (4) en (2) se obtiene el estimado: ˆp(ˆx) = 1 N N i=1 1 V φ D(ˆx, x ) i h = 1 N N δ(ˆx, x i ) (6) i=1 Efecto del valor de h en p(x): ˆp(ˆx) Si h es muy grande, la amplitud de δ es pequeña y el estimado p(x) ˆp(ˆx) está muy suavizado resultado de la superposición de N funciones muy anchas. Si h es muy pequeña, la amplitud de δ aumenta y el estimado p(x) ˆp(ˆx) es ruidoso resultado de la superposición de N funciones muy agostas. Por tanto, si h 0 entonces δ se aproxima a una delta de Dirac centrada en x ˆx y p(x) ˆp(ˆx) es la superposición de N funciones impulso. 8

9 Ventanas de Parzen: densidad h = 1 h = 0.5 h = 0.2 ˆp(ˆx) ˆp(ˆx) ˆp(ˆx) El valor de h afecta tanto la amplitud como la anchura de p(x). ˆp(ˆx) 9

10 Ventanas de Parzen: densidad La función ventana en (5) trata de aproximar funciones continuas p(x) mediante funciones escalón discontinuas ϕ( ). Se puede generalizar el estimador en (6) mediante funciones suavizantes llamadas kernels, donde un ejemplo típico es el kernel Gaussiano xxxxxx: N (0, I) φ(u) = 1 u2 exp D 2 (2π) 2 (7) Entonces, la función de densidad desconocida se aproxima como el promedio de N Gaussianas, cada una centrada en un punto x: ˆx ˆp(ˆx) = 1 N N i=1 1 V φ D(ˆx, x ) i h (8) 10

11 Ventanas de Parzen: densidad 1000 muestras de entrenamiento muestras de entrenamiento x x Función Gaussiana Función escalón x Nótese que si h 0 y N, entonces el resultado de la estimación no sufre desvío y es consistente en relación a la densidad verdadera. x 11

12 Ventanas de Parzen: densidad h = 0.05 h = 1 ˆp(ˆx) ˆp(ˆx) Estimación Parzen de funciones de densidad utilizando kernel Gaussiano a partir de datos con distribución arbitraria. 12

13 Ventanas de Parzen: clasificación En los clasificadores basados en ventanas de Parzen no se requiere una fase explícita de entrenamiento. Dado un patrón de prueba x, se estima la probabilidad de pertenecer a la clase ω i, i=1,,c, como: p(ω i x) = p(ω ) N i i 1 N i h φ D(x, x ) k D h k=1 (9) donde Ni es el número de patrones de entrenamiento en la clase ω i, p(ω i ) es la probabilidad a priori de la clase ω i, y ϕ( ) es una función de ventana. Entonces, la regla de decisión es: Decidir ω i si p(ω i x) > p(ω j x) para todo i j (10) 13

14 Ventanas de Parzen: clasificación Buena generalización Pobre generalización h = h = 0.05 Valores pequeños de h generarán fronteras de decisión sobreajustadas con pobre generalización. Contrariamente, valores grandes producirán clasificadores con mejor generalización. 14

15 K-vecinos más cercanos: densidad En la estimación Parzen en (6), el volumen alrededor de los puntos x ˆx se considera fijo, h D, y el número de muestras K que caen dentro del volumen varía aleatoriamente de un punto x ˆx a otro. En la estimación por K-vecinos más cercanos se invierten los roles, el número de puntos K es fijo y el tamaño del volumen alrededor de x ˆx se ajusta para incluir K puntos. Entonces, en áreas de densidad baja el volumen será grande, contrariamente en áreas de densidad alta el volumen será pequeño. Además del hipercubo, se pueden considerar otros tipos de regiones más generales como hiperesferas. K = 7 ˆx 15

16 K-vecinos más cercanos: densidad Si K es el número de patrones que se encuentran en la vecindad de x, ˆx entonces el estimador de densidad se escribe como: ˆp(ˆx) = K NV (11) donde N es el número total de patrones en el conjunto de datos y V es el volumen alrededor de x. ˆx Considerando una hiperesfera centrada en x, ˆx su volumen es: V =V 0 D(ˆx, x) D (12) donde D(x,x) ˆx es la distancia entre x ˆx y la muestra x más alejada de la vecindad, y V 0 es el volumen de la esfera unitaria D-dimensional definida como: V 0 = π D 2 (D / 2)! si D par 2 D π D 1 2 (D 1 2 )! D! si D impar (13) 16

17 K-vecinos más cercanos: densidad K = 5 K = 25 K = 50 ˆp(ˆx) ˆp(ˆx) ˆp(ˆx) A mayor valor de K el estimado p(x) ˆp(ˆx) es más suavizado. 17

18 K-vecinos más cercanos: densidad V K = 1 K = 5 V V K = 10 K = 20 V A mayor valor de K se requerirá mayor volumen V para cubrir áreas con menor densidad. 18

19 K-vecinos más cercanos: clasificación En los clasificadores basados en los K-vecinos más cercanos no se requiere una fase explícita de entrenamiento. La regla de los K-vecinos más cercanos (knn) clasifica un patrón de prueba x asignándole la etiqueta más frecuente entre sus K muestras de entrenamiento más cercanas (i.e., por voto mayoritario). Si camina como pato, hace como pato y parece un pato, entonces es probable que sea un pato. Por tanto, la regla knn puede verse como una manera de estimar la probabilidades a posteriori p(ω i x). El valor de K debe ser impar para el problema de dos clases y en general no debe ser múltiplo del número de clases C para evitar empates. 19

20 K-vecinos más cercanos: clasificación Algoritmo de clasificación knn I( ) es una función que regresa 1 si su argumento es verdadero y 0 en otro caso. Input: Z datos entrenamiento, K # vecinos, x' patrón de prueba Process: Computar D(x',x), la distancia entre x' y cada patrón (x,y) Z Seleccionar Z K Z, el conjunto de los K patrones más cercanos a x' Output: y ' = arg max v (xi,y i ) Z K I(v = y i ) En este ejemplo hay tres clases y se debe asignar una clase al patrón desconocido x utilizando la regla knn. ω 1 ω 2 Se calcula la distancia a sus K =5 vecinos más cercanos. Cuatro vecinos pertenecen a ω1, ninguno a ω2 y uno a ω3; por tanto, x se asigna a la clase predominante, esto es, ω1. x ω 3 20

21 K-vecinos más cercanos: clasificación Dos clases Tres clases Clasificación de conjuntos de datos no linealmente separables utilizando la regla knn con K=5 vecinos más cercanos. 21

22 K-vecinos más cercanos: clasificación Características del clasificador knn: Para un tamaño N muy grande (N ) y para un número K grande, el desempeño del clasificador knn se aproxima al de un clasificador Bayesiano óptimo. Uno de los mayores problemas del clasificador knn es el gran espacio requerido para las muestras de entrenamiento y la complejidad computacional asociada a la búsqueda de los K vecinos más cercanos. Cambios de escala en las coordenadas del espacio de características modifican el comportamiento del clasificador knn cuando se utiliza la distancia Euclidiana. En el espacio original (izquierda) el punto x está más cerca del punto negro. En el espacio escalado por un factor α=1/3 en el eje (derecha), x está más cerca del punto rojo. x x α 22

23 Clasificación 1NN Un caso particular de la regla knn es la regla del vecino más cercano (K=1), esto es, 1NN. Esta regla divide el espacio de características en celdas que consisten de todos los puntos más cercanos a un patrón de entrenamiento x. Todos los puntos de la celda se etiquetan con la clase de x, a esto se le denomina teselación de Voronoi. x 3 En 2D, la regla 1NN divide el espacio en celdas de Voronoi. En 3D, las celdas son 3D formando la superficie de un cristal. 23

24 Clasificación 1NN: complejidad computacional Teniendo N patrones de entrenamiento y D dimensiones, la búsqueda del vecino más cercano (K=1) es O(ND) xxxxxxx. Existen tres técnicas algorítmicas generales para reducir la complejidad computacional en la búsqueda del vecino más cercano: Computar distancias parciales: calcular la distancia de un subconjunto r de todas las D dimensiones; si la distancia es buena no se requiere más cómputo. Preestructuras: se crea alguna forma de árbol de búsqueda en el cual algunos prototipos son ligados selectivamente. Durante la clasificación, se busca el prototipo raíz más cercano al patrón de prueba y entonces sólo se consideran los prototipos hijos ligados a él. Edición de prototipos: elimina muestras inútiles los cuales están rodeados de patrones de la misma clase. 24

25 Clasificación 1NN: complejidad computacional Algoritmo de edición del vecino más cercano Begin initialize: Z datos entrenamiento, j 0, N # prototipos end Construir el diagrama de Voronoi completo de Z do j j+1; para cada muestras x j Z Encontrar los vecinos Voronoi de x j if un vecino no es de la misma clase que x j, then marcar x j until j=n Remover todos los puntos que no fueron marcados Construir el diagrama de Voronoi de los patrones marcados De acuerdo con este algoritmo, si un patrón contribuye en la frontera de decisión entonces permanece en el conjunto, en otro caso es removido. No garantiza que se encuentre el menor número de puntos; sin embargo, se puede reducir la complejidad computacional sin sacrificar exactitud. 25

26 Clasificación 1NN: complejidad computacional N=400 N=85 Diagramas de Voronoi de un conjunto completo (izquierda) y un conjunto editado (derecha). Se removieron aproximadamente el 80% de los patrones que no contribuyeron a la frontera de decisión entre las clases. 26

27 Clasificación 1NN: complejidad computacional N=400 N=85 Regiones de decisión de un conjunto completo (izquierda) y un conjunto editado (derecha). 27

28 Clasificación 1NN: métricas El clasificador 1NN depende de una métrica o función de distancia entre patrones, donde la distancia Euclidiana es la más utilizada. Una métrica debe satisfacer cuatro propiedades para todos los vectores a, b, y c: No negatividad: D(a,b) 0. Reflexividad: D(a,b)=0 si y sólo si a=b. Simetría: D(a,b)=D(b,a). Desigualdad triangular: D(a,b)+D(b,c) D(a,c). 28

29 Clasificación 1NN: métricas Una clase general de métricas para patrones D-dimensionales es la métrica Minkowski (también llamada norma L q ): L q (a,b) = D i=1 a i b i q 1 q (14) Casos particulares de la norma L q son: L 1, distancia Manhattan o city block; L 2, distancia Euclidiana; y L, distancia Chebyshev. L 1 2 L 1 L 2 L Superficies que consisten de puntos a distancia 1.0 a partir del origen. 29

30 Clasificación 1NN: métricas En problemas de alta dimensionalidad, la norma L 2 se emplea como una extensión natural de su uso tradicional en espacios 2D y 3D. Sin embargo, la norma L q, especialmente para q 3, es incapaz de distinguir entre patrones cercanos y lejanos en altas dimensiones. Considérese el siguiente par de patrones binarios a y b los cuales no poseen atributos en común: Punto x1 x2 x3 x4 x5 x6 x7 x8 x9 x10 a b Ahora considérese el siguiente par de patrones binarios c y d los cuales son casi idénticos: Punto x1 x2 x3 x4 x5 x6 x7 x8 x9 x10 c d Nótese que la distancia Euclidiana L 2 (a,b)=l 2 (c,d)=

31 Clasificación 1NN: métricas Sean D max y D min las distancias más lejana y cercana de Nn puntos al origen. Aggarwal et al. * demostraron teórica y experimentalmente que en espacios de alta dimensionalidad la diferencia D max D min incrementa a razón de xxxxxxxxxxx, r = D 1/2(q 1) independientemente de la distribución de los datos. Esto quiere decir que para L 1 el valor de r diverge hacia, para L 2 r está limitada por constantes y para q 3 r converge hacia 0. Para problemas de búsqueda del vecino más cercano en espacios de alta dimensionalidad, Aggarwal et al. recomiendan utilizar métricas fraccionales, es decir, la norma L q para xxxxxxxx. q 2 (0, 1) *On the Surprising Behavior of Distance Metrics in High Dimensional Space, Database Theory-ICDT 2001, pp

32 Clasificación 1NN: métricas L 1 2 L 1 L 2 L 3 Diferencias D max D min (eje vertical) en función de la dimensionalidad D (eje horizontal) para diferentes métricas calculadas a partir de N= muestras con distribución uniforme en el rango (0,1). 32

33 Sumario de métodos no paramétricos Ventajas: No se requiere asumir ningún tipo de distribución en lo patrones de entrenamiento. Con muestras suficientes, la convergencia a densidades arbitrarias y complejas puede ser alcanzada. Desventajas: El número de muestras requeridas puede ser muy grande a medida que crece la dimensionalidad del espacio de características. Puede haber severos requerimientos de tiempo de cómputo y almacenamiento. 33