Sistemas de Reconocimiento de Patrones

Transcripción

1 Sistemas de Reconocimiento de Patrones p. 1/33 Sistemas de Reconocimiento de Patrones Luis Vázquez GTI - IIE Facultad de Ingeniería Universidad de la República

2 Sistemas de Reconocimiento de Patrones p. 2/33 Sistema de Reconocimiento de Patrones Objetivo del procesamiento e interpretación de datos sensoriales: descripción concisa y representativa del universo observado Información de interés: nombres, características detalladas, relacionamientos, modos de comportamiento, etc. que involucran a los elementos del universo. Procesos Perceptuales: procesos que llevan a la comprensión de estos eleméntos (patrones). Reconocimiento de Patrones(RP): etiquetado (clasificación, asignación de nombres) de esos elementos.

3 Sistemas de Reconocimiento de Patrones p. 3/33 Ejemplo del Sistema Visual El sistema nervioso humano recibe 10 9 bits/s de datos sensoriales. Mayoría adquirida y procesada por el sistema visual. Procesamiento imágenes complejas: Proceso en múltiples niveles con participación relativa de los dos tipos de metodologías necesarias Reconocimiento de patrones basado en atributos. Reconocimiento de patrones basado en la estructura.

4 Sistemas de Reconocimiento de Patrones p. 4/33 Tipos de Información en Diferentes Niveles Pixel Segmentos Primitivas de Objetos Objetos Grupos de Objetos Escena Información Relacional Información de Atributos Figure 1: Tipo de información usada en diferentes niveles de procesamiento.

5 Sistemas de Reconocimiento de Patrones p. 5/33 Modelo de Procesos Perceptuales Los procesos perceptuales del ser humano pueden ser modelados como un sistema de tres estados: adquisición de datos sensoriales extracción de características toma de decisiones Conveniente dividir el problema del reconocimiento automático de una manera similar: Universo (Objetos, Conceptos) Sensor Patrón Representación Extractor de Características Características Clasificador Decisión Figure 2: Etapas en un sistema de reconocimiento de patrones.

6 Sistemas de Reconocimiento de Patrones p. 6/33 Sensor Función del sensor: Medición, dar representación concreta de los elementos a ser clasificados. Determina límites en rendimiento del sistema Idealmente se debería entender completamente las propiedades físicas que distinguen a los elementos En la práctica imposible: no se dispone de ese conocimiento muchas no se pueden medir directamente (medición no intrusiva) no es económicamente viable

7 Sistemas de Reconocimiento de Patrones p. 7/33 Extracción y Clasificación Extracción de Características: a partir del patrón de representación se encarga de extraer la información discriminatoria. eliminar información redundante e irrelevante reducir la dimensionalidad del problema maximizar los rasgos discriminantes Clasificador: asignar los patrones de clase desconocida a la categoría apropiada. Etapa de toma de decisiones en el sistema.

8 Sistemas de Reconocimiento de Patrones p. 8/33 Proceso de Generación de Patrones Patrones de misma clase presentan variaciones aleatorias Ruido, deformaciones, variabilidad biológica, etc. Proceso asociado a la generación de patrones se describe mediante un modelo probabilístico Cada patrón es un vector aleatorio n-dimensional perteneciente a una de m clases ω i i = 1,,m x = [x 1,x 2,,x n ] Cada clase ω i tiene una probabilidad a priori P(ω i ). La distribución de x en la clase ω i se caracteriza por la prob. condicional de clase p(x ω i )

9 Sistemas de Reconocimiento de Patrones p. 9/33 Relaciones Básicas Las probabilidades a priori suman uno m i=1 P(ω i ) = 1 La densidad conjunta o no condicional p(x) es p(x) = m i=1 p(x ω i )P(ω i ). Interesa la probabilidad a posteriori para cada ω i P(ω i x) = p(x ω i)p(ω i ) p(x) Fórmula de Bayes.

10 Sistemas de Reconocimiento de Patrones p. 10/33 Ejemplo: reconocimiento de caracteres Parámetros involucrados: m = 26 : número de caracteres (clases). n = 8 : número de medidas x i i = 1 n : distancia entre el centro de gravedad y el punto de intersección más lejano en la semirrecta formando (i 1)π 4 con el eje 0x. P(ω i ) : probabilidad a priori de ocurrencia del i-ésimo carácter.

11 Sistemas de Reconocimiento de Patrones p. 11/33 Atributos en reconocimiento de caracteres. x 3 x2 x 1 Figure 3: Atributos en reconocimiento de caracteres.

12 Sistemas de Reconocimiento de Patrones p. 12/33 Reglas de Decisión Estadística Cómo decidimos a que clase asignar el patrón x observado? Regla del Mínimo Costo Regla del Mínimo Error

13 Sistemas de Reconocimiento de Patrones p. 13/33 Costo de decisión Costo de decisión: ρ ij 1 i,j n Costo de asignar a la clase ω i un patrón x perteneciente a la clase ω j. Notar que: ρ ii costo de decisión correcta, en general 0 ρ ij generalmente distinto que ρ ji ρ ij 0 Ejemplo: Verificación de Firmas (2 clases) ω 1 la firma es auténtica ω 2 la firma ha sido falsificada Costos muy diferentes: ρ 12 ρ 21

14 Sistemas de Reconocimiento de Patrones p. 14/33 Regla del Mínimo Costo Definición: Γ j región del espacio de observación Ω asociada a la clase ω j : x ω j x Γ j Riesgo de clasificar x en la clase ω i es m r i (x) = ρ ij P(ω j x) j=1 Riesgo medio en la región Γ i : R i = Riesgo total de nuestro sistema de decisión: m m R = R i = r i (x)p(x)dx Γ i i=1 i=1 Γ i r i (x)p(x)dx

15 Sistemas de Reconocimiento de Patrones p. 15/33 Decisión Óptima = Mínimo riesgo Riesgo total será minimizado si se particiona con x Γ i m ρ ij P(ω j x) m ρ kj P(ω j x) k i j=1 j=1 Regla de Decisión de Mínimo Costo de Bayes: Asignar x ω i m ρ ij p(x ω j )P(ω j ) = min 1 k m j=1 m j=1 ρ kj p(x ω j )P(ω j ) hemos usado Bayes: P(ω j x)p(x) = p(x ω j )P(ω j )

16 Sistemas de Reconocimiento de Patrones p. 16/33 Regla del Mínimo Error Resulta de considerar costos cero-uno { ρ ii = 0 1 i m ρ ij = 1 1 i,j m, i j Lado derecho de regla del mínimo costo queda m r k (x) = ρ kj P(ω j x) = P(ω j x) = 1 P(ω k x) j=1 1 j m j k Regla del Mínimo Error de Bayes: Asignar x ω i P(ω i x) = max 1 k m P(ω k x)

17 Sistemas de Reconocimiento de Patrones p. 17/33 Error de Bayes La probabilidad condicional de error ǫ(x) si se asigna x ω k será ǫ(x) = 1 P(ω k x) La regla anterior minimiza el error condicional. El error medio resultante es e = ǫ(x)p(x)dx (Error de Bayes) Ω Se puede descomponer como m ( ) e = 1 P(ω i ) p(x ω i )dx Γ i i=1.

18 Sistemas de Reconocimiento de Patrones p. 18/33 Problemas en Diseño de un SRP Si conozco totalmente la estadística del proceso de generación: P(ω i ), p(x ω i ) i puedo diseñar SRP usando teoría Bayesiana. Problemas: el modelo no se puede conocer totalmente complejidad del SRP acotada por economía Conocimiento disponible: observaciones ya sea etiquetadas o no. Conjunto de entrenamiento

19 Sistemas de Reconocimiento de Patrones p. 19/33 Diseño dado Conjunto de Entrenamiento Dado conjunto de entrenamiento el diseño del SRP implica: 1. Inferencia del modelo: aprendizaje 2. Desarrollar reglas de decisión prácticas 3. Simulación y evaluación del rendimiento Tipos de conjunto de entrenamiento: 1. Cada patrón de observaciones x i i = 1, 2,,N etiquetado por experto con clase correcta γ i aprendizaje supervisado 2. No se dispone de etiquetado o no práctico: aprendizaje no supervisado

20 Sistemas de Reconocimiento de Patrones p. 20/33 Clases con Distribución Normal Suponemos clases responden a distribuciones normales (Gaussianas): p(x ω i ) = 1 (2π) n 2 Σ i 1 2 exp ( 1 2 (x µ i)σ 1 i (x µ i ) T) i = 1,,m µ i = E [x ω i ] vector medio Σ i = Cov[x ω i ] = E [ (x µ i )(x µ i ) T ω i ] matriz de covarianza

21 Sistemas de Reconocimiento de Patrones p. 21/33 Mínimo Error y Dist. Normal Maximizo logaritmos en regla de mínimo error log P(ω k ) 1 2 ( n log(2π) + log Σ k + (x µ k )Σ 1 k (x µ k) T) Si saco ( 2) y agrupo términos debo minimizar siendo (x µ k )Σ 1 k (x µ k) T C k C k = 2 log P(ω k ) (n log(2π) + log Σ k )

22 Sistemas de Reconocimiento de Patrones p. 22/33 Densidades uniformes Si se cumplen las condiciones siguientes: P(ω k ) = 1 m y log Σ k = log Σ k 1 k k m la regla de mínimo error se simplifica a: (x µ j )Σ 1 j (x µ j ) T = min 1 k m Definimos una norma para cada clase: [ (x µ k )Σ 1 k (x µ k) T] x Ω x 2 k = xσ 1 k xt 1 k m Asignar x ω j x µ j j = min 1 k m x µ k k

23 Sistemas de Reconocimiento de Patrones p. 23/33 Caso particular 1 A prioria y covarianzas contantes ente clases: Σ i = Σ j = Σ y P(ω i ) = P(ω j ) 1 i j m Norma y distancia de Mahalanobis asociadas a Σ x 2 = xσ 1 x T d(x,x ) = x x x,x Ω Regla de decisión por media más cercana: Asignar x ω j d(x,µ j ) = min 1 k m d(x µ k)

24 Sistemas de Reconocimiento de Patrones p. 24/33 Asignación por media más cercana µ 2 d( x, µ 3 ) d( x, µ 2 ) x d( x, ) µ 1 Ω µ 1 µ 3 Figure 4: Asignación por media más cercana.

25 Sistemas de Reconocimiento de Patrones p. 25/33 Caso particular 2 Problema general de decisión entre 2 clases m = 2, Σ 1 Σ 2 Aplicando regla de Bayes vemos que la ecuación f(x) = x µ 1 1 x µ C 2 C 1 = 0 define la superficie discriminante entre las clases En general esta es una superficie cuadrática x T( Σ 1 1 ) Σ 1 2 x 2x T( Σ 1 1 }{{} µ 1 Σ 1 2 µ ) 2 + }{{} cuadrático lineal ( µ T 1 Σ 1 1 µ 1 µ T 2 Σ 1 2 µ ) 2 + C 2 C 1 }{{} constante = 0.

26 Sistemas de Reconocimiento de Patrones p. 26/33 Caso particular 3 Tenemos 2 clases con la misma covarianza m = 2, Σ 1 = Σ 2 = Σ Se anula el término cuadratico supeficie discriminante lineal en función de x La superficie de separación es un hiperplano x T Σ 1( µ 1 µ 2 ) +cte = x T w+cte = 0 w = Σ ( µ 1 µ 2 ).

27 Sistemas de Reconocimiento de Patrones p. 27/33 Clasificador Lineal x T w + cte = 0 µ 2 w Ω µ 1 Figure 5: Clasificador Lineal.

28 Sistemas de Reconocimiento de Patrones p. 28/33 Inferencia de los parámetros Los parámetros µ i y Σ i se podrían estimar a partir del conjunto de entrenamiento {x ij i = 1,,m; j = 1,,N i } con x ij ω i Patrón medio para la clase ω i ˆµ i = 1 N i N i j=1 Matriz de covarianza de clase ω i x ij ˆΣ i = 1 N i ( )( ) T xij ˆµ N i xij ˆµ i i j=1

29 Sistemas de Reconocimiento de Patrones p. 29/33 Criterio de Clasificación Minimax Supongamos 2 clases donde no conocemos las a priori. Diseñamos el clasificador para que el riesgo en el peor caso sea lo más chico posible R = Γ 1 ρ 12 P(ω 2 )P(x ω 2 )dx + Γ 2 ρ 21 P(ω 1 )P(x ω 1 )dx R(P(ω 1 )) = ρ 12 Γ 1 P(x ω 2 )dx+ P(ω 1 ) [ρ 21 P(x ω 1 )dx ρ 12 Γ 2 ] P(x ω 2 )dx Γ 1

30 Sistemas de Reconocimiento de Patrones p. 30/33 Solución Minimax Una vez fijos Γ 1 y Γ 2 R es función lineal de P(ω 1 ). Solución Minimax: Hacer la pendiente 0 R independiente de la a priori. R mm = ρ 12 Γ 1 P(x ω 2 )dx = ρ 21 Γ 2 P(x ω 1 )dx Buscar la a priori P(ω 1 ) para la cual el riesgo de Bayes es máximo y construye la decisión óptima para ese caso.

31 Sistemas de Reconocimiento de Patrones p. 31/33 Evaluación de Desempeño Tengo patrones etiquetados x j γ j j = 1,,N independientes del conjunto de entrenamiento. El sistema evaluado asigna x j β j j = 1,,N. Se definen las v.aleatorias { 0 si γ j = β j η(x j ) = 1 si γ j β j Media y varianza de η(x), x Ω son E [η] = Ω ǫ(x)p(x)dx = e E [ (η e) 2] = Ω ǫ(x)p(x)dx e2 = e(1 e) η es Bernoulli con p{η = 1} = e

32 Sistemas de Reconocimiento de Patrones p. 32/33 Estimación del Error Hago N obs. independientes de η y ê = 1 N N j=1 η j ê es Binomial com media e ê estimador insesgado del error medio e Se calcula la varianza como Var [ê] = E [ ê 2] e 2 = 1 N 2 N j=1 N k=1 E [η j η k ] e 2 = 1 N e(1 e) Por tanto la desviación del estimador es σê = e(1 e) N 1 2 N

33 Sistemas de Reconocimiento de Patrones p. 33/33 Desempeño: Conclusiones Podemos estimar el error medio de clasificación e aplicandole nuestro sistema a conjunto de patrones de clases conocidas. Estimo el error contando las discrepancias entre clase verdadera y la etiqueta asignada por el sistema. Notar: Si e 1% necesitamos número grande de muestras para verificar con confianza relativa razonable. σê e = (1 e) en N 0.1 N 104