Aprendizaje y Percepción

Transcripción

1 Aprendizaje y Percepción Facultad de Informática Universidad Politécnica de Valencia Tema 2: Preproceso y Extracción de Características: Imágenes Enrique Vidal, Alfons Juan, Roberto Paredes, Jorge Civera DSIC UPV: Febrero, 2011 Índice 1 Adquisición y Preproceso de Imágenes 1 2 Una tarea simple: Reconocimiento de Caracteres Manuscritos (OCR) 7 3 Extracción de Características: métodos directos 12 4 Extracción de Características: métodos locales 19 5 Extracción de Primitivas: Códigos de contorno 26 DSIC UPV: Febrero, 2011 Página 2.1

2 ANÁLISIS de IMÁGENES Las imágenes constituyen el soporte de uno de los medios más importantes del sistema perceptivo humano (y de los animales superiores). Innumerables aplicaciones tales como el reconocimiento óptico de caracteres (OCR), reconocimiento de huellas dactilares, identificación de rostros, reconocimiento de elementos en imágenes biomédicas (ej. cromosomas), teledetección análisis de escenas, robótica,..., etc. Problemas específicos asociados a la gran cantidad de información que en ocasiones hay que manejar. El procesado de imágenes tiene interés per se, con independencia de su uso para el reconocimiento. DSIC UPV: Febrero, 2011 Página 2.2 ADQUISICIÓN de IMÁGENES Imagen: Función f(x, y) que representa el brillo en cada punto de coordenadas x, y Imagen Digital: f(x, y) discretizada en su dominio (coordenadas) y rango (brillo) Muestreo: Discretización del dominio; Cuantificación: Discretización del rango Resolución espacial: píxeles/pulgada; Niveles o colores: bits/pixel Origen y Y x f(x,y) Intensidad de luz (brillo) medida en las coordenadas espaciales (x,y) X DSIC UPV: Febrero, 2011 Página 2.3

3 EJEMPLO de DISPOSITIVO de ADQUISICIÓN Scanner plano Resolucion óptica: 600 ppp Modos de exploración: 1 bit (blanco y negro) 4 bits (16 niveles de gris) 8 bits (256 niveles de gris) 24 bits (16,7 millones colores) A 100 ppp y 8 bits: 827 pixels/linea x 1169 lineas x 1 byte/pixel = 1 Mbyte 11,69 p (29,7 cm) 8,27 p (21 cm) A4 DSIC UPV: Febrero, 2011 Página 2.4 LÍMITES de la RESOLUCIÓN ESPACIAL Imagen Original e imágenes muestreadas con frecuencias espaciales o resoluciones de 128, 64 y 32 puntos por pulgada (ppp): Al reducir la resolución se van perdiendo detalles cada vez mayores. DSIC UPV: Febrero, 2011 Página 2.5

4 ALIASING, FRECUENCIA de NYQUIST y TEOREMA del MUESTREO Imagen Original (1x1 pulgadas) Frecuencia Espacial de las periodicidades ( detalles ) de interés más finas: P 50ppp Imágenes Digitales: A:140ppp, B:70ppp, C:44ppp, D:22ppp Frecuencia de Nyquist (Teorema del Muestreo): Si P es la frecuencia espacial de la periodicidad mas fina en una imagen y F es la resolución de muestreo, la imagen original sólo podrá ser fielmente reproducida si: F > 2P DSIC UPV: Febrero, 2011 Página 2.6 Índice 1 Adquisición y Preproceso de Imágenes 1 2 Una tarea simple: Reconocimiento de Caracteres Manuscritos (OCR) 7 3 Extracción de Características: métodos directos 12 4 Extracción de Características: métodos locales 19 5 Extracción de Primitivas: Códigos de contorno 26 DSIC UPV: Febrero, 2011 Página 2.7

5 UNA TAREA SIMPLE DE RECONOCIMIENTO DE IMÁGENES: Reconocimiento de caracteres manuscritos (OCR) El objetivo es reconocer texto manuscrito. Reconocimiento de caracteres aislados versus texto continuo. Sistemas On-Line y Off-Line. La tecnología actualmente disponible permite alcanzar prestaciones cercanas a las humanas en reconocimiento de caracteres aislados. Sistemas comerciales ya disponibles con buenas prestaciones para caracteres impresos aislados y con prestaciones aceptables para caracteres manuscritos. DSIC UPV: Febrero, 2011 Página 2.8 IMÁGENES DE CARACTERES MANUSCRITOS (Tarea OCR ) DSIC UPV: Febrero, 2011 Página 2.9

6 PREPROCESO de IMÁGENES: Técnicas básicas aplicables a OCR Imagen digital original (b/n, 128x128) Caja de mínima inclusión (b/n, 49x45) Normalización del "aspect ratio" (b/n, 49x49) Normalización de tamaño o escalado (gris 32x32) Suavizado [opcional] (gris, 32x32) Binarización [opcional] (b/n, 32x32) DSIC UPV: Febrero, 2011 Página 2.10 PREPROCESO de IMÁGENES OCR (otro ejemplo) Imagen digital original Caja de mínima inclusión Normalización del aspect ratio Normalización de tamaño (escalado) Suavizado (opcional) Binarización (opcional) DSIC UPV: Febrero, 2011 Página 2.11

7 Índice 1 Adquisición y Preproceso de Imágenes 1 2 Una tarea simple: Reconocimiento de Caracteres Manuscritos (OCR) 7 3 Extracción de Características: métodos directos 12 4 Extracción de Características: métodos locales 19 5 Extracción de Primitivas: Códigos de contorno 26 DSIC UPV: Febrero, 2011 Página 2.12 EXTRACCIÓN de CARACTERÍSTICAS en OCR: Ejemplos de dígitos manuscritos 6 y 7 normalizados DSIC UPV: Febrero, 2011?? Página 2.13

8 OCR: Ejemplo simple de representación en 1 dimensión Histograma de Seises Histograma de Sietes 35 Seis 35 Siete Frecuencia Frecuencia Brillo Total Brillo Total DSIC UPV: Febrero, Página 2.14 OCR: Ejemplo simple de representación en 1 dimensión (cont.) Histogramas superpuestos de Seises y Sietes Seis Siete 25 Frecuencia Brillo Total DSIC UPV: Febrero, Página 2.15

9 OCR: Ejemplo simple de Representación en 2 Dimensiones Seises, Sietes, Ochos y Cincos en 2 dimensiones Seis Siete Ocho Brillo Parte Inferior Brillo Parte Superior DSIC UPV: Febrero, 2011 Página 2.16 OCR: Ejemplo simple de Representación en 2 Dimensiones Seises, Sietes, Ochos y Cincos en 2 dimensiones Seis Siete Ocho Cinco Brillo Parte Inferior Brillo Parte Superior Solapamiento problemático. Posible Solución: aumentar la dimensionalidad DSIC UPV: Febrero, 2011 Página 2.17

10 UNA TÉCNICA SIMPLE de EXTRACCIÓN de CARACTERÍSTICAS en OCR MÉTODO GEOMÉTRICO DIRECTO: La imagen se somete a preproceso y normalización a un tamaño vertical y horizontal fijo, (en general) pequeño I J. Este proceso produce finalmente una imagen de grises ( PGM ). El brillo de cada pixel se considera una componente de la representación vectorial d-dimensional de la imagen, d = I J. (255, 255, 235, 137,...,120,194, 255, 255) (8x8 = 64 dimensiones) DSIC UPV: Febrero, 2011 Página 2.18 Índice 1 Adquisición y Preproceso de Imágenes 1 2 Una tarea simple: Reconocimiento de Caracteres Manuscritos (OCR) 7 3 Extracción de Características: métodos directos 12 4 Extracción de Características: métodos locales 19 5 Extracción de Primitivas: Códigos de contorno 26 DSIC UPV: Febrero, 2011 Página 2.19

11 EXTRACCIÓN DE CARACTERÍSTICAS: MÉTODOS LOCALES FUNDAMENTO INTUITIVO Mientras que globalmente un objeto puede cambiar bastante, localmente puede que existan partes del mismo que permanezcan intactas. Ambos caracteres son un 5 pero globalmente el de la derecha lo podríamos confundir por un 6 o por un 0. Pero localmente tiene más partes de 5. DSIC UPV: Febrero, 2011 Página 2.20 EXTRACCIÓN DE CARACTERÍSTICAS: MÉTODOS LOCALES Cada imágen es representada por varias partes de la misma. Se escogen zonas de la imagen con información relevante. Por ejemplo ventanas de la imágen donde exista una cierta variación de los niveles de grises Imagen original 20x20 pixels (vector 400-dimensional) Representación local: 4 características locales de 11x11 pixels (4 vectores 121-dimensionales). En este método un objeto se representa por un número variable de vectores. DSIC UPV: Febrero, 2011 Página 2.21

12 EXTRACCIÓN DE CARACTERÍSTICAS: MÉTODOS LOCALES Se obtienen representaciones de una dimensionalidad menor. No se almacena ninguna información de la posición relativa de la característica local dentro de la imagen original. Las representaciones locales son invariantes a la traslacion. DSIC UPV: Febrero, 2011 Página 2.22 OTRO EJEMPLO: RECONOCIMIENTO FACIAL Las características locales cobran verdadera importancia cuando los objetos que representan estan formados por varias estructuras más sencillas. Cara = cejas + ojos + nariz + boca + barbilla + contorno Representación Directa: Mucha diferencia entre ambas imágenes. Representación Local: Sólo varía la posición relativa de las partes. DSIC UPV: Febrero, 2011 Página 2.23

13 OTRO EJEMPLO: RECONOCIMIENTO FACIAL Las características locales extraidas son muy similares: DSIC UPV: Febrero, 2011 Página 2.24 OTRO EJEMPLO MÁS: HUELLAS DACTILARES Se detectan zonas donde hay información relevante ( minucias ) y en ellas se extrae información local (posición y orientación) DSIC UPV: Febrero, 2011 Página 2.25

14 Índice 1 Adquisición y Preproceso de Imágenes 1 2 Una tarea simple: Reconocimiento de Caracteres Manuscritos (OCR) 7 3 Extracción de Características: métodos directos 12 4 Extracción de Características: métodos locales 19 5 Extracción de Primitivas: Códigos de contorno 26 DSIC UPV: Febrero, 2011 Página 2.26 REPRESENTACIÓN ESTRUCTURAL: EXTRACCIÓN de PRIMITIVAS Aproximación Geométrica/Estadística al RF: Los objetos se representan como tuplas de propiedades o características; es decir como puntos de un espacio vectorial. Aproximación Estructural/Sintáctica al RF: Los objetos se consideran compuestos de subobjetos mas simples. Los subobjetos elementales se denominan primitivas. Una composición simple de primitivas es la concatenación. La composición o estructura de primitivas se suele representar mediante modelos sintácticos (gramáticas). DSIC UPV: Febrero, 2011 Página 2.27

15 REPRESENTACIÓN ESTRUCTURAL EN OCR: una técnica básica de extracción de primitivas Códigos de Contorno de 4 y de 8 direcciones. 4d d cont 3.8cont d: d: DSIC UPV: Febrero, 2011 Página 2.28 CÓDIGOS de CONTORNO (CONT.) 1 4 direcciones 8 direcciones DSIC UPV: Febrero, 2011 Página 2.29

16 IMÁGENES MICROSCÓPICAS de CROMOSOMAS HUMANOS DSIC UPV: Febrero, 2011 Página 2.30 EXTRACCIÓN de PRIMITIVAS y REPRESENTACIÓN ESTRUCTURAL de un CROMOSOMA Centrómero Cromosoma 2a densidad gris derivada dens.gris posicion longitudinal "=====CDFDCBBBBBBBA==bcdc==DGFB=bccb==... ==cffc=ccc==cdb==bcb==dfdcb=====" Cadena de Primitivas DSIC UPV: Febrero, 2011 Página 2.31

17 Ejemplos de Cromosomas Representados mediante Cadenas de Primitivas 1: A===B==aA=a====B==a==B==aA=a=A==b===A==a=C===d====B===a==C==d===C==c===A====b==a A==A===a===A=a==A=a===C===b==A=a=====D=====e=====B===a==B==c===A==a====A===a=a 2: A=A=a=A==a===A==a=A===a===Aa==B==b====A===a===C===aA==a===C==d===A=aA==b===Aa=a A=A==a=A=a==A=a=A===a==B==a=A=a=====A==a====C==aA==c===D==d======A==b====a 3: A=B==a==B====a=a===A==a===D=aA==c==A=b===A==B=aA===c====A==b=a A=B=a==C=====b==A==a==C====b===A====b====B==a==A==d===A==a=a 4: A====D==b====C=e===C==b====C===b===B=====b=====B===d=======a A======E======b==A=a==B===b===A===a===B=a=A==c===C======d=Ab==a 5: A=====C==a==A=a==A====a===C==a=A=a=A===d===B=a=C==e====a A=========E===c==A==a=Aa==A=a====C===a=A==a=A====c===A==aA====c==Aa=a 6: A=B===a===B===b=====B==a===B==b==Aa===C===c====A==a=A==b=A=b==A==a=a A==B==a==B===b=======C==a==B=c=====B===b===B==b==A==bAb===A==a=a 7: A=====C===a===A==a=====A==b====D==d======D===d===A==b==Aa=a A====C==b===A==a===D==e=====C===c===C===b==A=b======a 8: A=B==a==A=a=B===a=Aa==B======a===B====d===A==b=a A==B=====a==A==a=A=a=A=a=====C===b====C===d====A===b==a 9: A=B=a=B===b==B==c=======E===b==B====e=======a A===C=====a===C==d====C===b===A==b=A=b===Aa=a 10: A=A=a==B=a==D===b==B===d====C==a=A===d=======a A=Aa=Aa=A=a=====C==b===D==d======A==a===B===c===A=a=a 11: A=====Ba==C===a==A===d======E=====e====A==a==a A=A=a===C===b====D=e=======C==a=B===d===A===a=a 12: A=====B===a==A====b====C=a=C====e========A==a=a A=Aa===C===a=A===c=====E======e=====Aa=A==a==a 13: A=A=a==B===a===A==a===D===b==A===c==A==b==a AAa====B===a===A=a===D=========d==A=b==a 14: A=Aa==B==a==C=a=B=c===A==a===B==d======A=aa A=Aa===B==a==B=a==B==b===A=a===C===e===A=a=a 15: A=A==a===E==b==A=a=A===d====A==a=A==a=a A=A=a====D==a======B====c====A==a=A==c=a 16: A=A=======a===E====d==A=b==Aa=A=a=a A=A=a=A===a====E==e==A==a=A=a==Aa=a 17: A==B==a==C==aA=c=====D======e====a A====A=a==B====b======E==e===A=a==a 18: A=B====a====D==c======C===e====a B=B=a======C=====c=====B=====d==a 19: AA========D==e=======A==a=a A====A=a===E====d==A=a==A===b=a 20: A=C===a===C==d==A=a=A====b=a A==C==a==C===e===A=a=A==a==a 21: A=A=a=====E====d==A=b=a A======E=====e====A=a=a 22: A=====E==e===A=a==A===a=a A=======E==d===A==a=A==b=a DSIC UPV: Febrero, 2011 Página 2.32