License Plate Detection using Neural Networks Luis Carrera, Marco Mora Les Fous du Pixel Image Processing Research Group Department of Computer Science Catholic University of Maule http://www.lfdp-iprg.net Jose González, Francisco Aravena TUTELKAN http://www.tutelkan.com 4 th International Workshop on Soft Computing Models in Industrial Applications IWANN-SOCO 2009
Reconocimiento de matriculas Descripción El reconocimiento de matrículas (LPR) consiste en reconocer los caracteres de la patente, usando una imagen de la zona frontal o trasera del vehículo Etapas Adquisición de la imagen Localización de la patente Segmentación de los caracteres Reconocimiento de los caracteres 2
Localización de matriculas Descripción La localización consiste en localizar la región de la imagen donde se encuentra la patente Objetivo Desarrollar un método robusto basado en redes neuronales para la localización de patentes 3
Método para la localización de patentes Método Adquisición y Preprocesamiento Imagen (RGB) de 320*240 pixeles Conversión a modo color HSV Selección del Canal V Clasificación mediante redes neuronales Clasificación de descriptores estadísticos de regiones Red neuronal MLP Clasificación múltiple Mejoramiento Operaciones Morfológicas Heurísticas de forma y tamaño 4
Algoritmo de Entrenamiento MLP Desventajas MLP Baja velocidad de convergencia : Gradiente Descendiente Mala generalización: Metodo Adoptado: Regularización Bayesiana Alta velocidad de convergencia : Levenberg-Marquart Buena generalización: Determinar número de neuronas capa oculta.
Efectos de la regularización Sin Regularización Con Regularización
Descriptores para caracterizar la patente Media (m) Desviación estándar (σ), Medida de suavidad (R), Tercer momento estadístico (µ3) Medida de uniformidad (U) Entropía (e). Contraste z(min)/z(max). 7
Lo que piensa la mayoría!!!! Se necesita tomar decisión compleja 1 experto 1 opinión poca información varios expertos varias opiniones mas información Como decidir mejor? Cual es lo correcto?
Clasificación múltiple Ideas Claves Se basa en que zonas en la imagen sean analizadas más de una vez Se realizan varias clasificaciones, cada una de ellas con grillas que se encuentran parcialmente desplazadas. Se determina la pertenencia de un pixel a la patente considerando el resultado mas frecuente entre todas las imágenes binarias. 9
Etapas de mejoramiento de la clasificación Etapas Erosión Heurísticas de forma y tamaño Dilatación Resultado de la clasificación múltiple Resultado de la etapa de mejoramiento 10
Etapa de erosión Idea clave Desconectar regiones conexas Adelgazamiento de objetos Eliminación de objetos pequeños Resultado de la clasificación múltiple Resultado de la etapa de mejoramiento 11
Algoritmo para Heurísticas de forma y tamaño Idea clave : A partir de las región de mayor tamaño Calcula el mínimo rectángulo que encierra la región Aplicación de heurística de forma Si no cumple heurística seguir con regiones de menor tamaño Forma de rectángulos de patente Forma de rectángulos de no patente 12
Etapa de dilatación Idea clave Devolver el tamaño original de los objetos 13
Resultados acertados (95%) 14
Resultados erróneos (5%) 15
Conclusiones y trabajos futuros Conclusiones Este paper ha presentado un nuevo método de detección de patentes basado en un MLP. La clasificación múltiple ha contribuido a obtener un mejor resultado para la segmentación de regiones de patentes Las operaciones morfológicas y heurísticas basadas en la forma y el tamaño de la patente, mejoran los resultados de la segmentación Trabajos futuros El estudio de nuevos descriptores para caracterizar la patente. Verificación de la región obtenida mediante otros criterios Análisis de la firma de la patente mediante proyección Proponer un esquema de reconocimiento basado en nuestro método de localización 16
Agregando Nuevos Puntos de Vista RN (1) RN (n) Fusion Mejoramiento Verificación Metodo (1) Metodo (n)
Resultados Recientes (sin publicar) Localización de la Matrícula basado en Fusión de Métodos
Resaltar Fondo de la Patente Transformación Morfológica 1: Top Hat (1) Imagen escala de grises (2) Erosión y Dilatación con mismo SE línea horizontal (Apertura) ( 3) Imagen original - imagen resultante (4) Binarización
Transformación Morfológica 2 : Bottom- Hat Resaltar Caracteres de la Patente (1) Imagen Original (2) Dilatación y Erosión con mismo SE- línea horizontal (Cierre) (3) Imagen Resultante - Imagen Original (4) Binarización
Combinación Transformación 1 y 2 Entrega la información de región de patente (1) Imagen Original (2) Transformacion 1 (3) Transformacion 2 (4) Combinacion T1 y T2
Transformación Morfológica en Imagen Binaria Entrega la información de región de patente (1) imagen escala de grises (2) Combinación T1 y T2 (3) Eliminación y relleno de regiones
Redes Neuronales y Métodos de morfología Original Redes Neuronales Trans. Morfologicas Fusion
Resultados