APLICACIÓN DE LAS MÁQUINAS DE SOPORTE VECTORIAL PARA EL RECONOCIMIENTO DE MATRÍCULAS

Transcripción

1 UNIVERSIDAD PONTIFICIA COMILLAS ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA (ICAI) INGENIERO INDUSTRIAL PROYECTO FIN DE CARRERA APLICACIÓN DE LAS MÁQUINAS DE SOPORTE VECTORIAL PARA EL RECONOCIMIENTO DE MATRÍCULAS AUTOR: ESTHER GUTIÉRREZ ALONSO MADRID, Junio 7

2 Autorizada la entrega del proyecto al alumno: Esther Gutiérrez Alonso LOS DIRECTORES DEL PROYECTO Eugenio Sánchez Úbeda Fdo: Fecha: Ana Berzosa Muñoz Fdo: Fecha: Vº Bº del Coordinador de Proyectos Tomás Gómez San Román Fdo: Fecha:

3 RESUMEN DEL PROYECTO iii APLICACIÓN DE LAS MÁQUINAS DE SOPORTE VECTORIAL PARA EL RECONOCIMIENTO DE MATRÍCULAS Autor: Gutiérrez Alonso, Esther. Directores: Sánchez Úbeda, Eugenio; Berzosa Muñoz, Ana. Entidad Colaboradora: ICAI Universidad Pontificia Comillas. RESUMEN DEL PROYECTO En la actualidad, el reconocimiento automático de matrículas tiene numerosas aplicaciones: identificar vehículos robados, realizar automáticamente el pago en peajes, controlar el acceso en los aparcamientos, etc. Habitualmente, el reconocimiento se basa en técnicas de Inteligencia Artificial, siendo el método más utilizado el de las redes neuronales. Éstas han demostrado tener una buena capacidad para identificar matrículas, pero no resultan fiables al %. Como alternativa al empleo de redes neuronales artificiales para realizar el reconocimiento, es posible utilizar otro tipo de técnicas de Inteligencia Artificial. En concreto, las Máquinas de Soporte Vectorial (también conocidas como SVM) han demostrado ser superiores en muchos campos como, por ejemplo, el del reconocimiento facial. Destacan por su gran versatilidad y por sus prestaciones. Son un método de clasificación que se basa en encontrar el mejor hiperplano que separa dos conjuntos de datos pertenecientes a dos clases distintas. Para ello, se maximiza la distancia al punto más cercano de cada clase con el fin de obtener el menor error de generalización. Para hallar la frontera de separación, es necesario resolver un problema de optimización usando técnicas de programación cuadrática. A partir del hiperplano ajustado, se pueden clasificar nuevos datos en una de las dos categorías. Además, la SVM permite la separación de datos no linealmente separables, transformando los datos de entrada a un espacio de mayor dimensión conocido como espacio de características en el que sí pueden ser separados mediante un hiperplano. La transformación se realiza mediante unas funciones denominadas núcleo o kernels. Modificando distintos parámetros de las SVM se pueden obtener diferentes tipos de fronteras de separación. Habitualmente, las SVM se emplean para clasificación binaria. Para implementar las SVM, se ha utilizado una librería de Matlab específicamente desarrollada para trabajar con ellas.

4 RESUMEN DEL PROYECTO iv En el reconocimiento de matrículas se tienen más de dos clases, puesto que cada letra y cada número a reconocer representan una categoría distinta. Para realizar dicha clasificación, es necesario resolver tantos problemas binarios como clases haya que identificar. En cada uno de ellos se considera una clase positiva y el resto negativas. Para ello, se ha desarrollado una aplicación que permite emplear las SVM de clasificación binaria con datos de más de dos clases. Antes de estudiar el comportamiento de las SVM en el reconocimiento de matrículas, se ha partido de un caso sencillo en el que se estudia la clasificación de tres tipos de figuras para poder analizar con mayor facilidad la capacidad de las SVM en la identificación de imágenes. Para ello, se ha realizado un generador de imágenes sintéticas que representan distintos símbolos. Las imágenes se tratan como matrices de números en las que el valor de cada elemento se corresponde con el color de cada píxel. Una de las dificultades del problema del reconocimiento de matrículas reside en encontrar, a partir de dichas matrices, unas variables adecuadas que ayuden a identificar cada carácter. Se ha estudiado el porcentaje de error cometido al clasificar las distintas imágenes utilizando distintos tipos de variables y para diferentes parámetros de la SVM. Para ello, se parte de un conjunto de datos denominado de aprendizaje con los que se obtiene el hiperplano de separación. El error se calcula clasificando otro conjunto de datos (conjunto de test o evaluación) y comparando su clase real con la que determina la SVM. Se ha podido comprobar que la capacidad de reconocimiento de la SVM depende en gran medida del tipo de variables empleadas y de los parámetros que permiten obtener distintos tipos de hiperplanos. Ajustando adecuadamente dichos parámetros, se ha llegado a conseguir un porcentaje de acierto del % en el caso de que las imágenes no estén contaminadas con ruido. Con niveles elevados de ruido, se obtienen porcentajes de error inferiores al %. Para la clasificación de las matrículas, se ha desarrollado previamente un generador de imágenes sintéticas (en escala de grises) que representan distintos caracteres que pueden aparecer en una matrícula real (letras y números). Para ello se han simulado efectos como que la matrícula pueda estar parcialmente doblada o inclinada, que la imagen capturada por la cámara sea poco nítida o que haya habido errores en el proceso de segmentación de la matrícula y los caracteres aparezcan desplazados. Utilizando el simulador desarrollado, se han generado del orden de ejemplos de caracteres, estudiándose por separado los números y las letras. Cada imagen tiene un

5 RESUMEN DEL PROYECTO v tamaño de x píxeles, con tonos de gris para cada píxel. Además de utilizar directamente estos datos como variables de entrada, se han utilizado otras variables derivadas para ayudar a la clasificación, así como preprocesados previos como la transformación de la imagen a blanco y negro puros. Entre las variables derivadas se han considerado las obtenidas al calcular histogramas, diferencias con imágenes patrón, diferentes reescalados, etc. Para el caso de los números, se ha logrado un error mínimo de un,% de las imágenes del conjunto de test, mientras que para las letras se ha alcanzado un,3%. Estos porcentajes son reducidos sobre todo considerando el elevado número de clases a reconocer, especialmente en el caso de las letras. Además, gracias a haber utilizado imágenes sintéticas, se ha podido analizar el efecto independiente que tienen las posibles deformaciones de las matrículas en los errores de clasificación, siendo el reconocimiento especialmente sensible a las traslaciones de los caracteres. Imágenes reales Imágenes sintéticas correctamente reconocidas

6 RESUMEN DEL PROYECTO vi NUMBER PLATE RECOGNITION USING SUPPORT VECTOR MACHINES Automatic Number Plate Recognition can be applied at present for many purposes: identification of stolen vehicles, automatic toll payments, access control for car parks, etc. Recognition is usually based on Artificial Intelligence techniques, being neuronal networks the method most often used. These networks have shown a good capacity for recognizing number plates, although they are not % reliable. Other Artificial Intelligence techniques can be applied as an alternative to artificial neuronal networks for recognition purposes. Specifically, Support Vector Machines (or SVMs) have demonstrated to be superior in many areas such as facial recognition and they stand out due to their high versatility and features. They represent a method of classification based on finding the best hyperplane for separating two sets of data, each of a different class. For this aim, it is necessary to maximize the distance to the nearest point of each class of data, in order to minimize the generalisation error. To obtain the boundary of separation, a problem of optimization has to be solved, applying quadratic programming techniques. With the adjusted hyperplane, it is possible to classify new data within one of the two categories. Moreover, SVMs permit the separation of data that are not linearly separable, transforming input data into a larger space known as feature space which enables it to be separated via the hyperplane. This transformation is done through functions known as kernels. It is possible to obtain different types of separation boundaries by modifying the parameters of the SVM. Support Vector Machines are usually used for binary classification. A Matlab toolbox specially developed to work with SVMs has been employed to implement them. In the number plate recognition, more than two data classes are present, since each letter and number to be recognized represent a different category. For this classification, it is necessary to resolve as many binary problems as there are classes to identify. Within each one, there is one positive class while the rest are negative. With that purpose, an application has been developed to employ binary SVMs classification with more than two classes of data. Prior to studying the behaviour of SVMs for the recognition of number plates, a simple case was presented, studying the classification of three types of figures in order to more

7 RESUMEN DEL PROYECTO vii easily analyse the SVM capacity for the identification of images. To this end, a generator of synthetic images representing different symbols was employed. The images were treated as matrices of numbers in which the value of each element represents the colour of each pixel. One of the difficulties of the problem of number plate recognition lies in finding adequate variables from such matrices that help to identify each character. The percentage of error occurring in the classification of images using different types of variables and for different SVM parameters was studied. For this purpose, a set of data known as training data was used to obtain the hyperplane of separation. The error is calculated by classifying another data set (test data) and comparing its real class versus the one determined by the SVM. It was verified that the SVM s recognition capacity depends to a great extent on the type of variables employed and the parameters that allow to obtain different types of hyperplanes. Once such parameters are adjusted, a success level of % is reached when images are not contaminated with noise. With high noise levels, error percentages under % are obtained. For number plates classification, a generator of synthetic images (in a spectrum of greys) representing different real characters of plates (letters and numbers) was developed. For that, different effects were simulated: the number plate could be partially bent or inclined, the image caught by the camera is not sharp or errors appeared in the number plate s segmentation process and characters are wrongly placed. By using the developed simulator, around examples of characters were generated, separately studying numbers and letters. Each image has a size of x pixels, with shades of grey for each pixel. Besides the direct utilization of these data as input variables, other derived ones were used to facilitate the classification, as well as previous images processing such the character transformation into pure black and white. Between the derived variables, some as those obtained when calculating histograms, differences with pattern images or several figure sizes were considered. For numbers, the minimum error reached was.% of the images tested, while that for letters was.3%. These percentages are low especially if we consider the high number of data classes to be recognized, particularly in the case of letters. Moreover, the utilization of synthetic images allowed the analysis of the independent effect that number plate deformations could have in classification errors, being the recognition especially sensitive to wrong placed characters.

8 RESUMEN DEL PROYECTO viii Real images Synthetic images correctly recognized

9 Índice ix Índice INTRODUCCIÓN.... Reconocimiento automático de matrículas.... Objetivos del proyecto....3 Metodología... INTRODUCCIÓN A LAS MÁQUINAS DE SOPORTE VECTORIAL.... Máquinas de soporte vectorial para clasificación binaria SVM lineal con margen máximo 7.. SVM para la clasificación no lineal..3 SVM lineal con margen blando. Máquinas de soporte vectorial para clasificación multiclase Aplicación de las máquinas de soporte vectorial al reconocimiento de imágenes GENERADOR DE IMÁGENES SINTÉTICAS Clasificación de imágenes sin ruido Resultados para el conjunto de variables 3.. Resultados para el conjunto de variables (histogramas horizontal y vertical) Resultados para el conjunto de variables Análisis de los resultados de la clasificación de símbolos sin ruido Clasificación de imágenes con ruido Resultados de la clasificación entrenando la SVM con imágenes del mismo porcentaje de ruido que el estudiado Imágenes con un % de ruido Imágenes con un % de ruido Imágenes con un % de ruido Resultados de la clasificación entrenando la SVM con imágenes sin ruido 3..3 Comparación de los resultados obtenidos para datos de aprendizaje con ruido y sin ruido Resultados de la clasificación conjunta de datos con diversos niveles de ruido 3.3 Análisis de los resultados de la clasificación de imágenes generadas sintéticamente... APLICACIÓN DE LAS SVM AL RECONOCIMIENTO DE MATRÍCULAS.... Aplicación de las SVM al reconocimiento de números...

10 Índice x.. Clasificación de números centrados en la imagen con distintos niveles de ruido... Resultados de la clasificación Análisis de los resultados de la clasificación de los números centrados en la imagen..... Clasificación de números deformados... Tipo de imágenes generadas Resultados de la clasificación Análisis de los resultados de números deformados.... Aplicación de las SVM al reconocimiento de letras Clasificación de letras con distintos niveles de ruido 9... Resultados obtenidos Análisis de los resultados de la clasificación de las letras con distintos niveles de ruido Clasificación de letras deformadas Resultados de la clasificación de letras deformadas Análisis de los resultados de la clasificación de letras deformadas Análisis de los resultados de la clasificación de los caracteres de las matrículas CONCLUSIONES Conclusiones sobre los resultados Recomendaciones para futuros estudios... BIBLIOGRAFÍA.... Documentos.... Direcciones de Internet... A TABLAS DE RESULTADOS DE LA CLASIFICACIÓN DE LAS LETRAS... B MANUAL DE USUARIO... 9

11 Índice de Figuras xi Índice de Figuras Figura. Imagen de una matrícula borrosa... Figura. Imagen de una matrícula mal iluminada.... Figura 3. Localización de la matrícula en la imagen del vehículo... 3 Figura. Segmentación de la imagen de una matrícula Figura. Separación de un conjunto de datos mediante SVM Figura. SVM con margen máximo (en negro están representados los vectores soporte)... 9 Figura 7. Ejemplo de clasificación con SVM de margen máximo... Figura. Ejemplo de un conjunto de datos no linealmente separables... Figura 9. Transformación de los datos de entrada a un espacio de mayor dimensión... Figura. Fronteras de decisión obtenidas con una función núcleo gaussiana para σ= y σ=.. Figura. Clasificación con SVM de margen máximo de un conjunto de datos en el que existe un outlier.... Figura. Clasificación con SVM de margen blando... Figura 3. Fronteras de decisión para distintos valores de C... 7 Figura. Tratamiento de la fotografía de una matrícula oscura... Figura. Tratamiento de las imágenes y conversión en matrices.... Figura. Imágenes del conjunto de aprendizaje y valores de sus variables... 9 Figura 7. Frontera de decisión obtenida en la clasificación de las imágenes Figura. Representación de distintos símbolos obtenidos con el generador.... Figura 9. Imágenes con distinto nivel de ruido... 3 Figura. Imágenes no reconocidas por la SVM cuando σ = y cuando σ =... Figura. Valores de h(x) de las figuras de entrenamiento cuando σ=... Figura. Valores de h(x) de las figuras que forman el conjunto de validación... 9 Figura 3. Valores de h(x) de las figuras de entrenamiento Figura. Valores de h(x) de las figuras que forman el conjunto de validación... 3 Figura. Valores de h(x) de las figuras que forman el conjunto de aprendizaje para σ =... 3 Figura. Valores de h(x) de las figuras que forman el conjunto de validación σ = Figura 7. Valores de h(x) de las figuras que forman el conjunto de validación para σ = Figura. Fronteras de decisión obtenidas para la variable 3 y σ = 3 para símbolos sin ruido... 3 Figura 9. Fronteras de decisión obtenidas para la variable 3 y σ = para símbolos sin ruido... 3 Figura 3. Fronteras de decisión obtenidas para la variable 3 y σ = para símbolos sin ruido... 3 Figura 3. Ejemplo de figuras utilizadas para entrenar la SVM Figura 3. Fronteras de decisión para el conjunto de variables 3 y σ =....

12 Índice de Figuras xii Figura 33. Imágenes de una circunferencia, de una vertical y de una horizontal con un % de ruido.... Figura 3. Valores de h(x) para cada figura utilizada en el entrenamiento de la SVM.... Figura 3. Símbolos con un % de ruido... Figura 3. Error cometido en función del ruido para cada conjunto de variables.... Figura 37. Comparación de los resultados para el conjunto de variables Figura 3. Comparación de los resultados para el conjunto de variables.... Figura 39. Comparación de los resultados para el conjunto de variables Figura. Imágenes de una recta vertical y de una circunferencia clasificadas como círculos.. Figura. Porcentaje de error en función del ruido para distintos valores de σ... 7 Figura. Ejemplo de las imágenes de números y letras empleadas en la clasificación... Figura 3. Fotografías reales de matrículas.... Figura. Imágenes de dos números con distinto número de píxeles.... Figura. Imagen original e imagen modificada con la función imresize... Figura. Número antes de realizar un tratamiento de la imagen... 3 Figura 7. Histograma de los colores de la imagen Figura. Figura tratada... Figura 9. Imágenes patrón empleadas en la clasificación de números.... Figura. Ejemplo de dos figuras pertenecientes a la misma clase.... Figura. Imágenes con ruido empleadas en la clasificación... Figura. Imagen de x píxeles e imagen correspondiente de 3x3... Figura 3. Comparación de los resultados obtenidos para el conjunto nº, el nº y la combinación de ambos... Figura. Porcentaje de error cometido para cada conjunto de variables en función del ruido... Figura. Imagen rotada con la función imrotate e imagen corregida Figura. Ejemplos de imágenes desplazadas Figura 7. Ejemplo de imágenes dobladas horizontalmente... 3 Figura. Ejemplo de imágenes dobladas verticalmente... Figura 9. Ejemplo de imágenes deformadas con ruido... Figura. Números clasificados incorrectamente cuando se utilizan como variables los histogramas... Figura. Imágenes que representan el número mal clasificadas Figura. Imágenes mal clasificadas... 7 Figura 3. Porcentaje de error cometido para cada conjunto de variables... Figura. Imágenes patrón empleadas en la clasificación de las letras Figura. Histograma del porcentaje de imágenes indeterminadas de cada tipo de letra Figura. Histograma del porcentaje de imágenes incorrectamente clasificadas de cada letra.. 7

13 Índice de Figuras xiii Figura 7. Imágenes con un % de ruido mal clasificadas empleando el conjunto de variables nº... 7 Figura. Histograma del porcentaje de imágenes incorrectamente clasificadas de cada letra para el conjunto nº Figura 9. Histograma del porcentaje de imágenes incorrectamente clasificadas de cada letra para el conjunto nº Figura 7. Comparación del porcentaje de letras incorrectamente clasificadas tomando y 7 imágenes de aprendizaje... 7 Figura 7. Porcentaje de error cometido para cada conjunto de variables al variar el ruido Figura 7. Ejemplos de figuras mal clasificadas al utilizar los elementos de la matriz como variables Figura 73. Histograma de las figuras giradas mal clasificadas para los distintos ángulos de giro Figura 7. Número de figuras no reconocidas para cada letra y cada conjunto de variables Figura 7. Error en función del ruido en la clasificación de las letras y de los números... 77

14 Índice de Tablas xiv Índice de Tablas Tabla. Resultados de la clasificación utilizando el conjunto de variables para distintos valores de σ y de C... Tabla. Número de vectores soporte de cada modelo sobre un conjunto de entrenamiento de 9 ejemplos... Tabla 3. Resultados de la clasificación utilizando el conjunto de variables para distintos valores de σ Tabla. Número de vectores soporte de los tres modelos para el conjunto de variables y C=, sobre un conjunto de entrenamiento de 9 ejemplos... 3 Tabla. Número de vectores soporte de los tres modelos para el conjunto de variables Tabla. Comparación de los resultados obtenidos con el conjunto de variables y Tabla 7. Resultados de la clasificación de símbolos con un % de ruido Tabla. Resultados de la clasificación de símbolos con un % de ruido.... Tabla 9. Resultados de la clasificación de símbolos con un % de ruido.... Tabla. Resultados de la clasificación de un conjunto de datos con distintos niveles de ruido... Tabla. Resultados de la clasificación de números con un % de ruido empleando el conjunto de variables nº.... Tabla. Resultados de la clasificación de números con un % de ruido empleando el conjunto de variables nº Tabla 3. Resultados de la clasificación de números con un % de ruido empleando el conjunto de variables nº Tabla.. Resultados de la clasificación de números con un % de ruido empleando el conjunto de variables nº.... Tabla. Resultados de la clasificación de números con un % de ruido empleando los elementos de matrices 3x Tabla. Resultados de la clasificación para números con un 7% de ruido empleando el conjunto de variables nº Tabla 7. Resultados de la clasificación para números con un 7% de ruido empleando el conjunto de variables nº.... Tabla. Resultados de la clasificación para números con un 7% de ruido empleando el conjunto de variables nº.... Tabla 9. Resultados de la clasificación para números con un 7% de ruido empleando los conjuntos y.... Tabla. Clasificación realizada por la SVM para cada número.... Tabla. Clasificación realizada por la SVM para cada número....

15 Índice de Tablas xv Tabla. Imágenes no reconocidas por la SVM para cada tipo de deformación.... Tabla 3. Imágenes no reconocidas por la SVM para cada tipo de deformación Tabla. Imágenes no reconocidas por la SVM para cada tipo de deformación Tabla. Resultados de la clasificación de imágenes con un % de ruido empleando los histogramas de la matriz en blanco y negro... Tabla. Resultados de la clasificación de imágenes con un % de ruido empleando los elementos de la matriz en blanco y negro.... Tabla 7. Resultados de la clasificación de imágenes con un % de ruido empleando los histogramas de la matriz en blanco y negro... 7 Tabla. Resultados de la clasificación de imágenes con un % de ruido empleando el conjunto de variables nº.... Tabla 9. Resultados de la clasificación de imágenes con un 7% de ruido empleando los elementos de la matriz en blanco y negro Tabla 3. Resultados de la clasificación de imágenes con un 7% de ruido empleando los histogramas de la matriz en blanco y negro... 9 Tabla 3. Resultados de la clasificación de imágenes con un 7% de ruido empleando el conjunto de variables n º Tabla 3. Resultados de la clasificación de imágenes con un 7% de ruido empleando el conjunto de variables nº y un 7 imágenes de aprendizaje... 9

16 Introducción

17 Introducción Introducción. Reconocimiento automático de matrículas Detectar los automóviles que cometen una infracción de tráfico, identificar vehículos robados, realizar automáticamente el pago en peajes o controlar el acceso en los aparcamientos es posible gracias al reconocimiento automático de matrículas. Éste combina la aplicación de técnicas de tratamiento de imágenes con técnicas de reconocimiento de patrones, típicamente basadas en Inteligencia Artificial. En la actualidad, existen distintos métodos para el reconocimiento automático de matrículas (también conocido como ANPR: Automatic Number Plate Recognition). Éstos están basados fundamentalmente en redes neuronales, aunque no resultan fiables al %. Los casos en los que suelen fallar en mayor medida se producen cuando: - Los caracteres no son suficientemente nítidos debido a suciedad en la matrícula o porque algún objeto obstaculiza la visión. - La resolución de la fotografía es mala o la imagen está desenfocada y los caracteres aparecen borrosos (Figura ). Figura. Imagen de una matrícula borrosa. - La iluminación no es la adecuada (Figura ). Figura. Imagen de una matrícula mal iluminada. Como alternativa al empleo de redes neuronales artificiales para realizar el reconocimiento, es posible utilizar otro tipo de técnicas de Inteligencia Artificial. En concreto, las máquinas de soporte vectorial (también conocidas como SVM) han demostrado ser superiores en muchos campos, especialmente en el del reconocimiento facial. Una de las ventajas que presentan las SVM frente a las redes neuronales es su capacidad para minimizar el error de generalización (ver el capítulo ).

18 Introducción 3 Además, resultan mucho más versátiles debido a los parámetros que se pueden ajustar y que permiten optimizar la clasificación. Por estas razones, las SVM podrían ser una buena solución en el reconocimiento de matrículas, incluso en situaciones en las que otros clasificadores presentan un alto porcentaje de error. La primera etapa del reconocimiento de matrículas es realizar una fotografía del vehículo. Una vez capturada la imagen, es necesario localizar la matrícula dentro de dicha imagen y aislarla (Figura 3). Figura 3. Localización de la matrícula en la imagen del vehículo. A continuación, utilizando un segmentador se divide la fotografía de la matrícula en los diferentes caracteres que la forman como se puede observar en la Figura. Figura. Segmentación de la imagen de una matrícula. Los procesos de localización y segmentación se realizan combinando técnicas estadísticas (basadas en el análisis de histogramas) y de tratamiento de imágenes para obtener una imagen en blanco y negro puros. Una vez segmentada la matrícula, se identifican los diferentes caracteres que la forman, reconociendo cada uno de ellos por separado. Este proceso se realiza normalmente utilizando un modelo de clasificación que, a partir de la información de la imagen, decide el carácter al que corresponde. En el proyecto que nos ocupa, esta clasificación se va a realizar utilizando SVM.

19 Introducción. Objetivos del proyecto Los objetivos de este proyecto son los siguientes: - Estudiar y determinar las ventajas e inconvenientes de las máquinas de soporte vectorial en procesos de clasificación y su aplicación al reconocimiento de imágenes. - Desarrollar un prototipo que permita aplicar las SVM al reconocimiento de matrículas. - Desarrollar un generador automático de imágenes sintéticas para alimentar al reconocedor. - Evaluar los resultados obtenidos tanto en un caso sintético como en un caso real, discutiendo ventajas e inconvenientes del enfoque propuesto..3 Metodología El entorno de programación que se ha utilizada es Matlab. La ventaja que proporciona es que posee una librería destinada a la manipulación y el procesado de imágenes (la Image Processing Toolbox). Las funciones que contiene permiten trabajar fácilmente con el elevado número de fotografías que se han tenido que manejar para la realización de este proyecto. Para implementar las máquinas de soporte vectorial se ha usado una librería de Matlab desarrollada por la Universidad de Southampton disponible en la página Web Se han desarrollado un conjunto de funciones que permiten aplicar esta librería al reconocimiento de imágenes para, posteriormente, poder llevar a cabo las simulaciones necesarias para cumplir con los objetivos del proyecto. En este proyecto primero se ha estudiado la aplicación de las SVM a la identificación de figuras sencillas para analizar su capacidad de reconocer imágenes. Posteriormente, se han empleado para el reconocimiento de los caracteres de las matrículas.

20 Introducción a las Máquinas de Soporte Vectorial

21 Introducción a las máquinas de soporte vectorial Introducción a las máquinas de soporte vectorial Las máquinas de soporte vectorial surgieron como un método de clasificación basado en la teoría de minimización del riesgo estructural de Vapnik. En la actualidad, tienen numerosas aplicaciones debido a su versatilidad y a sus prestaciones. Las SVM se han utilizado con éxito en campos como la recuperación de información, la categorización de textos, el reconocimiento de escritura o la clasificación de imágenes. Para poder clasificar con las máquinas de soporte vectorial, se comienza realizando una etapa de aprendizaje. Consiste en encontrar el hiperplano h(x) = que mejor separe un conjunto de datos X R d según la clase Y {-,} a la que pertenecen. Dicho hiperplano se corresponde con el que maximiza la distancia al punto más próximo de cada clase, por lo tanto, estará a la misma distancia de los ejemplos más cercanos entre ellos de cada categoría. Según la teoría de Vapnik, el separador lineal que maximiza el margen ( veces la distancia al punto más próximo de cada clase) es el que nos da la mayor capacidad de generalización, es decir, la capacidad de distinguir características comunes de los datos de cada clase que permitan clasificar imágenes que no sean las del conjunto de entrenamiento. Para hallarlo, es necesario resolver un problema de optimización usando técnicas de programación cuadrática. A los datos que se utilizan para hallar la frontera de decisión (el hiperplano), se les conoce como vectores de entrenamiento o de aprendizaje. A partir de unos datos de entrada x i, las SVM nos proporcionarán su clase según la regla de clasificación f(x i) = signo(h(x i)).

22 Introducción a las máquinas de soporte vectorial 7 Hiperplano separador Clase Clase Margen Figura. Separación de un conjunto de datos mediante SVM. Tras la fase de aprendizaje, se comprueba el error cometido tomando otra muestra de datos (denominados conjunto de test o validación) y comparando la salida que obtenemos con su clase real. De una muestra de datos se suele tomar habitualmente un 7% como vectores de aprendizaje y el % restante se utiliza para poder comprobar la fiabilidad de la frontera de decisión obtenida.. Máquinas de soporte vectorial para clasificación binaria En los procesos de clasificación binaria sólo existen clases: una es considerada como la positiva (y = ) y la otra como la negativa (y = -). Puede ocurrir que los datos no sean linealmente separables o que exista un cierto nivel de ruido. Según esto se pueden emplear distintos tipos de SVM: SVM lineal con margen máximo, SVM para la clasificación no lineal o SVM con margen blando... SVM lineal con margen máximo Sólo se debe emplear cuando los datos son linealmente separables, es decir, cuando se puede usar como frontera de decisión un hiperplano h(x) tal que: h( x ) = ω T x + b = donde ω y x R d, siendo d la dimensión del espacio de entrada.

23 Introducción a las máquinas de soporte vectorial Supongamos que se tiene un conjunto de n datos linealmente separables {(x, y ), (x,y ),, (x n, y n)} donde x i R d e y i ={-,}. Entonces, según el lado en el que se encuentren respecto del hiperplano, se cumplirá: ω + b >, para y i =, i =,, n T x i ω + b <, para y i =, i =,, n T x i Estas ecuaciones pueden reducirse a: T y ( ω x + b) >, i =,, n i i Para la resolución del problema, se considera que los puntos más cercanos al hiperplano, denominados vectores soporte, cumplen: h ( ) =, para y i = x i h ( ) =, para y i = x i Por tanto, como no puede haber datos del conjunto de aprendizaje dentro del T margen, la ecuación y ( ω x + b) > quedaría: i i T y ( ω x + b), i =,, n i i La distancia dist(h,x) de un punto a un hiperplano es: dist ( h, x) = h( x) ω x Como se ha visto, los puntos más cercanos al hiperplano cumplen h ( ) =, por lo que su distancia al hiperplano sería: dist ( h, x) = ω Para hallar la frontera de decisión que mejor separa un conjunto de puntos según las SVM (es decir, encontrar los valores de ω y b), se resuelve un problema de

24 Introducción a las máquinas de soporte vectorial 9 optimización que consiste en maximizar la distancia dist(h,x) entre el hiperplano y el punto de entrenamiento más próximo: Max ω T Sujeto a: y ( ω x + b) i =,, n i i h ( x ) = y = h( x) = y = h( x) = ω ω Figura. SVM con margen máximo (en negro están representados los vectores soporte). Se puede demostrar que al minimizar ω / se obtiene la misma solución que al maximizar / ω. El problema se puede expresar en su formulación dual que es más fácil de resolver. Para ello, se utiliza la ecuación de Lagrange y las condiciones de Karush- Kuhn-Tucker: n L( ω, b, α ) = ω + α i= T ( y ( ω b ) i i x i + L( ω, b, α) = ω = ω n y i i= α ix i L( ω, b, α) = b i n y i i= T ( y ( ω x + b ) = i i α = α i n i

25 Introducción a las máquinas de soporte vectorial i T ( y ( ω x + b ) = α i n i T ( y ( x + b ) i i i ω i n α i n i Las condiciones de Karush-Kuhn-Tucker implican que, sólo en el caso en el que los datos no son vectores soporte, α =. i Sustituyendo en la ecuación de Lagrange, se obtiene la función objetivo de la formulación dual: L( ω, b, α) = n α n i i= i, j= T yi y jα iα jx i x j Maximizar n n α yi y jα iα i i= i, j= x T j i x j Sujeto a y α = n i= i i α i n i Al resolverlo, se obtiene la siguiente solución: n ω = yiα i= ix i T h( x) = ω x + b = yiα ix n i= T i x + b T T ( max { ω x } { ω }) b = y j y x i = + min i = j En la ecuación del hiperplano se puede observar que éste sólo depende de los vectores soporte ya que el resto de los puntos cumplen α =. Esto significa que si se volviera a calcular la frontera de decisión únicamente con los vectores soporte, se llegaría a la misma solución.

26 Introducción a las máquinas de soporte vectorial Ejemplo: En la Figura 7 se muestra un ejemplo de clasificación con SVM de margen máximo. Los cuadrados simbolizan y = y los círculos y = Figura 7. Ejemplo de clasificación con SVM de margen máximo. Al resolver el problema de optimización con los datos de la figura se obtuvieron los siguientes resultados: b = 7, α ( ), α ( ). y α ( ) (para el resto de los, =, = puntos α vale ). Con estos valores se obtienen ω y h(x):, = ω n = i= y α i ix i = (,) +. (,) +. (,) = (, ) h( x) = ω x + ωx + b = x + x 7 Los vectores soporte son los puntos (,), (,) y (,) puesto que son los únicos para los que α no es nulo. La distancia de estos puntos al hiperplano es: ( ) h x dist ( h, x) = ω = + = Para conocer la clase a la que pertenece un vector cualquiera, se aplica la regla f(x i)= signo(h(x i)). Por ejemplo, la clase de un vector x i cuyas coordenadas son (3,) sería: f ( x ) signo( h( x )) = signo(3 + 7) = y = i = i i

27 Introducción a las máquinas de soporte vectorial.. SVM para la clasificación no lineal Puede ocurrir que los puntos no sean linealmente separables en el espacio de entrada, como se muestra en el ejemplo de la Figura Figura. Ejemplo de un conjunto de datos no linealmente separables. Cuando esto sucede, existe la posibilidad de transformar los datos a un espacio I de mayor dimensión (el espacio de características) en el que los puntos sí pueden ser separados por un hiperplano (Figura 9). Para ello, se utiliza una función Φ, tal que: Φ : R D I x Φ(x) La frontera de decisión resultante en el espacio de entrada ya no será lineal. Espacio de entrada Espacio de características Figura 9. Transformación de los datos de entrada a un espacio de mayor dimensión. Las funciones que se usan para poder realizar esta transformación se llaman funciones núcleo o kernels. Representan el producto vectorial en el espacio de características.

28 Introducción a las máquinas de soporte vectorial 3 Si, por ejemplo, tuviéramos una transformación Φ de ( x, x ) = ( x, x x x ), R en 3 R : Φ, el producto escalar < Φ( x ), Φ( x ) > en el espacio de características sería: T T ( x, x x, x ) ( x, x x, x ) = ( x, x ) ( x, x ) ) =< x < Φ( x), Φ( x ) >= x >, Por lo tanto, el producto escalar < Φ( x ), Φ( x ) > en el espacio de características se puede calcular como < x, x >, es decir, a partir del producto escalar en el espacio de entrada. En este caso el kernel asociado al espacio de características es ( x, x ) =< x, x >. K La función núcleo permite calcular el producto escalar < Φ( x ), Φ( x ) > sin tener que calcular la transformación Φ. En las SVM de margen máximo, la solución que se obtenía era: h( x) n = i= T i i i x + y α x b Para obtener la frontera de decisión para la SVM no lineal, se sustituye el producto vectorial del espacio de entrada corresponde con la función núcleo: T x i x por el del espacio de características que se n = i= K( x x) b h( x) y α i, i i + Entre las funciones núcleo más utilizadas destacan: - La polinómica: T ( x ) = ( x x ) d K x, + c c R, d ℵ - La gaussiana: ( ) x x K x, x = exp σ > σ

29 Introducción a las máquinas de soporte vectorial - La sigmoidal: K T ( x x ) = tanh( s( x x' ) + r), s, r R Cuando se habla de kernel lineal se hace referencia al producto vectorial en el espacio de entrada que equivale a emplear la SVM de margen máximo: T ( x x ) = x x K, Según el tipo de función núcleo y de los valores de sus parámetros, se pueden obtener distintas fronteras de decisión. En la Figura se muestran fronteras obtenidas con una función gaussiana para el mismo conjunto de datos pero con dos valores de σ distintos. σ = σ = Figura. Fronteras de decisión obtenidas con una función núcleo gaussiana para σ= y σ=. A partir de un conjunto de datos no se puede saber de antemano cuál será el mejor kernel y los mejores valores de sus parámetros para hallar el separador óptimo. Para conocer cuáles son los parámetros de la SVM más indicados se resuelve el problema para un conjunto de datos y con otro conjunto de test se analiza el error. La función que se usará para la clasificación será aquella con la que se consiga la menor cantidad de puntos incorrectamente clasificados. Generalmente, la función gaussiana es la que permite conseguir los separadores que mejor se adaptan a los datos...3 SVM lineal con margen blando En algunos casos, puede existir ruido debido a errores en la recogida de datos o por la presencia de algún outlier (dato atípico). En este caso no es conveniente que la SVM se ajuste totalmente a los datos.

30 Introducción a las máquinas de soporte vectorial En la Figura se observan dos conjuntos de datos y la frontera de decisión que se obtendría con la SVM de margen máximo. Cada conjunto está agrupado excepto por un punto que se encuentra muy próximo de los de la otra clase. Éste se puede corresponder con un dato atípico o que ha sido clasificado erróneamente. Este punto no debería ser considerado para hallar la frontera de decisión ya que al ser una excepción podría alterar los resultados deseados y nos llevaría a clasificar incorrectamente nuevos datos. Figura. Clasificación con SVM de margen máximo de un conjunto de datos en el que existe un outlier. La SVM tiene que ser más robusta para tener una mayor capacidad de generalización. Esto se consigue introduciendo unas variables de holgura ξ en el problema de optimización: Minimizar ω T ω + C n i= ξ i Sujeto a: y ω + b) ξ i n T i ( x i i ξ i n i Siendo la formulación dual del problema la siguiente: n n Maximizar y y α α K( x, ) α i i= i, j= i j i j i x j Sujeto a: y α = n i= i i

31 Introducción a las máquinas de soporte vectorial α i C i n Las variables ξ i permiten que las restricciones no se cumplan de manera estricta: puede haber datos que cumplan y i h( x) <. Si h( x) <, significa que x está en el lado incorrecto del hiperplano. y i h ( x ) = < y h ( x ) < < ξ < y h ( x ) < < ξ h ( x ) = h ( x ) = Figura. Clasificación con SVM de margen blando. La única diferencia con la SVM de margen máximo está en que α no puede ser mayor que un valor C. Este parámetro permite controlar el número de errores de clasificación permitidos en la etapa de aprendizaje. Cuanto mayor es C menos ejemplos de entrenamiento serán mal clasificados. La SVM de margen máximo se corresponde con el caso en el que C =. Los datos x para los que y h( x) = cumplen α < C, mientras que para los que y h( x) <, α = C. Todos ellos son considerados vectores soporte. En la Figura 3 se puede observar un caso real en donde se ha ajustado un SVM con kernel lineal y varios valores de C. Los vectores soporte de este problema son: - Para C = : los vectores 9, y. - Para C = y C =.: los vectores, 9, y.

32 Introducción a las máquinas de soporte vectorial C =. C = C = inf Figura 3. Fronteras de decisión para distintos valores de C.. Máquinas de soporte vectorial para clasificación multiclase Las SVM se usan habitualmente para problemas de tipo binario. En la cuestión que se va a intentar solucionar en este proyecto tenemos más de dos clases, puesto que cada letra o número representa una categoría distinta. Una de las soluciones para resolver este problema multiclase es convertirlo en varios binarios. Para ello, existen métodos distintos: - Clasificación -v-r (del inglés one-versus-rest): en cada uno de los problemas se considera una clase positiva y las demás negativas, por lo que habrá que hallar tantos hiperplanos como clases existan. - Clasificación -v- (del inglés one-versus-one): para cada problema se toman clases de las K totales. Se compara cada clase con cada una de las restantes, lo que supone realizar K(K - )/ clasificaciones. El primer enfoque es el más habitual y el que se ha seguido en este trabajo..3 Aplicación de las máquinas de soporte vectorial al reconocimiento de imágenes En el proceso de clasificación de una imagen existen tres fases principales: - Tratamiento de la imagen para mejorar la nitidez (Figura ).

33 Introducción a las máquinas de soporte vectorial Figura. Tratamiento de la fotografía de una matrícula oscura. - Búsqueda de variables representativas a partir de los valores del color de cada pixel. - Selección de los parámetros adecuados de las SVM (función kernel, valor del parámetro C ). El objetivo de estas etapas es facilitar la identificación de las imágenes a las SVM para conseguir minimizar el error al clasificarlas. A continuación se muestra un ejemplo de cómo aplicar las SVM al reconocimiento de la imagen de una línea horizontal y de una línea vertical. Primero se tratan las imágenes y se convierten en matrices (Figura ). Conversión en matriz Tratamiento de imagen Conversión en matriz Tratamiento de imagen Figura. Tratamiento de las imágenes y conversión en matrices. A partir de la información contenida en las matrices es necesario encontrar las variables que permitan que la SVM reconozca fácilmente las figuras. En este caso se podrían usar dos variables (x,y) tal que: - x: nº de columnas en el que al menos uno de sus elementos es.

34 Introducción a las máquinas de soporte vectorial 9 - y: nº de filas en el que al menos uno de sus elementos es. Las imágenes utilizadas en el entrenamiento de la SVM aparecen en la Figura. (,) (,) (7,3) (3,7) (,) (,7) Figura. Imágenes del conjunto de aprendizaje y valores de sus variables. En la Figura 7 se muestran las imágenes en el espacio de entrada. Como se puede observar con las variables empleadas los datos de cada clase aparecen agrupados y son linealmente separables por lo que dichas variables son las adecuadas para la identificación de líneas horizontales y verticales. La SVM puede encontrar fácilmente un hiperplano que separe cada clase. Si se tuviera una imagen desconocida (representada en rojo en la imagen) pero cuyas variables son conocidas, según en qué lado del hiperplano se encuentre se podrá saber qué tipo de figura es. En este caso sería una línea vertical. 7 Línea horizontal Línea vertical y x Figura 7. Frontera de decisión obtenida en la clasificación de las imágenes.

35 3 Generador de imágenes sintéticas

36 3 Generador de imágenes sintéticas 3 Generador de imágenes sintéticas Para comprobar la viabilidad de las máquinas de soporte vectorial en el reconocimiento de caracteres, inicialmente se ha construido un generador de imágenes sintéticas usando el programa Matlab. Éstas se corresponden con matrices de x de unos y ceros que representan varios símbolos diferentes cuyo grosor y posición son aleatorios. En la Figura se pueden observar algunos símbolos obtenidos con el generador. La representación se ha realizado con el comando pcolor de Matlab. Las casillas rojas simbolizan los elementos de la matriz cuyo valor es y las azules los que tienen por valor. Figura. Representación de distintos símbolos obtenidos con el generador. Con estos ejemplos de símbolos se alimentará a las SVM y se comprobará el porcentaje de error cometido al intentar identificar el tipo de figura.

37 3 Generador de imágenes sintéticas Este es un caso de clasificación con más de clases. Para resolver el problema se va emplear el método -v-r: al tener 3 clases distintas, hay que hallar 3 hiperplanos distintos, por lo que es necesario ajustar 3 modelos. En cada uno de ellos se considera un tipo de símbolo como clase positiva y el resto como negativo: hay un modelo para determinar si el símbolo es un círculo o no, otro para la recta horizontal y otro para la vertical. Al clasificar finalmente un ejemplo a partir de la estimación realizada por cada uno de estos 3 modelos binarios se pueden dar los siguientes casos: - Figura correctamente clasificada: ha sido clasificada en una sola simulación como clase positiva, y ésta coincide con la real. - Figura mal clasificada: uno de los modelos estima que corresponde a su símbolo (ha sido categorizada como clase positiva), aunque dicha clasificación parcial no es la correcta. - Figura indeterminada. Puede ser debido a razones: Ha sido clasificada como positiva por más de un modelo binario. En ningún caso ha sido clasificada como positiva. Para asemejarlo al caso real, en el que los caracteres no son totalmente nítidos, se han simulado imágenes con diferentes niveles de ruido. Se pretende estudiar cómo influye éste a la hora de identificar las distintas figuras. Si una figura tiene un porcentaje p de ruido, significa que un p% de los elementos de la matriz están cambiados (donde debía haber un hay un y viceversa). Se han estudiado símbolos con porcentajes de ruido del,, y % (Figura 9). Para cada caso se generan figuras, excepto para el primero, en el que se trabaja con. De cada conjunto de matrices con el mismo nivel de ruido, se toma un 7% para encontrar el hiperplano clasificador (conjunto de aprendizaje). El resto (conjunto de validación) se emplea para calcular el porcentaje de error que comete la SVM al clasificarlo y así poder comprobar si el modelo estudiado es el adecuado.

38 3 Generador de imágenes sintéticas 3 En la Figura 9 se muestra, a modo de ejemplo, un símbolo original (sin ruido) y cómo queda alterado al añadir diferentes niveles de ruido. Porcentaje ruido = % Porcentaje ruido = % Porcentaje ruido = % Porcentaje ruido = % Figura 9. Imágenes con distinto nivel de ruido. Es necesario escoger las variables que se van a utilizar para caracterizar los ejemplos y que formarán el espacio de entrada para las SVM. Según las variables que se usen podremos facilitar el proceso de decisión. Para este problema, se han empleado tres conjuntos de variables:. Los elementos de la matriz. Al tener matrices de x, cada figura estará representada por variables. Esto significa que el espacio de entrada tendrá dimensiones.. El histograma vertical de la matriz (suma de cada columna) junto con el histograma horizontal (suma de cada fila): espacio de entrada de dimensión +=. 3. El número de columnas y el número de filas que no tengan ningún elemento igual a : espacio de entrada de dimensión.

39 3 Generador de imágenes sintéticas ceros: Para ilustrar estos procedimientos, se toma la siguiente matriz M x de unos y M = Las variables de cada conjunto tomarán los siguientes valores para este ejemplo:. v = ( M M,..., M, M ) (,,,,,,,,,,,,,, ), 3 = = i i i i = i= i= i= i=. v M,..., M, M,..., M (,,,,,,, ) 3. v = ( nº columnas j tal que M =, nº filas i tal que = i= ij j= M ) = (,) ij 3. Clasificación de imágenes sin ruido Para realizar las distintas simulaciones se toman 9 símbolos sin ruido (3 de cada clase) para hallar los separadores y 3 ( de cada clase) para realizar la evaluación. Como ya se ha comentado, hay que resolver tres problemas distintos para la clasificación de las figuras: un modelo se emplea para saber si el símbolo es un círculo o no, otro para la recta horizontal y otro para la recta vertical. 3.. Resultados para el conjunto de variables Después de realizar distintas simulaciones, se comprueba que la función kernel con la que el número de figuras mal clasificadas es mínimo es la función gaussiana: ( ) x x K x, x = exp σ > σ

40 3 Generador de imágenes sintéticas En la Tabla se muestra el error de clasificación de los símbolos para valores de σ de, 3, y y para C = y C =. σ C Nº de símbolos mal clasificados Nº de símbolos indeterminados Porcentaje de acierto 3 3 3,3 3 3,3 3,3 3,3 Tabla. Resultados de la clasificación utilizando el conjunto de variables para distintos valores de σ y de C. Como se puede apreciar, para σ = y σ = 3, se consiguen clasificar correctamente todas las imágenes. Para valores de σ = y σ =, clasifica incorrectamente un,7% de ellas. También se observa que, para un σ dado, el parámetro C no influye en la cantidad de símbolos bien clasificados, lo que puede significar que la SVM no identifica ningún dato atípico. Las figuras que no son reconocidas por la SVM para σ = y σ = son las mismas y se corresponden con verticales (Figura ). El clasificador las confunde con horizontales. Figura. Imágenes no reconocidas por la SVM cuando σ = y cuando σ =.

41 3 Generador de imágenes sintéticas Estas imágenes no presentan ninguna característica especial por lo que la SVM no debería haber tenido dificultades para clasificarlas. Esto nos lleva a afirmar que los modelos para los que σ = y σ = no son apropiados para realizar la clasificación. En la Tabla se muestra el número de vectores soporte para cada modelo, es decir, el número de figuras que la SVM ha utilizado para calcular cada uno de las tres fronteras de decisión. En el primero realizado se considera como clase positiva el círculo, en el siguiente la recta vertical y en el último la horizontal. Nº de vectores Nº de vectores Nº de vectores σ C soporte del er soporte del º soporte del 3º modelo modelo modelo Tabla. Número de vectores soporte de cada modelo sobre un conjunto de entrenamiento de 9 ejemplos. El número de vectores soporte es similar para los tres modelos. Depende del valor de σ y muy poco de C excepto para σ = 3. Para σ = y para σ = 3 y C =. el % de los datos del conjunto de entrenamiento son vectores soporte. Como ya se vio en la introducción, existen dos tipos de vectores soporte: - Vectores soporte normales: aquellos vectores x i que cumplen h( x i ) =. - Vectores x i tal que - < h( x i ) <. Sólo existen cuando C. La SVM considera que pueden ser datos atípicos por lo que reduce su influencia para hallar la frontera de decisión.

42 3 Generador de imágenes sintéticas 7 El espacio de entrada tiene dimensiones para este conjunto de variables. Esto nos impide poder visualizar cómo quedarían los símbolos en dicho espacio. Sin embargo, sí se puede conocer la distancia a la que se encuentra cada imagen del hiperplano separador h(x). Esto puede ayudar a dar una idea aproximada de cómo están distribuidas las imágenes. El hiperplano separador h(x) tiene por ecuación: h( x ) = ω T x + b =, donde ω y x R d Los parámetros ω y b son conocidos, por lo tanto se puede conocer la distancia de un vector cualquiera x al hiperplano con la siguiente ecuación: dist ( h, x) = h( x) ω En las siguientes figuras se han representado los valores de h(x) de cada punto. Aunque no coincide con la distancia real de cada imagen al hiperplano, considerar este valor es equivalente a realizar un cambio de escala del espacio de entrada de valor ω, por lo que la distribución aproximada de las imágenes no variará. El objetivo de usar este valor y no la distancia real es que nos permite distinguir más fácilmente los vectores soporte. El conocer la distribución ayudará a determinar cuál de los dos modelos con los que se obtiene error nulo en la clasificación (σ = y σ = 3) es el mejor para reconocer los símbolos para el conjunto de variables nº. En la Figura se puede ver cómo quedarían los puntos de aprendizaje respecto del hiperplano para σ = y C =.. Cada gráfica de la figura representa un modelo distinto. La línea azul simboliza la frontera de decisión y en el eje y se muestran los índices de las imágenes utilizadas.

43 3 Generador de imágenes sintéticas Clase positiva: círculo Clase positiva: vertical Clase positiva: horizontal Índice Índice Índice Horizontal V ertical Circunferencia - h(x) - h(x) - h(x) Figura. Valores de h(x) de las figuras de entrenamiento cuando σ=. El conjunto de datos perteneciente a la clase positiva considerada en cada modelo queda en la zona h(x) >. Puesto que todas las figuras quedan a distancia h ( x) = del hiperplano, son vectores soporte normales en todos los modelos, lo que significa que todas ellas son necesarias para encontrar la mejor frontera de decisión. Que el total de los símbolos sean vectores soporte implica que la SVM ha tenido dificultades, con las variables con las que han sido representadas las imágenes, para hallar el hiperplano, es decir, para identificar los rasgos comunes de cada clase. Aún así, para σ =, el clasificador ha reconocido correctamente las figuras del conjunto de validación. La SVM no detecta ningún outlier puesto que no existen puntos con valores de h(x) comprendidos entre - y. En la Figura, al igual que en la anterior, se representan los valores de h(x) pero de las figuras utilizadas en la etapa de validación.

44 3 Generador de imágenes sintéticas 9 3 Clase positiva: círculo 3 Clase positiva: vertical 3 Clase positiva: horizontal Horizontal Vertical Circunferencia Índice Índice Índice -... h(x) h(x) h(x) Figura. Valores de h(x) de las figuras que forman el conjunto de validación. Los puntos de validación quedan muy próximos de los hiperplanos. Aunque los clasifica adecuadamente, la SVM tiene dificultades para reconocerlos. Se observa también que dos imágenes que representan circunferencias cumplen que, para los tres modelos, h( x i ) =. Esto también se da para todas las circunferencias del conjunto de entrenamiento, lo que implica que esas figuras forman parte de las imágenes de aprendizaje. Para σ = y C = se comprobó que la distribución de los símbolos tanto para el conjunto de aprendizaje como para el de test es la misma que cuando C =.. En la Figura 3 y en la Figura, se observa la distribución de las figuras de aprendizaje y la de las imágenes de validación respectivamente para σ = 3 y C =.. Al igual que con σ =, el error obtenido con estos parámetros fue nulo. La única diferencia que se observó con el caso en el que σ = es el número de vectores soporte en cada uno de ellos.

45 3 Generador de imágenes sintéticas 3 Clase positiva: círculo Clase positiva: vertical Clase positiva: horizontal Índice Índice Índice Horizontal V ertic al Circ unferenc ia - h(x ) - h(x ) - h(x ) Figura 3. Valores de h(x) de las figuras de entrenamiento. En las simulaciones se comprobó que en los 3 modelos había figuras que no eran vectores soporte. Sin embargo se observa que incluso para ellas la distancia al hiperplano es prácticamente, al igual que cuando σ =. En este caso, la SVM tampoco ha detectado ningún dato atípico. Clase positiva: círculo Clase positiva: vertical Clase positiva: horizontal Horizontal Vertical Circunferencia Índice Índice Índice - - h(x) - - h(x) - - h(x) Figura. Valores de h(x) de las figuras que forman el conjunto de validación.

46 3 Generador de imágenes sintéticas 3 La distribución de las imágenes del conjunto de validación es distinta que para σ =. Las figuras de entrenamiento están más alejadas del hiperplano por lo que la SVM las ha clasificado con mayor seguridad que para σ =. Por lo tanto, cuando se emplea el conjunto de variables, es decir los elementos de la matriz, el modelo de SVM más fiable es el que utiliza la función kernel gaussiana con σ = Resultados para el conjunto de variables (histogramas horizontal y vertical) Para este caso, sólo se muestran los resultados para distintos valores de σ pero para el mismo C puesto que, al igual que en el caso anterior, se comprobó que el porcentaje de error que se comete no depende de él. σ Nº de símbolos mal clasificados Nº de símbolos indeterminados Porcentaje de acierto. 3,3 9,7 9,7 93,3 Tabla 3. Resultados de la clasificación utilizando el conjunto de variables para distintos valores de σ. Cuando se representan los símbolos según los histogramas vertical y horizontal no se llega a un porcentaje de acierto del %. Para σ = y σ = solamente un símbolo (el de una recta vertical) no es identificado por la SVM. Para σ = esa figura es clasificada incorrectamente por la SVM mientras que para σ = queda indeterminada.

47 3 Generador de imágenes sintéticas 3 El número de vectores soporte se puede ver en la Tabla. σ Nº de vectores soporte del er modelo Nº de vectores soporte del º modelo Nº de vectores soporte del 3º modelo Tabla. Número de vectores soporte de los tres modelos para el conjunto de variables y C=, sobre un conjunto de entrenamiento de 9 ejemplos. Para σ = se comprobó que los vectores soporte eran del tipo normal. Para σ = se puede observar que el tipo de símbolo para el que la SVM necesita menos vectores soporte para determinar el hiperplano es el círculo (Figura ). El conjunto de variables nº (histogramas) permite identificar con mayor facilidad esta clase pero no resulta tan adecuada para el resto de los símbolos. Clase positiva: círculo Clase positiva: vertical Clase positiva: horizontal Índice Índice Índice Horizontal Vertical Circunferencia Círculo - h(x ) - h(x ) - h(x) Figura. Valores de h(x) de las figuras que forman el conjunto de aprendizaje para σ =. Para las imágenes de validación también son los círculos los que quedan a la mayor distancia del hiperplano (Figura ). El símbolo de índice es el que ha sido clasificado incorrectamente pero se puede ver que en todos los modelos queda aproximadamente sobre el hiperplano.

48 3 Generador de imágenes sintéticas 33 Clase positiva: círculo Clase positiva: vertical Clase positiva: horizontal Horizontal Vertical Circunferencia Círculo Índice Índice Índice - h(x ) - - h(x) - - h(x ) Figura. Valores de h(x) de las figuras que forman el conjunto de validación σ =. Con σ = las imágenes clasificadas quedan prácticamente sobre el hiperplano excepto las imágenes de índices y 3 para las que se había llegado a la conclusión de que pertenecían al conjunto de aprendizaje. La imagen es clasificada a la vez como círculo y como vertical. Clase positiva: círculo Clase positiva: vertical Clase positiva: horizontal Horiz ontal V ertic al Circ Círculo unferenc ia Índice Índice Índice -... h(x ) h(x ) h(x ) Figura 7. Valores de h(x) de las figuras que forman el conjunto de validación para σ =.

49 3 Generador de imágenes sintéticas 3 Al obtener una mayor distancia de las imágenes al hiperplano con σ =, este valor es el mejor para realizar la clasificación con el segundo tipo de variables. Como para el conjunto de variables, cuando se obtiene el mismo porcentaje de acierto para distintos valores de σ, se comprueba que la SVM clasifica mejor cuando se tiene el menor número de vectores soporte Resultados para el conjunto de variables 3 Éste es el único conjunto de variables de entre los que se estudian en el que es posible representar los hiperplanos obtenidos ya que el espacio de entrada sólo es de dimensiones. Se comprueba que modificando los distintos parámetros, la SVM es capaz de identificar correctamente todos los datos. Al variar σ los hiperplanos que se obtienen son distintos pero estos no cambian, para un mismo σ, cuando se modifica C. En la Figura se pueden observar las fronteras de decisión obtenidas con la variable 3 y para σ = 3 cuando no existe ruido en las imágenes. El eje horizontal representa el número de filas en el que todos los elementos son y el vertical el de las columnas. Sólo están representados los símbolos que forman el conjunto de aprendizaje. La representación se ha hecho utilizando la función svcplot de la toolbox de SVM utilizada. Modelo Modelo Modelo 3 Figura. Fronteras de decisión obtenidas para la variable 3 y σ = 3 para símbolos sin ruido.

50 3 Generador de imágenes sintéticas 3 Las circunferencias se caracterizan por tener el mismo número de filas y de columnas sin ningún por lo que quedan en la parte central. Las verticales aparecen en la gráfica en la parte de abajo a la derecha puesto que tienen más columnas sin ningún que filas, mientras que para las horizontales es al contrario. Se puede ver claramente que el conjunto de variables que se ha escogido para caracterizar los distintos tipos de símbolos es el adecuado ya que cada clase aparece agrupada en distintas zonas. Esto demuestra que son variables representativas de cada símbolo y se consigue, por lo tanto, que la SVM encuentre sin dificultades un hiperplano que las separe. En los modelos y 3 las clases son linealmente separables. Además se comprueba que muchos de los datos de aprendizaje de una misma clase tienen las mismas variables ya que no se distinguen los 9 símbolos que forman el conjunto de entrenamiento, lo que significa que están superpuestos. En la primera figura se representa la frontera de decisión entre las imágenes de los símbolos de los círculos y las dos otras clases, en la segunda la que separa las verticales del resto y, en la última, la clase positiva se corresponde con las horizontales. Las zonas de color amarillo simbolizan la zona donde la SVM considera que estarían todas las figuras pertenecientes a la clase positiva. Si se superpusieran las tres gráficas veríamos cómo los hiperplanos separadores de cada una de ellas coincidirían. Las zonas de color amarillo no se solapan. Esto significa que no puede haber símbolos que sean clasificados como más de una clase a la vez. Tampoco existirían figuras que no fueran clasificadas como positivas en ninguno de los tres problemas ya que las zonas amarillas, además de no solaparse, cubren todo el espacio de entrada. Por tanto, no existe la posibilidad de que haya figuras indeterminadas. Si se tuvieran circunferencias de menor tamaño en las que el número de filas y de columnas sin ningún cero fuera más elevado la SVM no lo reconocería ya que la zona amarilla del primer modelo se va cerrando al desplazarse hacia arriba y hacia la derecha. Lo mismo sucedería para una raya horizontal o vertical que tuvieran un número de filas y de columnas parecido ya que podría llegar a ser considerado como una circunferencia.

51 3 Generador de imágenes sintéticas 3 Para σ = las fronteras del modelo y del 3 son lineales (Figura 9). En el modelo el hiperplano se aproxima más a las figuras de la clase positiva que para el valor anterior de σ. Modelo Modelo Modelo 3 Figura 9. Fronteras de decisión obtenidas para la variable 3 y σ = para símbolos sin ruido. Si existiera una imagen con un número alto de filas y columnas sin ningún, quedaría indeterminada ya que, como se puede observar, en la zona superior derecha de los gráficos se considera como clase negativa en los tres modelos. Las zonas asociadas a la clase positiva (zona amarilla) se solapan en la parte inferior e izquierda de los gráficos por lo que podría haber puntos que fueran clasificados como más de una clase a la vez. Tomando un valor intermedio de σ entre los dos anteriores (σ = ) se consiguen los separadores de la Figura 3. Modelo Modelo Modelo 3 Figura 3. Fronteras de decisión obtenidas para la variable 3 y σ = para símbolos sin ruido. En el primer modelo se consigue generalizar mejor que para σ = ya que también considera como circunferencias aquéllas cuyas variables tengan un valor

52 3 Generador de imágenes sintéticas 37 elevado. Los hiperplanos de los modelos y 3 son más lineales que los conseguidos con σ = 3. Aunque para los tres valores de σ la SVM acierta en todos los casos, el mejor de los 3 es σ = por las fronteras de decisión obtenidas. En la Tabla se puede observar el número de vectores soporte para cada uno de los 3 valores de σ estudiados. σ Nº de vectores soporte del er modelo Nº de vectores soporte del º modelo Nº de vectores soporte del 3º modelo Tabla. Número de vectores soporte de los tres modelos para el conjunto de variables 3. Para cualquier valor de σ el número de vectores soporte es muy inferior al de los otros conjuntos de variables estudiados. 3.. Análisis de los resultados de la clasificación de símbolos sin ruido Para el conjunto de variables, el máximo porcentaje de acierto es del 9,7%, mientras que tanto para el conjunto como para el 3 se puede llegar a un % de acierto escogiendo los parámetros adecuados. La mayor diferencia entre los resultados que se obtienen con estas dos últimas variables es el número de vectores soporte necesarios para encontrar el hiperplano separador. Para el primer conjunto de variables es muy elevado. Esto puede significar que la SVM no ha conseguido distinguir los rasgos comunes de cada clase porque las variables empleadas no son las adecuadas y, por lo tanto, se aprende de memoria los datos de entrada. El resultado será que sólo se clasifican correctamente aquellas figuras que sean muy parecidas a alguna perteneciente al conjunto de aprendizaje. En este caso, si la variabilidad de los datos fuera mayor, el porcentaje de error aumentaría. Un número elevado de vectores soporte también podría significar que el conjunto de variables sí que puede servir para caracterizar los datos pero que, por la forma en que estén distribuidos, sea más difícil de delimitar una clase de otra y necesite más puntos para poder encontrar el hiperplano.

53 3 Generador de imágenes sintéticas 3 Para ver qué modelo es más fiable, se repiten las simulaciones para los valores de σ con los que se consiguieron los mejores resultados, pero partiendo de un número inferior de puntos de entrenamiento. El conjunto de datos entrenamiento está formado por símbolos ( de cada tipo) y el conjunto de test es el mismo que en los apartados anteriores. Nº del conjunto de variables σ C Nº de figuras del conjunto de entrenamiento Porcentaje de acierto ,3 9 Tabla. Comparación de los resultados obtenidos con el conjunto de variables y 3. Al modelo que usa el conjunto de variables 3 no le ha afectado la reducción del número de figuras de aprendizaje puesto que el porcentaje de acierto sigue siendo del %. Se demuestra por lo tanto que el modelo con el conjunto de variables 3 resulta mucho más robusto por lo que sería el más indicado para la clasificación de símbolos en los que no hay presencia de ruido. 3. Clasificación de imágenes con ruido Se realizan simulaciones para un, un y un % de ruido a partir de un conjunto de entrenamiento de figuras y comprobando el modelo con otras imágenes. Se estudiará si es mejor partir de un conjunto de datos similares a los que se intentan clasificar o si, por el contrario, es más conveniente entrenar la SVM con figuras nítidas. Al añadir ruido a la imagen se obtiene un conjunto mucho más variado que en el caso anterior. Por esta razón, no se tiene en cuenta el número de vectores soporte a la hora de decidir cuál es el mejor modelo.

54 3 Generador de imágenes sintéticas Resultados de la clasificación entrenando la SVM con imágenes del mismo porcentaje de ruido que el estudiado A continuación se muestran los mejores resultados para cada porcentaje de ruido y para cada conjunto de variables Imágenes con un % de ruido En la Figura 3 se muestran tres figuras del conjunto de aprendizaje que se ha utilizado. Figura 3. Ejemplo de figuras utilizadas para entrenar la SVM. En la Tabla 7 se muestran los mejores resultados para cada conjunto de variables. Tipo de var. σ C Nº de símbolos mal clasificados Nº de símbolos indeterminados Porcentaje de acierto 9,3 3 93,3 Tabla 7. Resultados de la clasificación de símbolos con un % de ruido. Utilizando como variables los elementos de la matriz el error en la clasificación es nulo. Para clasificar imágenes sin ruido el mejor conjunto de variables era el 3, mientras que en este problema el mejor porcentaje de acierto con él es del 93,3%. Para este conjunto la mejor función kernel no fue la gaussiana, sino una variante de ésta: x x K σ > ( x, x ) = exp σ

55 3 Generador de imágenes sintéticas Los datos de la misma clase con el tercer conjunto de variables ya no aparecen tan agrupados como en el problema de la clasificación de imágenes sin ruido. Modelo Modelo Modelo 3 Figura 3. Fronteras de decisión para el conjunto de variables 3 y σ =. En el entrenamiento la SVM no encuentra una frontera de separación que delimite todas las figuras de las clases por lo que considera que hay varias figuras atípicas que deja en el lado incorrecto del hiperplano Imágenes con un % de ruido Con imágenes con un % de ruido (Figura 33) se llega a conseguir que el clasificador sólo clasifique mal un % de las imágenes (Tabla ). Figura 33. Imágenes de una circunferencia, de una vertical y de una horizontal con un % de ruido. Tipo de variables σ C Nº de símbolos mal clasificados Nº de símbolos indeterminados Porcentaje de acierto Tabla. Resultados de la clasificación de símbolos con un % de ruido.

56 3 Generador de imágenes sintéticas El número de figuras que la SVM no consigue identificar cuando el conjunto de variables utilizado es el 3, es más de veces mayor que cuando las imágenes tenían un % de ruido. No se realiza la etapa de entrenamiento correctamente ya que los datos en el espacio de entrada están entremezclados por lo que la SVM no es capaz de definir un hiperplano de separación (Figura 3). El hecho de que se entremezclen significa que no se puede hallar una característica común a cada clase. Clase positiva: círculo Clase positiva: vertical Clase positiva: horizontal Índice Índice Índice Horizontal Vertical Circunferencia h(x) - h(x) - h(x) Figura 3. Valores de h(x) para cada figura utilizada en el entrenamiento de la SVM. Los vectores rojos son aquellos que se encuentran en el lado incorrecto del separador. En el primer modelo en el que se tiene que hallar la frontera que separa los círculos del resto de símbolos la SVM no consigue separar ninguna figura de círculo quedando todas ellas al mismo lado del hiperplano Imágenes con un % de ruido Con imágenes de un % de ruido (Figura 3) la SVM se equivoca en menos de un % de las imágenes con los tipos de variables y mientras que con el conjunto 3 no reconoce prácticamente ninguna imagen (Tabla 9).

57 3 Generador de imágenes sintéticas Figura 3. Símbolos con un % de ruido Tipo de var. σ C Nº de símbolos mal clasificados Nº de símbolos indeterminados Porcentaje de acierto. 7,3 3,7 3 Tabla 9. Resultados de la clasificación de símbolos con un % de ruido. 3.. Resultados de la clasificación entrenando la SVM con imágenes sin ruido Para cada nivel de ruido se ha realizado el aprendizaje con el mismo conjunto de imágenes sin ruido. El número de figuras de test y de entrenamiento que se han utilizado es el mismo que en el caso anterior. Se realizaron distintas simulaciones para distintos valores de σ. Los mejores resultados conseguidos para cada tipo de variables y para cada porcentaje de ruido se representan en la Figura 3. 7 Variables Variables Variables3 Error(%) 3 Ruido(%) Figura 3. Error cometido en función del ruido para cada conjunto de variables.

58 3 Generador de imágenes sintéticas 3 Se ha comprobado que el mayor grado de acierto para símbolos con ruido de un, y % con los conjuntos de variables y se obtiene para σ =. El porcentaje de error máximo que se comete es de un % (3 figuras) para el mayor nivel de ruido estudiado. En la figura también se muestran los resultados para un porcentaje de ruido nulo. El caso de las imágenes sin ruido ya se había estudiado anteriormente. Se han vuelto a realizar las simulaciones con el mismo conjunto de datos de entrenamiento que el utilizado para los casos con ruido para que los resultados sean coherentes. Al utilizar un mayor número de imágenes de aprendizaje, el porcentaje de acierto cometido ya no es, como se había visto, de un 9,7%, sino del % en el caso del conjunto de variables. Para el conjunto de variables 3, para cualquier nivel de ruido distinto de y para cualquier valor de σ se obtiene siempre el mismo porcentaje de figuras mal clasificadas: el,7% Comparación de los resultados obtenidos para datos de aprendizaje con ruido y sin ruido En la Figura 37, en la Figura 3 y en la Figura 39, se comparan los resultados obtenidos cuando la fase de entrenamiento se realiza con imágenes con ruido y sin ruido para cada conjunto de variables, y 3 respectivamente. Entrenamiento con imágenes sin ruido Entrenamiento con imágenes con ruido Error(%) 3 Ruido(%) Figura 37. Comparación de los resultados para el conjunto de variables.

59 3 Generador de imágenes sintéticas Para los dos tipos de entrenamiento se tiene para un % de ruido error nulo cuando el tipo de variables utilizado es el nº. Los dos crecen al aumentar el ruido pero cuando se entrena el clasificador con imágenes sin ruido crece con una mayor pendiente. Para un % de ruido sólo se clasifican mal un % de las imágenes. Se consigue un porcentaje de error inferior a la mitad del que se obtiene con la otra forma de entrenamiento. 7 Entrenamiento con imágenes sin ruido Entrenamiento con imágenes con ruido Error(%) 3 Ruido(%) Figura 3. Comparación de los resultados para el conjunto de variables. Para el conjunto de variables, al contrario que para el conjunto anterior, el tipo de entrenamiento con el que se obtienen los mejores resultados es el realizado con las imágenes con ruido. Únicamente para un ruido del % el error es menor para la otra forma. 9 7 Error(%) 3 Entrenamiento con imágenes sin ruido Entrenamiento con imágenes con ruido Ruido(%) Figura 39. Comparación de los resultados para el conjunto de variables 3. Al igual que en los otros casos, el porcentaje de error cometido al realizar el aprendizaje a partir de símbolos con ruido depende del ruido. Sin embargo, para la

60 3 Generador de imágenes sintéticas otra gráfica, el número de fallos siempre es constante. En todos los casos clasifica todas las verticales y todas las horizontales como círculos, es decir que la SVM ha clasificado todo el conjunto de figuras de validación como dicho símbolo. Esto se debe a que al aumentar el ruido se asemeja mucho el número de filas y el número de columnas sin ningún ya que ambos tienden a ser. El hecho de que los valores de estos dos números sean similares es la característica que identifica los círculos en ausencia de ruido. Por esta razón, la SVM identifica tanto las verticales y las horizontales como si pertenecieran a dicha clase. En la Figura se muestran dos ejemplos de símbolos que este modelo no ha sido capaz de reconocer. Como se puede observar para los dos símbolos su conjunto de variables asociadas sería (,) puesto que todas las columnas y todas las filas tienen píxeles rojos (valor del elemento de la matriz). Figura. Imágenes de una recta vertical y de una circunferencia clasificadas como círculos. Como se demuestra en el caso del conjunto de variables 3 según aumenta el ruido puede que las características que sirven para reconocer imágenes sin ruido no sean las mismas que las que servirían para identificar imágenes con distinto nivel de ruido. Por esta razón, es mejor entrenar la máquina con figuras que tengan semejanzas con las que se pretende clasificar. El hecho de que para el primer conjunto el error entrenando con imágenes similares sea mucho mayor se puede deber a que la SVM tiene dificultades para hallar la frontera de decisión. Tendrá que dejar muchos datos de entrenamiento en el lado del hiperplano que no les corresponde. El no tener en cuenta estas figuras implica que se clasificarán mal las imágenes que tengan unas variables similares a ellas.

61 3 Generador de imágenes sintéticas 3.. Resultados de la clasificación conjunta de datos con diversos niveles de ruido Para realizar el entrenamiento se emplearon imágenes ( de cada tipo de símbolo) y para la evaluación por. Ambos conjuntos de datos están formados por imágenes con distintos niveles de ruido. La SVM también es capaz de distinguir correctamente todas las figuras con el conjunto (Tabla ). Con la variable el error es siempre inferior al %. Tipo de conjunto de variables σ Nº de figuras mal clasificadas Nº de figuras indeterminadas Porcentaje de acierto ,3 9,7 3 9, ,3 9,3 Tabla. Resultados de la clasificación de un conjunto de datos con distintos niveles de ruido. 3.3 Análisis de los resultados de la clasificación de imágenes generadas sintéticamente En los estudios realizados en este problema se ha comprobado que los mejores resultados se obtienen con la función núcleo gaussiana y que el valor del parámetro C no influye prácticamente en el número de fallos que se comete. En la Figura se representa el porcentaje de error en función del nivel de ruido empleando un núcleo gaussiano para los distintos conjuntos de variables y para distintos valores del parámetro σ del kernel. Se comprueba que ajustando adecuadamente los distintos parámetros (C, función kernel, ) se obtienen unos errores tolerables incluso para un ruido elevado. Además, se ha podido comprobar que la capacidad para reconocer las figuras depende en gran medida de las variables de entrada elegidas.

62 3 Generador de imágenes sintéticas var var var3 σ = σ = 9 var var var3 7 3 σ = σ = var= var= var= var= var= var=3 Figura. Porcentaje de error en función del ruido para distintos valores de σ. Para valores muy bajos de ruido, los conjuntos de variables que mejores resultados dan son el (elementos de la matriz) y el 3 (número de filas y número de columnas que no tengan ningún elemento igual a ), llegando incluso a clasificar correctamente el % de los datos en ausencia de ruido. Pero, para las variables del grupo 3, a medida que éste crece el porcentaje de figuras que no reconoce aumenta muy rápidamente. Habrá que escoger el tipo de variable que minimice el error medio para cualquiera de los casos. En este problema, el conjunto de variables que mejores resultados proporciona es el. Con un kernel gaussiano y σ = conseguimos que el error máximo sea de un %. Se comprobó que este valor de σ también es el que permite obtener los mejores resultados clasificando a la vez imágenes con distintos niveles de ruido. Para cada uno de los 3 modelos SVM se deberían escoger los mejores parámetros, pero debido al elevado número de variables a determinar (valor de C, tipo de kernel y parámetros de la función, variables de los datos) resulta muy difícil tomar los mejores valores para cada caso. Por esta razón, se consideraron los

63 3 Generador de imágenes sintéticas mismos parámetros para los 3. Sin embargo se observó en la clasificación de imágenes sin ruido que el número de vectores soporte fue muy similar para cada uno de los 3 modelos para un conjunto de parámetros dado. La SVM tuvo aproximadamente las mismas dificultades en cada uno de ellos para encontrar la mejor frontera de decisión. La SVM ha demostrado ser un método de clasificación robusto para la clasificación de imágenes sintéticas incluso cuando éstas son poco nítidas. A continuación se va a estudiar su aplicación en la clasificación de imágenes de caracteres. Las conclusiones que se sacan de este capítulo servirán para ser aplicadas al reconocimiento de matrículas.

64 Aplicación de las SVM al reconocimiento de matrículas

65 Aplicación de las SVM al reconocimiento de matrículas Aplicación de las SVM al reconocimiento de matrículas Se parte de un conjunto de imágenes de todos los números y letras generadas artificialmente similares a los que se obtendrían en la realidad. En la Figura se puede observar una muestra de los datos utilizados en el estudio y en la Figura 3 fotografías reales de matrículas. Figura. Ejemplo de las imágenes de números y letras empleadas en la clasificación. Figura 3. Fotografías reales de matrículas. Las diferencias principales con el estudio realizado en el capítulo anterior son el mayor número de clases a reconocer (cada letra y cada número representa un tipo distinto) y que las imágenes no están en blanco y negro, sino en escala de grises (valores de los elementos de la matriz entre y ). Al ser un problema más complejo se necesitarán más imágenes para entrenar la SVM y así poder facilitar que el clasificador encuentre la mejor frontera de decisión.

66 Aplicación de las SVM al reconocimiento de matrículas En cada una de las imágenes no aparece la matrícula completa. Sólo muestra un carácter puesto que la SVM recibiría las fotografías del segmentador. Éste se encarga de fragmentar la imagen de la matrícula completa en otras en las que sólo aparece un número o una letra. Los problemas de reconocer los números y las letras se resuelven por separado. Esto puede hacerse así ya que normalmente se conocen las posiciones que ocupan los caracteres en la placa de la matrícula, por lo que será conocido a priori el tipo de problema. Las conclusiones que se obtuvieron de la clasificación de las imágenes generadas sintéticamente se van utilizar para la clasificación de los caracteres: - Tanto para la clasificación de los números como para la de las letras se va a utilizar la función kernel gaussiana ya que se comprobó que es la que permite obtener las fronteras de decisión que mejor se adaptan al conjunto de datos. - Se demostró que cuando σ = se obtienen los mejores resultados, por lo que las simulaciones se han realizado con dicho valor. - El valor de C no influyó prácticamente en los resultados ya que no existían datos atípicos, por lo que en este problema se ha tomado el mismo valor para la resolución de todos los problemas (C =.). - El entrenamiento cuando se quieren reconocer imágenes con ruido se hace usando imágenes similares. Por lo tanto, para realizar la clasificación, sólo queda por establecer el tipo de variables con las que identificar las imágenes del conjunto de entrenamiento y del de evaluación. En el estudio que se va a llevar a cabo se valorará el error que se comete con cada uno de ellos y se determinará cuál es el mejor para el reconocimiento de los números y de las letras.. Aplicación de las SVM al reconocimiento de números El conjunto de imágenes del que se parte es de 3 figuras (3 de cada número). Debido a los elevados tiempos de simulación para resolver los distintos problemas de optimización cuando se tomaron, como es habitual, el 7% de los datos ( imágenes), se redujo el número de imágenes de aprendizaje a 3. Se emplea siempre el mismo conjunto de entrenamiento y de validación para todas las variables.

67 Aplicación de las SVM al reconocimiento de matrículas No todas las imágenes tienen la misma cantidad de píxeles ya que el tamaño de la imagen de cada carácter obtenida por el segmentador dependerá del tamaño de cada número. En la Figura se muestra un ejemplo de la imagen de un número uno de x píxeles y de la de un ocho de x. Figura. Imágenes de dos números con distinto número de píxeles. Para poder usar como conjunto de variables explicativas los elementos de las matrices es necesario que todas las imágenes tengan el mismo número de píxeles ya que todos los datos deben tener el mismo número de variables para poder ser clasificados por las SVM. Con la función imresize de Matlab se puede conseguir modificar el tamaño de la imagen al valor deseado utilizando distintos métodos de interpolación bidimensional. Para igualar los tamaños se ha utilizado el método de interpolación bicúbica que permite obtener una imagen en la que el valor de cada píxel es una media ponderada de los x píxeles más próximos en la imagen original. Para este problema se han tomado matrices x (Figura ). No se utilizan figuras con una mayor cantidad de píxeles par no ralentizar en exceso el proceso de entrenamiento. Figura. Imagen original e imagen modificada con la función imresize.

68 Aplicación de las SVM al reconocimiento de matrículas 3 Al igual que en el caso de la clasificación de imágenes sintéticas, se realizaron las simulaciones para distintos tipos de variables. Además, también se han estudiado los resultados cuando se realiza un tratamiento de la imagen antes de ser clasificada. El tratamiento utilizado permite pasar la imagen original en escala de grises a otra en blanco y negro para poder reducir el efecto del ruido. Para ello, se calcula la media de los valores de la matriz. Los píxeles de la imagen que tengan un valor inferior al de dicha media pasarán a valer y los de valor superior valdrán. ). A continuación, se muestra el ejemplo de una imagen que se quiere tratar (Figura Figura. Número antes de realizar un tratamiento de la imagen. En el histograma obtenido con la función imhist se puede ver la cantidad de píxeles con un color determinado. La media está representada con una línea roja y tiene por valor. 7 3 Figura 7. Histograma de los colores de la imagen. Los píxeles más oscuros, es decir, por debajo del valor de esa media se considerarán negros y por encima blancos (Figura ).