PRACTICA 1: RECONOCIMIENTO DE IMAGENES.

Transcripción

1 PRACTICA 1: RECONOCIMIENTO DE IMAGENES. A. Juan, C. Martínez, R. Paredes y E. Vidal Aprendizaje y Percepción. Facultad de Informática. Curso

2 Introducción. El objetivo de la presente práctica es que el alumno se familiarice con el software desarrollado para la captura, procesado y reconocimiento de imágenes. Al final de la misma el alumno deberá de ser capaz de montar un reconocedor de caras. Los ficheros necesarios se encuentran en: /labos/asignaturas/fi/app/p1/bin : Programas. /labos/asignaturas/fi/app/p1/dat : Ficheros de datos. /labos/asignaturas/fi/app/p1/doc : Boletines. /labos/asignaturas/fi/app/p1/awk : Programas AWK. Añadir al.bash profile los siguientes items: export APP1=/labos/asignaturas/FI/app/p1 PATH=$PATH:$APP1/bin 1

3 Reconocimiento de Imágenes. Una manera muy sencilla de clasificar imágenes es compararla pixel a pixel con un conjunto de imágenes ya conocido y clasificarla como la clase de la imagen más parecida. Esta forma de actuar presenta claros problemas al compara la imagen entera. Hay zonas de la imagen que no interesan a la hora de clasificar. 2

4 Características Locales Los sistemas de reconocimiento de imágenes deben de ser robustos y capaces de trabajar bajo variaciones de los objetos a reconocer. Variaciones como: punto de vista, iluminación, escalado, solapamiento etc... Para tratar de dar solución a algunos de estos problemas se presentan las características locales. 3

5 Características Locales. Objetos complejos. Objetos a aprender: Objetos a clasificar: Se deben de extraer características locales válidas para clasificar, que perduren y lo identifiquen sin confusión. Por ello tanto el pelo, como la ropa como el fondo de la imagen no nos interesan. Se necesitan técnicas de selección de características. 4

6 Reconocimiento Facial Las características locales cobran verdadera importancia cuando los objetos que representan estan formados por varias estructuras más sencillas. Cara = cejas + ojos + nariz + boca + barbilla + contorno Representación Directa: Mucha diferencia entre ambas imágenes. Representación Local: partes. Sólo varía la posición relativa de las 5

7 OTRO EJEMPLO: RECONOCIMIENTO FACIAL Las características locales extraidas son muy similares: 6

8 Características Locales. Selección de características. Se analiza la varianza local en cada pixel de la imagen. Aquellos pixels cuya varianza sea superior a un cierto umbral son seleccionados. Como características locales extraemos una ventana alrededor de los pixels seleccionados. imagen original, varianza local y pixels seleccionados. 7

9 Características Locales. Conclusión. Las imágenes se representarán por varias imágenes más pequeñas que definen las características locales extraídas. Para clasificar una imagen se comparan todas y cada una de sus características locales con todas y cada una de las características locales extraídas del conjunto de aprendizaje. Las imágenes se clasifican en la clase que mayor número de coincidencias tenga. 8

10 Práctica 1. Pasos Previos. Crearse en el directorio temporal un directorio con vuestro nombre de usuario: $ cd /tmp; mkdir $USER; cd $USER En este directorio podremos almacenar la cantidad de datos necesarios que la práctica requiere. Copiar la base de datos disponible a vuestro directorio: $ cp -R /labos/asignaturas/fi/app/p1/dat/base caras. Entramos en este nuevo directorio y echamos un vistazo a las imágenes: $ cd base caras; xv */*.pgm Con el xv podemos abrir varias imágenes y pasar una a una con la barra espaciadora. 9

11 Descripción ORL. Para familiarizarse con los programas se parte de una base de imágenes de caras ya adquirida que acabáis de copiar a vuestro directorio temporal. Consta de imágenes de personas diferentes. Los directorios s1, s2, s3,..., s10 hacen referencia a las 10 personas. Dentro de cada directorio las imágenes cara1.pgm, cara2.pgm... cara10.pgm hacen referencia a las 10 diferentes imágenes de la persona en cuestión. A partir de ahora haremos referencia a las personas por el nombre del directorio que contiene sus imágenes, esto es: s1, s2... s10. 10

12 extractlf. Extracción de características locales. extractlf es un programa que extrae las características locales a partir de una imagen pgm que toma por la entrada estandard. $ cat s1/cara1.pgm extractlf > s1 1.vec Aparece por la pantalla la siguiente información: 56x vectores La primera información hace referencia a las dimensiones de la imagen de entrada. La segunda a la cantidad de vectores de características locales obtenidos. De esta forma hemos representado la primera cara del individuo s1 mediante 146 vectores. Como se verá más adelante, extractlf puede leer una máscara y aplicarla a la imagen de entrada para no considerar todos los pixels de la misma. Esta máscara es útil para segmentar (diferenciar) los pixels que sí pertenecen a una cara del resto de la escena. 11

13 extractlf. Extracción de características locales. Vamos a ver que información hemos obtenido con extractlf: $ more s1 1.vec. En la primera fila del fichero aparece cuantos vectores de características locales se han obtenido. Como ya se había comentado son. A continuación vienen filas de datos una por cada vector de características. Al final de cada uno de los vectores de características aparece una etiqueta que indica cual es la clase asociada al vector. Al no indicarle nada por defecto tiene unknown. Está etiqueta final de cada vector de características debe de denotar a que persona pertenece, en esta caso, esta etiqueta debería ser s1. 12

14 extractlf. Extracción de características. Opciones Veamos las opciones del extractlf: $ extractlf -h -h : this help. -l label : To label the vectors. -w : Window size [11x11] -r : Reduced [1] -s : Sampling [2] -d : Standard Deviation Threshold [16] -m : Minimum Local Features [200] -V : verbose. Antes de entrar a fondo en el funcionamiento de extractlf observemos las características locales obtenidas. Para ello usaremos un programa awk: $ awk -f miratodas.awk s1 1.vec. Si hacemos un $ ls veremos que hemos obtenido un fichero pgm por cada característica local. Veamos las características: $ xv?.pgm??.pgm???.pgm -expand 8. Con -expand ampliamos 8 veces las imágenes. Con la barra espaciadora pasamos imagen en el xv. 13

15 extractlf. Clase asociada. Vamos a cambiar la clase asociada utilizando la opción -l nombre $ cat s1/cara1.pgm extractlf -l s1 > s1 1.vec Volvamos a ver el fichero resultado: $ more s1 1.vec. El nombre deberá corresponderse con el nombre de la persona a la que pertenece la cara en cuestión. 14

16 extractlf. Tamaño ventana de características. Se puede variar el tamaño de la ventana que define la característica local con el parámetro -w que por defecto está en. Por ejemplo: $ cat s1/cara1.pgm extractlf -w 21 -l prac2 > s1 1.vec Obtendríamos características locales de componentes. Ver ahora las características locales: $ rm *.pgm $ awk -f miratodas.awk s1 1.vec, o sea, vectores de 441 $ xv?.pgm??.pgm???.pgm -expand 8 Con este tamaño de ventana se aprecia mejor de donde procede cada una de las características locales. 15

17 extractlf. Umbral de varianza y mínimo. Se puede modificar el umbral de varianza que se usa para seleccionar las características locales con el parámetro -d que por defecto está en. $ cat s1/cara1.pgm extractlf -d 20 -w 15 -l prac2 > s1 1.vec 242 vectores Con el umbral fijado a solo hay tan pixels que superen esta varianza, frente a los que superan un umbral de. El problema que puede aparecer con este parámetro -d es que establezcamos un valor muy alto y se obtengan muy pocas características. Para que esto no ocurra podemos indicarle al programa el número exacto de características locales. Para ello se utiliza el parámetro -m : $ cat s1/cara1.pgm extractlf -m 300 -w 15 -l prac2 > s1 1.vec. De esta forma el programa reducirá tanto como sea necesario el umbral de varianza hasta conseguir exactamente características locales. 16

18 extractlf. Submuestreo. Un problema importante de las características locales es la gran cantidad de vectores que se pueden obtener con la posterior ralentización de los algoritmos de clasificación a aplicar. Para reducir este número se puede emplear un submuestreo de la imagen original a efectos de extracción de características. Por ejemplo si este submuestreo es se escogerían características de cada dos filas y cada dos columnas de la imagen. Esto se consigue con el parámetro -s ( por defecto s=2 ) $ cat s1/cara1.pgm extractlf -s 2 -l prac2 > s1 1.vec. Probar ahora sin submuestreo, osea s=1 : $ cat s1/cara1.pgm extractlf -s 1 -l prac2 > s1 1.vec. 597 vectores En este caso la cantidad de vectores obtenidos ya empieza a ser prohibitiva. Para reducirla podríamos aumentar el umbral de varianza y/o aumentar el submuestreo. 17

19 extractlf. Escalado. Otra forma de reducir el número de características locales obtenidas es reduciendo la imagen de partida. Por ejemplo si la reducimos a la mitad se obtendrán aproximadamente la cuarta parte de características locales. En este caso hay que tener en cuenta que se está perdiendo resolución Así mismo, hay que tener en cuenta que las ventanas a seleccionar también deberían de reflejar este cambio. Por ejemplo, si trabajando con la imagen original usábamos, con reducción a la mitad habría que utilizar para obtener resultados comparables. Esta reducción se consigue con el parámetro -r. $ cat s1/cara1.pgm extractlf -w 21 -l prac2 > s1 1.vec. $ cat s1/cara1.pgm extractlf -r 2 -w 11 -l prac2 > s1 1.vec. Observar para ambos casos las características locales. Estas abarcan aproximadamente la misma área de la imagen, pero con -r 2 se obtiene menos resolución. Ahora bien, con -r 2 los vectores son de menor dimensionalidad ocupando menos espacio y acelerando los algoritmos posteriores de clasificación. 18

20 knn. Clasificador mediante k-vecinos más cercanos knn es un programa que implementa la clasificación mediante la técnica del los k-vecinos más cercanos usando características locales. $ knn -h -t training : Training file. -k kvalue: K value for the knn algorithm. -d : Print distance values. -a : Print all neighbors information. Con la opción -t training le diremos en que fichero tenemos los vectores de aprendizaje. Con la opción -k kvalue le diremos el valor de k vecinos a utilizar para la clasificación. Con la opción -d muestra también las distancias. Con la opción -a muestra información de todos los k vecinos. 19

21 knn. Clasificador mediante k-vecinos más cercanos knn lee por la entrada estandard un fichero con características locales y devuelve por la salida estandard la clase que induce mediante la técnica de los k vecinos utilizando como conjunto de aprendizaje el que le hemos indicado. A esta salida se le añaden por columnas más información según se use o no las opciones -a y/o -d. Un ejemplo: $ cat s1/cara6.pgm extractlf -w 11 knn -t training.vec -k 3 Training: Vectores 121 Dim 5 Clases... s1 La primera linea ofrece información sobre el fichero de aprendizaje usado, en este caso training.vec. La última fila al no indicarle nada más muestra simplemente la clase ganadora en este caso s1 siendo efectivamente s1 la cara seleccionada. 20

22 knn. Clasificador mediante k-vecinos más cercanos Probar ahora con -a: $ cat 1.vec knn -t training app.vec -k 3 -a En este caso aparece para cada una de las características locales de la imagen a clasificar la clase de las características locales más parecidas en el conjunto de aprendizaje. Finalmente aparece la clase ganadora s1. Probar ahora con -d: $ cat 1.vec knn -t training app.vec -k 3 -d En este caso además de la clase ganadora el knn devuelve la distancia promedio a esa clase. 21

23 Diseño de experimento. Para poder clasificar las caras y comprobar la efectividad de las características locales y el clasificador por vecinos más cercanos propuesto tenemos que: 1. Decidir que imágenes escogemos para definir el conjunto de aprendizaje. 2. Decidir que parámetros usamos para la extracción de las características locales. 3. Decidir que valor de cercanos. utilizamos en el clasificador por vecinos más 22

24 Un ejemplo práctico. Para este ejemplo práctico vamos a centrarnos en las 5 primeras personas: directorios s1,s2,s3,s4 y s5. 1. Decidimos coger las imágenes pares para definir el conjunto de aprendizaje. 2. Decidimos utilizar -w 11 y -d 20 en la extracción de características locales. 3. Decidimos utilizar -k 3 en la clasificación. Fase de aprendizaje (borrar training.vec existente). $ for i in ; do for j in ; do cat s$i/cara$j.pgm extractlf -w 11 -d 20 -l s$i > > training.vec; done; done En el fichero training.vec se han almacenado todas las características locales de todas las imágenes que hemos seleccionado para la fase de aprendizaje. En este fichero hay características locales de las diferentes clases. 23

25 Un ejemplo práctico. Clasificación Fase de clasificación: $ for i in ; do for j in ; do echo s$i > > realclass; cat s$i/cara$j.pgm extractlf -w 11 -d 20; done ; done knn -t training.vec > > testclass En el fichero realclass se escribe la clase real de cada una de las imágenes de test. En el fichero test se escribe la clase que el clasificador ha inferido. Esta clase se comparará con la clase real que se encuentra en el fichero realclass para obtener la tasa de error del clasificador. Obtención de la tasa de error: $ paste realclass testclass > resultado; confus resultado; El programa confus muestra tanto la matriz de confusión como la tasa de error en tanto por cien. 24

26 Un ejemplo práctico. Acelerar la clasificación Un problema con el que nos podemos encontrar es que la clasificación de cada una de las imágenes de test sea muy lenta. Esto es debido en gran parte a la cantidad de características locales extraídas de cada imagen. Para disminuir este número y acelerar el proceso se deben seleccionar un valor adecuado para el argumento -m. Por ejemplo en fase de aprendizaje nos quedaría: $ for i in ; do for j in ; do cat s$i/cara$j.pgm extractlf -w 11 -m 150 -l s$i > > training.vec; done; done Conseguiríamos varianza. características locales que serían aquellas con más También podemos reducir el número de características locales utilizando la opción de submuestreo -s y la de escalado -r. 25

27 Ejercicio 1 (Obligatorio). Variar parámetros con ORL Se trata de diseñar los siguientes experimentos de reconocimiento de caras utilizando las TODOS los individuos de la base ORL: Se seleccionan solamente la imágens 1 de cada individuo para el conjunto de aprendizaje. Las imágenes de la 2 a la 10 se utilizarán para estimar el error de clasificación. Se debe de usar una ventana de características con los siguientes valores: 7,9 y 11. Extraer 50,100, 200,300 y 400 características locales por imagen. Variar el valor de la usando: 1,3 y 5. del clasificador por vecinos más cercanos Para cada experimento obtener la matriz de confusión asociada con el siguiente nombre: confus win min k. Donde win es el valor de la ventana de características, min el mínimo número de características a obtener y k el valor de la k en el clasificador. Así mismo presentar en una tabla para cada experimento la tasa de error obtenida. 26

28 Reconocimiento de caras online. Se trata de realizar un prototipo de reconocedor de caras. Las imágenes serán capturadas mediante una webcam. Los alumnos deberán primero capturar caras para formar un buen conjunto de aprendizaje. Posteriormente probarán el sistema para ver si los reconoce y diferencia con el menor error posible. 27

29 Capturar imágenes con la webcam. Para capturar imágenes utilizando la webcam podemos usar el programa captura: $ captura captura abre una ventana donde aparece la imagen que se está adquiriendo mediante la webcam. En el momento que pulsemos con el botón izquierdo del ratón dentro de dicha ventana, captura saca por la salida estandard un fichero pgm de la imagen capturada en niveles de gris. Probar a capturar: $ captura > imagen.pgm $ xv imagen.pgm 28

30 Segmentación y detección de la cara. Una vez adquirida la imagen sería deseable aislar y detectar la cara que se pueda encontrar en ella. Este proceso de segmentación se realiza mediante el programa segmenta. Dicho programa espera recibir por la entrada estandard una imagen en formato pgm para escribir por la salida estandard una imagen pgm con solamente la cara, si la hubiera: $ cat ejemplo.pgm segmenta > cara.pgm # ejemplo.pgm se encuentra en $APP1/dat Así mismo segmenta genera el fichero detec.ppm donde podemos comprobar en la imagen original donde se encuentra dicha detección. $ xv detec.ppm 29

31 Segmentación y detección de la cara. Este programa necesita que el usuario sea cooperativo y se coloque delante de la cámara de frente y sin ningún tipo de rotación de la misma. $ captura segmenta > cara.pgm Comprobar la detección realizada: $ xv cara.pgm detec.pgm Si la detección de la cara no es satisfactoria probaremos a subir o bajar el umbral de aceptación, parámetro -thr del segmentado. El valor por defecto de este parámetro es 0.5. Valores más elevados significa ser más restrictivo a la hora de decidir si alguna parte de la imagen es una cara. Probar: $ captura segmenta -thr 0.6 xv - Valores inferiores del parámetro -thr significa ser más permisivo a la hora de decidir si alguna parte de la imagen es una cara. Probar por ejemplo: $ captura segmenta -thr 0.4 xv - 30

32 Entrenamiento Para realizar un conjunto de entrenamiento procederemos como sigue: $ captura segmenta extractlf -w 11 -m 50 -l roberto > > training.vec En este caso hemos capturado una imagen y extraído locales de tamaño. características Todas las características locales extraídas son etiquetadas como pertenecientes a la clase roberto. Todas estas característica se han añadido al fichero training.vec. 31

33 Clasificación Para clasificar una imagen capturada mediante la webcam procederemos como sigue: $ captura segmenta extractlf -w 11 -m 50 knn -t training.vec -k 3 Se realiza la extracción de características locales mediante una ventana de. El número de características locales podrían diferir de los utilizados en fase de entrenamiento pero nunca el tamaño de la ventana. Una vez extraídas las características locales se clasifica la imagen utilizando vecinos más cercanos y el fichero de aprendizaje training.vec. 32

34 Ejercicio 2 (Voluntario). Reconocimiento de caras online. Realizar un reconocedor de caras online con la webcam y hacer una demo al profesor de prácticas. Para ello primero se deben de capturar unas cuantas imágenes por alumno ( 5 ó 6 ) para formar un fichero de aprendizaje training.vec. Posteriormente lanzar el capturador para que capture 5 imágenes de cada alumno y las clasifique todas correctamente. Para ello se tendrán que seleccionar correctamente los parámetros: tamaño de ventada, mínimo número de características, submuestreo y/o reescalado, valor de del clasificador etc... Además hay que prestar especial atención a que el sistema reconozca lo más rápido posible pero sin perder eficiencia. Prestar atención pues a los parámetros de submuestreo, escalado y número mínimo de características. 33