VISIÓN POR COMPUTADOR

Transcripción

1 VISIÓN POR COMPUTADOR Introducción Ingeniería de Sistemas y Automática Universidad Miguel Hernández

2 Tabla de Contenidos 2 Definición de Visión por Computador Captación Información Luminosa Imagen Digital Sistema Humano Visión vs. Sistema Visión Artificial Aplicaciones de la Visión por Computador Etapas en un Sistema de Visión Componentes de un SVA

3 Definición 3 Visión por Computador: qué es? Ciencia que estudia la interpretación de imágenes mediante computadores digitales Proceso de extracción de información del mundo físico a partir de imágenes utilizando para ello un computador

4 Tabla de Contenidos 4 Definición Captación de la Información Luminosa Imagen Digital Sistema Humano Visión <> Sistema Visión Artificial Aplicaciones de la Visión por Computador Etapas en un Sistema de Visión Componentes de un SVA

5 5 Transformación Información Luminosa Asumimos que podemos capturar la información luminosa del entorno con algún tipo de sensor. Visión por computador sensor CCD o CMOS Visión humana fóvea/retina. Diferencias, resolución

6 Tabla de Contenidos 6 Definición Captación Información Luminosa Imagen Digital Sistema Humano Visión <> Sistema Visión Artificial Aplicaciones de la Visión por Computador Etapas en un Sistema de Visión Componentes de un SVA

7 Imagen Digital Así pues, definimos: IMAGEN DIGITAL Matriz de elementos (píxeles, picture element ). Cada uno de ellos es proporcional al nivel de luminosidad de la escena en ese punto

8 Imagen Digital 8 Así pues: Suponemos que la escena refleja rayos de luz. Los rayos se proyectan sobre un elemento fotosensible. Esa información se almacena en una matriz de elementos.

9 Tabla de Contenidos 9 Definición Captación Información Luminosa Imagen Digital Sistema Humano Visión <> Sistema Visión Artificial Aplicaciones de la Visión por Computador Etapas en un Sistema de Visión Componentes de un SVA

10 10 S. Humano de Visión <> S. Visión Artificial La idea es comparar ambos sistemas de visión. Establecer similitudes y diferencias. Plantear objetivos de la Visión por Computador. Hacer notar las dificultades básicas.

11 11 S. Humano de Visión <> S. Visión Artificial Dificultad para medir magnitudes de intensidad Ventaja Sistema Visión Artificial Capacidad para medir de forma absoluta el nivel de radiación luminosa de un punto de la escena (V. A). Podemos pensar que, en nuestro caso, la medición de la intensidad es relativa y depende del contexto.

12 S. Humano de Visión <> S. Visión Artificial 12

13 S. Humano de Visión <> S. Visión Artificial 13

14 Tema 1 Introducción a la Visión por Computador 14 S. Humano de Visión <> S. Visión Artificial Propiedad difícil de enunciar. Capacidad humana para interpretar en base al conocimiento previo. Incapacidad para mantener varias hipótesis visuales. Desde el punto de vista de un computador, la información es insuficiente para poder interpretar la escena. Modelo estéreo. Se precisan al menos dos vistas bien diferenciadas del entorno para poder discernir.

15 S. Humano de Visión <> S. Visión Artificial 15 cuáles son los objetos escondidos? 1 2

16 S. Humano de Visión <> S. Visión Artificial 16 2

17 S. Humano de Visión <> S. Visión Artificial 17

18 S. Humano de Visión <> S. Visión Artificial 18

19 S. Humano de Visión <> S. Visión Artificial 19

20 20 S. Humano de Visión <> S. Visión Artificial Dificultad mediciones geométricas Ventaja Sistema de Visión Artificial Similar al efecto de la intensidad. Las relaciones geométricas están afectadas/supeditadas a los objetos cercanos en la escena.

21 S. Humano de Visión <> S. Visión Artificial 21

22 22 S. Humano de Visión <> S. Visión Artificial Efectos ópticos ilusorios Ventaja Sistema de Visión Artificial En este caso y lo veremos en el T 13. El sistema de visión humano intenta rellenar la información que falta. Experimento 0: Cerrad un ojo y enfocad un único círculo blanco. Explicación!!

23 Visión estéreo 23 La mayoría de animales confían en la visión estéreo para extraer información espacial de su entorno. Experimento 1: Mantened el dedo gordo a una distancia de alrededor de 50cm y cerrad el ojo izquierdo y derecho alternativamente. Con (pequeña) sorpresa notamos que la posición relativa del dedo respecto del fondo cambia. Esta diferencia en el punto de vista la que utiliza el cerebro para calcular la información 3D. Pero intentad explicar por qué, cuando tenemos los dos ojos abiertos, únicamente vemos un dedo.

24 Introducción Experimento 2: Punto ciego. 24 Cerrando el ojo izquierdo fije la vista sobre la cruz con el ojo derecho; manteniendo la imagen a unos 25 cm de la cara, acerque y aleje la hoja varias veces hasta que el círculo negro desaparezca. a) Por qué se produce este fenómeno? b) Repita el ejercicio con la figura inferior, El ratón negro desaparece, pero: qué pasa con la reja?.

25 25 S. Humano de Visión <> S. Visión Artificial Diferencia en el análisis de objetos Ventaja Sistema Visión Artificial

26 26 S. Humano de Visión <> S. Visión Artificial Reconocimiento de información compleja Ventaja Sistema Humano de Visión

27 27 S. Humano de Visión <> S. Visión Artificial Comparación entre sistemas Sistema Humano de Visión Mejor capacidad de reconocimiento (p. e. objetos) Mejor adaptación a situaciones imprevistas Utilización de conocimiento previo Capacidad natural para el aprendizaje Sistema Visión Artificial Mejor evaluación de magnitudes físicas Buen desempeño de tareas rutinarias (fatiga) Tiempo de respuesta acotado. Capacidad detectar defectos más pequeños

28 Tabla de Contenidos 28 Definición Captación Información Luminosa Imagen Digital Sistema Humano Visión <> Sistema Visión Artificial Aplicaciones de la Visión por Computador Etapas en un Sistema de Visión Componentes de un SVA

29 29 Aplicaciones de la visión por computador Algunas aplicaciones las hemos visto ya en cursos previos Montaje 1 Montaje 2

30 30 Aplicaciones de la visión por computador Aplicaciones: Procesos Industriales: Control de calidad e inspección. Identificación de piezas, clasificación automática de piezas. Medición de piezas. Control dimensional. Medicina: Tomografía, resonancia magnética, radiología. Apoyo al diagnóstico médico. Guiado de robots. Percepción remota. Reconocimiento de objetos/caras. Robótica móvil.

31 Aplicaciones 31 Ejemplos sistema de visión artificial

32 Aplicaciones Control de defectos 32

33 Aplicaciones Control de defectos 33

34 Aplicaciones Control de defectos 34

35 Aplicaciones 35 Ejemplos sistema de visión artificial

36 S. Humano de Visión <> S. Visión Artificial 36 Ejemplos sistema de visión artificial

37 Aplicaciones 37 Ejemplos sistema de visión artificial Método: comparación directa con un patrón de referencia. Dificultades??

38 38 Aplicaciones industriales de CV: Control de calidad Mejora en la calidad de los productos y de los procesos involucrados Detección de defectos más pequeños

39 39 Aplicaciones industriales de CV: Control de calidad Mejora en la calidad de los productos y de los procesos involucrados Detección de defectos más pequeños Vídeo

40 40 Aplicaciones industriales de CV: Control de calidad Mejora en la calidad de los productos y de los procesos involucrados Detección de defectos más pequeños Imagen billete patrón Imagen billete con defectos

41 41 Aplicaciones industriales de CV: Control de calidad Mejora en la calidad de los productos y de los procesos involucrados Detección de defectos más pequeños Imagen billete patrón Imagen billete con defectos

42 42 Aplicaciones industriales de CV: Control de calidad

43 43 Aplicaciones industriales de CV: Control de calidad

44 Aplicaciones 44 ã Aplicaciones médicas. Mejora de la imagen

45 Aplicaciones 45 ã Reconocimiento y Clasificación: Detección de caras. Clasificación: cara/no cara. Reconocimiento de personas. Clasificación: cara del sujeto i

46 Aplicaciones Clasificación: 46

47 Aplicaciones Face tracking: 47

48 Ejemplos Reconocimiento de objetos 48

49 Aplicaciones 49 ã Navegación de robots móviles

50 50 Aplicaciones de la visión por computador Control de robots manipuladores Localización y generación de mapas en robótica móvil: SLAM visual con marcas Exploración visual online SLAM monocular Canales Youtube: Infaimon (

51 51 Aplicaciones de la visión por computador Aplicaciones industriales: Razones Sustitución de los operarios. Por qué? Evitar su presencia en entornos peligrosos: Térmicos, riesgo físico, lumínico, nuclear, ruidoso,... Aumento de la capacidad de inspección Abaratar costes de producción Integración dentro de un entorno automatizado Incremento de la fiabilidad Eliminación de criterios subjetivos Por ejecución de tareas rutinarias Por cambio de turno Producción más homogénea

52 52 Aplicaciones de la Visión por Computador Dónde no es aplicable la Visión por Computador: Adaptación a situaciones imprevistas Utilización de métodos indirectos en la determinación de las características

53 Tabla de Contenidos 53 Definición Captación Información Luminosa Imagen Digital Sistema Humano Visión <> Sistema Visión Artificial Aplicaciones de la Visión por Computador Etapas en un Sistema de Visión Componentes de un SVA

54 54 Etapas en un Sistema de Visión por Computador Adq. Imagen Preprocesamiento Muestreo Discretización Detección Bordes Realce, suavizado, eliminación de ruido etc. Segmentación Extracción de objetos de la imagen Extracción Características Representación matemática Reconocimiento y Localización Objetos Qué son y dónde están Interpretación Escena

55 Planteamiento general 55 ADQUISICIÓN DE LA IMAGEN PREPROCESAMIENTO DETECCIÓN DE BORDES SEGMENTACIÓN DESCRIPCIÓN DE OBJETOS RECONOCIMIENTO DE OBJETOS INTERPRETACIÓN DE LA ESCENA

56 Tabla de Contenidos 56 Definición Captación Información Luminosa Imagen Digital Sistema Humano Visión <> Sistema Visión Artificial Aplicaciones de la Visión por Computador Etapas en un Sistema de Visión Componentes de un SVA

57 Elementos en la Adquisición 57 Iluminación Luz reflejada o emitida Cámara Digitalizador Computador Señal Analógica o digital Escena Matriz 2D de niveles de gris o color

58 Campos relacionados 58 Procesamiento de imágenes (Image processing): Transformaciones que se deben realizar sobre una imagen para que pueda ser interpretada más fácilmente. Reconocimiento de patrones (Pattern recognition): Asignar un conjunto de patrones (ejemplos) a un conjunto de clases. Gráficos por computador: Tiene como objetivo representar el mundo real y proyectarlo en una imagen 2D (problema opuesto al de la visión por computador). Robótica móvil: Se centra en extraer la información más relevante del entorno para poder moverse.

59 Tabla de Contenidos 59 Definición de Visión por Computador Captación Información Luminosa Imagen Digital Sistema Humano Visión vs. Sistema Visión Artificial Aplicaciones de la Visión por Computador Etapas en un Sistema de Visión Componentes de un SVA