Indice de Figuras...vii. Indice de Tablas... Nomenclator...xiii. Introducción General y Resumen...xv

Transcripción

1 Estereopsis y Movimiento. Modelo de Disparidad de Carga: un Enfoque con Inspiración Biológica Indice Indice de Figuras...vii Indice de Tablas... xi Nomenclator...xiii Introducción General y Resumen...xv 1. Conceptos y Técnicas en Estereovisión Aspectos Psicológicos de la Estereovisión Psicología de la Visión Psicología de la Estereovisión Fisiología de la Estereovisión Entrada de Imágenes Análisis de Imágenes Respuesta ante Imágenes Estáticas Movimiento y Estereovisión Análisis Biológico del Movimiento eparación de Hemicampos Visuales Integración Binocular Análisis de Disparidades Análisis Clásico Análisis Mediante Integración Visiomotora Acople del Análisis Basado en Integración Visiomotora con el Análisis Clásico Procesamientos de Nivel uperior Atención Visual electiva Aprendizaje y Memoria Conceptos Básicos de Estereovisión Estructura de un istema Estereoscópico Captación de las Imágenes Imagen Digital: Representación y Procesamiento Representación de la Imagen Digital La Imagen Digital en el Dominio de la Frecuencia...23 i

2 Indice Procesamiento de Imágenes Digitales Análisis Geométrico y Calibración Plano y Líneas Epipolares Geometría de Cámaras Paralelas Geometría de Cámaras Convergentes y Rectificado Calibración Primitivas de Correspondencia Restricciones a las Correspondencias Restricción Epipolar Restricción de Unicidad Restricción de Ordenamiento Restricción de disparidad Restricción del Gradiente de Disparidad Otras Restricciones Geométricas Técnicas de Correspondencia Utilizadas Técnicas Basadas en la Correlación El Principio General de las Técnicas de Correlación Algoritmo de Nishihara Función de imilitud Basada en la uma de Diferencias Funciones basadas en Rango y Censo Técnicas de Relajación El algoritmo de Marr-Poggio El Algoritmo de Pollard, Mayhew, Frisby Técnicas de Grueso a Fino Métodos Basados en el Gradiente Correspondencias entre Características Técnicas de Programación Dinámica Técnica de las Curvas Íntimas Métodos de Predicción y Verificación Construcción de Descripciones imbólicas Definición de Correspondencias Métodos Basados en Diferencias de Fase Tratamiento de las Oclusiones Métodos de Detección de Oclusiones Métodos para Reducir la ensibilidad a las Oclusiones Métodos para Modelar la Geometría de las Oclusiones...61 ii

3 Estereopsis y Movimiento. Modelo de Disparidad de Carga: un Enfoque con Inspiración Biológica 1.6. Técnicas que Relacionan Estereopsis con Movimiento Técnicas de Estructura desde el Movimiento Estéreo Convencional a Partir del Movimiento Restricción de Disparidad Dinámica Aplicaciones El Efecto de Permanencia como Método de olución de Problemas en Visión Estereoscópica Dinámica Modelado del Conocimiento al Nivel de Conocimiento [Mir04] La Visión Estereoscópica Dinámica como istema Basado en Conocimiento El Efecto de Permanencia en el Nivel Físico [Mir03b] El Efecto de Permanencia al Nivel de los ímbolos (Reglas) El Efecto de Permanencia como Método a Nivel de Conocimiento en la Tarea de Visión Estereoscópica Dinámica Esquema Inferencial del Efecto de Permanencia Aplicación a la Tarea de Visión Estereoscópica Dinámica Aspectos Generales del Método Aspectos Específicos del Método Conclusiones al Modelado de la Tarea de Visión Estereoscópica Dinámica al Nivel de Conocimiento El Modelo de Disparidad de Carga como Método de olución de Problemas para el Análisis Estéreo del Movimiento 3D Descripción General del Modelo Descripción Detallada de las ubtareas Digitalización del Par Estéreo de ecuencias Obtención del Mapa de Carga 2D egmentación en Bandas de Niveles de Gris Detección de Movimiento (Permanencia) eparación de Hemicampos Visuales Análisis de la Disparidad de Carga Análisis de Correspondencias de Carga Obtención del Mapa de Profundidad 3D Obtención del Mapa de Carga 3D Obtención del Movimiento 3D iii

4 Indice 4. Resultados Entorno de Trabajo y imulación Modos de Representación de los Resultados Estimación de Profundidad ecuencia 1: Elemento Próximo ecuencia 2: Elemento Lejano Detección de Movimiento en la Profundidad ecuencia 3: Movimiento de Vaivén ecuencia 4: Objetos Acercándose ecuencia 5: Objetos Acercándose y Alejándose Filtrado de Objetos Estáticos ecuencia 6: Objetos Estáticos y Acercándose Profundidad en ecuencias Reales ecuencia 7: IndoorZoom ecuencia 8: OutdoorZoom Navegación Autónoma Basada en la Profundidad ecuencia 9: Análisis del Entorno 3D Mediante Giros ecuencia 10: Deambulación Autónoma Análisis de Velocidad en la Profundidad ecuencias intéticas Detección de Objetos que se Acercan y se Alejan ecuencias Reales ecuencia IndoorZoom ecuencia OutdoorZoom Conclusiones de los Resultados Discusión Resumen Comparación con Otros Métodos Utilizados Primitivas de Correspondencia Restricciones a las Correspondencias Técnicas de Correspondencia Tratamiento de las Oclusiones Técnicas Relacionadas con el Movimiento Aspectos Biológicos iv

5 Estereopsis y Movimiento. Modelo de Disparidad de Carga: un Enfoque con Inspiración Biológica 6. Conclusiones y Aportaciones Realizadas Bibliografía y Enlaces Bibliografía Enlaces Web v

6 Indice vi

7 Estereopsis y Movimiento. Modelo de Disparidad de Carga: un Enfoque con Inspiración Biológica Indice de Figuras Figura 1. Esquema general del modelo propuesto.... xix Figura 2. Estereovisión basada en la forma o en el movimiento...xx Figura 1.1. Estructura de un sistema de estereovisión por ordenador...20 Figura 1.2. Representación en unidades logarítmicas de una imagen en el dominio de la frecuencia entre las frecuencias 0 y Figura 1.3. En los operadores puntuales cada píxel de la imagen de salida depende de un sólo píxel de la entrada...24 Figura 1.4. Geometría estereo: Marco de referencia y sistemas de referencia de las cámaras Figura 1.5. Restricción epipolar. e representan el plano epipolar correspondiente al punto M de la escena y las lineas epipolares correspondientes Figura 1.6. Geometría en el plano epipolar para cámaras paralelas Figura 1.7. Rectificación de planos retinales Figura 1.8. Restricción de ordenamiento. Zona prohibida Figura 1.9. Disparidad en geometría de cámaras paralelas Figura Definición del gradiente de disparidad...39 Figura Forma general de la función de correlación Figura Cubo de correlaciones Figura Regiones excitatoria e inhibitoria Figura Técnicas de programación dinámica Figura 2.1. Tarea de Visión Estereoscópica Dinámica...72 Figura 2.2. Arquitectura de un modelo computacional de efecto de permanencia...75 Figura 2.3. Ilustración del modelo usado para el caso sencillo de una umbralización binaria de una imagen...79 Figura 2.4. Instanciación del efecto de permanencia para el uso de detección de movimiento en la modalidad de salida...81 Figura 2.5. Representación gráfica de los roles implicados en el estudio de la profundidad a partir del efecto de permanencia...82 Figura 2.6. Disparidad de estelas de permanencia...85 Figura 2.7. Procesamiento de líneas epipolares. eparación de hemicampos visuales derecho e izquierdo...87 vii

8 Indices Figura 3.1. Esquema funcional del modelo propuesto...92 Figura 3.2. Descomposición en subtareas de la tarea Análisis Estéreo del Movimiento Figura 3.3. Esquema de procesos de Digitalización del Par Estéreo de ecuencias. 96 Figura 3.4. Roles de la subtarea Digitalización del Par Estéreo de ecuencias Figura 3.5. Cuatro fotogramas consecutivos de la secuencia IndoorZoom Figura 3.6. Descomposición en subtareas de Obtención del Mapa de Carga 2D..101 Figura 3.7. Esquema de procesos de la Obtención del Mapa de Carga 2D Figura 3.8. Roles de la subtarea egmentación en Bandas de Niveles de Gris Figura 3.9. olape entre bandas de niveles de gris Figura Esquema inferencial de Clasificación en Bandas de Niveles de Gris 106 Figura egmentación en bandas de niveles de gris: clasificación e integración 108 Figura Roles asociados a la subtarea Detección de movimiento Figura Esquema inferencial de la detección de movimiento Figura Detección de movimiento Figura Esquema inferencial de la Obtención del Mapa de Carga 2D Figura Efecto de permanencia aplicado a la detección de movimiento 2D Figura Roles de la subtarea eparaciónde Hemicampos Visuales Figura Esquema inferencial de la eparación de Hemicampos Visuales Figura eparación de hemicampos visuales Figura Descomposición en subtareas de Análisis de Disparidad de Carga Figura Esquema de procesos del Análisis de Disparidad de Carga Figura Roles asociados a la subtarea Análisis de Correspondencias de Carga. 120 Figura Esquema inferencial del Análisis de Correspondencias Puntuales Figura Análisis de correspondencias a partir de los Mapas de Carga Figura Esquema inferencial del Conteo Horizontal de Carga en Horizontal 124 Figura Esquema inferencial de la Homogeneización de Carga Horizontal..126 Figura Esquema inferencial de la Acumulación de Carga Vertical Figura Esquema inferencial de la Homogeneización de Carga Vertical Figura Roles asociados a la subtarea Obtención del Mapa de Profundidad 3D Figura Obtención del Mapa de Profundidad a partir de las correspondencias.131 Figura Esquema de procesos de la Obtención del Mapa de Carga 3D Figura Roles estáticos y dinámicos de la subtarea Obtención del Mapa de Carga 3D Figura Esquema inferencial de la Detección de Movimiento 3D Figura Representación Gráfica de la Detección de Movimiento 3D Figura Esquema inferencial del Efecto de Permanencia 3D viii

9 Estereopsis y Movimiento. Modelo de Disparidad de Carga: un Enfoque con Inspiración Biológica Figura Esquema de procesos de Obtención del Movimiento 3D Figura 4.1. Representación en falso color del Mapa de Profundidad Figura 4.2. Representación del movimiento en el dirección z Figura 4.3. Comparación de los Fotogramas 90 de las secuencias Elemento Cercano y Elemento Lejano Figura 4.4. Escenario del ejemplo Cubos Figura 4.5. Representación tridimensional del Mapa de Profundidad 3D obtenido de la secuencia Cubos Figura 4.6. Escena de Objetos Acercándose Figura 4.7. Representación tridimensional del Mapa de Profundidad obtenido de la secuencia Objetos Acercándose Figura 4.8. Representación tridimensional del Mapa de Profundidad obtenido de la secuencia Objetos Acercándose y Alejándose Figura 4.9. Representación tridimensional del Mapa de Profundidad obtenido de la secuencia Objetos Estáticos y Acercándose Figura Escena IndoorZoom : fotograma Figura Histograma de brillo del fotograma 53 de la escena IndoorZoom Figura Representación tridimensional del Mapa de Profundidad obtenido de la secuencia IndoorZoom Figura Fotograma 211 de la secuencia OutdoorZoom Figura Histograma de brillo del fotograma 211 de la escena OutdoorZoom.171 Figura Representación tridimensional del Mapa de Profundidad obtenido de la secuencia OutdoorZoom Figura Escenario del pasillo Figura Representación tridimensional del Mapa de Profundidad obtenido de la secuencia del pasillo en tramo de giro Figura Representación tridimensional del Mapa de Profundidad obtenido de la secuencia del pasillo en tramo recto Figura Representación tridimensional de la velocidad en la dirección z obtenidos de la secuencia Objetos Acercándose y Alejándose Figura Representación tridimensional de la velocidad en la dirección z obtenidos de la secuencia IndoorZoom Figura 5.1. Dependencia del tamaño de la región de disparidad constante según la posición del elemento que inicia el análisis ix

10 Indices x

11 Estereopsis y Movimiento. Modelo de Disparidad de Carga: un Enfoque con Inspiración Biológica Indice de Tablas Tabla 1.1. Referencias básicas relacionadas con la percepción visual biológica Tabla 1.2. Referencias de disciplinas transversales al modelo propuesto...25 Tabla 1.3. Resumen de primitivas de correspondencia Tabla 1.4. Resumen de restricciones Tabla 1.5. Referencias apropiadas para conceptos generales de estereovisión Tabla 1.6. Métodos de resolución de la estereovisión...59 Tabla 1.7. Tratamiento de las oclusiones Tabla 1.8. Resumen de técnicas orientadas al análisis estéreo estático Tabla 1.9. Métodos de estereovisión basados en el movimiento...67 Tabla Referencias de estereo basada en el movimiento Tabla 4.1. Resultados de la secuencia Elemento Próximo Tabla 4.2. Resultados de la secuencia Elemento Lejano Tabla 4.3. Resultados de la escena de los Cubos Tabla 4.4. Resultados de la escena de los Objetos Acercándose Tabla 4.5. Resultados de la escena de los Objetos Acercándose y Alejandose Tabla 4.6. Resultados de la escena de los Objetos Estáticos y Acercándose Tabla 4.7. Resultados de la escena IndoorZoom Tabla 4.8. Resultados de la escena OutdoorZoom Tabla 4.9. Resultados de la escena del pasillo: tramo esquina Tabla Resultados de la escena del pasillo: tramo recto Tabla Resultados de la escena de los Objetos Acercándose y Alejándose..184 Tabla Resultados de la escena IndoorZoom Tabla Resultados de la escena OutdoorZoom xi

12 Indices xii

13 Estereopsis y Movimiento. Modelo de Disparidad de Carga: un Enfoque con Inspiración Biológica Nomenclator x, y, z Coordenadas del marco de referencia de la escena u, v Coordenadas de un píxel en una imagen genérica u i, v i Coordenadas de un píxel en el sist. de ref. de la imagen izquierda u d, v d Coordenadas de un píxel en el sist. de ref. de la imagen derecha B Línea base: distancia entre las cámaras α Ángulo entre las cámaras (habitualmente α=0 - paralelas) d(u, v) Disparidad δd Disparidad mínima detectable: tamaño del píxel ν Frecuencia de captación de los fotogramas F Distancia focal de las cámaras δz(d, δd) Resolución en profundidad NB Número de bandas de niveles de gris utilizadas para segmentar NG min Nivel de gris mínimo: habitualmente NG min =0 NG max Nivel de gris máximo: habitualmente NG max =255 B olape entre bandas H max Tamaño horizontal de los fotogramas V max Tamaño vertical de los fotogramas D max Disparidad máxima: restricción de disparidad E(x, y, z, t) Escena de entrada NG(u,v) Nivel de gris de un píxel genérico NG i (u i,v i ) Nivel de gris de un píxel de la imagen izquierda NG d (u d,v d ) Nivel de gris de un píxel de la imagen derecha BNG(u, v, t) Banda de niveles de gris a la que pertenece un píxel genérico BNG i (u i, v i, t) Banda de niveles de gris de un píxel de un fotograma izquierdo BNG d (u d, v d, t) Banda de niveles de gris de un píxel de un fotograma derecho MOV2(u, v, t) Mapa de movimiento 2D MOV2 i (u i, v i, t) Mapa de movimiento 2D del hemicampo izquierdo MOV2 d (u d, v d, t) Mapa de movimiento 2D del hemicampo derecho C2(u, v, t) Mapa de carga 2D resultado del efecto de permanencia 2D C2 i (u i, v i, t) Mapa de carga 2D de la secuencia izquierda C2 d (u d, v d, t) Mapa de carga 2D de la secuencia derecha C2 min Valor mínimo de carga de los elementos de permanencia 2D C2 max Valor máximo de carga de los elementos de permanencia 2D C2 des Valor de descarga de los elementos de permanencia 2D H2(u, v, t) Hemicampo visual genérico 2D xiii

14 Indices H2 i (u i, v i, t) H2 d (u d, v d, t) H2 ii (u i, v i, t) H2 id (u d, v d, t) H2 di (u i, v i, t) H2 dd (u d, v d, t) 3(u, v, d, t) 3 i (u i, v i, d, t) 3 d (u d, v d, d, t) D3(u, v, t) D3 i (u i, v i, t) D3 d (u d, v d, t) MOV3(u, v, d, t) MOV3 i (u i, v i, d, t) MOV3 d (u d, v d, d, t) C3(u, v, d, t) C3 i (u i, v i, d, t) C3 d (u d, v d, d, t) C3 min C3 max C3 des v x (x, y, z, t) v y (x, y, z, t) v z (x, y, z, t) Hemicampo visual izquierdo 2D de un fotograma genérico Hemicampo visual derecho 2D de un fotograma genérico Hemicampo visual izquierdo 2D de un fotograma izquierdo Hemicampo visual izquierdo 2D de un fotograma derecho Hemicampo visual derecho 2D de un fotograma izquierdo Hemicampo visual derecho 2D de un fotograma derecho Mapa de correspondencias de carga 3D Mapa de correspondencias de carga 3D del hemicampo izquierdo Mapa de correspondencias de carga 3D del hemicampo derecho Mapa de profundidad 3D Mapa de profundidad 3D del hemicampo izquierdo Mapa de profundidad 3D del hemicampo derecho Mapa de movimiento 3D Mapa de movimiento 3D del hemicampo izquierdo Mapa de movimiento 3D del hemicampo derecho Mapa de carga 3D Mapa de carga 3D del hemicampo izquierdo Mapa de carga 3D del hemicampo derecho Valor mínimo de carga de los elementos de permanencia 3D Valor máximo de carga de los elementos de permanencia 3D Decremento de descarga de los elementos de permanencia 3D Velocidad en x de un elemento de la escena Velocidad en y de un elemento de la escena Velocidad en z de un elemento de la escena xiv

15 Estereopsis y Movimiento. Modelo de Disparidad de Carga: un Enfoque con Inspiración Biológica Introducción General y Resumen En esta tesis se propone una nueva alternativa que permite obtener, de forma continua, información tridimensional del movimiento en la escena, tomando como entrada al sistema una pareja de secuencias de imágenes estéreo, prolongadas en el tiempo de forma indefinida. La forma es importante en visión; pero también, el mundo en el que nos movemos es un mundo dinámico, además de tridimensional. A esta dinámica contribuyen, tanto nuestro propio movimiento, como el de los elementos que nos rodean. Quizá por ello, el movimiento juega un papel tan significativo en los procesos de visión. En la estereovisión biológica, sabemos que existe una vía en el sistema nervioso que asocia el movimiento y la estereovisión; sabemos también que en la periferia del foco de atención, el movimiento juega un papel incluso más importante que la forma en multitud de sistemas biológicos. Este hecho llega hasta tal punto que la mayoría de los animales excepto los homínidos superiores no son capaces de detectar mediante la visión objetos que permanecen estáticos; sólo son capaces de percibir objetos en movimiento; y sin embargo, se desenvuelven perfectamente en su entorno. Esta característica permanece todavía en la periferia del campo de visión de los humanos. En dicha periferia no somos capaces de percibir los objetos a menos que se muevan. No obstante, este problema se resuelve mediante un acto reflejo que orienta los ojos, e incluso el cuello, hacia el objeto de la visión periférica que se ha movido, y centrarlo en la retina. La parte central de la retina, la fóvea, además de ser la parte que posee una mayor resolución espacial, también es capaz de reconocer objetos estáticos. ólo hay un pequeño matiz. egún Hubel [Hub95], para la visión en todo el ojo necesitamos que los objetos se estén moviendo constantemente respecto de la retina. En realidad, los ojos en ningún caso permanecen absolutamente quietos, sino que se mueven de un modo inconsciente unos pocos minutos de arco varias veces por segundo. A estos movimientos se les llamó movimientos microsacádicos. i fijamos artificialmente la imagen en la retina, curiosamente la visión desaparece. Esto nos lleva a la conclusión que únicamente vemos movimiento, y cuando los objetos están estables, necesitamos mover los ojos para que la imagen recibida varíe en el tiempo. En el ámbito de los sistemas artificiales, para interactuar de un modo adecuado en un medio dinámico, los robots deben contar con la capacidad de analizar su entorno y, por supuesto, una de las capacidades más potentes es la visión; por lo menos así se considera en los humanos y en los animales. Pero, en la actualidad, el mundo de la estereovisión artificial recoge pobremente los efectos derivados del movimiento en la escena. Hasta la fecha, las técnicas usuales de estereovisión se basan en la forma; analizando la disparidad xv

16 Introducción General y Resumen y, por tanto, obteniendo la profundidad, atendiendo a dicha característica. Por otra parte, además, son fundamentalmente estáticas. La visión en nuestro entorno tridimensional se produce proyectando la escena sobre un elemento superficial. En el caso de los animales y el hombre, este elemento es la retina del ojo con forma de corteza esférica y en el caso de las cámaras tiene forma plana. La proyección sobre una superficie provoca la conversión de la información tridimensional de la escena en información bidimensional, perdiéndose por completo un grado de libertad: la profundidad de la escena. El proceso de proyección es, por su naturaleza, irreversible; por lo tanto, si queremos recuperar la profundidad de una escena hemos de recurrir a otro mecanismo. Existen diversos mecanismos para estimar la profundidad de una escena. Algunos ejemplos pueden ser el tiempo de vuelo en la propagación de una onda sonora o electromagnética, o el enfoque automático de una lente buscando el máximo contraste en la imagen tomada. De entre todos ellos, nos ha interesado uno en concreto por ser el que utilizan muchos seres vivos en general, y particularmente los humanos. Este método es la estereovisión que se basa en el análisis de dos perspectivas diferentes de la escena. Estéreo en Visión Natural Aunque ciertamente la bibliografía no es concluyente en cuanto a los procesamientos internos que realiza el sistema nervioso para estimar la profundidad a través de la estereopsis, en ella sí se encuentra un conjunto de evidencias que nos sugieren ideas al respecto. Así, en primer lugar, los experimentos realizados con objetos isoluminantes asocian la percepción de la profundidad a la vía magnocelular dedicada básicamente al movimiento. Esta vía se segrega de las dos parvocelulares en la retina, al depender la información transportada de las células de tipo M, que son sensibles a variaciones bruscas del contraste en su campo receptivo. La información procedente de los dos ojos, ordenada topográficamente, llega al quiasma óptico donde se separa en los hemicampos visuales izquierdo y derecho; probablemente con el fin de integrar separadamente, en las áreas de asociación corticales, los estímulos de las diferentes modalidades sensoriales que llegan de cada lado del espacio extracorporal. La información de cada hemicampo visual llega al córtex V1 contralateral atravesando el núcleo geniculado lateral. Esta separación genera una discontinuidad en el centro del campo visual que se resuelve en el córtex mediante el cuerpo calloso, en el que se encuentran células sensibles a estímulos localizados en dicha zona. En el córtex V1, las células simples y complejas están agrupadas en columnas de orientación y de dominancia ocular; estas últimas se consideran la primera etapa en la que xvi

17 Estereopsis y Movimiento. Modelo de Disparidad de Carga: un Enfoque con Inspiración Biológica convergen realmente las informaciones de los dos ojos en una única percepción binocular. Por otra parte, las células de cerca y lejos que se han registrado, no se sabe hasta qué punto colaboran en el procesamiento de la estereovisión, ni su relación con las columnas de dominancia ocular. De hecho, el propio Hubel en su libro refleja sus dudas de que éstas sean las células responsables de la percepción tridimensional que conocemos. En esta tesis, a través de experimentos psicofísicos, como el estrecho margen alrededor del punto de fijación en el que se fusionan las dos imágenes, derecha e izquierda, sin producir una imagen doble, o los relacionados con los movimientos sacádicos de los ojos, también reflexionaremos sobre las palabras escritas por Hubel: Cambiando la dirección relativa de los ojos, ajustándolos hacia adentro o hacia afuera, se unirán las dos imágenes del objeto en un estrecho margen de convergencia y divergencia. Así en principio, o el ajuste de las lentes o la posición de los ojos podría decirnos la distancia de un objeto. Visión Artificial Una de las posibilidades surgidas de la aplicación de la informática a los procesos industriales es la inserción de la capacidad de ver, que se ha ido integrando en las máquinas intentando conseguir en ellas una mayor autonomía. Todavía, los sistemas de visión de las máquinas son muy primitivos y simplistas; estando orientados a una tarea muy concreta y cerrada, con unos análisis a su vez concretos y cerrados. Prácticamente, todo lo que son capaces de hacer las máquinas es tomar una imagen o una secuencia de imágenes y realizar sobre ella un análisis basado en la extracción de características perfectamente definidas dependiendo del objetivo que se persiga. Posibles ejemplos de esto son la detección de fallos mediante características, como píxeles con niveles de brillo anormales; la medida de longitudes transversales; o la detección de formas de los productos a la salida en una cadena de fabricación, con el fin de controlar el posicionamiento del brazo de un robot. La aparente simplicidad desde el punto de vista humano de estas tareas choca con la complejidad de los procesos involucrados desde el punto de vista artificial. Esta complejidad ha llevado a la distinción entre procesos de alto y bajo nivel en función del grado de semántica y del conocimiento del dominio necesarios, así como a la especificación de distintas etapas: digitalización, preproceso, segmentación, etiquetado de regiones y objetos, reconocimiento y comprensión. A su vez, atendiendo a las técnicas usadas, la distinción básica está entre la computación convencional sobre bases estadísticas, analíticas o borrosas, las técnicas basadas en el conocimiento propias de la Inteligencia Artificial (IA), los sistemas expertos y las técnicas neuronales; si bien es cierto que en la actualidad es usual la utilización de técnicas híbridas. xvii

18 Introducción General y Resumen Dentro de este entorno, ya hace tiempo se pensó en desarrollar sistemas bioinspirados, tratando de obtener sistemas robustos y eficientes en base a características de los sistemas neurales biológicos. El problema que se plantea aquí es que el conocimiento del sistema nervioso biológico sigue siendo muy limitado; y además, la interrelación entre diferentes sistemas, como el visual, la memoria, el aprendizaje, etc. hacen de ésta una tarea muy compleja. Por estas razones, la pretensión de una simulación del sistema visual humano, de forma artificial, queda bastante lejos de lo posible en la actualidad. El interés de estos desarrollos radica en extraer y aplicar aquellas características interesantes que aportan ideas para conseguir el propósito buscado. Planteamiento del Problema y Objetivos Como se ha visto en el principio de esta introducción, esta tesis propone definir una nueva alternativa que permita obtener, de forma continua, información tridimensional del movimiento en la escena, a partir de un par estéreo de secuencias de imágenes de duración indefinida. El hecho de incluir la capacidad de trabajar con secuencias indefinidas procedentes de una escena real, donde pueden existir diversos objetos que se mueven a lo largo del tiempo, implica que las teorías de visión estéreo basadas en imágenes estáticas no se pueden aplicar íntegramente, de manera que necesitan adecuarse a entornos dinámicos. Nuestro grupo lleva varios años desarrollando sus investigaciones en el estudio del movimiento en secuencias de imágenes. Todas estas investigaciones nos han permitido afrontar aplicaciones como el reconocimiento de siluetas de objetos móviles en entornos ruidosos [Fer03a], la clasificación de móviles según sus características del movimiento, como su velocidad o su aceleración [Fer01a] y [Fer01b], y en aplicaciones relacionadas con la atención selectiva visual [Lop03a], [Lop04]. En todos estos trabajos se ha abordado la solución a estos problemas usando una serie de métodos de inspiración biológica basados en dos mecanismos fundamentales: (1) la computación acumulativa, [Fer92], [Fer95a], [Fer97] y [Mir03b]; y (2) una versión generalizada del cálculo realizado por las redes de inhibición lateral algorítmica (ALI) [Mir01], [Fer01a], [Fer01b], [Del02], [Fer03b] y [Fer03c]. Todos estos trabajos han producido una base de conocimiento importante en este campo, que en su día se pensó aplicar también a la estereovisión. Fruto de esta decisión se comenzó a trabajar en esta tesis que ahora se presenta. En ella, todos estos conocimientos fundamentales que se aplican, están centrados en un método de segmentación basada en el movimiento de los objetos respecto de las cámaras que los están percibiendo. Esta segmentación se realiza mediante el denominado efecto de permanencia, cuyo análisis pormenorizado se puede encontrar en [Fer97]. xviii

19 Estereopsis y Movimiento. Modelo de Disparidad de Carga: un Enfoque con Inspiración Biológica Figura 1. Esquema general del modelo propuesto. Para visualizar de forma gráfica la estructura del sistema que definimos, hemos utilizado el esquema de la figura 1. Puede verse cómo la entrada se obtiene desde dos cámaras pareadas, que adquieren sendas secuencias indefinidas de imágenes compuestas por series de fotogramas captados de una escena tridimensional con movimiento; y la salida es una secuencia de mapas tridimensionales donde conocemos, para cada punto móvil de la escena, las componentes de las coordenadas de sus vectores de velocidad y aceleración. i conocemos la disparidad que los elementos de la escena generan entre las dos imágenes derecha e izquierda, la obtención del plano tridimensional, es simplemente una cuestión de geometría perfectamente resuelta. Pero el problema fundamental en visión estereo no es la geometría, sino el estudio de correspondencias o matching; esto es, emparejar los puntos de cada imagen izquierda con los de la derecha, o viceversa, que correspondan a un mismo punto del marco de referencia de la escena para poder medir su disparidad y así obtener su profundidad. Los trabajos de estereovisión tradicionales, utilizan como base para realizar el matching, un par de imágenes estereoscópicas, bien de color, bien de niveles de gris, e intentan realizar el matching basándose en las características de forma, o en general de luminosidad. Esta tesis, en cambio, propone fundamentar la estereopsis no en las características de forma, sino en las de movimiento. Esto es, manteniendo la misma estructura para resolver el problema geométrico, nosotros sustituimos el par de imágenes en niveles de gris, por otro par de imágenes que contienen las características de movimiento. En nuestro caso, fundamentamos el matching en las imágenes de carga que genera el efecto de permanencia en cada una de las secuencias procedentes de cada sensor (Derecho-Izquierdo). Puede verse un ejemplo gráfico sencillo en la figura 2. En la parte A de esta figura podemos ver la escena, el par de imágenes estéreo en luminosidad, y la disparidad que cada elemento genera. En la parte B vemos sin embargo que las imágenes xix

20 Introducción General y Resumen que utilizamos para realizar el matching son los mapas de carga resultado de aplicar el efecto de permanencia a la secuencia de imágenes en cada sensor. Puesto que la estereopsis se calcula de forma continua sobre un par de secuencias de imagen estereoscópicas, se obtiene también una secuencia continua de mapas tridimensionales de movimiento. La secuencia de mapas tridimensionales en el tiempo nos genera, por permanencia, un mapa de carga tridimensional que nos permite calcular las coordenadas y magnitudes de los vectores velocidad y aceleración para cada punto con movimiento. Así pues, la clave de nuestra propuesta consiste en sustituir la forma por el movimiento, esto es, la luminosidad por la carga. En este trabajo se ha seguido el camino metodológico usual en Ingeniería del Conocimiento (IC). e parte de un estudio de las especificaciones funcionales a nivel del conocimiento, donde se propone también el modelo conceptual dentro de la perspectiva funcional o representacional de la IA, es decir, en términos de tareas, subtareas, métodos, inferencias, roles estáticos y dinámicos, y conocimiento específico del dominio. Después se operacionalizan las inferencias y se implementan los operadores. Finalmente, se evalúa la implementación de la estereovisión dinámica para secuencias virtuales y reales, y se compara el enfoque propuesto con el de otros autores. Una vez planteado el objetivo global y la metodología usada, a continuación se indican los objetivos específicos de la misma. Figura 2. Estereovisión basada en la forma o en el movimiento xx

21 Estereopsis y Movimiento. Modelo de Disparidad de Carga: un Enfoque con Inspiración Biológica En primer lugar, el problema de estereovisión, generalmente, obtiene un mapa tridimensional estático de la escena a partir de un par de imágenes estéreo, que no pertenecen a secuencia alguna. Esta tesis no intenta obtener un mapa tridimensional estático, si no un mapa tridimensional de movimiento donde exista información de las componentes de las coordenadas de los vectores de velocidad y aceleración de los puntos móviles en la escena. Para ello, no utiliza simplemente un par de imágenes (izquierda-derecha) estáticas aisladas, sino que utiliza dos secuencias de imágenes indefinidas (izquierdaderecha). En estas secuencias, las imágenes están emparejadas cuadro a cuadro. La salida, por tanto, no es un mapa tridimensional estático de la escena, sino una secuencia de mapas tridimensionales de movimiento, uno por cuadro, que reflejan el movimiento en la escena a cada cuadro y de forma indefinida. No son de nuestro interés los elementos estáticos de la escena, por lo que el sistema debe filtrarlos. No aparecerá, por tanto, información tridimensional de los elementos estáticos de la escena. No son invisibles, ya que se produce oclusión cuando los elementos móviles se ocultan tras ellos, pero no son visibles para el sistema. En definitiva, no realizamos estereovisión basada en la forma, sino estereovisión basada en el movimiento. Los sistemas biológicos de estereovisión tienen generalmente la capacidad de variar la profundidad y localización del punto de fijación. Generalmente, este se focaliza para atender elementos de la escena que son de interés para el observador. En nuestro caso, el sistema propuesto se optimiza para obtener información de movimiento en la periferia del campo visual, con el fin de que sirva como soporte a cualquier otro sistema de visión artificial convencional. Algo así como una ayuda para detectar un balón que viene hacia nosotros mientras estamos mirando un niño sentado en la arena. Asimismo deseamos que el acercamiento que se realiza produzca frutos en dos sentidos. Por un lado que la biología nos enseñe lo que hace, para poder entender cómo lo hace; y por otro pretendemos humildemente, plantear mecanismos que, al resolver parte de la funcionalidad que encontramos en los sistemas biológicos, puedan servir de fuente de inspiración tanto a investigadores del campo de la biología como de la inteligencia artificial, para abrir líneas de trabajo que hasta la fecha no existen en el estado del arte actual. xxi

22 Introducción General y Resumen Resumen A continuación se muestra la distribución de los contenidos de los distintos capítulos en los que se estructura esta memoria de tesis doctoral. En el primer capítulo se muestran diversos conocimientos fisiológicos y psicológicos sobre la visión natural, centrando la atención en aquellos que son más importantes para nuestro modelo de visión estereoscópica dinámica. Por otro lado, se incluyen distintos modelos computacionales realizados que intentan explicar los resultados obtenidos en los experimentos psicofísicos. El capítulo termina con una revisión de algunos de los dominios de aplicación más usuales. En el capítulo segundo se relaciona de una manera conceptual la tarea de la visión estereoscópica dinámica con las memorias de permanencia. e analizan las memorias de permanencia en el nivel físico y en el nivel simbólico y, finalmente, se analiza su aplicación al problema de la Visión Estereoscópica Dinámica. El capítulo tercero constituye el corazón del modelo propuesto. Aquí presentamos la descomposición de la tarea de Análisis Estéreo del Movimiento 3D, la obtención del esquema inferencial asociado a cada una de las subtareas y la operacionalización de las inferencias, especificando los distintos roles en términos del conocimiento del dominio. Aunque todos los resultados se agrupan en el capítulo cuarto, aquí introducimos algunos ejemplos con imágenes reales para poner de manifiesto el efecto producido por el cálculo asociado a cada una de las subtareas. El capítulo cuarto está dedicado a mostrar los resultados obtenidos con el modelo propuesto en una serie de aplicaciones; en ellas se han variado los resultados a conseguir en cada caso, de manera que puedan mostrar las posibilidades que ofrece nuestro sistema. Esta variación de resultados está estructurada en términos del objetivo final: (1) Estimación de la profundidad y detección del movimiento en profundidad, (2) eliminación de objetos estáticos, (3) navegación autónoma de un vehículo inteligente y finalmente (4) análisis de la velocidad en la profundidad. En estos procesos se han utilizado tanto secuencias sintéticas como reales. En el capítulo quinto se ofrece una discusión de los resultados y su comparación con los resultados obtenidos por otros autores. e utiliza como marco de comparación la naturaleza de las suposiciones tomadas como puntos de partida de las distintas alternativas para un mismo problema. Finalmente en el capítulo sexto se presenta un resumen de las conclusiones y las principales aportaciones de este trabajo. xxii

23 Estereopsis y Movimiento. Modelo de Disparidad de Carga: un Enfoque con Inspiración Biológica Junto con estas conclusiones incluimos también algunas reflexiones sobre los aspectos a mejorar en nuestro sistema de visión estereoscópica dinámica: en particular el aprendizaje autónomo, y sobre los distintos dominios de aplicación. El objetivo a medio plazo es dotar a nuestro sistema de la capacidad de reconfiguración y aprendizaje, para adaptarse a distintos escenarios. Al final de la memoria se ha incluido un apéndice donde se muestra el código desarrollado que nos ha permitido valorar la solución propuesta. xxiii

24 xxiv

25 Estereopsis y Movimiento. Modelo de Disparidad de Carga: un Enfoque con Inspiración Biológica 1. Conceptos y Técnicas en Estereovisión Este capítulo está orientado a realizar un recorrido por diversos dominios de conocimiento relacionados con la estereovisión. En el ámbito de lo biológico se abordan, en primer lugar, detalles relacionados con la psicología de la percepción. Posteriormente se presentan algunas teorías neurológicas centradas en los conceptos que nos han servido de inspiración para desarrollar nuestro modelo. eguidamente, se hace un repaso de los conceptos implicados en la visión estereoscópica artificial, para finalizar con un recorrido por los modelos computacionales realizados y sus aplicaciones Aspectos Psicológicos de la Estereovisión La percepción visual, y en consecuencia la estereovisión, no dependen sólo de la información luminosa que llega a los fotorreceptores de nuestra retina, sino también de otros factores psicológicos. Por ello hemos querido comenzar este capítulo realizando un repaso de los más importantes. Comenzaremos con aquellos que afectan a la visión en general para posteriormente orientarnos hacia la estereovisión Psicología de la Visión Hasta hace relativamente poco, la percepción visual se comparaba frecuentemente con la operación de una cámara fotográfica en la que el cristalino enfoca e invierte la imagen sobre la retina. Esta analogía ha decaído rápidamente, ya que pasa por alto lo que realmente hace la vista, que es crear una percepción tridimensional del mundo distinta de las imágenes bidimensionales proyectadas sobre la retina. Dicha analogía tampoco puede dar cuenta de una característica importante de nuestro sistema visual: el que podamos reconocer un objeto aunque su imagen sobre la retina varíe considerablemente bajo distintas condiciones de iluminación. Además de ésto, se consideran otras características básicas respecto de nuestra percepción: La aparente continuidad de percepciones nos hace pensar que cada proceso mental concreto (ver, pensar, aprender, etc.) es algo continuo e indivisible. En cambio, esta apariencia de continuidad en las diferentes percepciones del mundo, es una ilusión. 1

26 Conceptos y Técnicas en Estereovisión En realidad, dichos procesos se componen de varios elementos independientes de información-procesamiento; de manera que, incluso la tarea cognitiva más sencilla requiere la coordinación de varias áreas distintas del encéfalo para su ejecución [Kan00]. Una vez que cada una de las vías sensoriales ha sido analizada por separado, y extraída toda la información relevante de cada estímulo, todas elstas vías vuelven a converger en los centros superiores y en las áreas de asociación del sistema nervioso para conseguir percepciones más elaboradas. Como ejemplo, las áreas somatosensoriales primarias y secundarias del córtex parietal anterior proyectan a la otra principal subdivisión del lóbulo parietal, el córtex parietal posterior. Estas áreas parietales posteriores también reciben entradas de los sistemas visual y auditivo, y se ocupan de integrarlas todas, así como de dar lugar a las percepciones espaciales, de focalizar la atención en el espacio extrapersonal y de la integración visiomotora. La segunda de ellas es que la percepción es un proceso activo y creativo, más que pasivo. El cerebro construye una representación interna de los acontecimientos físicos externos, después de haber analizado sus componentes con anterioridad. A partir de los distintos detalles de un estímulo, el encéfalo los organiza de tal modo que crea un conjunto perceptual, que es más que la suma de sus partes. Un ejemplo de esto es cómo la sensación del tacto y la propiocepción de la mano son combinadas para producir la sensación de forma tridimensional cuando agarramos un objeto. Por otra parte, la percepción, no sólo depende de la información intrínseca del estímulo, sino que también depende de la estructura mental de quién la percibe. Por tanto podemos decir que la percepción es un proceso constructivo. El cerebro construye activamente preceptos completos a partir de los detalles de la imagen visual. Cuando miramos a nuestro alrededor, no vemos puntos de colores, sino que identificamos los objetos que nos rodean. El cerebro realiza esto estableciendo ciertos supuestos sobre lo que se verá en el mundo, supuestos que parecen derivar en parte de la experiencia y en parte de la organización de las conexiones neurales para la visión. Así un cubo dibujado en el papel nos parecerá un cubo tridimensional porque hemos tenido una amplia experiencia con cajas reales. Finalmente, a los psicólogos de la Gestalt les gustaba comparar la percepción de la forma visual con la percepción de una melodía. Lo que reconocemos en una melodía no es la secuencia de notas concretas sino su interrelación. Una melodía tocada en distintas claves seguirá siendo reconocida como la misma porque la relación entre las notas permanece constante. Del mismo modo, podemos reconocer distintas imágenes bajo distintas condiciones visuales. Incluyendo diferencias de iluminación, porque la relación entre los componentes de la imagen se mantienen. 2

27 Estereopsis y Movimiento. Modelo de Disparidad de Carga: un Enfoque con Inspiración Biológica Además de estas características básicas, el mecanismo de la atención juega un papel muy significativo en lo que percibimos en cada momento. Maurits Escher escribe: Nuestros ojos están acostumbrados a fijarse en objetos específicos. En el momento en el que esto ocurre todo lo que los rodea queda reducido a un fondo. El ojo y la mente humana no pueden estar ocupados con dos cosas a la vez por lo que debe haber un paso rápido y continuo de un lado al otro. La dicotomía figura-fondo ilustra así uno de los principios de la percepción visual: sólo se selecciona como foco de atención una parte de la imagen mientras que el resto queda sumergido en el fondo. e cree que, para separar la figura del fondo, organizamos el campo visual en componentes coherentes, representando cada uno de ellos por un conjunto de valores de profundidad, brillo y textura. Además, cuando un objeto se mueve, un conjunto de estos elementos tendrá una dirección específica y una velocidad de movimiento, de modo que un conjunto en movimiento puede ser una clave para distinguir los objetos. La profundidad, el brillo y la textura pueden analizarse eficientemente con una resolución baja. Así las capacidades para discriminar la figura del fondo, para unir partes de la escena y para percibir las relaciones espaciales pueden estar mediadas, todas ellas, por un sistema de baja resolución que organiza toda la imagen definiendo sus componentes. in embargo, el análisis de la forma requiere una resolución alta Psicología de la Estereovisión Nuestra capacidad de estimar la profundidad depende de cinco principios: en primer lugar, podemos considerar muchas pistas sobre la profundidad. Por ejemplo, cuando un objeto oculta parcialmente a otro, consideramos que éste está mas cerca que aquel. Cuando movemos la cabeza de un lado a otro o de arriba hacia abajo, el movimiento relativo de los objetos a diferentes distancias varía. Esto es lo que se llama el paralaje. i reconocemos un objeto del campo visual, su tamaño relativo en la retina nos puede dar una estimación de su profundidad; y si no lo conocemos, podemos establecer puntos de referencia en su entorno para hacer estimaciones tanto de su tamaño como de su distancia. Asimismo, la observación de las sombras y la perspectiva también nos permite hacer conjeturas. Por su parte, Hubel en su libro [Hub95] escribe sobre las variaciones en el enfoque a través del cristalino y la convergencia y divergencia de los ojos, que nos permite fusionar las dos imágenes percibidas en un sólo constructo perceptual, como otros dos mecanismos que nos pueden permitir estimar la distancia a la que está un objeto. Algunos detectores de profundidad están basados en estos principios. Excepto esta convergenciadivergencia, todas las demás opciones afectan sólo a un ojo; pero la estereopsis, que es la 3

28 Conceptos y Técnicas en Estereovisión forma más importante y más precisa de analizar la profundidad en una escena, depende de la utilización de los dos ojos conjuntamente. i fijamos nuestra mirada en un punto del espacio, cualquier punto a la misma profundidad que el punto de convergencia de los dos ojos caerá en puntos homólogos de las dos retinas. i ahora consideramos un punto de luz que está a una profundidad diferente, en las dos retinas se generan dos puntos de luz de manera que no coincidirán en sus posiciones relativas; no serán homólogos. Esta distancia relativa entre las dos imágenes define la disparidad. Cuando las imágenes en las retinas está más hacia afuera (teniendo en cuenta la inversión de la imagen que se produce en el ojo) el objeto estará más cerca, y cuando el desplazamiento es hacia adentro, el objeto está mas alejado. e ha observado que si la disparidad en la dirección horizontal es menor que 2 grados y no tiene componente vertical o es menor que unos pocos minutos de arco, lo que percibimos es un solo punto en el espacio. Asimismo, si el desplazamiento está fuera de este margen tendremos una doble visión del punto de luz, y puede o no parecer que está más lejos o más cerca Fisiología de la Estereovisión Un hecho tan cotidiano como es el ver lleva consigo todo un conjunto de pequeñas tareas que nosotros no apreciamos, debido a que las realizamos de forma automática y fuera de todo control consciente. El sistema nervioso del que forma parte el sistema visual podemos considerarlo como un enorme sistema de control. En él, las diferentes percepciones están orientadas en muchas ocasiones a la ejecución y el control de acciones, y algunas de nuestras acciones nos permiten percepciones más complejas. Un ejemplo de ello lo tenemos en el seguimiento de objetos; y a nuestro entender, como veremos en el apartado , también nos proporciona la percepción visual estereoscópica completa. Los principios de polarización dinámica y de especificidad de las conexiones nos permiten deducir que la información percibida fluye a través de las vías neurales en un sólo sentido, y que la convergencia y divergencia de la información que se produce en cada neurona sugiere la existencia de un procesamiento en etapas basado en efectos de integración y transmisión. A partir de estos objetos, en las primeras etapas del sistema visual, las células ganglionares retinianas y las geniculadas responden fundamentalmente a los contrastes de luz en pequeños campos receptivos circulares. En el nivel siguiente, el córtex visual primario, las células simples responden a estímulos lineales orientados con relativa precisión y a límites dentro de los campos receptivos rectilíneos que abarcan los campos receptivos de varias neuronas de orden inferior. En las células complejas, cuyos campos 4