VI PLAN DE PRUEBAS, RESULTADOS Y RECOMENDACIONES

Transcripción

1 VI PLAN DE PRUEBAS, RESULTADOS Y RECOMENDACIONES En la presente sección, se realiza el correspondiente plan de pruebas del prototipo con la finalidad de exponer las estrategias y recursos necesarios para establecer mediante los resultados obtenidos del mismo, conclusiones a partir de las pruebas que se establecieron en cuanto al componente de comunicación y de reconocimiento de imágenes del sistema Métodos seleccionados de reconocimiento de imágenes para plan de pruebas. Para la identificación de similitud entre la imagen que envía el cliente móvil y las que el servidor posee, se seleccionaron 9 métodos diferentes, de los cuales 6 están basados en semejanza según su diferencia de histogramas, mediante distintas métricas entre estos, como se establece en el texto de Computer Vision [10] (coeficiente de Bhatthacharyya, distancia Euclidiana, Intersección entre los mismos), y se realizan estas comparaciones teniendo en cuenta no solamente el histograma a color de imágenes RGB sino también después de pasarlas a escala de grises, con el fin de observar la medida en que favorece o desfavorece esto la comparación según las pruebas correspondientes por cada método explicadas en la siguiente sección (6.2). Finalmente, los últimos 3 métodos seleccionados se basan en la comparación entre las imágenes en blanco y negro sin retoque adicional alguno, de esta misma manera también se comparan mediante detectores de bordes de Laplace y finalmente de Canny (ver Secciones y respectivamente). 6.2 Aclaraciones Generales y Plan de Pruebas A continuación se establecen aclaraciones generales en cuanto a la realización satisfactoria del plan de pruebas del prototipo: Estructura General de los Archivos: La estructura de las carpetas usada para realizar las pruebas del prototipo se ilustra a continuación, esto con el fin de aclarar mejor la forma en que se almacenaron las imágenes capturadas de edificios para su posterior comparación y reconocimiento, a continuación se muestran dos carpetas para ilustrar el esquema general utilizado:

2 Carpeta Raíz Con Imágenes (C:\ImagenesUniversidad) Ilustración 1 - Carpeta Raíz Imágenes Carpeta 1 Con Imágenes Facultad Ingeniería (C:\ImagenesUniversidad\1) Ilustración 2 - Carpeta Imágenes Edificio 1 Carpeta 2 Con Imágenes Ciencias Básicas (C:\ImagenesUniversidad\2) Carpeta n, siendo n el número de edificios. Las pruebas se realizaron con 4 edificios: 1) Edificio (11) José Gabriel Maldonado, S.J., 2) Edificio (51) Ciencias Básicas, 3) Edificio Biblioteca General Alfonso Borrero Cabal S.J., 4) Edificio Tienda Javeriana- 1er piso Edificio Central. Se manejaron 4 carpetas (1 por edificio) y por cada edificio se tomaron 45 fotos, las cuales contaron con parámetros establecidos según las pruebas pertinentes. Cabe anotar que esta disposición de las carpetas permite extensibilidad del sistema ya que si se quieren añadir imágenes basta con simplemente añadir nuevas carpetas de imágenes. Resolución de imágenes: La resolución de las imágenes por directorio es de 128*160 pixeles. Para las que llegan desde el cliente móvil se les aplicó resize o redimensionamiento de pixeles para obtener comparaciones precisas. Matriz resultado: Para las pruebas propuestas, se generó una matriz resultado por método (o combinación de los mismos) que es una representación gráfica de la comparación entre cada una de las imágenes (Filas) versus las imágenes mismas (Columnas) almacenadas en cada

3 carpeta, y su color verde / rojo indica proximidad a valores de 1 y 0 respectivamente, lo cual puede indicar similitud o diferencia entre estas (según método se explica su significado). Se crearon estos archivos de formato. csv mediante Excel, ilustrando así de manera clara (ver Anexo 6 con cada archivo correspondiente a cada método), como en cada una de estas imágenes (de las matrices resultado), la diagonal principal en cada una aparece resaltada, lo cual denota que los métodos están efectivamente comparando cada imagen con si misma de manera satisfactoria, e identificándose con un valor de 1 (o 0 si es distancia euclidiana). Se observa la diagonal descrita en cada matriz resultado, como se muestra a continuación a través de la comparación entre todas las imágenes en todas las carpetas (cada grado de similitud entre 0 y 1 determina la matriz resultado): Ilustración 3 - Matriz Resultados Cada una de estas matrices contribuyó a que se efectuaran mejor y más fácilmente las pruebas por cada método y a partir de ellas se mostraron sus resultados, se escogieron los 3 mejores métodos y se realizaron conclusiones respectivas. A continuación se exponen los planes de prueba estipulados tanto para el componente de reconocimiento de imágenes de la investigación, como para la parte de comunicación móvil necesaria para enviar las imágenes satisfactoriamente al servidor que posteriormente las identifica.

4 Plan de Pruebas de Servidor de Reconocimiento de imágenes Con el fin de determinar si el sistema en cuanto al reconocimiento del Servidor, evidentemente está cumpliendo con su labor de manera satisfactoria (reconocer imágenes), y además estimar su rendimiento, se plantearon las siguientes pruebas, con sus respectivos objetivos definidos a continuación: Correctitud y precisión. Evaluar la precisión general de reconocimiento de cada método mediante el cálculo del valor total de aciertos (de cada imagen vs. el resto) sobre el total de comparaciones, expresada como porcentaje. Prueba No. 1 Precisión de reconocimiento total. Para evaluar el resultado de precisión por método se realizó la formula: En el caso del prototipo, se tienen 4 carpetas, 45 imágenes por carpeta y un valor de 180 imágenes totales. Correctitud y precisión. Evaluar intervalo o cota máxima de error, que es el máximo error que puede tener el método al variar la distancia a la que se toma la imagen y no sus ángulos de perspectiva (60, 30, 0, ) y viceversa. Prueba No. 2 Precisión de reconocimiento Según variación en la Distancia y Ángulo de Perspectiva de la imagen. Se mide el máximo valor de similitud de imágenes tomadas a 60, 30, 0, con respecto a la perspectiva de la fachada del edificio, comparadas a distancias de 5, 10 y 15 metros en una matriz según variación de ángulo y distancia correspondiente. Finalmente se resta el máximo y mínimo valor de reconocimiento de 1 y se escoge de cada valor el menor y mayor para determinar el intervalo de error por método (en el caso de distancia euclidiana se toma el menor ya que entre más corta es, más parecidas son las imágenes). Ilustración 4 - Matriz Valores Variación Ángulos Perspectiva

5 Correctitud y precisión. Evaluar el intervalo o cota máxima de error, que es el máximo error que puede tener el método al variar la distancia a la que se toma la imagen y no sus ángulos de rotación (- 90, 0, y 90 ) y viceversa. Prueba No. 3 Precisión de reconocimiento según variación en la distancia y rotación de la imagen. Se sigue el mismo procedimiento descrito para la anterior prueba, pero esta vez se realiza con ángulos de rotación de las imágenes de -90, 0, y 90, de la siguiente manera: Ilustración 5 - Imagen Rotadas Ilustración 6 - Matriz Valores Variación Ángulos Rotación Rendimiento: Hallar tiempo límite del sistema en encontrar la imagen más parecida a la buscada. Prueba No. 4 Tiempo máximo de reconocimiento. Con el fin de estimar el tiempo máximo de comparación de una imagen del usuario final vs. todas las imágenes del sistema, para cada método seleccionado, se toma la imagen del usuario y se compara junto con todas las del sistema, y a partir de esto se calcula el tiempo total gastado en cada método, además se calcula cuál sería el ideal en cuanto a rapidez.

6 Plan de Pruebas de Comunicación Correctitud. Comprobar correcto envío de imagen al servidor. Rendimiento. Evaluar tiempo máximo en llegar imagen al servidor y en que se devuelva respuesta de confirmación. Prueba No. 1 Garantizar llegada de imagen y devolución correcta de mensaje de confirmación. Se envía la imagen desde el dispositivo móvil y se confirma su llegada mediante un mensaje de confirmación desde el servidor. Prueba No. 2 Tiempo máximo de envío de imagen al servidor y recepción de confirmación. Se calcula el tiempo total gastado en enviar una imagen al servidor y recibir de este una respuesta de confirmación. Con base en esto se determina el rendimiento en cuanto a la comunicación de envío y recepción.

7 6.3 Resultados del plan de pruebas del Servidor de Reconocimiento de imágenes A continuación, para cada una de las pruebas propuestas en el numeral anterior, se encuentran los resultados correspondientes según cada una de ellas: Resultados Prueba 1 - Precisión de reconocimiento total. De acuerdo a las métricas establecidas en el punto anterior, los resultados generales de la prueba 1 (ver Anexo 6 con cada archivo correspondiente por método) se muestran en la Ilustración 14: Ilustración 7 - Resultados Aciertos Por Método Reconocimiento Al considerarse la prueba 1, una de las más significativas para decidir cuál es el mejor método de reconocimiento, para las siguientes pruebas sólo se tienen en cuenta exclusivamente las 3 mejores técnicas encontradas, que son en resumen para esta prueba (junto con su archivo anexo correspondiente): 1) Distancia Euclidiana entre histogramas de imágenes RGB 97.22% (ver Anexo 6 - archivoeuclidianargb.xlsx). 2) Intersección de histogramas de imágenes RGB 96.77% (ver Anexo 6 archivointerseccionhistogramasrgb.xlsx). 3) Coeficiente Bhattacharyya entre histogramas de imágenes en escala de grises o RGB % (ver Anexo 6 - archivobhattacharryargb.xlsx / archivobhattacharryagrayscale.xlsx). Por lo tanto el método escogido como el mejor en cuanto a precisión y correctitud es el de distancia euclidiana con una precisión de reconocimiento de 97,22%, un algoritmo ampliamente usado en sistemas de visión artificial [10] que ha demostrado según estos resultados ser el más efectivo en cuanto a aciertos totales.

8 Resultados Prueba 2 - Precisión de reconocimiento Según variación en la Distancia y Ángulo de Perspectiva de la imagen. De acuerdo a las métricas establecidas anteriormente para la prueba 2 y según los cálculos correspondientes (ver Anexo 6), se obtuvieron los resultados expuestos en la Ilustración 14: Ilustración 8 - Resultados Precisión de reconocimiento Según variación en la Distancia y Ángulo de Perspectiva de la imagen Para los resultados obtenidos de la Prueba 2, se observó que los mejores 3 métodos en cuanto a su precisión al variar la distancia y el ángulo de perspectiva al tomar la imagen y reconocerla son los mismos que en la Prueba 1, no obstante en diferente orden ya que se ordenan según su error absoluto: 1) Coeficiente Bhattacharyya entre histogramas de imágenes grises o RGB. (ver Anexo 6 - archivobhattacharryargb.xlsx / archivobhattacharryagrayscale.xlsx). 2) Distancia Euclidiana entre histogramas de imágenes RGB / Grises (ver Anexo 6 - archivoeuclidianargb.xlsx / archivoeuclidianagrayscale.xlsx). 3) Intersección de histogramas de imágenes RGB (ver Anexo 6 archivointerseccionhistogramasrgb.xlsx). Por lo tanto se escogió en este caso particular el método del coeficiente de Bhattacharyya en imágenes a color y en grises como el más invariante en cuanto a cambios de distancia y ángulos de perspectiva, aún así, como se observó en la prueba anterior, posee un reconocimiento del 86.11% lo cual lo deja en desventaja frente al de Distancia Euclidiana que cuenta con casi más de un 10% de reconocimiento frente a este (97.11%).

9 Resultados Prueba 3 - Precisión de reconocimiento según variación en la distancia y rotación de la imagen. De acuerdo a las métricas establecidas anteriormente para la prueba 3 y según los cálculos correspondientes (ver Anexo 6), sus resultados fueron: Ilustración 9 - Precisión de reconocimiento según variación en la distancia y rotación de la imagen Se obtuvieron resultados similares en orden a los de la prueba 2, por lo tanto se sigue manteniendo la prioridad de los 3 métodos inicialmente seleccionados y a continuación se concluyen los resultados generales a partir de los ya expuestos. Resultados Prueba 4 - Tiempo máximo de reconocimiento De acuerdo a las métricas establecidas anteriormente para la prueba 4 y según los cálculos correspondientes (ver Anexo10.xlsx), sus resultados fueron: Ilustración 10 Promedio Tiempo máximo de reconocimiento Como se observa en la gráfica, se obtuvo un promedio en segundos, aproximadamente 2 segundos una vez el histograma de la imagen enviada por el cliente móvil se ha guardado en memoria y se ha comparado con los histogramas de todas las imágenes del directorio previamente almacenados. Lo anterior indica que el tiempo de reconocimiento de imágenes con este método es óptimo si se refiere a rendimiento.

10 Resultados Generales de Reconocimiento en el Servidor Se obtuvo que aunque el mejor método es el de Distancia Euclidiana en su precisión de reconocimiento (97.11%), tiende a no ser igual de efectivo si se varía la distancia y el ángulo de perspectiva o rotación, el segundo mejor es el de Intersección de histogramas a color con un 96,77% en cuanto a aciertos totales pero con el mismo inconveniente de Distancia Euclidiana, finalmente el tercer mejor método que se escogió fue el de coeficiente de Bhattacharyya, con un 86.11%, siendo así el más invariante a cambios de distancia, ángulos de perspectiva y rotación al momento de tomar la imagen. Por lo tanto el método escogido por su precisión y facilidad de implementación es el de Distancia Euclidiana entre histogramas de imágenes RGB. 6.4 Resultados del plan de pruebas de comunicación móvil. A continuación se ilustran los resultados de las pruebas correspondientes al componente de computación móvil. Resultados Prueba 1 Garantizar llegada de imagen y devolución correcta de mensaje de confirmación. Los resultados obtenidos luego de realizar 33 pruebas en el cliente y en el servidor fueron: 100%, siempre que se envía una imagen desde el cliente móvil, éste la envía y crea un archivo de la imagen correspondiente en el servidor, el cual tiene el nombre con el siguiente formato: <nickcliente>_<hh>_<mm>_<ss>, como se observa en la Ilustración 18. Ilustración 11 - Garantizar llegada de imagen y devolución correcta de mensaje de confirmación

11 Resultado Prueba 2 Tiempo máximo de envío de imagen al servidor y recepción de confirmación. Los resultados de esta prueba se observan en la Ilustración 19: Ilustración 12 - Tiempo máximo de envío de imagen al servidor y recepción de confirmación. Luego de evaluar los resultados de las pruebas se observa que donde más tiempo se demora el prototipo es en el cálculo de los histogramas y su almacenamiento en memoria, por lo cual se propone cargar una sola vez en un archivo en disco los histogramas de todas las imágenes de la base de datos, y luego evaluar si el tiempo en cada carga de este archivo es menor al promedio referenciado en los resultados de la prueba anterior (14248 milisegundos- 14 segundos). Por otra parte, el tiempo total que demora el prototipo en tomar la foto, enviarla al servidor mediante sockets o por invocación de servicios web, recibir la información del mismo y desplegarla en pantalla en el dispositivo móvil en promedio es de 2280 milisegundos 6.5 Resultados Generales Se obtuvo que el promedio de envío de la imagen al servidor y respuesta del mismo, incluido el método de reconocimiento, es de milisegundos, el cual es un tiempo satisfactorio, incluso menor del esperado por parte de los integrantes y el director del trabajo de grado, pues se pensaba que al usar MCR (Matlab Compiler Runtime) con un archivo *.jar generado por Matlab Builder JA (toolbox) [51], se tardaría mucho más tiempo.