Adaptive degraded document image binarization. Juan Diego del Moral Gómez, Rafael González Manzano, Oriol Guarino Manchado

Transcripción

1 Adaptive degraded document image binarization Juan Diego del Moral Gómez, Rafael González Manzano, Oriol Guarino Manchado

2 2

3 Tabla de contenido Resumen Introducción Trabajo relacionado Planteamiento teórico Pre-proceso Estimación aproximada de las regiones del primer plano Estimación del fondo de la imagen Umbralización final Sobremuestreo Post-procesamiento Resolución práctica Experimentación Manual de usuario Requisitos del sistema Instrucciones de instalación Importante Uso de Adib Abrir una imagen Formas de ejecución Conclusiones Referencias Anexo: Tabla de tiempos

4 Resumen Este trabajo presenta una nueva solución al problema de la adaptación para la binarización y mejoramiento de documentos degradados. Es importante resaltar que este nuevo método no necesita ningún parámetro de entrada. Este método consiste en una serie de pasos para obtener un resultado final. El primera paso será hacer un filtro de paso bajo de Wiener. Después se hará una aproximación de las zonas de primer plano. El siguiente paso consiste en un cálculo de la superficie de fondo. El penúltimo paso consiste en el cálculo del umbral mediante la combinación de la superficie de fondo calculada con la imagen original. Para terminar se hará un post-procesamiento para con el fin de mejorar la calidad de las regiones de texto. Después de numerosas pruebas este método ha demostrado ser mejor que otras cuatro técnicas [4] conocidas. Keywords: Degraded document images; Local adaptive binarization 1. Introducción Cuando hablamos de binarización de imágenes de documentos, hablamos de pasar una imagen en escala de grises a una imagen binaria. Normalmente se usa para distinguir entre texto y fondo en documentos que ya sea por sombras, manchas o bajo contraste exista unas intensidades de fondo variables que dificulta la distinción entre fondo y texto. Cuando hablamos de binarización de imágenes de documentos, podemos hablar de tratamiento local o global. Cuando hablamos del tipo global se refiere a que el umbral es el mismo para todo el documento. Este funciona correctamente cuando hay una buena diferencia entre fondo y texto. Pero en el caso de tratamiento local se obtienen mejores resultados generalmente. El proceso consta de 5 pasos. El primer paso consiste en una adaptación del filtro de paso bajo de Wiener para eliminar ruido. En el segundo paso se utiliza una primera estimación de las regiones del primer plano. El tercer paso consiste en obtener el fondo de la imagen mediante la interpolación de las intensidades del vecindario del fondo que son resultado del paso anterior. En el cuarto paso, se procede a la binarización final combinando la información del fondo calculado en el paso anterior y la imagen original. Las áreas de texto se encuentran, si la distancia de la imagen original del fondo calculada supera un umbral. El último paso es un post-procesamiento para eliminar ruido y mejorar la calidad de las regiones de texto. 4

5 2. Trabajo relacionado En la bibliografía hay métodos que realizan la binarización globalmente [1-5] y otros localmente [6-7]. Generalmente estos métodos utilizan la estadística, sin tener en cuenta la naturaleza de las imágenes. Está demostrado que los algoritmos de umbral local funciona correctamente cuando un fondo va cambiando poco a poco. Ahora comprobaremos el estado actual de la técnica observando tres métodos: 1. Niblack [8] introdujo un algoritmo que calculaba el umbral utilizando el pixel central de una ventana. donde s = varianza, m = media de los valores de gris de la ventana y k = -0.2 Con este método el ruido que está presente en el fondo sigue siendo dominante en la imagen binaria final. 2. Sauvola y Pietikainen [11] proponen una fórmula para calcular el umbral que soluciona este problema. donde R = 128 y k = Kim et al. [7] proponen un método para el umbral adaptativo local, donde se considera la imagen una imagen como un terreno 3D y la propiedad local se caracteriza como el flujo del agua. El flujo de agua detecta los valles correspondientes a regiones bajas con respecto las regiones vecinas. Los valles están llenos de agua que ha descendido mientras que las regiones planas se mantienen secas. El último paso en este método se refiere a la aplicación de un umbral global como el método de Otsu [2] en una imagen de diferencia entre el terreno original y el terreno lleno de agua. Un inconveniente de este método es la selección de los dos parámetros críticos para el método, es decir, la cantidad de lluvia, w, y el parámetro de tamaño de la máscara, s, que se realiza sobre una base experimental. 5

6 3. Planteamiento teórico En la siguiente figura se ve el método que se seguirá para resolver nuestro problema. 3.1 Pre-proceso Utilizaremos un filtro de paso bajo de Wiener para la eliminación de zonas de ruido, suavizar las texturas de fondo, así como mejorar el contraste entre el fondo y las áreas de texto. La escala de grises de la imagen fuente Is se transforma en la imagen filtrada en escala de grises I de acuerdo con la siguiente fórmula: Donde µ es la media local en una ventana 3 x 3, σ 2 es la varianza en esa misma ventana y v 2 es el promedio de todas las variaciones estimadas para cada píxel en el vecindario. En la siguiente imagen se observa el resultado de este pre-procesamiento sobre la imagen (a). (a) Imagen original, (b) Filtro Wiener 3 x 3 6

7 3.2. Estimación aproximada de las regiones del primer plano En este paso obtendremos una estimación del texto del documento. Para esto utilizaremos la aproximación de Sauvola de umbral adaptativo [11] usando k = 0.5 y R = 128, y siendo s(x,y) la desviación para ese pixel en su ventana y m(x,y) la media. En la imagen siguiente se observa el resultado de este paso. (a) Imagen proprocesada, (b) Imagen binarizada 3.3 Estimación del fondo de la imagen. En esta etapa se calcula una superficie aproximada del fondo B(x,y) de la imagen I(x,y). Para realizar dicho calculo utilizamos la imagen binarizada S(x,y). Para los píxeles de S(x,y) con valor 0 el valor correspondiente en B(x,y) es igual a I(x,y). Para los píxeles restantes, el valor de B(x,y) se calcula mediante una interpolación de los pixeles circundantes, según la fórmula: La ventana de interpolación de tamaño dx x dy se define para cubrir al menos dos caracteres de la imagen. 7

8 (a) Imagen preprocesada, (b) Imagen de fondo 3.4 Umbralización final En este paso, se procede a la umbralización final mediante la combinación del fondo B(x,y) y la imagen preprocesada I(x,y). Las áreas de texto se localizan si la distancia entre la imagen preprocesada I(x,y) y el fondo B(x,y) supera un umbral d. Dicho umbral debe cambiar de acuerdo al valor de escala de grises del fondo B(x,y) con el fin de preservar la información textual, por que el valor del umbral d será más pequeño en las zonas más oscuras. La imagen binaria T(x,y) es dada por la siguiente fórmula: En un histograma típico de una imagen de documento se pueden observar 2 picos (regiones de texto y fondo). La distancia media,, entre el primer y segundo plano se calcula mediante la siguiente fórmula: En el caso de imágenes de documentos con una iluminación uniforme, el umbral mínimo d entre los pixeles del texto y los pixeles del fondo se puede definir como: q*, donde 1 es un parámetro de ponderación. Con un valor de q igual a 0,8 logramos la preservación de todos los caracteres. En las regiones de bajo contraste que aparecen en los documentos degradados, se requiere un menor valor para el umbral d. Para lograr esto, primero se calcula la media b de los valores del fondo B(x,y) que corresponden a las áreas de texto de la imagen binarizada S(x,y), denotado como: 8

9 Se requiere que el umbral sea igual a q* cuando el valor del fondo es alto, e igual a p2*q* cuando el valor del fondo es bajo (menos de p1*b), con p1, p2 en el rango [0,1]. Para lograr esto se utiliza la siguiente función logística sigmoidea que muestra el comportamiento deseado de saturación para valores grandes y pequeños del fondo: Después de un trabajo experimental, se sugieren los valores de parámetros siguientes: q=0.6, p1=0.5, p2= Sobremuestreo Con el fin de lograr una mejor calidad de la imagen binaria, se puede incorporar en el paso anterior una técnica de muestreo eficiente. Entre las técnicas disponibles de muestre de imágenes, la interpolación bicúbica es la técnica más común que proporciona resultados satisfactorios. Se estima el valor de un pixel en la imagen resultado a través de un promedio de 16 pixeles que rodean al pixel correspondiente en la imagen origen. Esta técnica se puede incorporar a nuestro algoritmo sustituyendo la formula 5 por la siguiente: donde T(x,y ) es la imagen binaria de M veces el tamaño de la imagen en escala de grises original, x = (int) x / M, y = (int) y / M e Iu viene dada por la siguiente fórmula: 9

10 donde F() se calcula como sigue: donde a = (x '/ M) - x, b = (y' / M) - y. En la mayoría de los casos, una imagen el doble de grande (M = 2), es adecuado para un resultado de mejor calidad. 3.6 Post-procesamiento En el último paso, se procede al post-procesamiento de la imagen binaria resultante con el fin de eliminar el ruido, mejorar la calidad de las regiones de texto y mantener la forma en las que se conectan las cosas por la eliminación de píxeles aislados y el llenado de posibles roturas, deficiencias o agujeros. Paso 1: Se utiliza un filtro de contracción para eliminar el ruido del fondo. La imagen binaria completa se escanea y cada pixel del primer plano se examina. Si Psh es el número de pixeles del fondo con una ventana de n x n, los cuales tienen en su pixel central un pixel del primer plano, entonces se cambia dicho pixel por el del fondo si Psh<ksh, siendo ksh un valor obtenido experimentalmente. Paso 2: Se usa un filtro de inflación para rellenar posibles roturas, deficiencias o agujeros en el primer plano. La imagen binaria completa se escanea y cada pixel del fondo se examina. Si Psw es el número de pixeles del primer plano con una ventana de n x n, los cuales tienen en su pixel central (x,y) un pixel del fondo y teniendo xa, ya los valores promedio de todos los píxeles de primer plano en la ventana de n n, entonces este pixel se cambia a primer plano si Psw> Ksw y x - xa <dx y y - ya <dy. Las dos últimas condiciones se utilizan para evitar un aumento en el espesor de trazos de caracteres ya que sólo examinará píxeles de fondo uniformemente distribuidos entre los píxeles de primer plano. Paso 3: Es una extensión de las anteriores condiciones, conduce a una mayor aplicación de un filtro de oleaje que se utiliza para mejorar la calidad de los trazos de caracteres. La imagen binaria completa se escanea y cada píxel del fondo es examinado. Si Psw1 es el número de píxeles de primer plano en una ventana de n n, que tiene el píxel del fondo como el píxel central, entonces este pixel se cambia a primer plano si Psw1> ksw1. Todos los parámetros que se utilizan en este paso dependerán de la media de la altura de los caracteres, lh, que se calcula mediante el uso de análisis de componentes conexas. Se crea un histograma de la altura de las componentes 10

11 conexas y el pico más grande es seleccionado como la altura promedio de los caracteres. Valores sugeridos: n = 0.15lh, ksh = 0.9n2, Ksw = 0.05n2, dx = dy = 0.25n, ksw1 = 0.35n. Ejemplo de aplicación de cada paso: (a) Imagen binarizada, (b) Paso 1, (c) Paso 2 y (d) Paso 3. 4 Resolución práctica Para la resolución del algoritmo hemos creado una clase que contiene los métodos que ejecutan los diferentes pasos del algoritmo. Clase Algoritmo.java public BufferedImage preprocesamiento(bufferedimage imagenentrada) Calcula el paso de preprocesamiento de la imagen original. private double calculavarianza(int i, int j, BufferedImage imagen) Calcula la matriz de las varianzas de cada pixel, para su ventana, necesaria para el filtro Wiener. private int filtrowieneradaptado(int coordx, int coordy, BufferedImage imagenentrada) Calculo del filtro Wiener para el preprocesamiento. 11

12 public BufferedImage binarizacion(bufferedimage imagenentrada) Calculo de la primera binarizacion de la imagen. private double calculamedias(int fila, int columna, BufferedImage imagen) Calculo de la matriz de las medias para cada pixel, para su ventana, necesaria para el método se Sauvola. private double calculadesviaciones(int fila, int columna, BufferedImage imagen) Calculo de la matriz de las desviaciones para cada pixel, para su ventana, necesaria para el método se Sauvola. private double sauvola(int coordx, int coordy, BufferedImage imagen) Calculo del método sauvola para la binarización. public BufferedImage estimacionsuperficiefondo(bufferedimage preprocesada, BufferedImage binarizada) Calculo de la superficie del fondo de la imagen preprocesada. private int estimacionfondo(int coordx, int coordy, BufferedImage preprocesada, BufferedImage binarizada) Función auxiliar para el cálculo de la superficie del fondo. public BufferedImage binarizacionfinal(bufferedimage preprocesada, BufferedImage binarizada, BufferedImage fondo) Calculo de la binarizacion definitiva de la imagen. private int distancia(int coordx, int coordy, BufferedImage preprocesada, BufferedImage binarizada, BufferedImage fondo, double delta, double b) Calculo de la distancia para la elección del umbral en la binarizacion final. 12

13 private double deltafuncion(bufferedimage preprocesada, BufferedImage binarizada, BufferedImage fondo) Calculo de una función auxiliar para el cálculo de la binarizacion final. private double bfuncion(bufferedimage binarizada, BufferedImage fondo) Calculo de una función auxiliar para el cálculo de la binarizacion final. private int sobremuestreo(int coordxp, int coordyp, BufferedImage preprocesada) Calculo de una función auxiliar para el cálculo de la binarizacion final. private double funcionf(int coordxp, int m, BufferedImage preprocesada, double a) Calculo de una función auxiliar para el cálculo de la binarizacion final. public BufferedImage postprocesamiento(bufferedimage imagenentrada) Calculo del postprocesamiento de la imagen binarizada. private int paso1(int coordx, int coordy, BufferedImage imagen) Primer paso del postprocesamiento. private int paso3(int coordx, int coordy, BufferedImage imagen) Tercer paso del postprocesamiento. 13

14 5. Experimentación Según la experiencia de los autores, el algoritmo propuesto supera todos los algoritmos que se prueban en lo que respecta a calidad de imagen y la preservación del sentido textual de la información. Ejemplo de resultados se muestran en la fig. 10. Sin embargo, a causa de los problemas encontrados para poder entender correctamente el algoritmo nuestros resultados no son los óptimos, fig. 11. Fig. 10. (a) Imagen original, (b) Método de Otsu s, (c) Método de Niblack s, (d) Método de Sauvola et al., (e) Método de Kim et al., (f) Método propuesto. 6. Manual de usuario 6.1 Requisitos del sistema Ejecutable independientemente del Sistema Operativo siempre y cuando éste disponga de la plataforma Java 6 Standard Edition. 6.2 Instrucciones de instalación El programa no requiere instalación. Se proporciona el archivo Adib.bat autoejecutable. En caso de que la aplicación no se ejecutara deberá asociar los archivos.jar a Java Platform SE binary. 14

15 6.3 Importante El directorio lib tiene que estar presente en la misma ruta que el autoejecutable para un correcto funcionamiento de la aplicación. Puede que el programa falle por falta de memoria asignada. Si ocurre esto habrá que modificar la configuración de la MVJ en Adib.bat para asignar más memoria (cambiar en -Xmx1024m el numero por otro mayor). 6.4 Uso de Adib Una vez ejecutada la aplicación aparecerá la ventana principal: Abrir una imagen Para abrir una imagen proceda del siguiente modo: Pulse sobre el menú Archivo y a continuación seleccione Cargar imagen. Seleccione en el diálogo Abrir (figura 2) una imagen RGB en formato JPEG, BMP que desee y pulse el botón Aceptar. Una vez abierta una imagen se le mostrarán una serie de botones para procesar la imagen. Los botones disponen de una previsualización del resultado de la operación. 15

16 6.4.2 Formas de ejecución - Paso a paso En la parte izquierda se encuentran una serie de botones en orden descendiente a la realización del algoritmo, realice los pasos en orden para ir visualizando el efecto realizado sobre la imagen, la imagen izquierda es la original y la derecha el resultado del paso aplicado. - Ejecución completa El último botón realizará la ejecución completa del algoritmo, como si realizamos los pasos uno a uno pero sin ver el resultado de cada uno de ellos, solamente se visualizará la imagen resultante de aplicar el algoritmo completo. 7. Conclusiones Según los autores, los resultados de este método son los de mejor calidad de cuantos métodos de binarización de textos degradados existen. Sin embargo, debido a la poca claridad de las explicaciones, nos ha sido imposible conseguir los resultados esperados. En los dos primeros pasos del algoritmo nos hemos encontrado con algunos problemas en las formulas a aplicar, por lo que los resultados de estos pasos no son los esperados, y eso provoca que se arrastre un pequeño error que impide los resultados óptimos. Además, los autores defienden que su método no tiene valores de entrada que haya que modificar para obtener buenos resultados y sin embargo hay valores en distintos pasos que dependen del documento en cuestión, como por ejemplo el tamaño de ventana utilizado, que debería ser igual al número de pixeles que ocupen dos caracteres del documento, esto es claramente dependiente del documento tratado, por lo que esos valores deberían modificarse para obtener buenos resultados. 16

17 8. Referencias [1] A. Rosenfeld, A.C. Kak, Digital Picture Processing, second ed., Academic Press, New York, [2] N. Otsu, A threshold selection method from gray-level histograms, IEEE Trans. Systems Man Cybernet. 9 (1) (1979) [3] J. Kittler, J. Illingworth, On threshold selection using clustering criteria, IEEE Trans. Systems Man Cybernet. 15 (1985) [4] A.D. Brink, Thresholding of digital images using two-dimensional entropies, Pattern Recognition 25 (8) (1992) [5] H. Yan, Unified formulation of a class of image thresholding techniques, Pattern Recognition 29 (12) (1996) [6] P.K. Sahoo, S. Soltani, A.K.C. Wong, A survey of thresholding techniques, Comput. Vision, Graphics Image Processing 41 (2) (1988) [7] I.-K. Kim, D.-W. Jung, R.-H. Park, Document image binarization based on topographic analysis using a water flow model, Pattern Recognition 35 (2002) [8] W. Niblack, An Introduction to Digital Image Processing, Prentice- Hall, Englewood Cliffs, NJ, 1986 pp [9] J. Yang, Y. Chen, W. Hsu, Adaptive thresholding algorithm and its hardware implementation, Pattern Recognition Lett. 15 (2) (1994) [10] J.R. Parker, C. Jennings, A.G. Salkauskas, Thresholding using an illumination model, ICDAR 93, 1993, pp [11] J. Sauvola, M. Pietikainen, Adaptive document image binarization, Pattern Recognition 33 (2000) [12] M. Chang, S. Kang, W. Rho, H. Kim, D. Kim, Improved binarization algorithm for document image by histogram and edge detection, ICDAR 95, 1993, pp [13] O.D. Trier, A.K. Jain, Goal-directed evaluation of binarization methods, IEEE Trans. Pattern Anal. Mach. Intell. 17 (12) (1995) [14] L. Eikvil, T. Taxt, K. Moen, A fast adaptive method for binarization of document images, International Conference on Document Analysis and Recognition, France, 1991, pp

18 [15] M. Sezgin, B. Sankur, Survey over image thresholding techniques and quantitative performance evaluation, J. Electron. Imaging 13 (1) (2004) [16] A. Jain, Fundamentals of Digital Image Processing, Prentice-Hall, Englewood Cliffs, NJ, [17] M. Seeger, C. Dance, Binarising Camera Images for OCR, Sixth International Conference on Document Analysis and Recognition (ICDAR 01), Seattle, Washington, 2001, pp [18] H. Hsieh, H. Andrews, Cubic splines for image interpolation and digital filtering, IEEE Trans. Acoustics Speech Signal Process. 26 (6) (1978) [19] R.J. Schilling, Fundamentals of Robotics Analysis and Control, Prentice-Hall, Englewood Cliffs, NJ, [20] The Library of Congress ( [21] Holy Monastery of St. Catherine at Mount Sinai ( [22] Bodleian Library University of Oxford, ( [23] Media Team Oulu Document database ( [24] ABBYY ( [25] V.I. Levenshtein, Binary codes capable of correcting deletions,insertions and reversals, Sov. Phys. Dokl. 6 (1966)

19 9. Anexo: Tabla de tiempos Tabla de tiempos de grupo. Fecha Hora comienzo Hora fin Δ tiempo 28/11/11 8:30 10: /11/11 8:30 10: /11/11 8:30 10: /12/11 8:30 10: /12/11 9:15 14: /12/11 8:30 9: /12/11 8:30 12: /12/11 8:30 10: /12/11 8:30 14: :50 19: /12/11 9:00 13: /1/12 9:00 12: /1/12 11:30 14: :30 18: TOTAL: