DESARROLLO DE UNA HERRAMIENTA PARA ADQUISICIÓN DE DATOS EN PROYECTOS DE DATAMINING PARA UN TREN DE LAMINACIÓN EN CALIENTE

Transcripción

1 X CONGRESO INTERNACIONAL DE INGENIERIA DE PROYECTOS VALENCIA, Septiembre, 2006 DESARROLLO DE UNA HERRAMIENTA PARA ADQUISICIÓN DE DATOS EN PROYECTOS DE DATAMINING PARA UN TREN DE LAMINACIÓN EN CALIENTE Joaquín Villanueva Balsera, J. Valeriano Álvarez, Luís A. Rodríguez Loredo, Antonio Bello Garcia Abstract This paper solves the problem of the acquisition and data storage necessary for the development of Data mining projects. This project is developed following a methodology of data mining projects that is CRISP-DM. In this methodology a project follows some phases such as problem analysis, data analysis, data preprocess, modeling, evaluation, model development. Once analyzed the problem the objective is to identify the deviation in the width of the coil. The methodology proposes the phase of data analysis; this phase consists of activities or tasks that define the purpose of this article. This paper describes the tasks from data acquisition such as analyzing the data sources and definition of data base model. In addition, there is a description of the types of information that are used and the conversions for scale or compression. Another phases will be the exploration and the monitoring of the quality of the data; for these activities it will be necessary the development of tools that allow access to data stored to the members of the team of model development.. Both the tools and the design of the database have to allow a balance between the facility of storage and access. It is necessary to give emphasis to the importance of using methodologies for both data mining projects and software projects that will allow fixing milestones, generalize the development and facilitate the deployment minimizing the failures. Keywords: Professional applications and activities, product engineering and mechanical design Resumen En este artículo se da solución al problema planteado para la adquisición y almacenamiento de la información necesaria para el desarrollo de un proyecto de Minería de Datos. Este proyecto se desarrolla siguiendo una metodología de demostrada eficiencia para abordar los proyectos de minería de datos como es CRISP-DM. En esta metodología un proyecto sigue unas fases tales como análisis del problema, análisis de los datos, preparación de los datos, modelado, evaluación, puesta en explotación del modelo. 1473

2 Una vez analizado el problema que en este caso se ha identificado como desviaciones en la medida del ancho de la bobina, la metodología propone la fase de análisis de los datos, esta fase consta de actividades o tareas que definen la finalidad de este artículo. Las tareas que describe este artículo tratan sobre la adquisición de los datos, como analizando las fuentes de la información y definición del modelo de base de datos. También se hace una descripción de los tipos de datos que se utilizan y las conversiones por temas de escalado o compresión. Otra de las fases será la exploración y la verificación de la calidad de los datos; para estas actividades será necesario el desarrollo de unas herramientas que permitan el acceso a la información almacenada a los miembros del equipo de desarrollo del modelo. Para lo cual tanto las herramientas como el diseño de la base de datos han de permitir un equilibro entre la facilidad de almacenamiento y la facilidad de consulta. De este artículo se resalta la importancia de utilizar metodologías tanto para los proyectos de minería de datos como para los proyectos de sistemas de información que permitirán fijar hitos, generalizar el desarrollo y facilitar la implantación minimizando los fallos. Palabras clave: Aplicaciones y actividades profesional, ingeniería del producto y diseño mecánico 1. Introducción Este trabajo surge como necesidad por parte de la empresa Arcelor de desarrollar un sistema que detecte errores o pérdidas de precisiones en las mediciones llevadas a cabo por las galgas que recogen los datos del ancho de banda en el tren de laminado en caliente que la empresa que tiene en Avilés, así como el tratamiento de los datos obtenidos para el análisis y su posterior explotación. El objetivo final de este trabajo, es desarrollar una herramienta que permita evaluar un probable error de funcionamiento o pérdida de precisión de las galgas que recogen datos del ancho de banda en el tren de laminado en caliente y, en definitiva, obtener la mayor cantidad de información posible sobre lo que se detecta. Para lo cual es necesaria la captura de los datos precisos para la generación de un modelo fiable. Se pretende realizar una transformación de las medidas reales de ancho tomadas por las galgas en la zona de entrada a bobinadoras ( LBO ) y a la salida del tren reversible ( RM ), en otros parámetros comparables con la medida tomada a la salida del tren acabador ( FM ), de modo que queden compensados factores como diferencias de temperatura, longitud y espesor de la banda en la medida de galga. Con ello se pretende cruzar la información disponible y poder de este modo valorar la coherencia entre las medidas. Se ha tomado como premisa de partida, que una de las tres galgas tiene más fiabilidad y precisión que las otras dos, y por ello se intentará mediante un sistema inteligente contrastar el valor de esta, con las otras dos, a fin de conocer si los valores son correctos en todos los casos. 1474

3 Figura 1. Distribución de las galgas de muestreo de datos. Para llevar a cabo este objetivo, es necesario realizar un proceso de captura de datos eficiente para poder desarrollar dos modelos inteligentes y un diseño previo de los sistemas de información que se utilizarán, tanto en la fase de modelización como en la posterior fase de explotación. RM_LBO LBO RM FM LBO_FM Figura 2. Objetivo inicial del modelado. Una vez desarrollados los modelos matemáticos será necesario el desarrollo de dos herramientas software que permitan su explotación tanto por parte, del personal de investigación, como del personal de planta de Arcelor. Una vez conocidos los objetivos finales del trabajo se procede al diseño del proceso de adquisición de datos necesarios para el modelado como se vera en los siguientes apartados será necesario el desarrollo de una herramienta que permita la adquisición de datos y el posterior estudio de la eficiencia de los modelos desarrollados. 2. Metodología para el análisis de datos Dado que se parte de un conjunto de datos que proceden del ordenador de proceso, se plantea utilizar una metodología orientada a la minería de datos, ya que se pretende conseguir extraer un conocimiento implícito mediante técnicas y herramientas, que actualmente no conocemos y se encuentra almacenado en el conjunto de datos. Utilizar esta metodología tiene como objetivo predecir de forma automatizada tendencias y comportamientos o construir un modelo desconocido. 1475

4 La metodología CRISP-DM [1] estructura el ciclo de vida de un proyecto de minería de datos en seis fases, que interactúan entre ellas de forma iterativa durante el desarrollo del proyecto. Figura 3. Metodología CRISP-DM. La primera fase, análisis del problema, incluye la comprensión de los objetivos y requerimientos del proyecto desde una perspectiva empresarial, con el fin de convertirlos en objetivos técnicos y en una planificación. La segunda fase de análisis de datos comprende la recolección inicial de datos, en orden a que sea posible establecer un primer contacto con el problema, identificando la calidad de los datos y estableciendo las relaciones más evidentes que permitan establecer las primeras hipótesis. Una vez, realizado el análisis de datos, la metodología establece que se proceda a la preparación de los datos, de tal forma que puedan ser tratados por las técnicas de modelado. La preparación de datos incluye las tareas generales de selección de datos a los que se va a aplicar la técnica de modelado (variables y muestras), limpieza de los datos, generación de variables adicionales, integración de diferentes orígenes de datos y cambios de formato. La fase de preparación de los datos, se encuentra muy relacionada con la fase de modelado, puesto que en función de la técnica de modelado que vaya a ser utilizada los datos necesitan ser procesados en diferentes formas. En la fase de modelado se seleccionan las técnicas de modelado más apropiadas para el proyecto de minería de datos específico. En la fase de evaluación, se evalúa el modelo, no desde el punto de vista de los datos, sino del cumplimiento de los criterios de éxito del problema. En este articulo se desarrolla un modelo que siguiendo la metodología CRISP-DM, afronta la fase de adquisición de datos, y además permite generar un entrono que facilita del desarrollo de las exploración de datos, la evaluación y explotación de los modelos desarrollados. 3. Captura de datos En este apartado se describe el proceso seguido para la adquisición de los datos procedente del ordenador de proceso. 1476

5 El proceso para la construcción del sistema de adquisición de datos, constará de los siguientes pasos: Transferencia de datos desde el Ordenador de Proceso u otro ordenador. Inserción de los fichero en al Base de Datos de proceso, creada para este trabajo. Los datos que se reciben desde el ordenador de proceso vendrán a través de FTP puesto que se valoraron distintas experiencias similares y esta forma se mostró como la más eficiente, y que minimiza el impacto de posibles sobrecargas sobre el sistema o en la base de datos. En estos casos los ficheros con la información quedarían en el directorio de entrada del FTP del servidor de base de datos, a disposición del proceso que los inserta en la base de datos, en vez de ser una carga para el ordenador de proceso. Con esta filosofía de trabajo se consigue que el ordenador de proceso, pieza critica para la producción, no tenga sobrecarga por parte de peticiones procedentes de ordenadores exteriores. De esta manera el proceso de envío de información tendrá una prioridad inferior al resto de procesos críticos para la producción, y sólo se atenderá al envío de datos a nuestro sistema cuando esto no sea critico para el ordenador de proceso. Esta estrategia permite que si se producen retardos en el envío se pueden enviar dos conjuntos de datos seguidos. IPCDS FTP Red Local Ordenador de Proceso Monitorizar Figura 4. Transferencia de Ficheros de Datos por FTP Como se puede ver en la figura anterior, desde el ordenador de proceso, se enviarán por FTP, ficheros que se almacenarán en un directorio específico del Servidor, de donde serán tomados por los procesos de inserción para añadirlos en la base de datos. Las ventajas de utilizar el protocolo FTP son: Permite que se puedan enviar ficheros desde las máquinas que se deseen, ya que no ha de existir un programa específico para el envío del fichero de datos, solo el cliente del protocolo. Esto permite que se envíen por parte del ordenador que almacena las copias de seguridad, datos de bobinas anteriores para realizar estudios o pruebas de validación de los modelos. Al enviar los fichero por FTP y dejarlos en el sistema de archivos del Servidor, se consigue crear un buffer, es decir, se almacenan los datos a insertar en el sistema de archivos del servidor, permaneciendo ahí a disposición del proceso 1477

6 de inserción. Si se produce un error o una parada técnica del proceso de inserción, se siguen recibiendo datos y no se tienen pérdidas de información, como se puede ver en la siguiente figura. FTP BdP Red Red Local Local IPCDS Servidor BdP ENHoraserv GPHoraserv 9i Monitorizar Figura 5. Inserción de datos en la Base En la figura anterior se explica el funcionamiento del proceso que se dedicará a la inserción de los distintos tipos de fichero procesados. Este proceso se encuentra en un servidor distinto al de proceso liberando de carga de proceso al sistema crítico para la producción. Un punto crítico a contemplar ha de ser que la llegada de ficheros no sea más rápida que la capacidad de los procesos para insertarlos. IPCDS Ficheros de gráficas Proceso de Inserción Inserción por Filas Error Inserción por Variable Tabla Figura 6. Algoritmo de Inserción Si se intenta insertar una bobina que ya existe en la base de datos se plantean medidas correctivas para volver a almacenar los datos dentro del sistema. Se han creado, un sistema de borrado de datos antiguos para mantener un conjunto de datos uniforme en número. Para ello se parametriza un umbral máximo de datos que se permiten en la base de datos, y el número de datos que se eliminara por cada proceso de borrado. De esta manera se garantiza que siempre se dispondrá en la base de un número uniforme de datos y sólo se borrarán los más antiguos. 1478

7 4. Herramienta de adquisición Dato que la estructura de la información insertada en la base de datos no es de fácil acceso para un usuario que necesita consultar estos datos, se ha decidido desarrollar un entrono de comunicación entre la base de datos y el usuario final que utiliza la información para la generación del modelo, evaluación y posterior explotación. Este intreface se ha decidido desarrollar bajo un entrono Microsoft Excel, datos que es una herramienta conocida por todos los tecnólogos de proceso del tren de laminado de bandas en caliente. Para estar herramienta se ha diseñado dos modos de conectividad a los datos de la base de datos uno tradicional como puede ser la conexión ODBC, pero que plantea la problemática de que es necesaria la instalación de un cliente de Oracle en cada uno de los puestos de trabajo en el que se quiere ejecutar la herramienta. Por el contrario se ha diseñado otra forma de acceso a los datos que es a través de un servicio Web. WEB SQL IPCDS Figura 7. Petición de datos Web. SPREAD 9i Con esta configuración de acceso a través de un servidor Web, permitimos que los clientes no necesitan conexión con la base de datos Oracle, sólo el servidor Web necesita la configuración. De esta manera la herramienta hace la petición de la consulta que necesita realizar y es este servidor Web quien se encarga de ejecutarla y acceder a las distintas bases de datos y responder con los datos solicitados. Como se ha comentado antes el cliente sólo verá una nueva barra de menú entre las que ya conoce de la Excel. Figura 8. Contenido del menú de usuario de la Excel. Este sistema nos permite seleccionar los datos que necesitamos en función de un margen de fechas u otra información que queramos solicitar. 1479

8 Con esta herramienta se procede a la extracción de la información necesaria para la exploración y preproceso para la construcción de los modelos. Una vez conseguido del modelo se añade a la herramienta Excel con lo cual aparecerán nuevas columnas de datos calculados por el programa a partir de la comparación de los datos reales con los datos calculados por los dos modelos. Como se puede ver en la siguiente figura el sistema indicara si la medición de la galga es correcta o se ha producido un fallo en alguno de los puntos o se ha producido un error que no se puede precisar el lugar, para lo cual necesitará un análisis manual por parte del operario. Figura 9. Exploración del modelo. En la fase de evaluación de los resultados del modelo se ha observado una reducción del rendimiento en la obtención de información por la necesidad de cruzar muchas tablas de datos en las que se encuentra la información necesaria para el modelo. En la fase de adquisición de datos el tiempo no es un requisito fundamental, mientras que en la fase de explotación el tiempo que se tarda en obtener los datos para el modelo pasa a ser curcial. Por lo cual se han realizado unos triggers de la base de datos que preprocesan la información y calculan las agregaciones necesarias para el modelo. segundos día 2 día 7 día 28 día Periódo de tiempo Tiempo de la consulta inicial Tiempo de la modificación Figura 10. Mejora del tiempo de acceso. Se puede apreciar en la grafica anterior la diferencia de tiempos es considerable y se puede observar que mientras que con la modificación de la forma de consulta nueva el tiempo tiende a estabilizarse independientemente del número de días que se consulte, en el caso anterior la subida es casi exponencial. 1480

9 5. Conclusiones De este trabajo se pude concluir que la calidad de los datos, es un punto importantísimo, ya que de ellos depende la calidad del modelo. Se ha de prestar tanta atención al proceso de captura o adquisición de datos como a la forma en la que se realizan las consultas y que un proceso que tenga facilidad para insertar los datos puede perjudicar la forma de consulta de la información. Se ha de prestar todos los medios posibles para que las personas que analizan los datos tengan acceso fácil a ellos, de un modo que les permita analizarlos con agilidad. Una forma fácil de buscar anomalías en las mediciones de las galgas o otros dispositivos de captura de datos, es comparando las mediciones en distintos estadios del proceso a analizar. En este caso se precisa la creación de un modelo inteligente ya que cada una de las galgas mide ancho en distintas etapas de alargamiento de la lámina, por tanto, no son unidades comparables por lo que se precisa un modelo que realice el cambio de escala y estime el valor que corresponde en otro sitio. Con las estimaciones del modelo se pueden generar unas reglas que permiten a la herramienta Excel predecir anormalidades en las mediciones. Para que un sistema sea útil ha de facilitar la accesibilidad por parte del usuario final, con lo cual, utilizar una herramienta que habitualmente sea utilizada permite que la explotación del sistema. Referencias [1] CRISP DM, CRoss-Industry Standard Process for Data Mining. consultado en junio del Correspondencia (Para más información contacte con): Secretaría: Universidad de Oviedo, Área de Proyectos de Ingeniería, Independencia nº 13, Oviedo, Spain. Phone: Fax: secre@api.uniovi.es URL: