Anexo 2. Te cnicas de Modelado y Disen o de Pruebas

Transcripción

1 Anexo 2. Te cnicas de Modelado y Disen o de Pruebas Contenido 1. Introducción Técnicas de Minería de Datos Seleccionadas Técnica de Reglas de Asociación Objetivo al aplicar la técnica Algoritmos de la técnica seleccionados Técnica de Agrupamiento (Clustering) Objetivo de la técnica Selección del Algoritmo Descripción de los parámetros del Algoritmo Técnica de Clasificación Objetivo al aplicar la técnica Enfoques de Clasificación seleccionados Algoritmo de Microsoft para Arboles de decisión Descripción de los parámetros del algoritmo Visor Árbol de Decisión Plan de Diseño de Pruebas Técnica de Clasificación y Clustering Datos de Entrenamiento y Prueba para el conjunto de datos perteneciente al O Datos de Entrenamiento y Prueba para el conjunto de datos perteneciente al PM Combatir problema del sobreajuste para la técnica de Clasificación Técnica de Reglas de Asociación Criterios para la selección de reglas de Asociación generadas... 13

2 1. Introducción En el presente documento se muestran los motivos en particular de la selección de cada técnica de minería que va hacer parte del trabajo de grado y que cumplen los requerimientos exigidos por el set de datos para aplicarlas. También se encuentran los criterios utilizados para probar la calidad y validez de los resultados arrojados por el modelo luego de su implementación. 2. Técnicas de Minería de Datos Seleccionadas Para seleccionar cuales son las técnicas más adecuadas para el conjunto de datos, fue necesario identificar el tipo de información que se obtuvo y cuál era el objetivo general de extraer los datos. Se puede observar más adelante que las técnicas escogidas cubren tanto la generación de modelos descriptivos como predictivos, dando así un análisis de minería de datos completo y profundo. El conjunto de datos obtenido por parte de la RMCAB en los datos se ha clasificado como conocimiento oculto, siendo información almacenada en el registro histórico, pero que a simple vista o con consultas SQL es imposible encontrar resultados de las propiedades de los datos. A continuación se presentan las técnicas de minería escogidas para cumplir la tarea descriptiva: 2.1 Técnica de Reglas de Asociación La utilización de esta técnica para el presente trabajo de grado es muy importante ya que las reglas de asociación buscan encontrar patrones y reglas útiles en conjuntos de datos con tamaño grande, estos patrones encontrados suelen tener un soporte y una confianza probabilística que buscan darle la confiabilidad a las reglas generadas para así ponerlas en práctica tomando decisiones al respecto, por medio de la generación de reglas de asociación se detectaron relaciones no esperadas entre los elementos de las bases de datos llegando así a satisfacer los objetivos propuestos para este trabajo de grado Objetivo al aplicar la técnica

3 Encontrar reglas de asociación útiles, explorando sus combinaciones e identificando las posibles relaciones entre ellos para que los expertos tomen acciones inmediatas Algoritmos de la técnica seleccionados Los algoritmos pertenecientes a las técnicas de reglas de asociación generaron modelos que confirmaron y crearon hipótesis nuevas, dando así un ámbito aplicativo a la minería de datos. Es por esto que para la técnica de reglas de asociación se seleccionaron y se probaron varios algoritmos como: Tertius, Apriori y PredictiveApriori con el conjunto de entrenamiento. Aunque los algoritmos anteriormente mencionados pueden realizar la misma tarea, cada uno de ellos generó un resultado diferente. El primer criterio de selección de algoritmos fue filtrar los algoritmos que cumplieran el objetivo de la tarea descriptiva y las Reglas de Asociación, para este caso se utilizaron algoritmos que buscaran grupos de elementos comunes en las transacciones, tuvieran una fácil representación, interpretación y una forma de evaluar los resultados generados. 2.2 Técnica de Agrupamiento (Clustering) La razón de utilizar esta técnica es debido a que tiene alta aplicabilidad a diversos contextos y es un buen paso para comenzar a conocer los datos y sus comportamientos, facilitando así el entendimiento de los datos, además es de gran utilidad para demostrar la hipótesis del presente trabajo de grado que busca encontrar relaciones entre las variables climatológicas, las variables temporales y los contaminantes PM 10 y O Objetivo de la técnica Obtener un numero K de clústeres o particiones que permita identificar y relacionar los rangos de los atributos pertenecientes a cada partición con los rangos de los atributo de PM 10 y O 3, con el fin de encontrar características entre los atributos Selección del Algoritmo En esta sección se pretende mencionar los diferentes tipos de algoritmos que tienen la técnica de Clustering y la justificación de la selección del algoritmo escogido para generar el modelo. Algoritmos Jerárquicos

4 Estos algoritmos no construyen una sola partición sino una jerarquía de particiones [41], no fueron motivo de selección para implementar el modelo ya que presentan un inconveniente y es que una vez que un paso en la implementación se realiza (unión o división de los datos), este no puede deshacerse, lo cual esta falta de flexibilidad e iteración es crucial para corregir errores. Algoritmos Categóricos Estos algoritmos van orientados a sistemas de recuperación de información [41][30]donde su principal fuente de datos son documentos que contengan palabras claves, por tanto se va por otra orientación utilizando otras fuentes de datos que la del presente trabajo de grado, ya que esta maneja bases de datos que contienen la información desplegada en registros históricos. Algoritmos basados en densidad Estos algoritmos se pueden usar en la vista minable para eliminar el ruido (outliers) y para descubrir clústeres de forma arbitraria [58] [30].Sin embargo su alto costo computacional y de preparación de los datos impide que sea una buena práctica en el proceso de creación de la vista minable para el presente trabajo de grado. Algoritmos por Partición Este método resulta ser el que encaja para explorar la vista minable creada. El algoritmo que implemento la técnica de Agrupamiento (Clustering) es el k-means Descripción de los parámetros del Algoritmo Para la ejecución del modelo, la herramienta tiene una interfaz para la configuración de los parámetros y la selección del algoritmo. En la siguiente imagen se presenta la vista general de la interfaz de configuración de parámetros:

5 Ilustración 1 Interfaz configuración de parámetros de la técnica seleccionada Fuente: Herramienta Visual Studio Data Tools 2012 A continuación se presenta la descripción de los parámetros que presenta el algoritmo k- means con el fin de generar el modelo acorde a la vista minable: Nombre del Parámetro CLUSTER_COUNT CLUSTER_SEED CLUSTERING_METHOD MAXIMUM_INPUT_ATTRINUTES MAXIMUM_STATES MINIMUM_SUPPORT Descripción Este parámetro especifica el número exacto de clústeres que quiere que genere el algoritmo. Este tal vez es un inconveniente del algoritmo ya que se define el conjunto de clústeres antes de analizar los datos. Este parámetro especifica el número de inicialización utilizado para generar clusters aleatoriamente como primera fase de la generación de los modelos. Este parámetro especifica el método de clusters que se va a seleccionar. El numero 3 fue seleccionado ya que corresponde al algoritmo mediana-k- escalable (K-means). Este parámetro establece el número máximo de atributos de entrada que puede utilizar el algoritmo antes de invocar el método. En este parámetro se establece el número máximo de estados de atributo que admite el algoritmo y tiene algo particular y es que si el número de estados de un atributo es mayor que el número máximo de estados, el algoritmo utiliza los estados más populares del atributo. Este parámetro establece el número mínimo de casos que pueden entrar en cada clúster. En este parámetro se establece el número de

6 MODELLING_CARDINALITY modelos ejemplo que se construyen durante el proceso de agrupación en clusters. Este parámetro establece el número de casos que utiliza el algoritmo en cada paso para la construcción del modelo. Si se establece el número SAMPLE_SIZE 0, todo el conjunto de datos de entrenamiento se agruparán en un {único paso lo que genera problemas de memoria y rendimiento. En este parámetro se determina el valor utilizado para determinar cuándo alcanza la convergencia y STOPPING_TOLERANCE en qué momento el algoritmo termina de generar el modelo. Tabla 1 Descripción de los parámetros de la técnica de Clustering 2.3 Técnica de Clasificación Las técnicas de clasificación [42] buscan utilizar el contenido de los registros históricos, representándolos en un modelo que podrá predecir comportamientos futuros. Fue importante generar un modelo de clasificación, que permitiera asignar las variables del conjunto de datos (incluyen variables derivadas) a los estados del atributo O 3 y PM 10. Es importante utilizar técnicas de clasificación en el presente trabajo de grado ya que el definir la probabilidad de que un nuevo registro que no esté en la base de datos histórica pertenezca a una de las clases predictivas, hace que los involucrados vean que las técnicas de minería de datos, también puede realizar estimaciones y utilicen dichas estimaciones para tomar decisiones con una medición de confianza apropiada de acuerdo a los criterios de cada usuario. Además en cuanto a los requerimientos no funcionales [39], esta técnica es eficiente en cuanto a tiempos de respuesta en la generación de los modelos, es escalable ya que maneja muy bien grandes volúmenes de datos, es tolerantes a atributos poco significativos y por su representación simbólica facilita el entendimiento para personas externas al proyecto Objetivo al aplicar la técnica Organizar y categorizar los registros históricos en clases que contienen los estados de los atributos objetivo, obteniendo así estimaciones de dicho atributo de acuerdo a entradas con valores específicos establecidos por el usuario.

7 2.3.2 Enfoques de Clasificación seleccionados La técnicas de clasificación tienen diversos enfoques [39]: Estadísticos, distancia, arboles de decisión, reglas y redes neuronales. Sin embargo el enfoque seleccionado es el de Arboles de decisión por dos razones: la primera es porque un enfoque de la clasificación es la estadística y los proyectos estadísticos se han realizado en distintos proyectos exitosos por ende no sería un ámbito diferenciador del presente trabajo de grado, los enfoques de distancia se aplicaron en la sección anterior cuya técnica fue Agrupamiento, las reglas de clasificación son similares a las técnicas de reglas de asociación aplicadas también en este trabajo de grado, así que solo queda por explorar este enfoque seleccionado. Además por ser una técnica perteneciente a la tarea predictiva, hace que dicha técnica se ajuste a los parámetros y requerimientos del prototipo Algoritmo de Microsoft para Arboles de decisión Una de las principales características por la que se escogió este algoritmo es que es robusto frente al ruido de los datos y los atributos de entrada de selección errónea (es decir que no tienen relación con el atributo predictivo) ya que no tiene en cuenta estos atributos para la construcción del árbol en el momento en que saca las relaciones entre las variables de entrada con la variable de predicción, además el algoritmo realiza predicciones basándose en la tendencia hacia un resultado en concreto, es decir que si 9 de 11 registros indican que si la radiación solar es mayor al promedio, el atributo ozono es desfavorable y solo pasa esto 2 veces con la radiación por debajo del promedio, el algoritmo infiere por su tendencia que la radiación solar es un buen atributo de predicción del Ozono. Otro aspecto importante por el cual se seleccionó este algoritmo es por su facilidad de interpretar los resultados para personas inexpertas en el tema de minería de datos ya que contiene herramientas de visualización muy fáciles de entender y de forma organizada, estas herramientas son creadas por Microsoft con el fin de trabajar con grandes volúmenes de datos lo que hace que la escalabilidad del algoritmo sea óptima. Herramientas como SPPS de IBM y Weka, trabajan con herramientas de visualización poco amigables para el usuario y el rendimiento en la ejecución de diversos algoritmos de Arboles de decisión no es la adecuada para este conjunto de datos, ya que el volumen de registros que se maneja es alto. Otro motivo de selección de dicho algoritmo es por la calidad y cantidad de

8 documentación por parte de Microsoft acerca de la generación de los modelos de clasificación y las herramientas a utilizar Descripción de los parámetros del algoritmo A continuación se presenta la descripción de los parámetros que presenta el algoritmo de árboles de decisión de Microsoft con el fin de generar el modelo acorde a la vista minable: Parámetro Descripción COMPLEXITY_PENALTY Este parámetro [63] controla el crecimiento del árbol con respecto al número de divisiones que debe tener dicho árbol de decisión. De 1 a 9 atributos el valor debe ser e 0.5. FORCE_REGRESSOR Este parámetro [63] no se utiliza en este ámbito ya que solo sirve para arboles de decisión que predicen atributos continuos. MAXIMUM_INPUT_ATRIBUTES Este parámetro [63] define el número de atributos de entrada que el algoritmo puede controlar antes de invocar la selección de características, el valor queda por defecto, así no llegue a ese máximo especificado. MAXIMUM_OUTPUT_ATRIBUTES Este parámetro [63] define el número de atributos de salida que puede controlar el algoritmo. Queda por defecto, así lo llegue a ese máximo especificado. MINIMUM_SUPPORT Este parámetro [63] determina el mínimo número de casos necesarios para crear una división en el árbol de decisión. SCORE_METHOD Este parámetro [63], define el método que se quiere utilizar para calcular el resultado de la división del árbol, los disponibles son: (1) Entropía, (2) Bayesiano con prioridad k2, (3) Equivalente Dirichlet bayesiano con prioridad uniforme. SPLIT_METHOD Este parámetro [63] define el método usado para dividir los nodos internos, los métodos disponibles son: (1) Binary que indica que el árbol debería dividirse en 2 bifurcaciones, (2) complete que indica que el árbol puede crear tantas divisiones como atributos de entrada existentes, (3) Both que indica que Analysis Services determina cuando usar una división Binary o Complete para ganar mejores resultados. Tabla 2 Descripción parámetros técnica de Clasificación

9 2.3.5 Visor Árbol de Decisión La herramienta Visual Studio Data Tools contiene un visor para los modelos de clasificación. Para los modelos generados por el algoritmo, se encuentra el modelo representado en un árbol que se compone de una serie de divisiones, determinadas por el algoritmo hasta llegar a la decisión de clasificación, a la izquierda del visor aparece un nodo llamado Todos que viene siendo el nodo raíz del árbol, las divisiones adicionales se muestran a la derecha de ese nodo. El nodo raíz es uno de los más importantes ya que contiene la condición más determinante del conjunto de datos que va hacer utilizada para la primera división del árbol. En cada nodo interno del árbol el visor muestra lo siguiente [66]: La condición que hace que se realice la división, dicha condición está compuesta por la etiqueta del nombre del atributo junto con el estado seleccionado. Un histograma que representa la distribución de los estados del atributo de predicción (para este caso el Ozono), ordenado por popularidad y representado cada estado por un color que los diferencie de los demás estados. Gráficamente la representación de un nodo interno del árbol con las especificaciones anteriores se ve de la siguiente manera: Ilustración 2 Representación de un nodo interno Fuente: Herramienta Visual Studio Data Tools 2012 Cuando se selecciona un nodo del árbol en la parte inferior derecha del visor se muestra un recuadro llamado leyenda de minería de datos que contiene la probabilidad de distribución para cada estado del atributo predictivo, junto con su respectivo escenario:

10 Ilustración 3 Leyenda de cada nodo interno Fuente: Herramienta Visual Studio Data Tools 2012 A continuación se muestra una vista general del visor del árbol: Ilustración 4 Vista general del modelo de Árboles de Decisión Fuente: Herramienta Visual Studio Data Tools Plan de Diseño de Pruebas En esta sección se presenta el plan ejecutado para probar la calidad y el contenido de los modelos de minería de datos que fueron generados a partir de las técnicas. A continuación se presentan los criterios aplicados de forma general para los modelos y más adelante los especiales dependiendo de cada técnica de minería de datos. 1. Se dividió el total de registros, en el conjunto de prueba y entrenamiento para conocer la precisión del modelo. (ver fase de evaluación).

11 2. Se algunos patrones generados por las técnicas con patrones encontrados por otra tesis de meteorología utilizando modelos estadísticos validados previamente. Esto fue teniendo en cuenta los patrones comunes generados en ambos proyectos. 3. Se preguntó al equipo de la RMCAB algunas relaciones frecuentes en los datos con el fin de comparar y revisar algunos patrones generados. 4. Se compararon los resultados de los modelos generados por las distintas técnicas implementadas entre ellos, teniendo en cuenta los patrones comunes y especiales (poco comunes). 5. Los patrones son revisados por la directora experta en meteorología. 6. Para la aplicación se realizaron pruebas con los posibles estados que podían tomar los contaminantes y en qué casos pasaban dichos contaminantes, además se revisó su funcionalidad por parte del equipo de la RMCAB. 7. Se reciben los registros históricos del 2013 para pasarlos como segundo conjunto de prueba y observar los resultados de precisión con un porcentaje mayor al 75%. 3.1 Técnica de Clasificación y Clustering Se dividió el total de registros, en el conjunto de prueba y entrenamiento para conocer la precisión del modelo. La selección del conjunto de datos de prueba y entrenamiento se realizó por medio de técnicas de muestreo aleatorio simple Datos de Entrenamiento y Prueba para el conjunto de datos perteneciente al O 3 Para el conjunto de entrenamiento se utilizó el 70% del conjunto de datos original que corresponde a registros y el 30% restante fue utilizado para probar los modelos y corresponde a registros, dando como el total de registros pertenecientes a la vista minable de Ozono la cantidad de registros Datos de Entrenamiento y Prueba para el conjunto de datos perteneciente al PM 10 Para el conjunto de entrenamiento se utilizó el 70% del conjunto de datos original que corresponde a registros y el 30% restante fue utilizado para probar los modelos y este corresponde a registros, dando como el total de registros pertenecientes a la vista minable de PM 10 la cantidad de registros.

12 3.1.3 Combatir problema del sobreajuste para la técnica de Clasificación Antes de explicar la forma de enfrentar el problema de sobreajuste que pueden presentar los arboles de decisión generados, es importante recordar las definiciones establecidas en la memoria de grado acerca de que es el sobreajuste, este término [39] se refiere a las reglas creadas en el proceso de partición del árbol que presentan casos textuales del conjunto de entrenamiento, son de carácter específico y no hacen parte del modelo aunque estén allí. Aunque el algoritmo de árboles de decisión de Microsoft contiene métodos que controlan y evitan el sobreajuste, es importante realizar la validación de las tareas que se sugieren para evitarlo de forma manual. El proceso para evitar el sobreajuste se divide en 2 partes [39]: Eliminando variables independientes: Las variables independientes lo que hacen es distorsionar el modelo, ya que no predicen a la variable dependiente por no tener ninguna relación entre ellas. Proceso de Poda del Árbol : Este proceso está basado en la confiabilidad del árbol y consiste en eliminar las reglas (hojas, ramas o subárboles) que no son de carácter general, es decir que son reglas textuales de los datos que no ocurren con frecuencia. La importancia de realizar el proceso de Poda (ya sea por parte del algoritmo o del usuario), es que va a mejorar el desempeño del árbol y clasificara de forma correcta tanto los registros del set de entrenamiento como los registros del set de prueba. Este proceso también se hizo con base en los patrones comunes obtenidos por los modelos de las otras técnicas aplicadas. Pre-poda: Como se mencionó anteriormente, el algoritmo de Arboles de decisión de Microsoft contiene métodos y parámetros que se encargan de evitar el sobreajuste. Uno de los métodos utilizados es feature selection [63] cuya función es identificar los atributos y estados de entrada del algoritmo que ofrecen la mayor cantidad de información y no tiene en cuenta los valores que son muy raros (es decir los textuales), mitigando

13 el riesgo de que exista sobreajuste. También se puede observar que el parámetro MINIMUN_SUPPORT entre más elevado esta, menor es el riesgo de sobreajuste del árbol, según el experto en minería de datos el soporte mínimo ideal que debe aceptar cada nodo interno es de 10 y se definió en los parámetros de dicho algoritmo. Después de observar detalladamente el árbol y los gráficos de precisión se encontró que las amenazas de sobreajuste no son significativas. 3.2 Técnica de Reglas de Asociación Cada regla de asociación está acompañada por unas medidas que evalúan la certeza y utilidad de cada regla de asociación. A continuación se muestran todas las medidas que se especifican en la generación de reglas junto con los algoritmos que la calculan debido a que dependiendo del algoritmo que se utilice para las reglas de asociación, las medidas son distintas Soporte: Calculada y presentada por el Algoritmo Apriori Confianza: Calculada y presentada por el Algoritmo Apriori Medida Predictiva : Calculada y presentada por el Algoritmo PredictiveApriori Mejora (Lift) : Calculada y presentada por el Algoritmo A priori Criterios para la selección de reglas de Asociación generadas El procedimiento de selección de las reglas de asociación para este proyecto no solo involucra las medidas de confianza de cada regla (como son el soporte y la confianza) sino unos criterios que hacen que las reglas sean de utilidad para analizar los resultados. Cada regla de asociación fue revisada con el fin de no encontrar los siguientes problemas: Reglas Redundantes: Son reglas que contienen 2 o más atributos antecedentes similares o que tienden a una deducción lógica simple. Por ejemplo una regla que tenga atributos antecedentes como: Trimestres del Año y Mes.

14 Reglas Innecesarias: Son las reglas que no cumplen el objetivo del trabajo de grado ya que contienen consecuentes diferentes o que acompañan al atributo Ozono. Por ejemplo la siguiente regla: Hora=3:00 PM, RadiacionS=CATEGORIA2 ==>Hora pico=no. Medida de Mejora (lift): Si el resultado es mayor e igual a uno, la regla sirve, de lo contrario la regla se descarta. Esta medida es exclusiva para el algoritmo A priori. Reglas con una confianza baja: Son reglas que contienen la medida probabilística de confianza por debajo del Cabe recalcar que si no se cumple alguno de los criterios de selección, la regla es descartada.