UNIVERSIDAD CATÓLICA DE CUENCA

Transcripción

1 UNIVERSIDAD CATÓLICA DE CUENCA UNIDAD ACADÉMICA DE INGENIERÍA DE SISTEMAS, ELÉCTRICA Y ELECTRÓNICA TRABAJO DE INVESTIGACIÓN PREVIO A LA OBTENCIÓN DEL TITULO DE INGENIERO DE SISTEMAS DIRECTOR: Ing. Alí Méndez. TEMA MINERIA DE DATOS CON WEKA REALIZADO POR: Tnlg.. Esteban José Yumbla Vélez Cuenca-Ecuador 2009

2 Certifico que bajo mi supervisión y dirección fue realizado el siguiente trabajo de investigación. Minería de datos con Weka Ing. Alí Méndez. Director. ii

3 RESPONSABILIDAD YO Tnlg. Esteban Yumbla CERTIFICO que bajo mi responsabilidad he realizado el presente trabajo de investigación iii

4 DEDICATORIA El presente trabajo está dedicado a mis padres, esposa e hijo que fueron los pilares fundamentales de mi inspiración, ya que siempre fueron de gran ayuda en mis años de estudio. Esteban. iv

5 AGRADECIMIENTO Expreso mi sincero agradecimiento primero a Dios por haberme dado la vida y luego a todas aquellas personas que en un momento de duda, en una forma directa o indirecta colaboran con mi formación personal. Al Ing. Alí Méndez, quien con su acertada dirección, permitió la culminación de este trabajo de investigación previo a la obtención del título de Ingeniero. v

6 ÍNDICE CAPÍTULO I: MINERÍA DE DATOS HISTORIA DE LA MINERÍA DE DATOS CONCEPTO FUNDAMENTOS OBJETIVOS... 8 CAPÍTULO 2: WEKA HISTORIA DESCRIPCIÓN VERSIONES Y SISTEMAS OPERATIVOS REQUERIMIENTOS DISTRIBUCIÓN CAPÍTULO III: TÉCNICAS DE ANÁLISIS DE DATOS EN WEKA PREPARACIÓN DE LOS DATOS Muestra de datos Objetivos del análisis CAPÍTULO IV: EJECUCIÓN DE WEKA iv

7 4.1 INSTALACIÓN Y EJECUCIÓN FICHEROS.ARFF INTERFAZ DEL USUARIO CAPÍTULO V: SIMPLE CLI COMANDOS CAPÍTULO VI: MODO EXPLORER EXPLORADOR DE TAREAS Preprosesado Aplicación de filtros Clasificación Clustering Búsqueda de Asociaciones Selección de Atributos Visualización CAPÍTULO VII: EXPERIMENTER CONFIGURACIÓN Weka distribuido EJECUCIÓN ANÁLISIS DE RESULTADOS CAPÍTULO VIII: KNOWLEDGE FLOW CONCLUSIONES RECOMENDACIONES GLOSARIO DE TÉRMINOS BIBLIOGRAFÍA v

8 ÍNDICE DE FIGURAS Figura No 1 Interfaz de usuario 24 Figura No 2 Interfaz del usuario modo Simple Cli. 26 Figura No 3 Modo explorador ventana inicial 28 Figura No 4 Error al abrir un archivo 30 Figura No 5 Abrir una base de datos 31 Figura No 6 Modo explorador con un fichero de datos cargado 33 Figura No 7 Aplicando un filtro en el modo explorador 34 Figura No 8 El modo clasificación dentro del explorador 44 Figura No 9 Ventana de opciones adicionales en el modo de clasificación 47 Figura No 10 Weka habiendo aplicado un método de clasificación 49 Figura No 11 Opciones adicionales de un experimento 50 Figura No 12 Gráfica de los errores de clasificación 51 Figura No 13 Selección de un área en la gráfica 52 Figura No 14 Selección del color para un atributo 53 Figura No 15 Visualización de árboles de decisión 54 Figura No 16 El modo clustering dentro del modo explorador 56 Figura No 17 Modo Asociación dentro del modo explorador 57 Figura No 18 El modo de Selección de Atributos dentro del modo explorador 58 vi

9 Figura No 19 El modo de Visualización dentro del modo explorado 59 Figura No 20 El modo experimentador, modo simple 63 Figura No 21 El modo experimentador, modo Advanced 66 Figura No 22 Configurando las opciones de un método de generación de resultados 71 Figura No 23 El modo experimentador, configuración de un experimento distribuido 73 Figura No 24 El modo experimentador, ventana de ejecución del experimento 75 Figura No 25 El modo experimentador, ventana de análisis de resultados 76 Figura No 26 El modo Knowledge flow 81 Figura No 27 Icono del arffloader 82 Figura No 28 Knowledge flow. El Origen de los datos ya está definido 83 Figura No 29 Aún queda definir un elemento que nos muestre el resultado 84 Figura No 30 El experimento ya está completo 85 vii

10 INTRODUCCIÓN El presente trabajo de investigación tiene como finalidad dar a conocer una perspectiva general acerca de todo lo referente a la teoría de Data Mining. y la utilización del de la herramienta WEKA de libre distribución para el análisis de datos para la toma de decisiones, sus expectativas o finalidades, dar a conocer sus cimientos y a qué nos llevan todos ellos, sus posibles aplicaciones y cómo se está usando actualmente en algunas áreas, principalmente en el nivel empresarial. Aquí cabe mencionar que Data Mining es un proceso utilizado frecuentemente en macro empresas, sin embargo, también es utilizado en las llamadas Pymes (Pequeñas Y Medianas Empresas) y además a nivel científico, aunque con menor frecuencia, es por ello que se ha enfocado sobre todo a la utilización de dicho proceso en las empresas grandes y cómo es que funciona en ellas, aún así, creímos conveniente introducir algunos ejemplos de su uso en otros entornos. viii

11 CAPÍTULO I: MINERÍA DE DATOS La Minería de datos, es la extracción de información oculta y predecible de grandes bases de datos, es una poderosa tecnología nueva con gran potencial para ayudar a las compañías a concentrarse en la información más importante de sus Bases de Información, Las herramientas de Data Mining pueden responder a preguntas de negocios que tradicionalmente consumen demasiado tiempo para poder ser resueltas y a los cuales los usuarios de esta información casi no están dispuestos a aceptar. Estas herramientas exploran las bases de datos en busca de patrones ocultos, encontrando información predecible que un experto no puede llegar a encontrar porque se encuentra fuera de sus expectativas, decimos que las herramientas de Data Mining predicen futuras tendencias y comportamientos, permitiendo en los negocios tomar decisiones 1

12 1. Historia de la Minería de Datos La minería de datos, entendida como la búsqueda de patrones dentro de grandes bases de datos utilizando para ello métodos estadísticos y de aprendizaje basado en computadora 1, está empezando a extenderse en nuestro país. Empresas en el sector de telecomunicaciones, financiero y de autoservicio están en el proceso de adquirir alguna solución tecnológica en este campo, por lo que surge una demanda por recursos humanos con conocimientos en minería de datos. Además, al enfrentar un ambiente más competitivo las empresas requieren de tecnologías que les permitan pronosticar, dentro de un marco probabilística, el comportamiento de sus clientes y prospectos a fin de desarrollar estrategias de atracción o retención. Aunque desde un punto de vista académico el término data mining es una etapa dentro de un proceso mayor llamado extracción de conocimiento en bases de datos, (mencionado en el capítulo anterior) en el entorno comercial, así como en este trabajo, ambos términos se usan de manera indistinta. Lo que en verdad hace el data mining es reunir las ventajas de varias áreas como la Estadística, la Inteligencia Artificial, la Computación Gráfica, las Bases de Datos y el Procesamiento Masivo, principalmente usando como materia prima las bases de datos. Una definición tradicional es la siguiente: Un proceso no trivial de identificación 1 2

13 válida, novedosa, potencialmente útil y entendible de patrones comprensibles que se encuentran ocultos en los datos (Fayyad y otros,1996). La idea de data mining no es nueva. Ya desde los años sesenta los estadísticos manejaban términos como data fishing, data mining o data archaeology con la idea de encontrar correlaciones sin una hipótesis previa en bases de datos con ruido. A principios de los años ochenta, Rakesh Agrawal, Gio Wiederhold, Robert Blum y Gregory Piatetsky-Shapiro, entre otros, empezaron a consolidar los términos de data mining y KDD.[3] A finales de los años ochenta sólo existían un par de empresas dedicadas a esta tecnología; en 2002 existen más de 100 empresas en el mundo que ofrecen alrededor de 300 soluciones. Las listas de discusión sobre este tema las forman investigadores de más de ochenta países. Esta tecnología ha sido un buen punto de encuentro entre personas pertenecientes al ámbito académico y al de los negocios. El data mining es una tecnología compuesta por etapas que integra varias áreas y que no se debe confundir con un gran software. Durante el desarrollo de un proyecto de este tipo se usan diferentes aplicaciones software en cada etapa que pueden ser estadísticas, de visualización de datos o de inteligencia artificial, principalmente. Actualmente existen aplicaciones o herramientas comerciales de data mining muy poderosas que contienen un sinfín de utilerías que facilitan el desarrollo de un proyecto. Sin embargo, casi siempre acaban complementándose con otra herramienta. 3

14 1.1 Concepto El Data Mining surge como una tecnología que intenta ayudar a comprender el contenido de una base de datos. De forma general, los datos son la materia prima bruta, en el momento que el usuario les atribuye algún significado especial pasan a convertirse en información. Cuando los especialistas elaboran o encuentran un modelo, haciendo que la interpretación del confronto entre la información y ese modelo represente un valor agregado, entonces nos referimos al conocimiento. En la figura 1.1 se ilustra la jerarquía que existe en una base de datos entre dato, información y conocimiento. Se observa igualmente el volumen que presenta en cada nivel y el valor que los responsables de las decisiones le dan en esa jerarquía. El área interna dentro del triángulo representa los objetivos que se han propuesto. La separación del triángulo representa la estrecha unión entre dato e información, no así entre la información y el conocimiento. El Data Mining trabaja en el nivel superior buscando patrones, comportamientos, agrupaciones, secuencias, tendencias o asociaciones que puedan generar algún modelo que nos permita comprender mejor el dominio para ayudar en una posible toma de decisión. 4

15 Otra definición que se puede dar de Data Mining y que es muy común encontrar dice: "Una actividad de extracción cuyo objetivo es el de descubrir hechos contenidos en las bases de datos" 2. En la mayoría de los casos se refiere a un trabajo automatizado. Si hay alguna intervención humana a lo largo del proceso, este no es considerado como minería de datos por parte algunas personas. La palabra descubrimiento está relacionada con el hecho de que mucha de la información valiosa es desconocida con anterioridad. En todo caso, estas técnicas pueden ayudar a confirmar cualquier sospecha sobre el comportamiento del sistema en un particular contexto. En cuanto a los hechos escondidos, estos estarán principalmente bajo la forma de reglas las cuales nos ayudarán a entender el modelo del sistema relacionado con los datos observados. Por otra parte, las reglas también pueden ser usadas en la predicción de ciertos estado del sistema (lo que se busca). Desde un punto de vista académico el término Data Mining es una etapa dentro de un proceso mayor llamado KDD. Lo que en verdad hace el Data Mining es reunir las ventajas de varias áreas como la Estadística, la Inteligencia Artificial, la Computación Gráfica, las Bases de Datos y el Procesamiento Masivo, principalmente usando como materia prima las bases de datos

16 1.2 Fundamentos. Las técnicas de Data Mining son el resultado de un largo proceso de investigación y desarrollo de productos. Esta evolución comenzó cuando los datos de negocios fueron almacenados por primera vez en computadoras, y continuó con mejoras en el acceso a los datos, y más recientemente con tecnologías generadas para permitir a los usuarios navegar a través de los datos en tiempo real. Data Mining toma este proceso de evolución más allá del acceso y navegación retrospectiva de los datos, hacia la entrega de información prospectiva y proactiva 3. Data Mining está listo para su aplicación en la comunidad de negocios porque está soportado por tres tecnologías que ya están suficientemente maduras: - Recolección masiva de datos - Potentes computadoras con multiprocesadores - Algoritmos de Data Mining Las bases de datos comerciales están creciendo a un ritmo sin precedentes. Un reciente estudio del META GROUP sobre los proyectos de Data Warehouse encontró que el 19% de los que contestaron están por encima del nivel de los 50 Gigabytes, mientras que el 59% espera alcanzarlo 3 6

17 en el segundo trimestre de En algunas industrias, tales como ventas al por menor (retail), estos números pueden ser aún mayores. MCI Telecommunications Corp. cuenta con una base de datos de 3 terabytes + 1 terabyte de índices y overhead corriendo en MVS sobre IBM SP2. La necesidad paralela de motores computacionales mejorados puede ahora alcanzarse de forma más costo - efectiva con tecnología de computadoras con multiprocesamiento paralelo. Los algoritmos de Data Mining utilizan técnicas que han existido por lo menos desde hace 10 años, pero que sólo han sido implementadas recientemente como herramientas maduras, confiables, entendibles que consistentemente son más performantes que métodos estadísticos clásicos. En la evolución desde los datos de negocios a información de negocios, cada nuevo paso se basa en el previo. Por ejemplo, el acceso a datos dinámicos es crítico para las aplicaciones de navegación de datos (drill through applications), y la habilidad para almacenar grandes bases de datos es crítica para Data Mining. Los componentes esenciales de la tecnología de Data Mining han estado bajo desarrollo por décadas, en áreas de investigación como estadísticas, inteligencia artificial y aprendizaje de máquinas. Hoy, la madurez de estas técnicas, junto con los motores de bases de datos relacionales de alta performance, hicieron que estas tecnologías fueran prácticas para los entornos de data warehouse actuales. 7

18 1.3 Objetivos El principal producto del proceso de la minería de datos es el descubrimiento de reglas. Estas mostrarán nuevas relaciones entre las variables o excepciones de acuerdo a la empresa en que se utilice este proceso. Ello enriquecerá el análisis y la descripción de la forma en que trabaja una compañía y ayudará en la planificación y en el diseño de futuros cambios. Es posible que algunas de las reglas descubiertas no puedan ser cambiadas, pero si resulte posible realizar modificaciones apropiadas en la organización con el propósito de mejorar su desempeño. Predicción (Forecasting) 4 : Una vez descubiertas reglas importantes, estas pueden ser utilizadas pera estimar algunas variables de salida. Puede ser en el caso de secuencias en el tiempo, o bien en la identificación e interrupción a tiempo, de una futura mala experiencia de crédito. En esta tarea, se complementan las técnicas estadísticas tradicionales con aquellas provenientes de la inteligencia artificial. Conceptos adaptativos como los algoritmos genéticos y las redes neuronales, permiten realizar predicciones más acertadas, especialmente en casos de gran complejidad y con relaciones internas 4 8

19 CAPÍTULO 2: WEKA Weka es un conjunto de librerias JAVA para la extracción de conocimientos desde bases de datos. Es un software ha sido desarrollado en la universidad de Waikato (Nueva Zelanda) bajo licencia GPL lo cual ha impulsado que sea una de las suites más utilizadas en el área en los últimos años. El paquete Weka es una colección de herramientas de visualización y algoritmos para análisis de datos y modelado predictivo, unidos a una interfaz gráfica de usuario para acceder fácilmente a sus funcionalidades. 9

20 2.1 Historia En 1993, la Universidad de Waikato en Nueva Zelanda inició el desarrollo de la versión original de Weka (en TCL/TK y C). En 1997, se decidió recibir el código en Java incluyendo implementaciones de algoritmos de modelado. En 2005, Weka recibe de SIGKDD(Special Interest Group on Knowledge Discovery and Data Mining) el galardón "Data Mining and Knowledge Discovery Service". 2.2 Descripción El paquete Weka contiene una colección de herramientas de visualización y algoritmos para análisis de datos y modelado predictivo, unidos a una interfaz gráfica de usuario para acceder fácilmente a sus funcionalidades 5. La versión original de Weka fue un front-end en TCL/TK para modelar algoritmos implementados en otros lenguajes de programación, más unas utilidades para pre procesamiento de datos desarrolladas en C para hacer experimentos de aprendizaje automático. Esta versión original se diseñó inicialmente como herramienta para analizar datos procedentes del dominio de la agricultura, pero la versión más reciente basada en Java (WEKA 3), que empezó a desarrollarse en 1997, se utiliza en muchas y muy diferentes áreas, en particular con finalidades docentes y de investigación

21 2.3 Versiones y Sistemas Operativos Weka 3.6 es la última versión estable de Weka. Weka 3.4 es una version estable. Weka corre en diferentes sistemas operativos como: - Windows - Linux - Mac OS X 2.4 Requerimientos Java 1.4 (o posterior) es necesaria para ejecutar WEKA 3.4.x y las versiones anteriores. Dependiendo de su plataforma informática es posible que tenga que descargar e instalar por separado. Está disponible de forma gratuita. 2.5 Distribución WEKA se distribuye como software de libre distribución desarrollado en Java. Está constituido por una serie de paquetes de código abierto con diferentes técnicas de preprocesado, clasificación, agrupamiento, asociación, y visualización, así como facilidades para su aplicación y análisis de prestaciones cuando son aplicadas a los datos de entrada seleccionados. Estos paquetes pueden ser integrados en cualquier proyecto de análisis de 11

22 datos, e incluso pueden extenderse con contribuciones de los usuarios que desarrollen nuevos algoritmos. Con objeto de facilitar su uso por un mayor número de usuarios, WEKA además incluye una interfaz gráfica de usuario para acceder y configurar las diferentes herramientas integradas. 12

23 CAPÍTULO III: TÉCNICAS DE ANÁLISIS DE DATOS EN WEKA 3.1 Preparación de los datos Los datos de entrada a la herramienta, sobre los que operarán las técnicas implementadas, deben estar codificados en un formato específico, denominado Attribute-Relation File Format (extensión "arff"). La herramienta permite cargar los datos en tres soportes: fichero de texto, acceso a una base de datos y acceso a través de internet sobre una dirección URL de un servidor web. En nuestro caso trabajaremos con ficheros de texto. Los datos deben estar dispuestos en el fichero de la forma siguiente: cada instancia en una fila, y con los atributos separados por comas. El formato de un fichero arff sigue la estructura siguiente: % NOMBRE_RELACION 13

24 @attribute r1 r2 i1 i2 s1 {v1_s1, v2_s1, s2 {v1_s1, v2_s1, Por lo tanto, los atributos pueden ser principalmente de dos tipos: numéricos de tipo real o entero (indicado con las palabra real o integer tras el nombre del atributo), y simbólicos, en cuyo caso se especifican los valores posibles que puede tomar entre llaves Muestra de datos El fichero de datos objeto de análisis contiene muestras correspondientes a alumnos presentados a las pruebas de selectividad y los resultados obtenidos en las pruebas. Los datos que describen cada alumno contienen la siguiente información: año, convocatoria, localidad del centro, opción cursada (de 5 posibles), calificaciones parciales obtenidas en lengua, historia, idioma y las tres asignaturas opcionales, así como la designación de las asignaturas de idioma y las 3 opcionales cursadas, calificación en el bachillerato, calificación final y si el alumno se presentó o no a la prueba. Por tanto, puede comprobarse que la cabecera del fichero de datos, "selectividad.arff", sigue el formato mencionado selectividad 14

25 @attribute Año_académico convocatoria {J, localidad {ALPEDRETE, ARANJUEZ,... opcion1ª nota_lengua nota_historia nota_idioma des_idioma {INGLES, FRANCES, des_asig1 {BIOLOGIA, DIB.ARTISTICO_II,... calif_asig1 des_asig2 {BIOLOGIA, calif_asig2 des_asig3 {BIOLOGIA, calif_asig3 cal_prueba nota_bachi cal_final real 15

26 @attribute Presentado {SI, Objetivos del análisis Debemos tener en cuenta una previa búsqueda de relaciones y modelos subyacentes en los datos y establecer una idea clara acerca de los objetivos del usuario final. De esta manera, el proceso de análisis de datos (proceso KDD), permitirá dirigir la búsqueda y hacer refinamientos, con una interpretación adecuada de los resultados generados. Los objetivos, utilidad, aplicaciones, etc., del análisis efectuado no "emergen" de los datos, sino que deben ser considerados con detenimiento como primer paso del estudio. El análisis tiene un enfoque introductorio e ilustrativo para acercarse a las técnicas disponibles y su manipulación desde la herramienta, dejando abierto para el investigador llevar el estudio de este dominio a resultados y conclusiones más elaboradas. 16

27 CAPÍTULO IV: EJECUCIÓN DE WEKA WEKA se distribuye como un fichero ejecutable comprimido de java (fichero "jar"), que se invoca directamente sobre la máquina virtual JVM. En las primeras versiones de WEKA se requería la máquina virtual Java 1.2 para invocar a la interfaz gráfica, desarrollada con el paquete gráfico de Java Swing. En el caso de la último versión, WEKA 3.4, que es la que se ha utilizado para confeccionar estas notas, se requiere Java 1.3 o superior. 4.1 Instalación y Ejecución Una vez descomprimido Weka y teniendo apropiadamente instalada la máquina de virtual Java, para ejecutar Weka simplemente debemos ordenar dentro del directorio de la aplicación el mandato: java -jar weka.jar 17

28 La herramienta se invoca desde el intérprete de Java, en el caso de utilizar un entorno Windows, bastaría una ventana de comandos para invocar al intérprete Java 6 : No obstante, si estamos utilizando la máquina virtual de Java de Sun (que habitualmente es la más corriente), este modo de ejecución no es el más apropiado, ya que, por defecto, asigna sólo 100 megas de memoria de acceso aleatorio para la máquina virtual, que muchas veces será insuficiente para realizar ciertas operaciones con Weka (y obtendremos el consecuente error de insuficiencia de memoria); por ello, es altamente recomendable ordenarlo con el mandato: java -Xms<memoria-mínima-asignada>M -Xmx<memoria-máxima-asignada>M -jar weka.jar

29 Dónde el parámetro -Xms indica la memoria RAM mínima asignada para la máquina virtual y -Xmx la máxima memoria a utilizar, ambos elementos expresados en Megabytes si van acompañados al final del modificador M. Una buena estrategia es asignar la mínima memoria a utilizar alrededor de un 60% de la memoria disponible. Para obtener la lista de opciones estándar, si usamos la máquina virtual de Sun, ordenamos el mandato java -h, y para ver la lista de opciones adicionales java -x. Una vez que Weka esté en ejecución aparecerá una ventana denominada selector de interfaces, que nos permite seleccionar la interfaz con la que deseemos comenzar a trabajar con Weka. Las posibles interfaces a seleccionar son Simple Cli, Explorer, Experimenter y Knowledge flow 4.2 Ficheros.arff Nativamente Weka trabaja con un formato denominado arff, acrónimo de (Attribute-Relation File Format). Este formato está compuesto por una estructura claramente diferenciada en tres partes: 1. Cabecera. Se define el nombre de la relación. Su formato es el <nombre-de-la-relación> 19

30 Donde <nombre-de-la-relación> es de tipo String*. Si dicho nombre contiene algún espacio será necesario expresarlo entrecomillado. 2. Declaraciones de atributos. En esta sección se declaran los tributos que compondrán nuestro archivo junto a su tipo. La sintaxis es la <nombre-del-atributo> <tipo> Donde <nombre-del-atributo> es de tipo String teniendo las mismas restricciones que el caso anterior. Weka acepta diversos tipos, estos son: a) NUMERIC Expresa números reales*. b) INTEGER Expresa números enteros. c) DATE Expresa fechas, para ello este tipo debe ir precedido de una etiqueta de formato entrecomillada. La etiqueta de formato está compuesta por caracteres separadores (guiones y/o espacios) y unidades de tiempo: dd Día. MM Mes. yyyy Año. HH Horas. 20

31 mm Minutos. ss Segundos. d) STRING Expresa cadenas de texto, con las restricciones del tipo String comentadas anteriormente. e) ENUMERADO El identificador de este tipo consiste en expresar entre llaves y separados por comas los posibles valores (caracteres o cadenas de caracteres) que puede tomar el atributo. Por ejemplo, si tenemos un atributo que indica el tiempo podría tiempo {soleado,lluvioso,nublado} 3. Sección de datos. Declaramos los datos que componen la relación separando entre comas los atributos y con saltos de línea las 4,3.2 Aunque éste es el modo completo" es posible definir los datos de una forma abreviada (sparse data). Si tenemos una muestra en la que hay muchos datos que sean 0 podemos expresar los datos prescindiendo de los elementos que son nulos, rodeando cada una de las filas entre llaves y situando delante de cada uno de los datos el número de atributo**. 21

32 Un ejemplo de esto es el {1 4, 3 3} En este caso hemos prescindido de los atributos 0 y 2 (como mínimo) y asignamos al atributo 1 el valor 4 y al atributo 3 el valor 3. En el caso de que algún dato sea desconocido se expresará con un símbolo de cerrar interrogación (?"). Es posible añadir comentarios con el símbolo %, que indicará que desde ese símbolo hasta el final de la línea es todo un comentario. Los comentarios pueden situarse en cualquier lugar del fichero. Un ejemplo de un archivo de prueba. Prueba arff 1 % Archivo de prueba para Weka. prueba 3 nombre STRING ojo_izquierdo {Bien,Mal} 22

33 dimension NUMERIC fecha_analisis DATE "dd-mm-yyyy HH:mm" 8 10 Antonio,Bien,38.43," :23" 11 Maria Jose,?,34.53," :45" 12 Juan,Bien,43," :04" 13 Maria,?,?," :03" 4.3Interfaz del usuario Al ejecutar la aplicación nos aparece el selector de interfaz de Weka como nos muestra la (figura 1) (Weka GUI Chooser) que da la opción de seleccionar entre cuatro posibles interfaces de usuario para acceder a las funcionalidades del programa, éstas son: "Simple CLI", "Explorer", "Experimenter", "Knowledge Flow". 23

34 Figura 1: Interfaz del usuario. 24

35 CAPÍTULO V: SIMPLE CLI Simple CLI es una abreviación de Simple Client. proporciona una consola para poder introducir mandatos 7. A pesar de ser enapariencia muy simple es extremadamente potente porque permite realizar cualquier operación soportada por Weka de forma directa; no obstante, es muy complicada de manejar ya que es necesario un conocimiento completo de la aplicación

36 Figura 2: Interfaz del usuario modo Simple Cli. 5.1 Comandos Los mandatos soportados son los siguientes: java <nombre-de-la-clase><args> Ejecuta el método main de la clase dada con los argumentos especificados al ejecutar este mandato (en el caso de que realmente se haya proporcionado alguno). Cada mandato es atendido en un hilo independiente por lo que es posible ejecutar varias tareas concurrentemente. break Detiene la tarea actual. 26

37 kill Mata la tarea actual. Este comando es desaconsejable, sólo debe usarse en el caso de que la tarea no pueda ser detenida con el mandato break. cls (Clear Screen). Limpia el contenido de la consola. exit Sale de la aplicación. help <mandato> Proporciona una breve descripción de cada mandato. 27

38 CAPÍTULO VI: MODO Explorer Esta opción que permite llevar a cabo la ejecución de los algoritmos de análisis implementados sobre los ficheros de entrada, una ejecución independiente por cada prueba. Figura 3: Modo explorador ventana inicial. 28

39 6.1 Explorador de tareas El modo Explorador que se muestra en la figura 3 es el modo más usado y descriptivo. Éste permite realizar operaciones sobre un sólo archivo de datos, y tareas taréas como: 1. Preprocesado de los datos y aplicación de filtros. 2. Clasificación. 3. Clustering. 4. Búsqueda de Asociaciones. 5. Selección de atributos. 6. Visualización de datos Preprosesado El primer paso para comenzar a trabajar con el explorador es definir el origen de los datos. Open File Al pulsar sobre este botón aparecerá una ventana de selección de fichero. Aunque el formato por defecto de Weka es el arff eso no significa que sea el único que admita, para ello tiene interpretadores de otros formatos. Éstos son: 29

40 CSV Archivos separados por comas o tabuladores. La primera línea contiene los atributos. C4.5 Archivos codificados según el formato C4.5. Unos datos codificados según este formato estarían agrupados de tal manera que en un fichero.names estarían los nombres de los atributos y en un fichero.data estarían los datos en sí. Weka cuando lee ficheros codificados según el formato C4.5 asume que ambos ficheros (el de definición de atributos y el de datos) están en el mismo directorio, por lo que sólo es necesario especificar uno de los dos. Instancias Serializadas Weka internamente almacena cada muestra de los datos como una instancia de la clase instance. Para cargar un archivo arff simplemente debemos buscar la ruta donde se encuentra el fichero y seleccionarlo. Si dicho fichero no tiene extensión arff, al abrirlo Weka intentará interpretarlo, si no lo consigue aparecerá un mensaje de error Figura 4: Error al abrir un archivo. Pulsando en Use converter nos dará la opción de usar un interpretador de ficheros de los tipos ya expuestos como se muestra en la figura 4. 30

41 Open Url Con este botón se abrirá una ventana que nos permitirá introducir una dirección en la que definir dónde se encuentra nuestro fichero. El tratamiento de los ficheros (restricciones de formato, etc.) es el mismo que el ítem anterior. Open DB Con este botón se nos da la posibilidad de obtener los datos de una base de datos como se muestra en la figura 5. Figura 5: Abrir una base de datos. Para configurarla lo primero es definir la url por la cual es accesible la base de datos, la contraseña para acceder, el nombre de usuario, la consulta 31

42 que queremos realizar y si queremos o no usar el modo de datos abreviado (sparse data). Así mismo los botones de la parte inferior dan posibilidad de cargar y guardar esta configuración en un fichero. Una vez seleccionado el origen de los datos podremos aplicar algún filtro sobre él o bien pasar a las siguientes secciones y realizar otras tareas. Los botones que acompañan a abrir el fichero: Undo y Save, nos permiten deshacer los cambios y guardar los nuevos datos ya transformados (en formato arff). Además, se ilustrar en la (figura 6) cada uno de los atributos que componen los datos, junto con un resumen con estadísticas de los mismos (media aritmética, rango de los datos, desviación estándar, número de instancias distintas, de qué tipo son, etc.). 32

43 Figura 6: Modo explorador con un fichero de datos cargado. En el cuadrante inferior derecho aparece una representación gráfica del atributo seleccionado. Encima de ésta hay un menú desplegable que permite variar el atributo de referencia que se representará en color para contrastar ambos atributos. Pulsando en Visualize all se abre una ventana desplegable mostrando todas las gráficas pertenecientes a todos los atributos. 33

44 6.1.2 Aplicación de filtros Weka permite aplicar una gran diversidad de filtros sobre los datos, permitiendo realizar transformacionesn sobre ellos de todo tipo 8. Al pulsar el botón Choose dentro del recuadro Filter se nos despliega un árbol en el que seleccionar los atributos a escoger (figura 7). Figura 7: Aplicando un filtro en el modo explorador. descripción de cada uno de ellos*. atributos. Attribute Los filtros agrupados en esta categoría son aplicados a Add Añade un atributo más. Como parámetros debemos proporcionarle la posición que va a ocupar este nuevo atributo (esta vez

45 comenzando desde el 1), el nombre del atributo y los posibles valores de ese atributo separados entre comas. Si no se especifican, se sobreentiende que el atributo es numérico. AddExpression Este filtro es muy útil puesto que permite agregar al final un atributo que sea el valor de una función. Es necesario especificarle la fórmula que describe este atributo, en donde podemos calcular dicho atributo a partir de los valores de otro u otros, refiriéndonos a los otros atributos por a seguido del número del atributo (comenzando por 1). Por ejemplo: (a3^3.4)*a1+sqrt(floor(tan(a4))) Los operadores y funciones que soporta son +,, *, /, ^, log, abs, cos, exp, sqrt, floor (función techo), ceil (función suelo), rint (redondeo a entero), tan, sin, (, ). Otro argumento de este filtro es el nombre del nuevo atributo. AddNoise Añade ruido a un determinado atributo que debe ser nominal. Podemos especificar el porcentaje de ruido, la semilla para generarlo y si queremos que al introducir el ruido cuente o no con los atributos que faltan. ClusterMembership Filtro que dado un conjunto de atributos y el atributo que define la clase de los mismos, devuelve la probabilidad de cada uno de los atributos de estar clasificados en una clase u otra. 35

46 Tiene por parámetro ignoredattributeindices que es el rango de atributos que deseamos excluir para aplicar este filtro. Dicho intervalo podemos expresarlo por cada uno de los índices los atributos separados por comas o definiendo rangos con el símbolo guión ( - ). Es posible denotar al primer y último atributo con los identificadores first y last (en este caso la numeración de los atributos comienza en 1, por lo que first corresponde al atributo número 1). Copy Realiza una copia de un conjunto de atributos en los datos. Este filtro es útil en conjunción con otros, ya que hay ciertos filtros (la mayoría) que destruyen los datos originales. Como argumentos toma un conjunto de atributos expresados de la misma forma que el filtro anterior. También tiene una opción que es invertselection que invierte la selección realizada (útil para copiar, por ejemplo, todos los atributos menos uno). Discretize Discretiza un conjunto de valores numéricos en rangos de datos. Como parámetros toma los índices de los atributos discretizar (attribute indices) y el número de particiones en que queremos que divida los datos (bins). Si queremos que las particiones las realice por la frecuencia de los datos y no por el tamaño de estas tenemos la opción useequal- Frecuency. Si tenemos activa esta última opción podemos variar el peso de las instancias para la definición de los intervalos con la opción DesiredWeightOfInstancesPerInterval. Si, al contrario tenemos en 36

47 cuenta el número de instancias para la creación de intervalos podemos usar findnumbins que optimiza el procedimiento de confección de los mismos. Otras opciones son makebinary que convierte los atributos en binario e invertselection que invierte el rango de los atributos elegidos. FistOrder Este filtro realiza una transformación de los datos obteniendo la diferencia de pares consecutivos de datos, suponiendo un dato inicial adicional de valor 0 para conseguir que la cardinalidad del grupo de datos resultante sea la misma que la de los datos origen. Por ejemplo, si los datos son , el resultado al aplicar este filtro será Este filtro toma un único parámetro que es el conjunto de atributos con el que obtener esta transformación. MakeIndicator Crea un nuevo conjunto de datos reemplazando un atributo nominal por uno booleano (Asignará 1 si en una instancia se encuentra el atributo nominal seleccionado y 0 en caso contrario). Como atributos este filtro toma el índice el atributo nominal que actuará como indicador, si se desea que la salida del filtro sea numérica o nominal y los índices los atributos sobre los que queremos aplicar el filtro. MergeTwoValues Fusiona dos atributos nominales en uno solo. Toma como argumentos la posición del argumento resultado y la de los argumentos fuente. NominalToBinary Transforma los valores nominales de un atributo en un vector cuyas coordenadas son binarias. 37

48 Normalize Normaliza todos los datos de manera que el rango de los datos pase a ser [0,1]. Para normalizar un vector se utiliza la fórmula: NumericToBinary Convierte datos en formato numérico a binario. Si el valor de un dato es 0 o desconocido, el valor en binario resultante será el0. NumericTransform Filtro similar a AddExpression pero mucho más potente. Permite aplicar un método java sobre un conjunto de atributos dándole el nombre de una clase y un método. Obfuscate Ofusca todas las cadenas de texto de los datos. Este filtro es muy útil si se desea compartir una base de datos pero no se quiere compartir información privada. PKIDiscretize Discretiza atributos numéricos (al igual que Discretize), pero el número de intervalos es igual a la raíz cuadrada del número de valores definidos. RandomProjection Reduce la dimensionalidad de los datos (útil cuando el conjunto de datos es muy grande) proyectándola en un subespacio de menor dimensionalidad utilizando para ello una matriz aleatoria. A pesar de reducir la dimensionalidad los datos resultantes se procura conservar la estructura y propiedades fundamentales de los mismos. 38

49 El funcionamiento se basa en el siguiente producto de matrices: Siendo X la matriz de datos original de dimensiones i (número de instancias) n (número de atributos), R la matriz aleatoria de dimensión n (número de atributos) m (número de atributos reducidos) y Xrp la matriz resultante siendo de dimensión i m. Como parámetros toma el número de parámetros en los que queremos aplicar este filtro (numberofattributes) y el tipo de distribución de la matriz aleatoria que puede ser: Además de estos parámetros, pueden utilizarse también el número de atributos resultantes después de la transformación expresado en porcentaje del número de atributos totales (percent), la semilla usada para la generación de números aleatorios (seed), y si queremos que aplique antes de realizar la transformación el filtro ReplaceMissingValues, Remove Borra un conjunto de atributos del fichero de datos. 39

50 RemoveType Elimina el conjunto de atributos de un tipo determinado. RemoveUseless Elimina atributos que oscilan menos que un nivel de variación. Es útil para eliminar atributos constantes o con un rango muy pequeño. Como parámetro toma el máximo porcentaje de variación permitido, si este valor obtenido es mayor que la variación obtenida la muestra es eliminada. ReplaceMissingValues Reemplaza todos los valores indefinidos por la moda en el caso de que sea un atributo nominal o la media aritmética si es un atributo numérico. Standarize Estandariza los datos numéricos de la muestra para que tengan de media 0 y la unidad de varianza. Para estandarizar un vector x se aplica la siguiente fórmula: nominal. StringToNominal Convierte un atributo de tipo cadena en un tipo 40

51 StringToWordVector Convierte los atributos de tipo String en un conjunto de atributos representando la ocurrencia de las palabras del texto. Como atributos toma: DFTranform que indica si queremos que las frecuencias de las palabras sean transformadas según la regla: TFTransform Otra regla de transformación: log(1+frecuencia de la palabra i en la instancia j) attributenameprefix, prefijo para los nombres de atributos creados. Delimitadores (delimiters), conjunto de caracteres escape usados para delimitar la unidad fundamental (token). Esta opción se ignora si la opción onlyalphabetictokens está activada, ya que ésta, por defecto, asigna los tokens a secuencias alfabéticas usando como delimitadores todos los caracteres distintos a éstos. lowercasetokens convierte a minúsculas todos los tokens antes de ser añadidos al diccionario. normalizedoclength selecciona si las frecuencias de las palabras en una instanciadeben ser normalizadas o no. 41

52 outputwordcounts cuenta las ocurrencias de cada palabra en vez de mostrar únicamente si están o no están en el diccionario. usestoplist si está activado ignora todas las palabras de una lista de palabras excluidas (stoplist). wordstokeep determina el número de palabras (por clase si hay un asignador de clases) que se intentarán guardar. SwapValues Intercambia los valores de dos atributos nominales. TimeSeriesDelta Filtro que asume que las instancias forman parte de una serie temporal y reemplaza los valores de los atributos de forma que cada valor de una instancia es reemplazado con la diferencia entre el valor actual y el valor pronosticado para dicha instancia. En los casos en los que la variación de tiempo no se conozca puede ser que la instancia sea eliminada o completada con elementos desconocidos (símbolo? ). Opciones: attributeindices Especifica el rango de atributos en los que aplicar el filtro. FillWithMissing Las instancias al principio o final del conjunto de datos, donde los valores calculados son desconocidos, se completan con elementos desconocidos (símbolo? ) en vez de 42

53 eliminar dichas instancias, que es el comportamiento por defecto. InstanceRange Define el tamaño del rango de valores que se usará para realizar las restas. Si se usa un valor negativo significa que realizarán los cálculos con valores anteriores. invertselection Invierte la selección realizada. Instance Los filtros son aplicados a instancias concretas enteras. NonSparseToSparse Convierte una muestra de modo completo a modo abreviado. Randomize Modifica el orden de las instancias de forma aleatoria. RemoveFolds Permite eliminar un conjunto de datos. Este filtro está pensado para eliminar una partición en una validación cruzada. RemoveMisclassified Dado un método de clasificación lo aplica sobre la muestra y elimina aquellas instancias mal clasificadas. RemovePercentage Suprime un porcentaje de muestras. RemoveRange Elimina un rango de instancias. RemoveWithValues Elimina las instancias acordes a una determinada restricción. 43

54 aleatoria. Resample Obtiene un subconjunto del conjunto inicial de forma SparseToNonSparse Convierte una muestra de modo abreviado a modo completo.es la operación complementaria a NonSparseToSparse Clasificación En la segunda pestaña (zona superior) del explorador entramos en el modo clasificación (figura 8). En este modo podremos clasificar por varios métodos los datos ya cargados. Figura 8: El modo clasificación dentro del explorador. 44

55 Si queremos realizar una clasificación lo primero será elegir un clasificador y configurarlo a nuestro gusto, para ello pulsaremos sobre el botón Choose dentro del área Classifier. Una vez pulsado se desplegará un árbol que nos permitirá seleccionar el clasificador deseado. Una vez seleccionado aparecerá, en la etiqueta contigua al botón Choose, el filtro seleccionado y los argumentos con los que se ejecutará. Esta información es muy útil si queremos utilizar el interfaz de consola ya que podremos configurar nuestro filtro con la interfaz y luego obtener el resultado apto para línea de mandato. Para poder acceder a las propiedades de cada clasificador deberemos hacer doble-click sobre la etiqueta antes mencionada. Al darle aparecerá una nueva ventana con las propiedades junto a una breve explicación del mismo. Una vez elegido el clasificador y sus características el próximo paso es la configuración del modo de entrenamiento (Test Options). Weka proporciona 4 modos de prueba: Use training set Con esta opción Weka entrenará el método con todos los datos disponibles y luego lo aplicará otra vez sobre los mismos. Supplied test set Marcando esta opción tendremos la oportunidad de seleccionar, pulsando el botón Set..., un fichero de datos con el que se probará el 45

56 clasificador obtenido con el método de clasificación usado y los datos iniciales. Cross-validation Pulsando el botón Cross-validation Weka realizará una validación cruzada estratificada del número de particiones dado (Folds). La validación cruzada consiste en: dado un número n se divide los datos en n partes y, por cada parte, se construye el clasificador con las n 1 partes restantes y se prueba con esa. Así por cada una de las n particiones. Una validación-cruzada es estratificada cuando cada una de las partes conserva las propiedades de la muestra original (porcentaje de elementos de cada clase). Percentage split Se define un porcentaje con el que se construirá el clasificador y con la parte restante se probará Una vez definido el método de prueba Weka nos permite seleccionar algunas opciones más con el botón More Options (figura 9). 46

57 Figura 9: Ventana de opciones adicionales en el modo de clasificación. Las opciones que se nos presentan son: Output Model Si la activamos una vez construido y probado el clasificador, nos mostrará en la salida del clasificador (parte media derecha de la ventana 9) el modelo que ha construido. Output per-class stats Activada muestra estadísticas referentes a cada clase. Output entropy evaluation mesures Muestra información de mediciones de la entropía en la clasificación. Output confusion matrix Muestra la matriz de confusión del clasificador. Esta tabla cuyo número de columnas es el número de atributos muestra la clasificación de las instancias. Da una 47

58 información muy útil porque no sólo refleja los errores producidos sino también informa del tipo de éstos. Debajo de este cuadro de la ventana existe un menú desplegable que nos permitirá seleccionar un atributo de nuestra muestra. Este atributo es el que actuará como resultado real de la clasificación. Habitualmente este atributo suele ser el último. Ahora para comenzar un método de clasificación sólo falta pulsar el botón Start. Una vez funcionando en la barra de estado aparecerá la información referente al estado del experimento. Cuando acabe, la Weka situada en la esquina inferior derecha dejará de bailar y eso indicará que el experimento ha concluido (figura 10). En la ventana de mensajes del clasificador aparecerá la información referente al desarrollo de éste que hayamos seleccionado. 48

59 Figura 10: Weka habiendo aplicado un método de clasificación. En la zona inferior-izquierda se encuentra la lista de resultados en la que aparecerán cada uno de los experimentos que hayamos realizado. Si pulsamos el botón secundario sobre alguno de ellos obtendremos opciones adicionales aplicables al experimento que hayamos seleccionado (figura 11). Éstas permiten visualizar los resultados obtenidos en diferentes variantes, incluyendo gráficas, guardar modelos, etc. 49

60 Figura 11: Opciones adicionales de un experimento. View in main window Mostrará el resultado del experimento en la salida estándar del clasificador. View in separate window Mostrará el resultado del experimento en una nueva ventana. Save result buffer Guardará el resultado del experimento en un fichero. Load model Cargará un modelo de clasificador ya construido. Save model Guardará el modelo de clasificador actual. Re-evaluate model on current test set Enfrentará un modelo con el conjunto de muestra actual. Visualize clasiffier errors Se abrirá una nueva ventana (figura 12) en la que nos mostrará una gráfica con los errores de clasificación. 50

61 Figura 12: Gráfica de los errores de clasificación. La ventana del modo gráfica está compuesta por 3 partes. En la parte superior las dos listas desplegables indican el eje X y el eje Y de la gráfica. Es posible variarles a nuestro gusto y obtener todas las combinaciones posibles. Debajo de la lista desplegable del eje X se encuentra otra en la que podemos definir un atributo que muestre el rango de variación del mismo en colores. El botón contiguo a ésta, en la misma línea, sirve para definir el tipo de figura geométrica que queremos utilizar para seleccionar datos en la propia gráfica. Interactuando en la misma seleccionamos un área (figura 13). Una vez seleccionada a nuestro gusto con el botón Submit nos mostrará sólo los datos capturados en el área de la figura que hemos 51

62 trazado. El botón Reset sirve para volver a la situación inicial y el botón Save es para guardar los valores de los datos* en un fichero arff. La barra de desplazamiento, denominada jitter, es muy interesante porque permite añadir un ruido aleatorio (en función de lo que se desplace la barra) a los datos. Es útil cuando hay muchos datos juntos y queremos separarlos para poder estimar la cantidad que hay. Figura 13: Selección de un área en la gráfica. En la parte media-derecha de la ventana de la gráfica (fig. 13) se muestra gráficamente, y de una forma muy resumida, la distribución de cada uno de los atributos. Pulsando sobre ellos con el botón principal del ratón definiremos el eje X y con el botón secundario el eje Y. 52

63 La última parte (la inferior) de la ventana que muestra gráficas es la leyenda. Pulsando con el ratón en un elemento de la leyenda aparecerá una ventana (figura 14) que nos permitirá modificar los colores en una extensa gama. Figura 14: Selección del color para un atributo. Visualize tree Esta opción mostrará un árbol de decisión, como el de la figura 16, generado por el clasificador, en el caso que lo haya hecho. 53

64 Figura 15: Visualización de árboles de decisión. Las opciones que existen en esta ventana se despliegan pulsando el botón secundario sobre ella. Éstas son: - Center on Top Node centrará el gráfico en la ventana atendiendo a la posición del nodo superior. Esta opción es muy aconsejable si cambiamos el tamaño de la ventana. - Fit to Screen Ajusta el gráfico a la ventana, no sólo la posición sino también su tamaño. - Auto Scale Escala el gráfico de manera que no haya nodos que colisionen. 54