Ejercicios de aplicación con Knime. Luis P. Guerra Velasco

Transcripción

1 Ejercicios de aplicación con Knime Luis P. Guerra Velasco May 8, 2008

2 2

3 Índice 1 Introducción 5 2 Ejercicios Preprocesado Clasificación no supervisada Clasificación supervisada

4 4 ÍNDICE

5 Capítulo 1 Introducción Este documento consiste en una serie de ejercicios de aplicación sobre la herramienta Knime. El objetivo de los mismos es comenzar a utilizar la herramienta de manera sencilla y, de esta manera, familiarizarse con los elementos que la forman y con sus posibilidades de desarrollo. Para realizar los ejercicios se utilizará una pequea muestra de un conjunto de datos reales de personas con cáncer de pecho a las cuales se les ha extirpado el tumor. Existe información sobre 77 pacientes y para cada uno de ellos, existen datos acerca de 70 valores genéticos y 7 datos clínicos (como la edad, el tamao del tumor, etc.), también existe información sobre si cada paciente ha sufrido recidiva en el cáncer posteriormente (variable de clase). También se utilizará un conjunto de datos igual que el anterior, pero con información sobre 19 pacientes, y que servirá como conjunto de test para validar los modelos que se obtengan. Analizando datos como el de este conjunto, se puede estimar si un nuevo paciente con estos mismos datos podría sufrir recidiva o no de un posible cáncer, por lo tanto, son datos y técnicas de una gran aplicación real a la vida diaria. Además de esta aplicación médica, existen otras muchas sobre las que puede trabajar la minería de datos (y, por lo tanto, Knime) como puede ser la estimación de si dar un crédito bancario a una persona conociéndo los datos sobre la misma, o realizar una estimación de ventas en una tienda por ejemplo. 5

6 6 CAPÍTULO 1. INTRODUCCIÓN

7 Capítulo 2 Ejercicios Los ejercicios se dividien en tres secciones, la primera dedicada a realizar un preprocesado de los datos. La segunda a realizar clasificación no supervisada, y por último, se utilizará Knime para realizar clasificación supervisada. Para la realización de estos ejercicios se supone que la herramienta Knime ha sido instalada, y que se le ha aadido la extensión para conectarla con la herramienta Weka (más información en Preprocesado 1. Cargar el fichero Initial.arff y analizar los datos obteniendo las estadísticas de los mismos. Realizar una captura de pantalla de las estadísticas correspondientes a los datos clínicos. 2. En caso de existir Missing Values, rellenarlos de la manera correspodiente utilizando el valor medio del resto de datos. 3. Existe relación directa entre el atributo Grade y la información de la clase? Visualizar los datos de alguna manera, capturando la imágen correspondiente, y explicar la relación en caso de existir. 4. Los atributos Grade, Angioinvasion y Lymphocytic, son datos discretos. En cambio, en la especificación del conjunto de datos, aparecen como continuos (de tipo Double). Utilizar el nodo correspondiente para cambiar el tipo de los tres atributos a String. Comprobar que los datos obtenidos corresponden a valores discretos (1,2,3, etc, en vez de 1.0, 2.0), en caso de no ser así, utilizar el nodo correspondiente para reemplazar estos valores. La salida de este nodo (o conjunto de nodos) deberá ser guardado en el disco duro en el lugar que se desee, ya que será la entrada para los ejercicios de clasificación no supervisada 5. Para realizar una clasificación supervisada posteriormente, es recomendable que todos los atributos sean discretos. Dado que hay atributos continuos, se pide realizar una discretización de los datos correspondientes utilizando el algoritmo de Kurgan and Cios. La salida de este nodo (o conjunto de nodos) deberá ser guardado en el disco duro en el lugar que 7

8 8 CAPÍTULO 2. EJERCICIOS se desee, ya que será la entrada para los ejercicios de clasificación supervisada 6. En el fichero test.arff no ha sido realizada la discretización, por lo tanto, se pide aplicar el modelo obtenido en el paso anterior para realizar la discretización correspondiente en el fichero de test. La salida de este nodo (o conjunto de nodos) deberá ser guardado en el disco duro en el lugar que se desee, ya que será la entrada para los ejercicios de clasificación supervisada 2.2 Clasificación no supervisada 1. Con el fichero obtenido en el paso 4 de la sección 2.1, se pide: Realizar, utilizando el algoritmo K-medias, un agrupamiento de 3 clusters del atributo Diameter. Obtener una captura de pantalla, diferenciando por colores los distintos clusters creados, de una representación por puntos donde se aprecien los clusters. Repetir el paso anterior, con el atributo Age y 4 clusters. Obtener el dendograma (en una captura de pantalla) creado al realizar clustering jerárquico del atributo ERp. Utilizar para ello distancia Euclidea y la media para realizar los enlaces. 2.3 Clasificación supervisada 1. Con los ficheros preprocesados en la sección 2.1, se pide (utilizando nodos originales de Knime): Obtener el valor de Accuracy para NaiveBayes. Obtener el valor de Accuracy, así como una captura del árbol generado, para C4.5 (J48) 2. Utilizando nodos de la extensión de Weka para Knime, se pide: Comprobar que los valores obtenidos en el paso anterior, son los mismos utilizando nodos de Weka (adjuntar capturas de pantalla). Obtener el valor de Accuracy para K-nn, con K = 1 y K = 2, utilizando Cross Validation (con 10 como número de validaciones).