PREDICCIÓN METEOROLÓGICA

Transcripción

1 PRÁCTICA FINAL DE INTELIGENCIA EN REDES DE ORDENADORES PREDICCIÓN METEOROLÓGICA 5º INGENIERIA DE TELECOMUNICACIÓN Julio Alberto Polo Fernández Raúl Muñoz Martínez

2 INDICE 1. Introducción 2. Preprocesado de los datos a. Análisis b. Selección 3. Aprendizaje 4. Anexos a. Aprendizaje para el modelo de predecir la temperatura b. Aprendizaje para el modelo de predecir las condiciones a. Script inicial b. Código java para el preprocesado Página 2 de 37

3 1. Introducción En esta práctica vamos a desarrollar un sistema de predicción meteorológica usando la herramienta de minería de datos WEKA. El programa WEKA permite realizar minería de datos con una interfaz gráfica lo que facilita su utilización. Además, permite una comparación con los distintos métodos que se utilizan para el pre-procesamiento, clasificación de información, clustering y meta-aprendizaje. Las técnicas de minería de datos están en auge, usándose cada vez más para mejorar el rendimiento de negocios o procesos industriales en los que se manejan grandes volúmenes de información estructurada y almacenada en bases de datos. Mediante estas técnicas de pueden explorar grandes volúmenes de datos con el fin de predecir ciertos modelos de comportamiento y así ayudar en la toma de decisiones. Un proyecto de minería de datos consta de los siguientes pasos: - Filtrado de datos: Los datos tienen que estar en un formato que entienda nuestra herramienta WEKA. Además es necesario eliminar valores no validos o que sobrepasan un umbral y que en el modelo aportarían ruido. - Selección de variables: Una vez filtrados los datos, se siguen teniendo una cantidad de datos innecesaria que ralentiza nuestro análisis. Por ello, es necesario elegir las variables que mas influyen en nuestra predicción sin perjudicar el resultado. Las técnicas mas usadas son las que buscan las variables independientes mediante algoritmos de distancia o heurísticos. - Uso de algoritmos para obtener un modelo de conocimiento: A continuación se aplican diversos algoritmos de conocimiento que mediante patrones de comportamiento que observan en las variables realizan asociaciones de las mismas para finalmente llegar a un modelo. - Interpretación y evaluación: Finalmente es necesario comprobar que los resultados de nuestro modelo son validos. Por ello es importante realizar comparaciones entre los distintos algoritmos para intentar escoger el mejor, es decir, el que menor error cometa en la predicción. Página 3 de 37

4 En esta practica, como hemos dicho, vamos a intentar desarrollar un sistema de predicción meteorológica, para ellos vamos a tomar como fuente de datos la información METAR (Meteorological Actual Report). El código METAR fue establecido por la World Meteorological Organization (WMO) y adoptado por todas las naciones del mundo sirve para representar condiciones meteorológicas en aeropuertos o estaciones meteorológicas, habitualmente con medidas horarias. Para nuestra práctica adquiriremos estos datos del aeropuerto de Madrid Barajas (con código LEMD) desde el año 1996 al La información descrita en dicho código es la siguiente: Hora (CET) Temperatura (grados Fahrenheit) Punto de rocío (grados Fahrenheit) Humedad Presión (pulgadas) Visibilidad Dirección del viento Velocidad del viento (millas por hora) Velocidad de ráfagas de viento (millas por hora) Precipitación Eventos Condiciones En cada fichero con código METAR se tiene la información de un día. Los tres objetivos de predicción en esta práctica son: Predicción de temperatura a 1 hora Predicción de temperatura a 24 horas Predicción de condiciones meteorológicas a 24 horas Página 4 de 37

5 2. Preprocesado de los datos A la hora de comenzar con el trabajo, los datos facilitados estaban distribuidos en numerosos ficheros de texto, los cuales contenían todos los datos pertenecientes a cada uno de los días bajo estudio. Se hacia necesario una manera automática de procesar los datos, ya manera del orden de 3000 ficheros para colocar los datos adecuadamente, es algo impensable en estos días. En primer lugar, pensamos en sencillos scripts bajo linux, con lenguajes como perl, bash o similares, los cuales permiten de una manera sencilla, extraer los datos de los ficheros para colocarlos en un solo fichero, y en cada línea, las medidas de cada instante de tiempo. Debido a la escasa soltura en el manejo de estos lenguajes y la falta de tiempo, se ha utilizado el fichero generado mediante perl por nuestro profesor, en cual, tenemos todos los datos línea a línea. Con estos datos, pasamos a realizar un análisis. a. Primer análisis En primer lugar, a simple vista, podemos observar como el fichero contiene una parte muy significante de días y horas en las que no se ha realizado ninguna medida, es decir, todos los parámetros son desconocidos, por lo que pasamos a eliminar todos estos datos. Aún así, podemos observar que, repartidos a lo largo de todo el fichero, encontramos pequeños conjuntos de medidas, que al igual que las anteriores, son desconocidas, pero se hace muy complicado eliminarlos manualmente. Por otro lado, también comprobamos que existen muchas magnitudes erróneas, o simplemente desconocidas ( N/A, -9999, etc.) que tenemos que reemplazar por signo de interrogación (? ), carácter utilizado por WEKA para los datos desconocidos. A raíz de esto, surgió la necesidad de implementar un nuevo programa o script para realizar estas tareas de manera automática. El lenguaje elegido fue JAVA, debido a su simplicidad en el trabajo con cadenas de caracteres y al buen manejo del mismo. Aprovechando el manejo de los datos mediante el programa, se han hecho unos cambios de variables para expresar los datos en unas unidades más familiares. Por tanto, a partir de ahora la temperatura y el nivel de rocío serán medidos en grados centígrados y la velocidad del viento en kilómetros por hora. Cuando ya se han eliminado los datos innecesarios y corregido los datos desconocidos, pasamos a realizar un análisis de los datos mediante la herramienta WEKA. Esto nos permitirá, de una manera más exacta, saber cuales son las variables determinantes a la hora de estimar la temperatura y las condiciones climatológicas. Página 5 de 37

6 A priori, podemos asegurar que la temperatura en las horas anteriores y la temperatura del día anterior a la misma hora, serán unas variables muy relacionadas para estimar la temperatura, así como las condiciones climatológicas del día anterior a la misma hora para predecir las mismas. Esto ya nos indica la necesidad de crear otro programa para poder ordenar estás ultimas medidas de una manera correcta para el análisis con WEKA. b. Segundo análisis Después de crear el nuevo programa para introducir la temperatura de una hora antes, la temperatura de dos horas antes, la temperatura del día anterior a la misma hora así como las condiciones climatológicas del día anterior, tenemos que crear la estructura de la cabecera de los ficheros ARFF (Attribute Relation File Format), que tiene un aspecto similar r1 i1 v1 datos En nuestro caso, el la cabecera tiene el siguiente 'año' 'dia' 'hora' {0,1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,2 'temperatura' 'rocio' 'humedad' 'presion' 'visibilidad' 'direccion' 'velocidad' 'hechos' 'condiciones' {Despejado,Tormenta,Parcialmente_Nublado,Nubes_Dispersas,Altamente_Nub lado,lluvias,nublado,niebla,bruma,bancos_de_bruma,bruma_leve,bruma_lig 'temperatura1' 'temperatura2' 'temperatura24' 'condiciones24' {Despejado,Tormenta,Parcialmente_Nublado,Nubes_Dispersas,Altamente_Nub lado,lluvias,nublado,niebla,bruma,bancos_de_bruma,bruma_leve,bruma_lig Página 6 de 37

7 Podemos comprobar como se han añadido las variables nuevas mencionadas anteriormente. Hemos de destacar que, para el conjunto de datos con el que hemos trabajado, algunas de las clases de condiciones y hechos, no aparecían en ninguna de las instancias, por tanto, hemos eliminado la aparición de las mismas. Estas han sido: Para hechos: Lluvia_Granizo_Tormenta, Granizo, Granizo_Tormenta y Nieve_Granizo Para condiciones: Granizo_Pequeño, Leve_Caída_de_Granizo_Pequeño, Granizo_Leve, Nubes_Bajas_de_Polvo, Caídas_de_Granizo, Bruma_Helada_Leve, Tormenta_con_Granizo, Remolino_de_Polvo, Tormenta_Leve, Nube_en_embudo, Arena y Nubes_de_Polvo. A pesar de ello, y para simplificar aún más el modelado, se han agrupado otros conjuntos de clases: Lluvia_Tormenta como Lluvia Llovizna_Helada_Leve, Llovizna_Leve, Llovizna_Abundante, Llovizna, Lluvia_Helada_Leve como Lluvia_Leve Fuertes_Lloviznas y Abundantes_Lluvias como Lluvias Tormentas_y_Lluvia, Tormentas_Leves_y_Lluvia, Fuertes_Tormentas_y_Lluvia como Tormenta Niebla_Leve, Abundante_Niebla y Neblina como Niebla Bancons_de_Bruma, Bruma_Leve y Bruma_Ligera como Bruma Nevada_Leve, Caidas_de_Nieve y Abundante_Nieve como Nieve Una vez elaborado correctamente el fichero ARFF, introducimos los valores en el programa WEKA, mediante el cual podremos hacer la selección, paso muy importante para poder procesar los datos de una manera más eficiente. c. Selección Lo primero que podemos observar al introducir los datos en el programa, es que tenemos datos que se escapan de una manera exagera de los rango de variación normales para la magnitudes medidas. Por lo que se modificó ligeramente el programa para restringir los datos dentro de unos rangos normales. Así, se han descartado medidas como: Nivel de rocío por debajo de -11º o por encima de 17º Presión a nivel del mar por debajo de 29 pulgadas de mercurio o por encima de 31 Visibilidad por debajo de 3 o por encima de 8 Velocidad por debajo de 0 o por encima de 40 Temperatura por debajo de -10 o por encima de 45 Con los datos correctos, pasamos a realizar un análisis buscando que variables son las más correlacionadas para la estimación de cada unos de los parámetros buscados, es decir, la temperatura y las condiciones climatológicas. Página 7 de 37

8 Realizando un análisis de CfsSubsetEval, bien sea utilizando búsqueda BestFirst, ExhaustiveSearch o GreedyStepwise, obtenemos unos resultados muy similares: - Para la estimación de la temperatura: rocio humedad direccion hechos temperatura1 temperatura2 temperatura24 - Para la estimación de las condiciones climatológicas: dia humedad presion visibilidad velocidad hechos temperatura1 condiciones24 Por tanto, una vez selección las variables importantes, pasamos a realizar el entrenamiento del sistema para poder realizar las predicciones deseadas de la manera más exacta posible. Es importante destacar que a la hora de realizar los análisis, no ha sido posible utilizar el 100% de los datos, debido a la ingente cantidad de memoria y tiempo que eso supondría para los ordenadores de sobremesa actuales, por lo que ha sido necesaria un muestreo de todas los datos disponibles. Página 8 de 37

9 3. Aprendizaje En este punto vamos a aplicar diversos algoritmos de conocimiento para finalmente intentar llegar a un modelo que reduzca la probabilidad de error en la predicción. 3.1 Aprendizaje para el modelo de predecir la temperatura REGRESION LINEAL Scheme: weka.classifiers.functions.linearregression -S 0 -R 1.0E-8 Relation: meteorologiaweka.filters.unsupervised.attribute.remove-r1-3,7-8,10,12,16 Instances: Time taken to build model: 9.91 seconds Correlation coefficient Mean absolute error Root mean squared error Relative absolute error % Root relative squared error % Total Number of Instances Como hemos tenido problemas de memoria y de tiempo en llegar a un modelo con la mayoría de los algoritmos hemos decidido tomar menos muestras. Ahora estábamos tomando y a partir de ahora aplicamos un filtro de muestreo (resample) para así tener unas muestras. REGRESION LINEAL Scheme: weka.classifiers.functions.linearregression -S 0 -R 1.0E-8 weka.filters.unsupervised.attribute.remove-r1-3,7-8,10,12,16- weka.filters.unsupervised.instance.resample-s1-z10.0 Instances: Time taken to build model: 1.09 seconds Correlation coefficient Mean absolute error Root mean squared error Relative absolute error % Root relative squared error % Total Number of Instances 1268 MULTILAYER PERCEPTRON Scheme: weka.classifiers.functions.multilayerperceptron -L 0.3 -M 0.2 -N 500 -V 0 -S 0 -E 20 -H a weka.filters.unsupervised.attribute.remove-r1-3,7-8,10,12,16- weka.filters.unsupervised.instance.resample-s1-z10.0 Página 9 de 37

10 Instances: Time taken to build model: seconds Correlation coefficient Mean absolute error Root mean squared error Relative absolute error % Root relative squared error % Total Number of Instances 1268 RBF NETWORK Scheme: weka.classifiers.functions.rbfnetwork -B 2 -S 1 -R 1.0E-8 -M -1 -W 0.1 weka.filters.unsupervised.attribute.remove-r1-3,7-8,10,12,16- weka.filters.unsupervised.instance.resample-s1-z10.0 Instances: Time taken to build model: 1.16 seconds Correlation coefficient Mean absolute error Root mean squared error Relative absolute error % Root relative squared error % Total Number of Instances 1268 IBK K=1 Scheme: weka.classifiers.lazy.ibk -K 1 -W 0 weka.filters.unsupervised.attribute.remove-r1-3,7-8,10,12,16- weka.filters.unsupervised.instance.resample-s1-z10.0 Instances: Time taken to build model: 0.02 seconds Correlation coefficient Mean absolute error Root mean squared error Relative absolute error % Root relative squared error % Total Number of Instances 1268 IBK K=2 Scheme: weka.classifiers.lazy.ibk -K 2 -W 0 weka.filters.unsupervised.attribute.remove-r1-3,7-8,10,12,16- weka.filters.unsupervised.instance.resample-s1-z10.0 Instances: Time taken to build model: 0.02 seconds Correlation coefficient Class complexity order bits Class complexity scheme bits Página 10 de 37

11 Complexity improvement (Sf) bits Mean absolute error Root mean squared error Relative absolute error % Root relative squared error % Total Number of Instances 1268 IBK 3 Scheme: weka.classifiers.lazy.ibk -K 3 -W 0 weka.filters.unsupervised.attribute.remove-r1-3,7-8,10,12,16- weka.filters.unsupervised.instance.resample-s1-z10.0 Instances: Test mode: user supplied test set: 1268 instances Time taken to build model: 0.02 seconds Correlation coefficient Class complexity order bits Class complexity scheme bits 3.47 Complexity improvement (Sf) bits Mean absolute error Root mean squared error Relative absolute error % Root relative squared error % Total Number of Instances 1268 IBK 5 Scheme: weka.classifiers.lazy.ibk -K 5 -W 0 weka.filters.unsupervised.attribute.remove-r1-3,7-8,10,12,16- weka.filters.unsupervised.instance.resample-s1-z10.0 Instances: Time taken to build model: 0 seconds Correlation coefficient Class complexity order bits Class complexity scheme bits Complexity improvement (Sf) bits Mean absolute error Root mean squared error Relative absolute error % Root relative squared error % Total Number of Instances 1268 KSTAR Scheme: weka.classifiers.lazy.kstar -B 20 -M a Página 11 de 37

12 weka.filters.unsupervised.attribute.remove-r1-3,7-8,10,12,16- weka.filters.unsupervised.instance.resample-s1-z10.0 Instances: Time taken to build model: 0.02 seconds Correlation coefficient Class complexity order bits Class complexity scheme bits Complexity improvement (Sf) bits Mean absolute error Root mean squared error Relative absolute error % Root relative squared error % Total Number of Instances 1268 LAZY Scheme: weka.classifiers.lazy.lwl -U 0 -K -1 -W weka.classifiers.trees.decisionstump weka.filters.unsupervised.attribute.remove-r1-3,7-8,10,12,16- weka.filters.unsupervised.instance.resample-s1-z10.0 Instances: Time taken to build model: 0.02 seconds Correlation coefficient Class complexity order bits Class complexity scheme bits Complexity improvement (Sf) bits Mean absolute error Root mean squared error Relative absolute error % Root relative squared error % Total Number of Instances 1268 TREES M5P Scheme: weka.classifiers.trees.m5p -M 4.0 weka.filters.unsupervised.attribute.remove-r1-3,7-8,10,12,16- weka.filters.unsupervised.instance.resample-s1-z10.0 Instances: Time taken to build model: 23.3 seconds Correlation coefficient Class complexity order bits Class complexity scheme bits Complexity improvement (Sf) bits Mean absolute error Página 12 de 37

13 Root mean squared error Relative absolute error % Root relative squared error % Total Number of Instances 1268 REP TREE Scheme: weka.classifiers.trees.reptree -M 2 -V N 3 -S 1 -L -1 weka.filters.unsupervised.attribute.remove-r1-3,7-8,10,12,16- weka.filters.unsupervised.instance.resample-s1-z10.0 Instances: Time taken to build model: 0.39 seconds Correlation coefficient Class complexity order bits Class complexity scheme bits Complexity improvement (Sf) bits Mean absolute error Root mean squared error Relative absolute error % Root relative squared error % Total Number of Instances 1268 CONJUNCTIVE RULE Scheme: weka.classifiers.rules.conjunctiverule -N 3 -M 2.0 -P -1 -S 1 weka.filters.unsupervised.attribute.remove-r1-3,7-8,10,12,16- weka.filters.unsupervised.instance.resample-s1-z10.0 Instances: Correlation coefficient Class complexity order bits Class complexity scheme bits Complexity improvement (Sf) bits Mean absolute error Root mean squared error Relative absolute error % Root relative squared error % Total Number of Instances 1268 DECISION TABLE Scheme: weka.classifiers.rules.decisiontable -X 1 -S 5 weka.filters.unsupervised.attribute.remove-r1-3,7-8,10,12,16- weka.filters.unsupervised.instance.resample-s1-z10.0 Instances: Página 13 de 37

14 Correlation coefficient Class complexity order bits Class complexity scheme bits Complexity improvement (Sf) bits Mean absolute error Root mean squared error Relative absolute error % Root relative squared error % Total Number of Instances 1268 M5 RULES Scheme: weka.classifiers.rules.m5rules -M 4.0 weka.filters.unsupervised.attribute.remove-r1-3,7-8,10,12,16- weka.filters.unsupervised.instance.resample-s1-z10.0 Instances: Time taken to build model: 80.2 seconds Correlation coefficient Class complexity order bits Class complexity scheme bits Complexity improvement (Sf) bits Mean absolute error Root mean squared error Relative absolute error % Root relative squared error % Total Number of Instances 1268 A la hora de realizar una comparación entre los diferentes algoritmos planteados, hemos de fijarnos algunos de los parámetros de salida. Hemos seleccionado los siguientes: Tiempo: nos ha parecido un parámetro decisivo a la hora de obtener un modelo de conocimiento apropiado para realizar las estimaciones. Junto con este parámetro, aparece asociado la cantidad de memoria necesaria para procesar los datos. Como ya hemos explicado anteriormente nos hemos visto obligados a reducir el conjunto de muestras. Root mean squared error: nos permitirá obtener una aproximación de lo buenos que es modelo en función de la desviación que existe entre el valor real y el predicho. Relative absolute error: es una medida similar a la anterior, pero de manera porcentual. Página 14 de 37

15 Predicción de temperatura Tiempo Root mean squared error Relative absolute error REGRESION LINEAL 1.09 seconds % MULTILAYER PERCEPTRON seconds % RBF NETWORK 1.16 seconds % IBK K= seconds % IBK K= seconds % IBK K= seconds % IBK K=5 0 seconds % KSTAR 0.02 seconds % LAZY 0.02 seconds % TREES M5P 23.3 seconds % REP TREE 0.39 seconds % CONJUNCTIVE RULE % DECISION TABLE % M5 RULES 80.2 seconds % Página 15 de 37

16 Como podemos comprobar en la tabla anterior, se han marcado los mejores resultados obtenidos en cada uno de los parámetros elegidos para comparar los métodos de aprendizajes. Observando estos valores, podemos concluir que el mejor algoritmo para predecir la temperatura es KSTAR, ya permite obtener un buen valor de para el error cuadrático medio así como el error absoluto, con unos tiempos de procesamiento muy buenos. Página 16 de 37

17 3.2 Aprendizaje para el modelo de predecir las condiciones RED BAYESIANA Scheme: weka.classifiers.bayes.bayesnet -D -Q weka.classifiers.bayes.net.search.local.k2 -- -P 1 -S BAYES -E weka.classifiers.bayes.net.estimate.simpleestimator -- -A 0.5 Test mode: user supplied test set: 1141 instances Time taken to build model: 0.39 seconds Correctly Classified Instances % Incorrectly Classified Instances % Kappa statistic K&B Relative Info Score % K&B Information Score bits 0.72 Class complexity scheme bits Complexity improvement (Sf) bits Mean absolute error Root mean squared error Relative absolute error % Root relative squared error % NAIVE BAYES Scheme: weka.classifiers.bayes.naivebayes Test mode: user supplied test set: 1141 instances Time taken to build model: 0.13 seconds Correctly Classified Instances % Incorrectly Classified Instances % Kappa statistic K&B Relative Info Score % K&B Information Score bits Class complexity scheme bits Complexity improvement (Sf) bits Página 17 de 37

18 Mean absolute error Root mean squared error Relative absolute error % Root relative squared error % NAIVE BAYES UPDATEABLE Scheme: weka.classifiers.bayes.naivebayesupdateable Test mode: user supplied test set: 1141 instances Time taken to build model: 0.11 seconds Correctly Classified Instances % Incorrectly Classified Instances % Kappa statistic K&B Relative Info Score % K&B Information Score bits Class complexity scheme bits Complexity improvement (Sf) bits Mean absolute error Root mean squared error Relative absolute error % Root relative squared error % LOGISTIC Scheme: weka.classifiers.functions.logistic -R 1.0E-8 -M -1 Test mode: user supplied test set: 1141 instances Time taken to build model: seconds Correctly Classified Instances % Incorrectly Classified Instances % Kappa statistic K&B Relative Info Score % K&B Information Score bits Class complexity scheme bits Complexity improvement (Sf) bits Página 18 de 37

19 Mean absolute error Root mean squared error Relative absolute error % Root relative squared error % MULTILAYER PERCEPTRON Scheme: weka.classifiers.functions.multilayerperceptron -L 0.3 -M 0.2 -N 500 -V 0 -S 0 -E 20 -H a Test mode: user supplied test set: 1141 instances Time taken to build model: seconds Correctly Classified Instances % Incorrectly Classified Instances % Kappa statistic K&B Relative Info Score % K&B Information Score bits Class complexity scheme bits Complexity improvement (Sf) bits Mean absolute error Root mean squared error Relative absolute error % Root relative squared error % SMO Scheme: weka.classifiers.functions.smo -C 1.0 -E 1.0 -G A L P 1.0E-12 -N 0 -V -1 -W 1 Test mode: user supplied test set: 1141 instances Time taken to build model: seconds Correctly Classified Instances % Incorrectly Classified Instances % Kappa statistic K&B Relative Info Score % K&B Information Score bits Class complexity scheme bits Página 19 de 37

20 Complexity improvement (Sf) bits Mean absolute error Root mean squared error Relative absolute error % Root relative squared error % IBI Scheme: weka.classifiers.lazy.ib1 Test mode: user supplied test set: 1141 instances Time taken to build model: 0.03 seconds Correctly Classified Instances % Incorrectly Classified Instances % Kappa statistic K&B Relative Info Score % K&B Information Score bits Class complexity scheme bits Complexity improvement (Sf) bits Mean absolute error Root mean squared error Relative absolute error % Root relative squared error % Ibk k=1 Scheme: weka.classifiers.lazy.ibk -K 1 -W 0 Test mode: user supplied test set: 1141 instances Time taken to build model: 0.02 seconds Correctly Classified Instances % Incorrectly Classified Instances % Kappa statistic K&B Relative Info Score % K&B Information Score bits Class complexity scheme bits Página 20 de 37

21 Complexity improvement (Sf) bits Mean absolute error Root mean squared error Relative absolute error % Root relative squared error % Ibk k=2 Scheme: weka.classifiers.lazy.ibk -K 2 -W 0 Test mode: user supplied test set: 1141 instances Correctly Classified Instances % Incorrectly Classified Instances % Kappa statistic K&B Relative Info Score % K&B Information Score bits Class complexity scheme bits Complexity improvement (Sf) bits Mean absolute error Root mean squared error Relative absolute error % Root relative squared error % Ibk k=3 Scheme: weka.classifiers.lazy.ibk -K 3 -W 0 Test mode: user supplied test set: 1141 instances Time taken to build model: 0.02 seconds Correctly Classified Instances % Incorrectly Classified Instances % Kappa statistic K&B Relative Info Score % K&B Information Score bits Class complexity scheme bits Página 21 de 37

22 Complexity improvement (Sf) bits Mean absolute error Root mean squared error Relative absolute error % Root relative squared error % KStar Scheme: weka.classifiers.lazy.kstar -B 20 -M a Test mode: user supplied test set: 1141 instances Time taken to build model: 0 seconds Correctly Classified Instances % Incorrectly Classified Instances % Kappa statistic K&B Relative Info Score % K&B Information Score bits Class complexity scheme bits Complexity improvement (Sf) bits 0.15 Mean absolute error Root mean squared error Relative absolute error % Root relative squared error % Lazy Scheme: weka.classifiers.lazy.lwl -U 0 -K -1 -W weka.classifiers.trees.decisionstump Time taken to build model: 0.02 seconds Correctly Classified Instances % Incorrectly Classified Instances % Kappa statistic K&B Relative Info Score % K&B Information Score bits Class complexity scheme bits Página 22 de 37

23 Complexity improvement (Sf) bits Mean absolute error Root mean squared error Relative absolute error % Root relative squared error % Decisions Stump Scheme: weka.classifiers.trees.decisionstump Time taken to build model: 0.09 seconds Correctly Classified Instances % Incorrectly Classified Instances % Kappa statistic K&B Relative Info Score % K&B Information Score bits Class complexity scheme bits Complexity improvement (Sf) bits Mean absolute error Root mean squared error Relative absolute error % Root relative squared error % J48 Scheme: weka.classifiers.trees.j48 -C M 2 Time taken to build model: 5.02 seconds Correctly Classified Instances % Incorrectly Classified Instances % Kappa statistic K&B Relative Info Score % K&B Information Score bits Class complexity scheme bits Complexity improvement (Sf) bits Página 23 de 37

24 Mean absolute error Root mean squared error Relative absolute error % Root relative squared error % NBTree Scheme: weka.classifiers.trees.nbtree Relation: meteorologia- Test mode: user supplied test set: 1141 instances Time taken to build model: seconds Correctly Classified Instances % Incorrectly Classified Instances % Kappa statistic K&B Relative Info Score % K&B Information Score bits Class complexity scheme bits Complexity improvement (Sf) bits Mean absolute error 0.07 Root mean squared error Relative absolute error % Root relative squared error % REPTree Scheme: weka.classifiers.trees.reptree -M 2 -V N 3 -S 1 -L -1 Relation: meteorologia- Time taken to build model: 1.84 seconds Correctly Classified Instances % Incorrectly Classified Instances % Kappa statistic K&B Relative Info Score % K&B Information Score bits Class complexity scheme bits Complexity improvement (Sf) bits Mean absolute error Página 24 de 37

25 Root mean squared error Relative absolute error % Root relative squared error % ConjunctiveRule Scheme: weka.classifiers.rules.conjunctiverule -N 3 -M 2.0 -P -1 -S 1 Relation: meteorologia- Time taken to build model: 0.34 seconds Correctly Classified Instances % Incorrectly Classified Instances % Kappa statistic K&B Relative Info Score % K&B Information Score bits Class complexity scheme bits Complexity improvement (Sf) bits Mean absolute error Root mean squared error Relative absolute error % Root relative squared error % Decision Table Scheme: weka.classifiers.rules.decisiontable -X 1 -S 5 Relation: meteorologia- Time taken to build model: 2.03 seconds Correctly Classified Instances % Incorrectly Classified Instances % Kappa statistic K&B Relative Info Score % K&B Information Score bits Class complexity scheme bits Complexity improvement (Sf) bits Mean absolute error Root mean squared error Relative absolute error % Root relative squared error % Página 25 de 37

26 J Rip Scheme: weka.classifiers.rules.jrip -F 3 -N 2.0 -O 2 -S 1 Relation: meteorologia- Time taken to build model: seconds Correctly Classified Instances % Incorrectly Classified Instances % Kappa statistic K&B Relative Info Score % K&B Information Score bits Class complexity scheme bits Complexity improvement (Sf) bits Mean absolute error Root mean squared error Relative absolute error % Root relative squared error % One R Scheme: weka.classifiers.rules.oner -B 6 Relation: meteorologia- Time taken to build model: 0.09 seconds Correctly Classified Instances % Incorrectly Classified Instances % Kappa statistic K&B Relative Info Score % K&B Information Score bits Class complexity scheme bits Complexity improvement (Sf) bits Mean absolute error Root mean squared error Relative absolute error % Root relative squared error % Página 26 de 37

27 Como en el apartado anterior, vamos a proceder a estudiar el algoritmo de aprendizaje que mejor aproximación da, basándonos en los 3 parámetros seleccionados, el tiempo que tarda en ejecutarse, el error cuadrático medio y el error absoluto relativo: Predicción de condiciones a 24 horas Tiempo Root mean squared error Relative absolute error RED BAYESIANA 0.39 seconds % NAIVE BAYES 0.13 seconds % NAIVE BAYES UPDATEABLE 0.11 seconds % LOGISTIC seconds % MULTILAYER PERCEPTRON seconds % SMO seconds % IBI 0.03 seconds % IBK k= seconds % IBK k= seconds % IBK k= seconds % KSTAR % LAZY 0.02 seconds % Página 27 de 37

28 DECISIONS STUMP 0.09 seconds % J seconds % NBTree seconds % REPTree 1.84 seconds % Conjunctive Rule 0.34 seconds % Decision Table 2.03 seconds % J Rip seconds % One R 0.09 seconds % En la tabla anterior, al igual que con el apartado de predicción de la temperatura, se han seleccionado como parámetros para comparar los métodos, el tiempo de ejecución, el error cuadrático medio y el error absoluto. También podríamos haber elegido los porcentajes de acierto y fallo en cada uno de los métodos, pero hemos comprobado están totalmente relacionados. En este caso, con una gran diferencia, podemos decir que el mejor de los métodos es el de Decisión Table, ya que el que obtiene un error menor a pesar de ser un poco más lento que otros métodos. Si nos fijamos en el porcentaje de aciertos que obtiene: Correctly Classified Instances % Incorrectly Classified Instances % Hemos comprobado que es muy superior al de la mayoría de los otros algoritmos, que en el mejor de los casos están en torno a 68% de aciertos. Página 28 de 37

29 4. Anexos a. Script inicial Como se ha comentado anteriormente, el script utilizado ha sido facilitado por el profesor. Este script se encarga de abrir cada uno de los ficheros con la información, extraer los datos y juntarlos todos en un solo fichero. Además, se modifica el formato de la hora para que en lugar de tener las horas de 0 a 12 en AM y PM, utilizar un formato de 0 a 47 en intervalos de media hora. El código es el siguiente: procesa-lemd/filtra.pl while(<>) { chop(); if(/^[ ]*:[03]0/) { s/^12:00 AM/0/; s/^12:30 AM/1/; s/^1:00 AM/2/; s/^1:30 AM/3/; s/^2:00 AM/4/; s/^2:30 AM/5/; s/^3:00 AM/6/; s/^3:30 AM/7/; s/^4:00 AM/8/; s/^4:30 AM/9/; s/^5:00 AM/10/; s/^5:30 AM/11/; s/^6:00 AM/12/; s/^6:30 AM/13/; s/^7:00 AM/14/; s/^7:30 AM/15/; s/^8:00 AM/16/; s/^8:30 AM/17/; s/^9:00 AM/18/; s/^9:30 AM/19/; s/^10:00 AM/20/; s/^10:30 AM/21/; s/^11:00 AM/22/; s/^11:30 AM/23/; s/^12:00 PM/24/; s/^12:30 PM/25/; s/^1:00 PM/26/; s/^1:30 PM/27/; s/^2:00 PM/28/; s/^2:30 PM/29/; s/^3:00 PM/30/; s/^3:30 PM/31/; s/^4:00 PM/32/; s/^4:30 PM/33/; s/^5:00 PM/34/; s/^5:30 PM/35/; s/^6:00 PM/36/; s/^6:30 PM/37/; s/^7:00 PM/38/; s/^7:30 PM/39/; s/^8:00 PM/40/; Página 29 de 37

30 s/^8:30 PM/41/; s/^9:00 PM/42/; s/^9:30 PM/43/; s/^10:00 PM/44/; s/^10:30 PM/45/; s/^11:00 PM/46/; s/^11:30 PM/47/; print "$_\n"; procesa-lemd/pon48.pl $FICHERO = $ARGV[0]; $FICHERO =~ s/08221-//; $FICHERO =~ s/-/,/g; $contador = 0; while(<stdin>) { chop(); $linea = $_; $linea =~ s/,,/,?,/g; ($valor) = ($linea =~ /^([0-9]+),/); while($contador<48) { if($contador==$valor) { print "$FICHERO,$linea\n"; $contador++; last; elsif($contador<$valor) { print "$FICHERO,$contador,?,?,?,?,?,?,?,?,?,?,?\n"; $contador++; elsif($contador>$valor) { print "$FICHERO,$contador,?,?,?,?,?,?,?,?,?,?,?\n"; $contador++; last; while($contador<48) { print "$FICHERO,$contador,?,?,?,?,?,?,?,?,?,?,?\n"; $contador++; procesa-lemd/quitabr.pl while(<>) { s/<br>/\n/g; print; procesa-lemd/procesa.pl while(<>) { chop(); $fichero = $_; system("cat $fichero perl quitabr.pl perl filtra.pl perl pon48.pl $fichero"); Página 30 de 37

31 b. Código java para el preprocesado Como se ha comentado anteriormente, este es el código empleado para filtra los datos, eliminar los valores absurdos de las variables y agrupar distintas clases de condiciones. El código probablemente no sea muy correcto, y será óptimo, pero no es el objetivo de está práctica, por lo que sólo nos interesa que cumpla con los objetivos impuestos. import java.io.*; public class limpiar { public static void main(string[] args) throws IOException{ FileReader fich = new FileReader ("datos"); BufferedReader red = new BufferedReader (fich); PrintWriter writrain = new PrintWriter (new BufferedWriter (new FileWriter ( "datostrain.arff"))); PrintWriter writest = new PrintWriter (new BufferedWriter (new FileWriter ( "datostest.arff"))); int i = 0; String tmp; String nue; char sepa = ','; int fecha; int tempe; int test=0; Double temp; int meses[] = {0,31,60,91,121,152,182,213,244,274,305,335; int eliminadas = 0; int itest = 0; int itrain = 0; int index; int diahoy = 9999; int diacont = 0; int horahoy = 9999; int horacont = 0; String temperaturahoy = "?"; String temperatura24[] = {"?","?","?","?","?","?","?","?","?","?","?","?","?","?","?","?","?","?","?","?","?","?","?","?","?","?","?","?","?","?","?","?","?","?","?","?","?","?","?","?","?","?","?","?","?","?","?","?"; String condicioneshoy = "9999"; String condiciones24[] = {"?","?","?","?","?","?","?","?","?","?","?","?","?","?","?","?","?","?","?","?","?","?","?","?","?","?","?","?","?","?","?","?","?","?","?","?","?","?","?","?","?","?","?","?","?","?","?","?"; while (true) { String escribe; test=0; int index1 = 0; int index2 = 0; Página 31 de 37

32 int incompleto = 0; tmp = red.readline(); if (tmp == null) { break; i++; //año index2 = tmp.indexof(sepa,index1); nue = tmp.substring(index1,index2); if ( nue.equals("2004") ) { test=1; escribe = nue + sepa; index1 = index2+1; //mes index2 = tmp.indexof(sepa,index1); fecha = meses[integer.valueof(tmp.substring(index1,index2))-1]; index1 = index2+1; //dia index2 = tmp.indexof(sepa,index1); fecha += Integer.valueOf(tmp.substring(index1,index2)); escribe = escribe + fecha + sepa; index1 = index2+1; diahoy=fecha; //hora index2 = tmp.indexof(sepa,index1); fecha = Integer.valueOf(tmp.substring(index1,index2)); escribe = escribe + fecha + sepa; index1 = index2+1; horahoy=fecha; //temperatura index2 = tmp.indexof(sepa,index1); nue = tmp.substring(index1,index2); if (!nue.equals("?") &&!nue.equals("-9999") &&!nue.equals("n/a") ) { temp = (Double.valueOf(nue)-32)/1.8; tempe = Math.round(temp.floatValue()); if ( (tempe < -10) (tempe > 45) ) { escribe = escribe + "?" + sepa; temperaturahoy = "?"; incompleto++; else{ escribe = escribe + tempe + sepa; temperaturahoy = String.valueOf(tempe); else{ escribe = escribe + "?" + sepa; temperaturahoy = "?"; incompleto++; Página 32 de 37

33 index1 = index2+1; //rocio index2 = tmp.indexof(sepa,index1); nue = tmp.substring(index1,index2); if (!nue.equals("?") &&!nue.equals("-9999") &&!nue.equals("n/a") ) { temp = (Double.valueOf(nue)-32)/1.8; tempe = Math.round(temp.floatValue()); if ( (tempe < -11) (tempe > 17) ){ escribe = escribe + "?" + sepa; incompleto++; else{ escribe = escribe + tempe + sepa; else{ escribe = escribe + "?" + sepa; incompleto++; index1 = index2+1; //humedad index2 = tmp.indexof(sepa,index1); nue = tmp.substring(index1,index2); if (!nue.equals("?") &&!nue.equals("-9999") &&!nue.equals("n/a") ) { tempe = Integer.valueOf(nue); escribe = escribe + tempe + sepa; else{ escribe = escribe + "?" + sepa; incompleto++; index1 = index2+1; //presion index2 = tmp.indexof(sepa,index1); nue = tmp.substring(index1,index2); if (!nue.equals("?") &&!nue.equals("-9999") &&!nue.equals("n/a") ) { temp = Double.valueOf(nue); if ( (temp < 29) (temp > 31) ) { escribe = escribe + "?" + sepa; incompleto++; else{ escribe = escribe + temp + sepa; else{ escribe = escribe + "?" + sepa; incompleto++; index1 = index2+1; //visibilidad index2 = tmp.indexof(sepa,index1); nue = tmp.substring(index1,index2); if (!nue.equals("?") &&!nue.equals(" ") &&!nue.equals("n/a") ) { temp = Double.valueOf(nue); if ( (temp < 3) (temp > 8) ) { Página 33 de 37

34 escribe = escribe + "?" + sepa; incompleto++; else{ escribe = escribe + temp + sepa; else{ escribe = escribe + "?" + sepa; incompleto++; index1 = index2+1; //direccion index2 = tmp.indexof(sepa,index1); nue = tmp.substring(index1,index2); escribe = escribe + nue + sepa; index1 = index2+1; //velocidad index2 = tmp.indexof(sepa,index1); nue = tmp.substring(index1,index2); if ( nue.equals("calm") ) { escribe = escribe + "0" + sepa; else if (!nue.equals("?") &&!nue.equals(" ") &&!nue.equals("n/a") ) { temp = Double.valueOf(nue)*1.6092; tempe = Math.round(temp.floatValue()); if ( (tempe < 0) (tempe > 40) ) { escribe = escribe + "?" + sepa; incompleto++; else{ escribe = escribe + tempe + sepa; else{ escribe = escribe + "?" + sepa; incompleto++; index1 = index2+1; //rafaga index2 = tmp.indexof(sepa,index1); //de este dato pasamos porque siempre es - index1 = index2+1; //precipitacion index2 = tmp.indexof(sepa,index1); //de este dato pasamos porque siempre es N/A index1 = index2+1; //hechos index2 = tmp.indexof(sepa,index1); nue = tmp.substring(index1,index2).replace('-','_'); if ( nue.equals("lluvia_granizo_tormenta") nue.equals("granizo") nue.equals("granizo_tormenta") nue.equals("nieve_granizo") ) { nue = "?"; else if ( nue.equals("lluvia_tormenta") ) { nue = "Tormenta"; Página 34 de 37

35 escribe = escribe + nue + sepa; index1 = index2+1; //condiciones index2 = tmp.length(); nue = tmp.substring(index1,index2).replace(' ','_'); if ( nue.equals("desconocido") (nue.length() == 0) nue.equals("granizo_pequeño") nue.equals("leve_caída_de_granizo_pequeño") nue.equals("granizo_leve") nue.equals("nubes_bajas_de_polvo") nue.equals("caídas_de_granizo") nue.equals("tormentas_con_granizo") nue.equals("remolinos_de_polvo") nue.equals("tormenta_leve") nue.equals("humo") nue.equals("particulas_de_nieve") nue.equals("nubes_de_polvo") nue.equals("bruma_helada_leve") nue.equals("nube_en_embudo") nue.equals("arena") ){ nue = "?"; else if (nue.equals("tormentas_y_lluvia") nue.equals("tormentas_leves_y_lluvia") nue.equals("fuertes_tormentas_y_lluvia") ) { nue = "Tormenta"; else if (nue.equals("fuertes_lluvias") nue.equals("abundantes_lluvias")) { nue = "Lluvias"; else if (nue.equals("niebla_leve") nue.equals("abundante_niebla") nue.equals("neblina") ) { nue = "Niebla"; else if (nue.equals("llovizna_helada_leve") nue.equals("llovizna") nue.equals("llovizna_leve") nue.equals("llovizna_abundante") nue.equals("lluvia_helada_leve") ) { nue = "Lluvia_Leve"; else if (nue.equals("nevada_leve") nue.equals("caidas_de_nieve") nue.equals("abundante_nieve") ) { nue = "Nieve"; else if (nue.equals("bancos_de_bruma") nue.equals("bruma_leve") nue.equals("bruma_ligera") ) { nue = "Bruma"; escribe = escribe + nue + sepa; condicioneshoy = nue; if (i==1) { diacont=diahoy; horacont=horahoy; else{ horacont = horacont+1; Página 35 de 37

36 if (horacont == 48) { horacont = 0; diacont = (diacont+1)%366; //temperatura 1 hora antes if (horahoy == 0) { index = 46; else if (horahoy == 1) { index = 47; else{ index = horahoy-2; escribe = escribe + temperatura24[index] + sepa; //temperatura 2 horas antes if (horahoy == 0) { index = 44; else if (horahoy == 1) { index = 45; else if (horahoy == 2) { index = 46; else if (horahoy == 3) { index = 47; else{ index = horahoy-4; escribe = escribe + temperatura24[index] + sepa; //temperatura 24 horas antes escribe = escribe + temperatura24[horahoy] + sepa; //condiciones 24 horas antes escribe = escribe + condiciones24[horahoy]; temperatura24[horahoy] = temperaturahoy; condiciones24[horahoy] = condicioneshoy; { m++) { if ( (horacont!= horahoy) (diacont!= diahoy) ) if (diacont == diahoy) { for (int m=horacont; m < horahoy; m++) { temperatura24[m] = "?"; condiciones24[m] = "?"; else if ( (diahoy-diacont) > 1) { for (int m=0; m < 48; m++) { temperatura24[m] = "?"; condiciones24[m] = "?"; else{ for (int m=horacont; (m%48) <= horahoy; temperatura24[m%48] = "?"; condiciones24[m%48] = "?"; horacont = horahoy; diacont = diahoy; Página 36 de 37

37 if (incompleto < 5) { if (test == 1) { writest.println(escribe); itest++; else { writrain.println(escribe); itrain++; else eliminadas++; red.close(); fich.close(); writest.close(); writrain.close(); System.out.println("final de fichero. Lineas procesadas OK=" + i); System.out.println(" Lineas eliminadas=" + eliminadas); System.out.println(" Lineas correctas=" + (i-eliminadas)); System.out.println(" Lineas para train=" + itrain); System.out.println(" Lineas para test=" + itest); Página 37 de 37