Práctica Final INTELIGENCIA EN REDES DE COMUNICACIONES

Transcripción

1 Práctica Final INTELIGENCIA EN REDES DE COMUNICACIONES Minería de Datos: Predicción de las condiciones meteorológicas Carlos Blanco González Fernando García Diez Grupo 91 5º curso Ing. telecomunicación

2 1. Introducción El objetivo de esta práctica es obtener un sistema de predicción meteorológica para la ciudad de Madrid, para lo cual se van a usar técnicas de minería de datos sobre un conjunto extenso de datos extraídos durante aproximadamente 8 años en el aeropuerto de Barajas. La minería de datos nos proporciona toda una serie de técnicas para la selección, procesado, clasificación, evaluación e interpretación de la información, para poder conseguir que, dado un gran volumen de datos se consiga extraer un conocimiento y así poder predecir futuros comportamientos o acciones. Mediante las diferentes etapas en que podríamos dividir el proceso de minería de datos (preprocesado, selección de características, extracción de conocimiento, interpretación y evaluación) conseguimos pasar de una secuencia de datos a un modelo de conocimiento. Para alcanzar este modelo de conocimiento vamos a usar la herramienta WEKA, en la que podemos realizar las diferentes etapas anteriormente citadas. En WEKA podemos distinguir entre técnicas descriptivas y predictivas. Con las técnicas descriptivas tenemos la capacidad de saber que variables de los datos son más valiosas y así poder seleccionarlas para que a la hora de aplicar las técnicas predictivas obtener

3 resultados mejores. Además tenemos herramientas para filtrar la información según nosotros queramos, al igual que técnicas de visualización de los datos y de las relaciones que existen entre ellos. Las técnicas predictivas consisten en una serie de algoritmos que buscan relaciones entre los datos para estimar una determinada variable, y se evalúan con unos determinados datos que se le pasan como test. Los algoritmos que nosotros vamos a usar son: Decisión Table: Una tabla de decisión es una manera conveniente de organizar información de una manera sistemática. Están orientadas a la resolución de una sola meta. Las alternativas son listadas con su suposición de contribución en manera de tabla y según esto se decide. REPTree: Funcionamiento en dos fases (datos de aprendizaje y datos de poda). Primero se crea un conjunto de reglas que se sobreajusta a los datos usados para el aprendizaje, después se poda el conjunto de reglas usando ejemplares que no participaron en el aprendizaje. SMOreg: Implementa el algoritmo de optimización de secuencia mínima desarrollado por John C. Esta implementación sustituye todos los valores que faltan y transforma atributos nominales en otros binarios. También normaliza todos los atributos por defecto (los coeficientes a la salida están basados en los datos normalizados, no en los originales). Kstar: Es un clasificador basado en las variables, lo que quiere decir que la clasificación de una variable está basada en variables de entrenamiento similares, determinadas por alguna función de similitud. Se diferencia de otros aprendizajes basados en lo mismo en que usa una función de distancia basada en entropía. Linear Regression: Implementa una regresión lineal a partir de un muestreo de datos aleatorio. La regresión ajustada con el error cuadrático medio más bajo se elige como el modelo final.

4 2. Preprocesado La parte más importante de esta práctica consiste en el preprocesado de los datos. Disponemos de un conjunto de datos muy grande entre los cuales hay incluidos valores atípicos que deben ser eliminados y otros valores que no nos interesan o que el programa Weka no es capaz de entender. Los archivos de partida se encuentran en formato METAR. Existe un archivo para cada uno de los días, que contiene una línea de texto para cada medición meteorológica. Estas líneas tienen la siguiente forma: 5:00 AM,32.0,30.2,93,30.30,7.0,Calm,Calm,-,N/A,,Parcialmente Nublado Donde se indican separados por comas los siguientes atributos en este orden: Hora, Temperatura (ºF), Nivel de Rocío (ºF), Humedad, Presión, Visibilidad (mph), dirección del viento, Velocidad del viento (mph), velocidad de ráfaga (mph), Precipitación, Hechos y Condiciones. Sin embargo, los archivos que entiende Weka deben estar en formato arff (Attribute-Relation File Format), el fichero tendrá una cabecera donde se indica qué atributos lleva cada línea y de que tipo son (numérico o de clases fundamentalmente, en cuyo caso se indican los posibles valores que puede tomar el atributo), y a continuación aparecerán los datos en sí, con una línea para cada medida con los atributos separados por comas y signos de interrogación? para los datos que no se conozcan. Para pasar de un formato de fichero a otro se han implementado varios programas java que, para empezar, juntan todos los archivos de las distintas fechas en uno sólo, añadiendo al principio de cada línea tres nuevos atributos que son la fecha, mes y año, que originalmente aparecían en el nombre del fichero, y cambiando el formato de los saltos de línea. A continuación se sustituyen por signos de interrogación muchos datos inválidos o no existentes, como N/A, -, o simplemente un atributo vacío. También hacía falta redondear las horas para que las medidas estuvieran separadas cada media hora, pasando la medida de, por ejemplo las 12:02 a las 12:00 para que no se tome como un número distinto.

5 Sin embargo, llegados a este punto comenzamos a usar un fichero proporcionado por el profesor en el que ya se habían modificado las horas para que fueran un número de 0 a 48 y se habían añadido muestras con todos los datos? para las horas que no tenían medidas. Comenzamos pues a modificar este fichero, reemplazando todos los N/A, -, y atributos vacíos por interrogaciones. Al intentar definir en el fichero arff los distintos valores que podían tomar las variables no numéricas encontramos valores aislados tanto en el campo de hechos como en el de condiciones, valores que se daban muy pocas veces y que por tanto no eran representativos, como nubes de polvo o granizo, que se dan una o dos veces en todo el fichero. En este caso hemos optado por eliminar ese valor sustituyéndolo por una interrogación, ya que no tenía sentido cargar computacionalmente al algoritmo por un hecho tan aislado. También se ha dado el caso de valores que eran muy similares a otros ya definidos ( Abundantes Lluvias y Lluvias ), y lo que se ha hecho en este caso con ellos es agruparlos con otro tipo de condiciones similares (convertir altamente nublado a nublado, por ejemplo) mediante una sustitución simple en un programa java. Además de los datos que aparecen inicialmente, seguimos modificando el fichero y añadimos al final de cada línea más atributos tomados de líneas posteriores o anteriores: temperatura dentro de 1h y 24h, condiciones meteorológicas dentro de 24 h, temperatura hace 1h, 2h y 24h y condiciones hace 24h. Las 3 primeras las debemos introducir obligatoriamente porque son las variables que indicaremos a Weka que prediga y por tanto debe conocerlas, y las otras 4 se introdujeron porque pensamos que nos podrían dar información extra que considerábamos importante para la predicción. 3. Filtrado Una vez hemos terminado de modificar el fichero a mano y ya está listo para que Weka trabaje con él, lo abrimos y seguimos preprocesando los datos desde dentro de Weka.

6 Lo primero que hacemos es eliminar el atributo precipitación ya que no tiene ninguna muestra y no nos aporta ninguna información, mediante la opción Remove de la pestaña de filtrado en Weka. A continuación nos dedicamos a eliminar las muestras con valores atípicos o erróneos, y para ello nos vamos a la zona de visualización de gráficas de Weka y allí separamos de una manera fácil e intuitiva los datos normales de los claramente erróneos: En esta imagen se puede ver el proceso de separación de los valores correctos (señalados en el rectángulo gris) de los incorrectos, que toman valores mucho mayores y aislados. Durante este proceso se añade algo de ruido a los datos para poder diferenciar un solo dato aislado de varios que coincidan exactamente en el mismo sitio. El único problema que tiene hacer esta selección dentro de Weka es que a la vez que elimina las muestras con datos erróneos también elimina aquellas con datos desconocidos, con lo cual no podemos aplicar este método de selección a variables que tengan muchos valores desconocidos (ráfaga, por ejemplo) ya que perderíamos un número demasiado grande de filas que podrían tener valores interesantes en el resto de atributos. Salvamos los datos ya limpios en otro fichero distinto a partir del cual haremos el resto del trabajo.

7 4. Selección de variables Bajo la pestaña de select attributes de Weka se han realizado varios análisis para ver qué variables eran más determinantes a la hora de predecir una determinada incógnita. Antes se han eliminado mediante filtros las otras dos incógnitas de manera que no nos influyan. Para predecir la temperatura en la siguiente hora diferentes algoritmos nos han dado siempre el mismo resultado: lo más importante es siempre la temperatura en el momento actual, y la mayoría de los algoritmos de evaluación de variables no se fijan en ninguna variable más, aunque en mucha menor medida también hemos comprobado que influyen la dirección viento, la temperatura en la hora anterior y 2h antes. Otra manera de obtener la relevancia de las distintas variables para una predicción es fijándonos en los pesos del algoritmo de regresión lineal. Para ello, en la pestaña Classify de Weka entrenamos un regresor lineal que prediga el valor de la temperatura en la siguiente hora, y observando el valor de los distintos pesos. El resultado obtenido es el siguiente: Linear Regression Model temperatura+1h = * anyo * mes * dia * hora * temperatura * rocio * humedad * visibilidad * dirviento=norte,calm,nne,ne,no,ene,ono,ese,variable,se,este,sur,sso[...] * dirviento=calm,nne,ne,no,ene,ono,ese,variable,se,este,sur,sso[...] * dirviento=nne,ne,no,ene,ono,ese,variable,se,este,sur,sso,sse,so[...] * dirviento=ne,no,ene,ono,ese,variable,se,este,sur,sso,sse,so,oso,[...] * dirviento=no,ene,ono,ese,variable,se,este,sur,sso,sse,so,oso,oeste * dirviento=ene,ono,ese,variable,se,este,sur,sso,sse,so,oso,oeste * dirviento=ono,ese,variable,se,este,sur,sso,sse,so,oso,oeste * dirviento=ese,variable,se,este,sur,sso,sse,so,oso,oeste * dirviento=variable,se,este,sur,sso,sse,so,oso,oeste * dirviento=se,este,sur,sso,sse,so,oso,oeste * dirviento=sur,sso,sse,so,oso,oeste * dirviento=sso,sse,so,oso,oeste * dirviento=sse,so,oso,oeste * dirviento=so,oso,oeste * dirviento=oso,oeste * velviento * rafaga * hechos=lluvia,tormenta,tornado * hechos=tormenta,tornado * hechos=tornado +

8 * condiciones=nublado,despejado,tormenta * condiciones=despejado,tormenta * condiciones=tormenta * temperatura-24h * condiciones-24h=bruma,niebla,lluvia,nublado,despejado,tormenta * condiciones-24h=lluvia,nublado,despejado,tormenta * condiciones-24h=nublado,despejado,tormenta * condiciones-24h=despejado,tormenta * temperatura-2h * temperatura-1h De donde podemos deducir que las variables que más influyen en la temperatura de dentro de 1h son las de mayores pesos, es decir, temperatura actual, dirección del viento, hechos, condiciones, condiciones hace 24h y la temperatura de 2h antes. Para el caso de la temperatura al cabo de 24h, mediante los algoritmos de selección de variables seguimos llegando a la conclusión de que el parámetro más importante es la temperatura actual, mientras que a través de los pesos del regresor lineal observamos lo siguiente: Linear Regression Model temperatura+24h = * mes * dia * hora * temperatura * rocio * humedad * presion * visibilidad * dirviento=norte,calm,nne,ne,ono,no,ese,ene,variable,se,sur,sso,[...] * dirviento=calm,nne,ne,ono,no,ese,ene,variable,se,sur,sso,sse,[...] * dirviento=nne,ne,ono,no,ese,ene,variable,se,sur,sso,sse,este,oso,[...] * dirviento=ono,no,ese,ene,variable,se,sur,sso,sse,este,oso,so,oeste * dirviento=no,ese,ene,variable,se,sur,sso,sse,este,oso,so,oeste * dirviento=ese,ene,variable,se,sur,sso,sse,este,oso,so,oeste * dirviento=ene,variable,se,sur,sso,sse,este,oso,so,oeste * dirviento=variable,se,sur,sso,sse,este,oso,so,oeste * dirviento=se,sur,sso,sse,este,oso,so,oeste * dirviento=este,oso,so,oeste * dirviento=oso,so,oeste * dirviento=so,oeste * dirviento=oeste * velviento * rafaga * hechos=bruma,lluvia,tormenta,tornado * hechos=lluvia,tormenta,tornado * hechos=tormenta,tornado * condiciones=bruma,niebla,lluvia,nublado,despejado,tormenta * condiciones=niebla,lluvia,nublado,despejado,tormenta * condiciones=nublado,despejado,tormenta * condiciones=despejado,tormenta * temperatura-24h * condiciones-24h=bruma,niebla,lluvia,nublado,despejado,tormenta * condiciones-24h=niebla,lluvia,nublado,despejado,tormenta * condiciones-24h=lluvia,nublado,despejado,tormenta * condiciones-24h=nublado,despejado,tormenta +

9 * condiciones-24h=despejado,tormenta * condiciones-24h=tormenta * temperatura-2h * temperatura-1h Vemos que se ha incrementado la importancia de los hechos y condiciones actuales así como de las condiciones en las 24h pasadas y la dirección del viento. La relevancia de la presión ha aumentado mientras que la de la temperatura actual ha disminuido bastante. Sin embargo observamos que el error de este regresor lineal es bastante mayor que el del caso anterior ( % frente a %) por lo cual los resultados son menos fiables. Para el caso de la predicción de condiciones meteorológicas en 24h no se puede usar el regresor lineal ya que sólo funciona para atributos numéricos, pero a cambio los algoritmos de la pestaña select attributes funcionan mucho mejor, obteniendo como resultado que los parámetros de los que más depende son: el mes, la humedad, la presión, las condiciones actuales y las temperaturas: Ranked attributes: presion mes humedad condiciones temperatura-2h temperatura-1h temperatura temperatura-24h dirviento condiciones-24h hora velviento visibilidad rocio anyo dia hechos 0 12 rafaga Sin embargo, al final se ha optado por eliminar el menor número de variables posibles ya que se ha pensado que la predicción sería más precisa cuanta más información se tuviera, de manera que sólo se han eliminado las variables que tienen muy pocas muestras o que son claramente independientes de la variable a predecir según el estudio anterior. De este modo, para la temperatura dentro de 1 h se han eliminado las variables precipitación (eliminada siempre en el preprocesado), año, día, visibilidad y ráfaga, ya que se ha considerado que la temperatura que haga es independiente de qué día del mes sea y del año, así como de la visibilidad que haya, y

10 ráfaga tiene muy pocos valores conocidos además de parecer también bastante independiente. Para el caso de predicción de temperatura a 24h se han eliminado las variables día y ráfaga, la primera por ser independiente el número de día del mes de la temperatura y la segunda por tener pocos datos válidos, tal como en el caso anterior. Por último, para le predicción de las condiciones meteorológicas dentro de 24h se han suprimido las variables de rocío, ráfaga, hechos, visibilidad y día, debido a que son los que peores resultados han obtenido en el estudio realizado anteriormente y por tanto las más independientes de la variable a predecir. 5. Predicción de variables A la hora de predecir el valor de las variables incógnita, lo primero que debemos hacer es eliminar las otras 2 columnas incógnita, de manera que, por ejemplo, para predecir la temperatura en la siguiente hora no se emplee la temperatura dentro de 24 horas, que es la otra variable incógnita. A continuación, y dependiendo de si el algoritmo que vamos a ejecutar tiene mucha carga de memoria o de computación, hacemos un submuestreo de los datos mediante un filtro (Resample) aplicado a todas las variables que nos quedan, quedándonos de manera aleatoria con el 20% o el 5% de las muestras según el algoritmo, con lo cual pretendemos aumentar la velocidad de ejecución de los algoritmos y disminuir el riesgo de que Weka finalice su ejecución inesperadamente debido a problemas de memoria. Bajo la pestaña Classify de Weka será donde realicemos los análisis que nos permitan predecir las variables deseadas mediante diferentes algoritmos. Seleccionamos la opción Percentage split que divide automáticamente los datos en 2 grupos: el de evaluación y el de entrenamiento. Es conveniente hacer esto, ya que si evaluáramos el algoritmo sobre los mismos datos con los que lo hemos entrenado los resultados no estarán siendo realistas, ya que corremos riesgo de sobreentrenar el algoritmo haciéndolo demasiado específico.

11 Temperatura en la próxima hora: Se ha intentado predecir la temperatura en la próxima hora usando los siguientes algoritmos: REPtree, KStar, SMOreg, regresión lineal, y tabla de decisión, cuyo funcionamiento ya se explicó en el apartado de introducción. A continuación se muestran los resultados obtenidos: Algoritmo Relative Absolute Error Root Mean Square Error Decision Table % RepTree % Regresión Lineal % KStar % SMOreg % Podemos ver que el algoritmo que proporciona mejores resultados es el de REPTree, ya que nos da tanto el mínimo error absoluto relativo como el mínimo error cuadrático medio, y además se observa que es el mejor resultado de predicción obtenido para el conjunto de las 3 incógnitas a estimar. Temperatura en las próximas 24h En este caso se han vuelto a aplicar los mismos algoritmos que en el caso anterior, aunque eliminando menos variables a priori ya que al ser un periodo de tiempo más largo la temperatura puede depender en mayor medida de otros factores nuevos. Los errores obtenidos para cada algoritmo son los siguientes: Algoritmo Relative Absolute Error Root Mean Square Error Decision Table % RepTree % Regresión Lineal % KStar % SMOreg % Como se puede ver, en este caso el error obtenido en todos los casos es mayor, ya que es mucho más difícil predecir la temperatura para tiempos más lejanos del actual,

12 y además se ha comprobado que los algoritmos tardan más en ejecutarse que en el caso anterior al estar usando un mayor número de variables. El mejor algoritmo para este caso observamos que es el de tabla de decisión, ya que da menor error absoluto, y aunque el mínimo error cuadrático medio corresponde al algoritmo de REPTree, todos los resultados son bastante similares para los algoritmos evaluados. Condiciones meteorológicas en las próximas 24h En este caso se han usado algoritmos distintos ya que estamos prediciendo un atributo no numérico (de clases) y los métodos por lo tanto serán distintos. Los algoritmos aplicados has sido: Tabla de decisión, J48, SMO, IB1 (K vecinos más próximos) y Reptree, los resultados obtenidos para el error han sido los siguientes: Algoritmo Relative Absolute Error Root Mean Square Error Decision Table % RepTree % IB % J % SMO % Se puede ver que el algoritmo que nos ofrece menor error es el de la tabla de decisión, aunque en general los resultados obtenidos para esta predicción son bastante malos, teniendo un error relativo considerablemente grande. Posiblemente esto se deba a que estamos tratando con un atributo no numérico y por tanto el error cometido al interpretar una condición cuando en realidad es otra no se evalúa del mismo modo que un atributo numérico. ANEXO I: Códigos Java para el preprocesado de datos Concat.java: une los múltiples archivos correspondientes a cada día en uno sólo, cambia el formato de los saltos de línea e introduce la fecha el principio de cada línea:

13 import java.io.*; class concat // cocatena los archivos de cada dia en uno solo y camia el formato de los saltos de linea public static void join(file f1,file f2, int i)throws IOException BufferedReader br=new BufferedReader(new FileReader(f2)); BufferedWriter bw=new BufferedWriter(new FileWriter(f1,true)); String line=br.readline(); String fecha=((f2.getname()).substring(((f2.getname()).length()- 10))).replaceAll("-",","); while(line!=null) if(line.equals("") line.startswith("<!-- "))line=br.readline(); if(line!=null&&line.startswith("hora")&&line.endswith("<br>"))li ne=fecha+","+br.readline(); if(line!=null&&line.endswith("<br>"))line=line.substring(0,line. lastindexof("<br>"))+"\r\n if(line!=null)line=line.replaceall("<br>","\r\n"+fecha+","); bw.write(line); line=br.readline(); bw.flush(); bw.close(); public static void main(string[] args)throws IOException if(args.length!=2)system.out.println("se necesitan dos argumentos: fichero destino y carpeta");return; File file=new File(args[0]); File folder=null; if(args[1].equals("."))folder=new File("");folder=new File(folder.getAbsolutePath()); else folder=new File(args[1]); if(file.exists())system.out.println("el fichero destino ya existe y se va a concatenar..."); File[] files=null; if(folder.isdirectory())files=folder.listfiles(); else System.out.println("segundo argumento no es una carpeta"+folder.getabsolutepath());return; for(int i=0,j=0;i<files.length;i++)if(files[i].isfile()&&!(files[i].getname()).equals(file.getname())&&!(files[i].getname()).equals("concat.java")&&!(files[i].getname()).equals("concat.class"))join(file,files[i],j++); Concat3.java: sustituye los datos desconocidos por interrogaciones, elimina líneas sin datos o con horas no válidas import java.io.*; class concat3 //cambia datos desconocidos por interrogaciones y más. public static void main(string[] args)throws IOException

14 if(args.length!=2) System.out.println("se necesitan dos argumentos: fichero origen y destino"); return; File f2=new File(args[0]); File f1=new File(args[1]); BufferedReader br=new BufferedReader(new FileReader(f2)); BufferedWriter bw=new BufferedWriter(new FileWriter(f1,true)); String line=br.readline(); while(line!=null) line=line+"\r\n"; if((line.charat(line.indexof(':')+2)!='0') ((line.charat(line.i ndexof(':')+1)!='0')&&(line.charat(line.indexof(':')+1)!='3')))line=br.readline()+"\r\n"; if(line.indexof(",,,,,")!=- 1)line=br.readLine()+"\r\n"; line=line.replaceall("n/a","?"); line=line.replaceall(" ","?"); line=line.replaceall("-9999","?"); line=line.replaceall("-","?"); if(line.endswith(','))line=line+"?"; if((line.indexof(',')!=- 1)&&(line.charAt(line.lastIndexOf(',')- 1)==','))line=line.substring(0,line.lastIndexOf(',')).concat("?").conc at(line.substring(line.lastindexof(','))); bw.write(line); line=br.readline(); bw.flush(); bw.close(); Concat4.java: añade las variables incógnita: temperatura en la siguiente hora, en las siguientes 24h y las condiciones en las próximas 24h. import java.io.*; class concat4 //añade las variables incognita: temp+1, temp+24 y cond+24 public static void main(string[] args)throws IOException if(args.length!=2) System.out.println("se necesitan dos argumentos: fichero origen y destino"); return; File f2=new File(args[0]); File f1=new File(args[1]); BufferedReader br=new BufferedReader(new FileReader(f2)); BufferedWriter bw=new BufferedWriter(new FileWriter(f1,true));

15 String line[]; line=new String[49]; line[0]=br.readline(); bw.write(line[0]+"\r\n"); line[0]=br.readline(); bw.write(line[0]+"\r\n"); for(int i=0;i<49;i++)line[i]=br.readline(); while(line[48]!=null) if(line[2].charat(12)==',') if(line[2].charat(13)=='?') line[0]=line[0].concat(",?"); else line[0]=line[0].concat(",").concat(line[2].substring(13,line[2]. indexof(',',14))); else if(line[2].charat(14)=='?') line[0]=line[0].concat(",?"); else line[0]=line[0].concat(",").concat(line[2].substring(14,line[2]. indexof(',',15))); if(line[48].charat(12)==',') if(line[48].charat(13)=='?') line[0]=line[0].concat(",?"); else line[0]=line[0].concat(",").concat(line[48].substring(13,line[48 ].indexof(',',14))); else if(line[48].charat(14)=='?') line[0]=line[0].concat(",?"); else line[0]=line[0].concat(",").concat(line[48].substring(14,line[48 ].indexof(',',15))); line[0]=line[0].concat(line[48].substring(line[48].lastindexof(","))); bw.write(line[0]+"\r\n"); for(int i=0;i<48;i++)line[i]=line[i+1]; line[48]=br.readline(); bw.flush(); bw.close();

16 Concat7.java: añade las variables extra de temperatura hace 1, 2 y 24h, y condiciones hace 24h. import java.io.*; class concat7 //añade las 4 variables extra, temp-1, temp-2, temp-24 y cond-24 public static void main(string[] args)throws IOException if(args.length!=2) System.out.println("se necesitan dos argumentos: fichero origen y destino"); return; File f2=new File(args[0]); File f1=new File(args[1]); BufferedReader br=new BufferedReader(new FileReader(f2)); BufferedWriter bw=new BufferedWriter(new FileWriter(f1,true)); String line[]; line=new String[49]; line[0]=br.readline(); while((line[0]!=null)&&(line[0].startswith("@data")==false)) bw.write(line[0]+"\r\n"); line[0]=br.readline(); bw.write(line[0]+"\r\n"); for(int i=0;i<49;i++)line[i]=br.readline(); while(line[48]!=null) int i=line[0].indexof(','); line[4]=line[4].concat(line[0].substring(i,line[0].indexof(',',i +1))); line[2]=line[2].concat(line[0].substring(i,line[0].indexof(',',i+1))); line[48]=line[48].concat(line[0].substring(i,line[0].indexof(',',i+1)) ); line[48]=line[48].concat(line[0].substring(i,line[0].indexof(',',i+1))); bw.write(line[0]+"\r\n"); for(i=0;i<48;i++)line[i]=line[i+1]; line[48]=br.readline(); bw.flush(); bw.close();