ABSTRACT RESUMEN 1. INTRODUCTION

Transcripción

1 Eleventh LACCEI Latn Amercan and Carbbean Conference for Engneerng and Technology (LACCEI 2013) Innovaton n Engneerng, Technology and Educaton for Compettveness and Prosperty August 14-16, 2013 Cancun, Mexco. Detecton method n outlers of spectrometry UV-Vsble databases: prelmnary phase for calbraton models appled to regressve real-tme montorng of water qualty Davd Zamora Grupo de Investgacón Cenca e Ingenería del Agua y el Ambente, Facultad de Ingenería, Pontfca Unversdad Javerana, Carrera 7 No , Bogotá, Colomba, davd.zamora@javerana.edu.co Andrés Torres Grupo de Investgacón Cenca e Ingenería del Agua y el Ambente, Facultad de Ingenería, Pontfca Unversdad Javerana, Carrera 7 No , Bogotá, Colomba, andres.torres@javerana.edu.co ABSTRACT Estmate relably and through technologes n stu the tme evoluton of qualty parameters allow montor the status of the proceedngs of a Waste Water Treatment Plant (WWTP), promotng the understandng and control over them, especally n the detecton of dsturbances. However, these technologes have problems related to proper operaton and mantenance, whch reduce the potental for ts applcaton. Then the presence of outlers n longtudnal seres s an mportant phase n the data analyss, as a prelmnary to calbrate regresson models. Therefore, ths artcle presents a method for detectng outlers, whose applcaton s expandng not only the partcular case of the spectrometry UV-Vsble data of nfluent and effluent of the WWTP-San Fernando n Colomba f not to dfferent databases number. To valdate the results for detecton of outlers, were formed subsets of calbraton and valdaton wthout outlers data, whch evaluated the ft between the estmated concentratons usng regresson models of partal least squares (PLS) and laboratory data, fndng mprovements n the predctablty of the nfluent and effluent concentratons usng absorbance spectra. Keywords: Outlers, Spectrometrc Probe (UV-Vs), Pollutants, PLS regresson RESUMEN Estmar de forma fable y a través de tecnologías n stu la evolucón temporal de dferentes parámetros de caldad permte montorear el estado de los procesos de una Planta de Tratamento de Aguas Resduales (PTAR), favorecendo la comprensón y el control sobre éstos, especalmente en la deteccón de perturbacones. No obstante, dchas tecnologías tenen problemas lgados a su correcta operacón y mantenmento, los cuales reducen el potencal de su aplcacón. Luego, detectar la presenca de outlers en las seres longtudnales es una fase mportante en el análss de datos, como fase prelmnar para la calbracón de modelos regresvos. Por lo tanto, este artículo presenta un método de deteccón de outlers, cuya aplcacón se expande no solamente al caso partcular de los datos de espectrometría UV-Vsble del afluente y efluente de la PTAR-San Fernando en Colomba, sno a dferentes bases de datos numércas. Para valdar los resultados del método de deteccón de outlers, se conformaron subconjuntos de datos de calbracón y valdacón sn outlers, donde se evaluó el ajuste entre las concentracones estmadas por medo de modelos regresvos de mínmos cuadrados parcales (PLS) y datos de laboratoro, encontrando mejoras en la predctbldad de las concentracones del afluente y efluente por medo de los espectros de absorbanca. Palabras claves: Outlers, Sonda de Espectrometría (UV-Vs), Contamnantes, Regresón PLS 1. INTRODUCTION 1

2 Estmar a través de tecnologías n stu la evolucón temporal de dferentes parámetros de caldad permte montorear el estado de dferentes hdrosstemas, así como detectar el mpacto de las aguas lluvas o vertmentos clandestnos que pueden afectar el medo ambente y/o condconar la operacón de los componentes del sstema de saneamento urbano (Ruban et al., 2001; Langergraber et al., 2004a; Hur et al., 2010). No obstante, hasta hace relatvamente poco tempo, las concentracones de los Sóldos Suspenddos Totales (SST) y de la Demanda Químca de Oxígeno (DQO), por ejemplo, eran estmadas a partr de análss de laboratoro efectuados sobre muestras puntuales recolectadas n stu. Esta práctca presenta varos nconvenentes demostrados entre los que se encuentran la baja representatvdad espaco-temporal de los resultados, ya que debdo al costo elevado asocado a la recoleccón y análss de las muestras en laboratoro sólo es posble recolectar un número relatvamente pequeño de muestras durante perodos prolongados de tempo, así como el transporte de las muestras, almacenamento y conservacón de las msmas y los plazos prolongados para la obtencón de resultados (Wnkler et al., 2008). Una de las alternatvas posbles para lmtar dchas dfcultades consste en utlzar captores nstalables n stu, los cuales utlzan tecnologías de medcón en contnuo, como la espectrometría UV-Vsble. Estos captores son capaces de proporconar nformacones del orden de una medcón por mnuto, que pueden traducrse en térmnos de concentracones equvalentes de contamnantes como la sonda spectro::lyser de la socedad s::can. La utlzacón de dchos captores se enmarca dentro de los conceptos de Instrumentacón, Control y Automatzacón (ICA). Dchos conceptos han sdo reconocdos como esencales en los sstemas de agua por dferentes organzacones nternaconales como la Asocacón Internaconal del Agua (IWA) y por más de tres décadas, como se documenta en la conferenca de la ICA en 2001 (Olsson, 2004) y en dferentes lbros y publcacones. Una de las prncpales razones para mplementar el control en una PTAR es la presenca de perturbacones, que deben ser compensadas para mantener el correcto funconamento del sstema de tratamento (Olsson, 2007). En efecto, el afluente de una planta varía temporalmente de forma consderable, tanto en su concentracón como en su composcón y caudal; durante perodos de tempo que van desde la fraccón de horas a meses (Bourgeos et al., 2001; Olsson, 2007). Por otra parte, eventos dscretos, tales como tormentas, derrames de sustancas tóxcas y pcos de caudal tambén pueden ocurrr de vez en cuando a la entrada de las PTAR (Bourgeos et al., 2001; Olsson, 2007). No obstante, no solamente las perturbacones típcas de las aguas resduales representan desafíos en la ICA, sno tambén las tecnologías mplementadas como los espectrómetros UV-Vs. Estos nstrumentos pueden presentar problemas lgados a su correcta operacón y mantenmento, los cuales lmtan potencalmente su aplcacón y afectan de forma drecta los procesos que son controlados por la nformacón que éstos generan (Vanrolleghem y Lee, 2003). Experencas con este captor (Hofstaedter et al., 2003; Langergraber et al., 2003; Torres y Bertrand-Krajewsk, 2008) han demostrado que los resultados de la calbracón local son mejores que la global. Además, establecen que el éxto de esta calbracón la mayoría de casos radca en garantzar la caldad de las medcones de laboratoro (en relacón con el método de análss, rango de medcón, errores de muestreo, dentdad de las muestras y la asgnacón al azar del muestreo) (Hofstaedter et al., 2003; Wnkler et al., 2008). Sn embargo, los datos utlzados para realzar dchas calbracones pueden contener valores atípcos (outlers). Tales datos están caracterzados por presentar magntudes nusualmente grandes o pequeñas en comparacón con los demás en el conjunto de datos en el caso de conjuntos de datos unvarados o relacones nusuales entre varables en el caso de conjuntos de datos multvarados. Los outlers pueden causar un efecto negatvo en análss de datos tales como análss de varanza y regresón, o pueden proporconar nformacón útl acerca de los datos cuando se fja una respuesta nusual de un estudo determnado, consttuyéndose su deteccón en una parte fundamental del análss de datos (Seo, 2006). En este artículo se presenta el desarrollo de un método alternatvo para deteccón de outlers basado en los cuantles y regresones polnomales de segundo grado para datos de espectrometría UV-Vsble. La aplcacón de este método se expande no solamente al caso partcular de los regstros de una PTAR estudado en este artículo, sno a dferentes bases de datos numércas. 2. MATERIALES Y MÉTODOS 2

3 2.1 ESPECTROMETRÍA UV-VISIBLE Una de las técncas más recentes de medcón en contnuo, que permte reducr los nconvenentes asocados a los ensayos de laboratoro es la espectrometría UV-Vsble n stu. Los espectrómetros UV-vsbles realzan una medcón de la absorbanca de la luz generada por las partículas dsueltas o en suspensón en longtudes de onda que van desde el rango ultravoleta hasta el vsble. Estos captores son capaces de proporconar nformacones del orden de una medcón por mnuto, que pueden traducrse en térmnos de concentracones equvalentes de contamnantes (SST, DQO y ntratos). El espectrómetro comercalzado por la socedad s::can, llamado spectro::lyser, es un captor sumergble, que mde la atenuacón de la luz entre 200 nm y 750 nm en pasos de longtud de onda de 2.5 nm, y es capaz de otorgar resultados en tempo real (Langergraber et al., 2004b; Hochedlnger, 2005). La medcón se realza drectamente n stu sn necesdad de muestreo o de tratamento de las muestras y por lo tanto algunos errores expermentales con el captor se consderan mucho menores que aquellos asocados a los ensayos estándares de laboratoro (Langergraber et al., 2003). Utlzar los captores mplca correlaconar las absorbancas con la concentracón de los dferentes contamnantes que puedan ser detectados en las longtudes de onda del espectro UV-Vsble presentes en el hdrosstema analzado. La compañía fabrcante ofrece una ecuacón que se basa en la técnca estadístca de mínmos cuadrados parcales (PLS: Partal Least Squares). Dcha ecuacón ofrece una calbracón global para una sere de parámetros váldos para la composcón típca del hdrosstema estudado. Por lo general, al utlzar esta ecuacón se obtenen coefcentes de correlacón altos (R 2 = (Hofstaedter et al., 2003)) para un conjunto de parámetros estándar (SST, DQO, DBO, etc.), ofrecendo resultados de caldad sufcente para muchos propóstos, tales como el control de una planta de tratamento de aguas resduales (Fleschmann et al., 2001). Debdo a la composcón de las aguas resduales, las cuales presentan propedades específcas que varían de acuerdo a la clase de vertmento en las redes de alcantarllado (por ejemplo vertmentos ndustrales), las concentracones de los dferentes compuestos son varables temporalmente, especalmente los orgáncos (Hochedlnger, 2005). Por consguente, el fabrcante sugere adaptar la calbracón global a la caldad del hdrosstema estudado por medo de una calbracón local. 2.2 OUTLIERS El procedmento para la deteccón de outlers consste, prmero en defnr cuáles serían los posbles crteros para que un dato dentro de un conjunto de datos dado recba el calfcatvo de outler, y luego en aplcar un método para dentfcar dchos valores. Por lo tanto, cuando se tene un conjunto de datos con observacones de una varable, donde es la meda y es la desvacón estándar de la dstrbucón de los datos, una observacón se declara como outler s se encuentra fuera del ntervalo, donde el valor del coefcente es usualmente 2 ó 3 (Acuña y Rodríguez, 2004). Estos valores se justfcan en el hecho que al suponer una dstrbucón normal se espera contar con un porcentaje del 95 % ó 99 % respectvamente, de los datos en el ntervalo centrado en la meda, con una longtud aproxmadamente gual a dos o tres veces la desvacón estándar respectvamente. El problema de este método es que asume la dstrbucón normal de la nformacón, que con frecuenca es algo que no ocurre, y además tanto la meda como la desvacón estándar son muy sensbles a los valores atípcos de magntudes sgnfcatvas (Chen et al., 1996). En respuesta a esto, Tukey (1970) ntrodujo varos métodos para el análss de datos unvarados, entre los que se encuentra el Boxplot, el cual, al no suponer una dstrbucón normal del conjunto de datos, son menos sensbles a valores extremos (Acuña y Rodríguez, 2004; Seo, 2006). Un dato se declara extreme outler, s se encuentra fuera del ntervalo, donde es el prmer cuartl, es el tercer cuartl e recbe el nombre de rango ntercuartl calculado como. Un dato se declara mld outler s se encuentra fuera del ntervalo (Acuña y Rodríguez, 2004). 2.3 DETECCIÓN DE OUTLIERS EN FUNCIÓN DE ESPECTROS UV-VISIBLES 3

4 Como se menconó anterormente, la calbracón local de la sonda spectro::lyser requere la recoleccón de muestras y su posteror análss en laboratoro a través de ensayos estándar de los contamnantes de nterés y la medcón de los espectros de absorbanca de estas muestras. Luego, es mportante detectar cuáles valores del conjunto de datos de calbracón (espectros y concentracones) son outlers, con el fn de encontrar mejores modelos cuyos resultados sean más precsos y no se vean afectados por valores atípcos asocados a un comportamento nusual del hdrosstema o errores lgados a los ensayos de laboratoro. Por lo tanto, utlzando la metodología concebda por Tukey (1970), se desarrolló el método descrto a contnuacón para la deteccón de outlers: () calcular el coefcente de correlacón (r) entre los valores de absorbanca de cada longtud de onda del espectro y la concentracón del contamnante por cada muestra. Aquí, los autores suponen que la atenuacón de la radacón en una longtud de onda específca puede ser medda en el espectro, y que el valor de su absorbanca tene una relacón lneal con la concentracón. Por lo tanto, la absorbanca aumenta con la concentracón del analto (DQO, SST etc.) asumendo así que la ley de Beer-Lambert es válda, con lo cual se defne el rango de longtudes de onda en funcón de la absorbanca para las cuales son váldas las concentracones de las muestras. () Selecconar la longtud de onda con el mayor coefcente de correlacón entre los valores de absorbanca y los valores de concentracón del parámetro estudado, denomnada mw (most mportant wavelength); () conformar dos grupos de datos: absorbancas asocadas a mw y concentracones correspondentes obtendas en laboratoro; (v) de dchos grupos se seleccona el 67 % de los datos de forma aleatora, los cuales se usan para calbrar los coefcentes de un modelo de regresón lneal, reptendo el proceso veces, utlzando la ecuacón 1; (v) a partr de los coefcentes calculados utlzando la Ecuacón 1, se estman las concentracones para cada una de las ejecucones aleatoras en funcón de las absorbancas de la mw, obtendas en el paso anteror; (v) Se calculan los cuartles, y de las concentracones estmadas, conformando así una matrz de dmensones por cada cuantl; (v) en funcón de las mw y los cuantles calculados en el paso anteror, se calbra un modelo regresvo de carácter polnomal de segundo grado por cuantl, los cuales tenen por fn modelar el comportamento de los tres cuantles del conjunto de datos (ver Ecuacón 2); (v) calbradas las ecuacones polnomales, se calculan los límtes y rangos para la deteccón de los mld outlers, extreme outlers y la tendenca central de los datos ( cuantl 50 %), con el rango ntercuantl calculado como la dferenca entre y. MQ yˆ mk k 1 x ( mw ) b Ecuacón 1: Funcón regresva lneal n 2 1,2,3 C(1,2,3) x(1,2,3) ( mw) D (1,2,3) x(1,2,3) ( mw) E(1,2,3) 1 Ecuacón 2: Funcón polnomal de segundo grado k donde y son los coefcentes calbrados en cada una de las ejecucones, son las absorbancas de la longtud de onda más mportante, son las concentracones calculadas de la ecuacón lneal (con ), los subíndces de hacen referenca al modelo ndependente para prmer cuartl ( ), segundo cuartl ( ) y tercer cuartl ( ), son los valores de absorbanca correspondentes a las mw y, y son los coefcentes que se calbran para cada modelo. 2.4 REGRESIÓN PLS Con base en el programa OPP (OTHU PLS Program) desarrollado por Torres y Bertrand-Krajewsk (2008) en la plataforma MatLab y basado en el algortmo NIPALS (Non lnear estmaton by Iteratve Partal Least Squares), se rescrbó el códgo en la plataforma R (R Development Core Team, 2012) con los sguentes cambos: () Se 4

5 utlzó el paquete pls (Mevk y Wehrens, 2007) de R (R Development Core Team, 2012). () El algortmo PLS utlzado es Wde Kernel (apropado para muchas observacones y pocas varables) (Rännar et al., 1994) según Mevk y Wehrens (2007), el algortmo Kernel y el algortmo de puntuacones ortogonales mplementado en NIPALS generan los msmos resultados; no obstante Kernel es más rápdo para resolver la mayoría de problemas. () El número óptmo de varables latentes se determna por medo de valdacón cruzada tpo Jackknfe o Leave One Out. 2.5 VALIDACIÓN DEL MÉTODO DE DETECCIÓN DE OUTLIERS La forma de valdar los resultados del método de deteccón de outlers se encuentra en el ajuste que se alcance entre los valores estmados por la regresón PLS y las concentracones obtendas en laboratoro, para lo cual se emplearon dos métrcas: la prmera métrca es la raíz cuadrada del error cuadrátco medo RMSE (Root Mean Square Error), el cual es más sensble a los datos de alta magntud, que generalmente presentan mayores errores y poco sensble a los valores de baja magntud. En esta métrca un valor gual a 0 ndca un modelo perfecto (Ecuacón 1). La otra métrca es el coefcente de efcenca de Nash y Sutclffe (1970), el cual puede varar entre 0 y 1, no obstante los valores negatvos tambén se pueden presentar (Ecuacón 2): 1 representa un modelo perfecto, 0 ndca que las predccones del modelo son tan precsas como la meda de los datos observados y un valor negatvo ndca que la meda observada es un mejor ndcador que el modelo, o vsto de otra forma, se puede decr que la varanza de los resduos de la predccón es mayor que la varanza de los datos (Dawson et al., 2007). RMSE n 1 y n 2 yˆ y yˆ NSC 1 n 1 n y y Ecuacón 3: Root Mean Square Error Ecuacón 4: Coefcente de Nash-Sutclffe (1970) El método propone generar modelos PLS ndependentes, calbrados con el 70 % de los datos con y sn outlers para cada contamnante y el 30 % restante para la valdacón, conformados de la msma forma. Para comparar el nvel de ajuste entre los modelos, tanto en la etapa de calbracón como de valdacón, los datos que conforman los grupos de dchas etapas deben ser los msmos. Esto quere decr que s el grupo contene outlers, el grupo sn outlers será y de la msma forma para los grupos de valdacón. Por últmo, los espectros outlers son utlzados para estmar, por medo de los modelos PLS calbrados sn outlers, la concentracón de los contamnantes homólogos a dchos espectros, y comparar los resultados obtendos del y calculados para los datos outlers con los modelos PLS calbrados con y sn outlers. 3. CASO DE ESTUDIO La Planta de Tratamento de Aguas Resduales San Fernando (PTAR) localzada en el muncpo de ltagüí, Colomba. Esta PTAR recbe, para su tratamento, las aguas resduales de tpo ndustral y resdencal de los muncpos de Envgado, Itagüí, Sabaneta, La Estrella y parte del sur de Medellín. La nformacón sumnstrada por las Empresas Públcas de Medellín (EPM) del afluente de la PTAR San Fernando corresponde a los espectros de absorbanca y las concentracones de SST, DQO y Demanda Químca de Oxígeno fltrada (DQOf) para un total de 124 muestras del afluente tomadas en dferentes tempos. Estas muestras fueron tomadas orgnalmente con el propósto de lograr una calbracón local de la sonda spectro::lyser utlzada en el afluente de la PTAR. En la fgura 1 se muestran los datos de concentracones y espectros de las muestras del afluente de zquerda a derecha respectvamente, estos últmos fueron meddos una spectro::lyser de un paso de luz de

6 Fgura 1: Concentracones de SST, DQO y DQOf (zq.) y espectros de absorbanca (der.) del afluente de la PTAR San Fernando 4. RESULTADOS 4.1 OUTLIERS DETECTADOS En la fgura 2 presenta los resultados de la deteccón de outlers del afluente. A la zquerda de esta fgura en las ordenadas se muestran las gráfcas de deteccón de outlers para las concentracones de contamnantes SST, DQO y DQOf, presentado en el eje y sus concentracones en mg/l en funcón de las absorbancas (Abs/m) de las mw para cada muestra. Además se establecen los límtes y rangos de deteccón de los datos valdados, mld outlers y extreme outlers. En las gráfcas de barras ubcadas a la derecha de esta fgura, se consolda la cantdad y porcentaje sobre el total de datos valdados, mld outlers y extreme outlers. Para los datos del afluente (Fgura 2) se detectó en general un mayor porcentaje de Extreme outlers (Eo) en relacón con los detectados en el efluente: el mayor de estos porcentajes está en la DQOf con 75,58 %, mentras que los Mld outlers (Mo) y los datos valdados corresponden al 12,1 % y 15,32 % de la totaldad de los datos respectvamente para este contamnante. Por otra parte, la DQO tene el mayor porcentaje de datos valdados (22,58 %) y la menor parte de Eo correspondente al 55 % de la totaldad de los datos. En cuanto a los SST, se logró establecer que el porcentaje de Eo de este contamnante tene un valor cuya magntud (66,13 %) se encuentra entre los valores de los contamnantes DQO y DQOf. Por otra parte, la estrecha dferenca entre el límte de los Mo y el límte de los Eo observada en la Fgura 4 para los SST, en partcular para el rango de absorbancas (100 Abs/m a 150 Abs/m), puede probablemente aumentar al ncrementar el número de datos consderados en el análss, ya que esto permtría ncrementar la dstanca de los límtes Mo y Eo respecto a la curva correspondente a la MQ 2. Con lo cual un mayor número de datos quedarían defndos como datos valdados y/o Mld outlers. Un comportamento smlar puede esperarse para la DQOf (Fgura 2, nferor), ya que ésta tene un rango más o menos defndo entre 700 y 900 Abs/m; a dferenca del 6

7 comportamento de la DQO cuyas absorbancas más mportantes se encuentran tanto en la parte UV como en la Vsble, ya que este parámetro está relaconado con oxdacón químca de la matera dsuelta y en suspensón. Fgura 2: (Arrba) Deteccón de los datos mld outlers, extreme outlers y valdados; (Abajo) cantdad y porcentaje de los datos detectados en los conjuntos de datos de SST, DQO y DQOf del afluente Es mportante aclarar que para este caso partcular de aplcacón del método de deteccón de outlers, se uneron los subconjuntos de datos Mo y valdados, creando un únco conjunto de datos valdados denomnado en adelante Datos de Regresón (DR), que a su vez es dvdo en un subconjunto de calbracón y otro de valdacón para generar los modelos de regresón PLS en los datos del afluente. 4.2 MODELOS DE REGRESIÓN PLS Y VALIDACIÓN DEL MÉTODO DE DETECCIÓN DE OUTLIERS Incalmente se muestran los resultados del proceso de calbracón de los modelos de PLS con y sn outlers, consderando que el conjunto de datos outlers de los espectros de absorbanca son utlzados para cuantfcar concentracones utlzando el modelo PLS sn outlers y así evaluar su ajuste con respecto a las concentracones de laboratoro. En las Fguras 3 y 4 se presentan los resultados de calbracón y valdacón de los modelos con y sn outlers de zquerda a derecha, para el afluente. En las ordenadas de estos gráfcos se presentan lo valores de las concentracones calculadas por los modelos regresvos PLS y en las abscsas los valores de las concentracones obtendas en laboratoro. En la parte superor de cada gráfco se presentan los resultados de las métrcas evaluadas RMSE y NSC para los DR y outlers, de los modelos entrenados con y sn outlers. El nvel de ajuste alcanzado en el proceso de calbracón (Fgura 3) para los grupos de DR de los SST y la DQOf es mejor para los resultados generados con el modelo PLS calbrado sn consderar outlers (WoOM), pero esto no ocurre de la msma forma para la DQO, ya que por 6 mg/l el error generado por el modelo PLS calbrado consderando outlers (WOM) es menor que el error generado al aplcar WoOM. 7

8 Fgura 3: Comparacón entre las métrcas de ajuste RMSE y NSC calculadas para la calbracón de los modelos PLS (arrba) con y sn outlers (abajo) del afluente Con respecto al grupo de datos outlers, se encontraron mejores resultados con el modelo WOM, ya que las métrcas evaluadas presentan menores errores y valores cercanos a 1 en el coefcente NSC, lo cual es la tendenca general en todos los contamnantes. El alcance predctvo de los resultados del grupo de outlers en el modelo que prescndía de éstos para su calbracón, se debe a que el pronóstco de las concentracones de los contamnantes en funcón de las absorbancas más mportantes no supera el pronóstco por nerca del modelo calbrado y por lo tanto sus ajustes con respecto a los datos de laboratoro serán pobres. Por lo tanto, este resultado permte respaldar en prmera nstanca la deteccón de ese conjunto de datos como outlers en el afluente, ya que s se hubera generado un error menor o gual al calculado en los outlers con el modelo WoOM, se podría nferr que en ambos casos los outlers no son magntudes atípcas tanto en la concentracón de laboratoro como en el espectro de absorbanca y éstos no ncrementarán el error de predccón n afectarán la capacdad predctva del modelo. Por otra parte los valores negatvos del coefcente NSC para los outlers en el modelo WoOM denotan que los resduos de los errores generan una mayor varanza que la varanza de los datos orgnales. En la valdacón del conjunto de DR del afluente (Fgura 4), se encontró que el error en mg/l de los SST es 10 veces menor en el modelo WoOM, en comparacón al WOM. No obstante, para la DQO y la DQOf el decrecmento en el error no fue tan sustancal como en los SST, ya que para estos contamnantes se redujo el error 26,21 % y 18,72 % respectvamente con respecto al modelo WOM. Con relacón al conjunto de datos outlers, los errores en mg/l obtendos de estos datos en el WoOM es mayor con respecto al WOM, con una dferenca mportante en la DQO (105 mg/l). Sn embargo, la menor dferenca del error entre ambos modelos para los datos outlers de SST y DQOf respaldan la premsa que el número de datos valdados podría ser mayor, sobre todo los datos más cercanos al límte de los Extreme outlers como aparecen en la Fgura 2. Con esto se espera que la suma de los resduos cuadrátcos ncremente su valor, ya que la falta de predctbldad de los outlers en el modelo calbrado sn estos datos probablemente genere mayores resduos, y al dvdrlos en un menor número de datos el valor del RMSE será mayor. Por consguente, estos resultados respaldan la deteccón del grupo outlers en el afluente y se corrobora con la mejora en la capacdad predctva del modelo PLS para cada contamnante. 8

9 5. CONCLUSIONES El método de deteccón de outlers propuesto resulta una alternatva senclla y práctca para dentfcar los outlers sn necesdad de comprobar la normaldad de los datos y generando límtes de deteccón en funcón del conjunto datos de las varables ndependentes. Por lo tanto, el método no depende úncamente de la magntud de las varables dependentes sno de la relevanca de su relacón con las varables ndependentes. Los resultados expermentales evdencan el efecto de la supresón de los outlers en el rendmento de los modelos regresvos PLS, sobre todo en los datos del afluente de la PTAR San Fernando. Aunque el número de outlers detectados por la metodología parece sgnfcatvamente alto, los resultados de las métrcas de ajuste justfcan su elmnacón, ya que permten que el modelo de regresón mplementado sn consderar los outlers mejore sustancalmente su capacdad predctva. De los resultados alcanzados por el método de deteccón de outlers en la base datos del efluente, la falta de predctbldad y los errores mportantes en el ajuste conducen a revsar los datos ncales, y por ende la forma en la cual éstos son obtendos. Por lo tanto, se deben revsar la forma de operacón y mantenmento de este captor, así como las técncas y procedmentos en los ensayos laboratoro, para detectar y mtgar la fuente de error que repercute en la predctbldad de los modelos. Fgura 4: Comparacón entre las métrcas de ajuste RMSE y NSC calculadas para la valdacón de los modelos PLS con (arrba) y sn outlers (abajo) del afluente REFERENCIAS Acuña E., and Rodríguez C. (2004). On Detecton Of Outlers And Ther Effect In Supervsed Classfcaton. Bourgeos, W., Burgess, J.E. and Stuetz, R.M. (2001). On-lne montorng of wastewater qualty: a revew. J. Chem. Tech. Botech., 76, Chen M. S., Han J., and Yu P.S. (1996). Data mnng: an overvew from a database perspectve, IEEE Transactons on Knowledge and Data Engneerng. 9

10 Dawson, C. W., Abrahart, R. J., and See, L. M. (2007). HydroTest: a web-based toolbox of evaluaton metrcs for the standardsed assessment of hydrologcal forecasts, Envron. Modell. Software, 22(4), Fleschmann, N., Langergraber, G., Wengartner, A., Hofstaedter, F., Nusch, S., y Maurer, P. (2001) On-lne and n-stu measurement of turbdty and COD n wastewater usng UV/VIS spectrometry. Hochedlnger, M. (2005) Assessment of combned sewer overflow emssons. PhD thess: Faculty of Cvl Engneerng, Unversty of Technology Graz (Austra), June 2005, 174 p. þ annexes. Hofstaedter, F., Ertl, T., Langergraber, G., Lettl, W. y Wengartner, A. (2003). On-lne ntrate montorng n sewers usng UV/VIS spectroscopy. In: Wanner, J., Sykora, V. (eds): Proceedngs of the 5th Internatonal Conference of ACE CR Odpadn vody Wastewater 2003, May 2003, Olomouc, Czech Republc, pp Hur Jn, Bo-M Lee, Tae-Hwan Lee y Dae-Hee Park. (2010). Estmaton of Bologcal Oxygen Demand and Chemcal Oxygen Demand for Combned Sewer Systems Usng Synchronous Fluorescence Spectra. Journal Sensors 10, Langergraber, G., Fleschmann, N., Hofstaedter, F., y Wengartner, A. (2004b) Montorng of a paper mll wastewater treatment plant usng UV/VIS spectroscopy. Trends n Sustanable Producton, 49(1), Langergraber, G., Fleschmann, N., y Hofstaedter, F. (2003) A multvarate calbraton procedure for UV/VIS spectrometrc quantfcaton of organc matter and ntrate n wastewater. Water scence & technology, 47(2), Langergraber, G., Wengartner, A., y Fleschmann, N. (2004a). Tme-resolved delta spectrometry: a method to defne alarm parameters from spectral data, Water scence & technology, 50(11), Mevk, B.H., and R.Wehrens, 2007 The pls package: prncpal component and partal least squares regresson n R. J. Stat. Softw. 18: Nash, J. E., and J. V. Sutclffe. (1970). Rver flow forecastng through conceptual models, 1, A dscusson of prncples, J. Hydrol., 10, Olsson G., Nelsen M., Yuan Z., Lynggaard-Jensen A., and Steyer J. P. (2004) Instrumentaton, control and automaton n wastewater systems. State-of-the-art book, IWA Publ., London. Olsson, G. (2004). Current status of Instrumentaton, Control and Automaton n Wastewater Treatment Operatons. EICA 9(3), Olsson, G. (2007). Automaton Development n Water and Wastewater Systems. Envronmental Engneerng Research. Vol. 12, No. 5, pp R Development Core Team (2012). R: A language and envronment for statstcal computng. R Foundaton for Statstcal Computng, Venna, Austra. ISBN , URL Rännar, S., Lndgren, F., Gelad, P. and Wold, S. (1994). A PLS Kernel Algorthm for Data Sets wth Many Varables and Fewer Objects. Part 1: Theory and Algorthm. Journal of Chemometrcs, 8, Ruban, G., Ruperd, Y., Laveau, B. y Lucas, E. (2001). Self-montorng of water qualty n sewer systems usng absorbance of ultravolet and vsble lght. Water scence & technology, 44(2-3), Seo S. (2006). A revew and comparson of methods for detectng outler n unvarate data sets. PhD thess. Unversty of Pttsburgh, Department of Bostatstcs. Torres, A., Bertrand-Krajewsk, J.L. (2008). Partal Least Squares local calbraton of a UV-vsble spectrometer used for n stu measurements of COD and TSS concentratons n urban dranage systems. Water Scence and Technology 57, Tukey, J. W. (1977). Exploratory data analyss. Addson-Wesely. Vanrolleghem, P. A. and Lee, D.S. (2003). On-lne montorng equpment for wastewater treatment processes: state of the art. Water Scence and Technology 47(2), Wnkler, S., Saracevc, E., Bertrand-Krajewsk, J. L., y Torres, A. (2008). Benefts, lmtatons and uncertanty of n stu spectrometry. Water scence and technology: a journal of the Internatonal Assocaton on Water Polluton Research, 57(10), Authorzaton and Dsclamer Authors authorze LACCEI to publsh the paper n the conference proceedngs. Nether LACCEI nor the edtors are responsble ether for the content or for the mplcatons of what s expressed n the paper. 10