Imputación de Valores Faltantes y Detección de Valores Atípicos para Datos Funcionales

Transcripción

1 XXV Simposio Internacional de Estadística 2015 Armenia, Colombia, 5, 6, 7 y 8 de Agosto de 2015 Imputación de Valores Faltantes y Detección de Valores Atípicos para Datos Funcionales Rafael Roberto Melendez Surmay 1,a, Stevenson Bolivar Atuesta 2,b, Victor Morales Ospina 3,c, Roberto Rojano 1,d 1 Departamento de Matemáticas, Facultad de Ingeniería, Universidad de la Guajira, Riohacha, Colombia 2 Departamento de Estadística, Facultad de Ciencias, Universidad Nacional de Colombia, Bogotá, Colombia 3 Departamento de Matemáticas y Estadística, Facultad de Ciencias, Universidad de Córdoba, Montería, Colombia Resumen Los valores faltantes y valores extremos se encuentran con frecuencia en datos de monitoreo ambiental y calidad del aire. Dado que este monitorio se realiza en el tiempo se propone imputar valores perdidos utilizado un enfoque del análisis de componente principal funcional ACPF,basado en este enfoque ACPF sus coordenadas pueden ser aplicadas para obtener bagplot funcional y el boxplot funcional en la zona de mayor densidad, lo que permite detectar valores atípicos para datos funcionales incompleto. Se realizó una aplicación de esta metodología propuesta en un estudio de particulado PM10 en la zona de in uencia carbonífera del Cerrejón (La Guajira-Colombia). Palabras clave: Análisis de componentes principales funcional ACPF,imputación para datos funcionales, valores atípicos funcionales, particulado PM Introducción Los datos de monitoreo ambiental proporcionan información valiosa para la planicación y modicación de estrategias en el control y vigilancia. Por ejemplo, la información en el monitorio de particulado generado en las zonas minería es de gran relevancia ambiental y muy importante para la salud de los habitantes cercanos a estas zonas. Además, el seguimiento del particulado en el tiempo proporciona información esencial, es aquí donde el análisis de datos funcionales ADF cobra gran importancia para detectar curvas atípicas que pueden ayudar a proponer estrategias sobre el control ambiental de la zona. La minería de carbón a cielo abierto, genera mayores impactos al medio ambiente que la minería subterránea. En particular, causa deterioro a la calidad del aire debido al material particulado y a los contaminantes gaseosos emitidos a la atmósfera (Ghose, 2007). Se establecieron diez sitios de muestreo para estimar el peso de particulado PM10 alrededor de la zona de inuencia carbonífera del CERREJON (La Guajira-Colombia) establecidos por la entidad Corpoguajira encargada de establecer el monitoreo y control relacionado con el medio ambiente de la región. De acuerdo con Allison (2001), una manera fácil de hacer frente a los valores que faltan es eliminar los registros de las muestras con valores perdidos del conjunto original, sin embargo, el conjunto de datos a Profesor Titular. rmelendez@uniguajira.edu.co b Estudiante Doctoral. sbolivara@unal.edu.co c Profesor Asistente. vmorales@sinu.unicordoba.edu.co d Profesor Titular. rrojano@uniguajira.edu.co 1

2 2 Rafael Roberto Melendez Surmay, Stevenson Bolivar Atuesta, Victor Morales Ospina & Roberto Rojano reducido pueden conducir a resultados de análisis sesgados. Los diferentes métodos de imputación presentan sus ventajas y desventajas en cada escenario de trabajo. La detección de valores atípicos es otro tema importante en la investigación de datos de particulado PM10 considerados en el tiempo. Estos incluyen la detección de valores atípicos temporales en términos de magnitud y de forma (patrones inusuales), que proporciona información útil para control ambiental. El ADF se introdujo hace casi dos décadas y varios métodos estadísticos para la ADF han sido intensamente desarrollados por Ramsay & Silverman (2005) y Ferraty & Vieu (2006), así como aplicaciones tales Chiou y Muller (2009), y el ujo de tráco (Chiou 2012). Una de las herramientas más populares para el ADF es el análisis de componentes principales funcional (ACPF), y la expansión Karhunen- Loéve para procesos estocásticos. Se proponen utilizar el enfoque de la esperanza condicional de ACPF para datos incompletos en el análisis de particulado PM10 considerando las diez estaciones de monitoreo ambiental en 2012 en la zona de inuencia carbonífera del Cerrejon. También proporcionamos los métodos de detección de valores atípicos basado en componentes principales funcional (ACPF), el bagplot funcional modicado y la región de mayor densidad modicado funcional (HDR), ambas herramientas grácas, destinadas a la identicación de las curvas periféricas de datos funcionales. 2. Análisis de Componentes Principales Adoptamos la idea de que cada trayectoria de particulado PM10 es una realización de una función aleatoria Sea X la función aleatorio para la trayectoria de particulado. Suponemos que X tiene una función media suavizada desconocida EX(t) y la funci'øn de covarianza cov(x(s), X(t)) = G(s, t), s, t τ donde τ = [0, T ] en el espacio L 2. Aquí G tiene una expansión ortogonal en L 2, G(s, t) = λ kφ k (s) φ k (t) donde {λ k } es un conjunto de valores propios, decrecientes y {φ k } es el conjunto de funciones propias que forman un conjunto ortonormal de base con norma uno en L 2. La trayectoria del peso de particulado aleatorio PM10 puede ser expresada a través de la representación Karhunen - Loéve. X i (t) = µ(t) + ξ ik φ k (t) (1) Donde ξ ik es un coeciente aleatorio, con proyección de (Xi µ) en la dirección de la kth función propia φ k, con una media de cero y varianza λ k.. En la práctica, la función aleatoria X i a menudo está contaminada con errores de medida. El ith objeto de los datos de las observaciones de n i observadas en t ij, puede ser representado como Y i (t ij ) = X i (t ij ) + ε ij Y i (t ij ) = µ(t ij ) + ξ ik φ k (t ij ) + ε ij (2) Para obtener la estimación de la función (1), debemos estimar los componentes de la función modelo µ y φ k. Para esto, se aplica el método de los mínimos cuadrados ponderados localmente suavizado sobre los datos combinados (faltantes y no) de todas las trayectorias para la estimación de la función media µ, los parámetros de suavizado puede ser elegido por varios métodos, tales como la validación cruzada ( Rice y Silverman 1991) y la validación cruzada generalizada (Fan y Gijbels 1996). Para obtener la estimación de G, se suaviza las covarianzas empíricas. Se obtiene el λ k valor propio estimado y φ k aplicando el procedimiento de la descomposición espectral para la estimación de la función de covarianza E(ξ ij Y i ) = λ k φ T ik 1 Y i (Y i µ i ) (3)

3 Imputación de Valores Faltantes y Detección de Valores Atípicos para Datos Funcionales 3 Los escores estimados del FPC condicional en la ecuación (3) se obtienen entonces mediante la sustitución de la las estimaciones correspondientes. 3. Imputación de datos Faltantes a través Modelos ACPF De la ecuación (1), estas estimaciones de los scores de Anáisis de Componentes Principales Funcional (ACPF), es aplicable a las situaciones en las que hay valores perdidos y, por tanto, se basan para este método de imputación. Lo que se aplica es truncar la serie de la ecuación (1) usando una fracción de la varianza explicada, considerando los L primeros componentes de la varianza total. La función predictora para el dato del i esimo está dada por X i (t) = µ(t) + L ξ ik φk (t) (4) De acuerdo con el modelo (4), para todos los t en el dominio τ, los datos ajustados del modelo se pueden utilizar para imputar valores faltantes. Es decir, si la observaciones Y i (t ij ) para algún faltante j, entonces se remplaza el dato faltante por el valor X i (t ij ). Observe que las trayectorias pronosticadas X i incluyen los componentes de la función media suavizada y una combinación lineal de las funciones propia, que recuperan las trayectorias individuales de las mediciones de ruido. 4. Análisis de datos Identicación y cuanticación de las actividades emisoras de material partículado PM10 en un escenario de minería es de gran relevancia. Representa la información necesaria para establecer las características de intensidad y distribución espacio-temporal de las emisiones de contaminantes atmosférico. Roche, Las casitas, Barrancas, Provincial y Los remedios, tienen similares características de uso de tierra, similares costumbre a través de la quema a cielo abierto. Las estaciones de los municipios de Barrancas, Fonseca y Albania, están en zona semi rural viento abajo de la explotación minera, pero viento arriba de la zona urbana de estos municipios se encuentran las estaciones Roche, Papayal y Patilla_chanqueta. Se observa una gran variabilidad en las diez trayectorias de muestreo a través del tiempo, la estación Casitas_3 muestra mayor peso de PM10 en su trayectoria en el tiempo, mientras que las estaciones Barrancas y Remedio la de menor peso PM10 en su trayectoria Análisis de las trayectorias y curvas atípicas Figura 1: Trayectorias de las diez estaciones con las curvas imputadas a traves de acp funcional

4 4 Rafael Roberto Melendez Surmay, Stevenson Bolivar Atuesta, Victor Morales Ospina & Roberto Rojano Figura 2: Bagplot funcional La gura 1 muestra las trayectorias de las curvas imputadas utilizando ACP funcional. Puede notarse que las trayectorias presentan picos a mediados de agosto del 2012 asociado con la época de mayor intensidad de vientos, poca lluvia y el incremento de la quema de material vegetal. La estación de Casitas_3 presenta la trayectoria de mayor peso de particulado PM10 a través del tiempo, mientras la de menor peso de particulado es la estación Sol y Sombra. Ambas trayectorias son establecidas como curvas atípicas, lo cual se hace notar en la gura 2, sin embargo, nos enfocamos en la estación Casitas_3 porque presenta mayor particulado y debería ser objeto de un análisis mas cuidadoso para el monitoreo y control ambiental. Entre tanto, la estación Papayal muestra un comportamiento atípico de forma. 5. Conclusión Datos faltantes en el análisis funcional es mas frecuente de lo se cree, y la imputación de datos faltantes de curvas hay sido trabajada muy poco, una buena alternativa de imputación es la implementación de esta metodología que utiliza el ACP funcional y permite que las trayectorias pronosticadas incluyan los componentes de la función media suavizada y una combinación lineal de las funciones propia generadas de los operadores de covarianza estimadas de datos exactos. Se encontraron tres estaciones atípicas a partir de la aplicación del Bagplot funcional y HDR funcional, Casitas_3 y Sol_Sombra, estas dos trayectorias muy extremas de la curva mediana, la primera presenta trayectorias de mayor peso de PM10 indicando una alta inuencia a la zona carbonica mas la incidencia de la dirección del viento norte-sur. La tercera curva atipica corresponde a Papayal, mostrado ser un outliers de forma.

5 Imputación de Valores Faltantes y Detección de Valores Atípicos para Datos Funcionales 5 6. Bibliograa J. Chiou(2014), A funtional data approach to missing value imputation and outlier deteccion for trac ow data, Institute of Statistical Science, Academia Tapei Taiwan. Taylor & Francis P. D. Alisson (2001). Missing Data Thousand Oaks. CA: Sage, 26(2), pp H. J. Muller and J. Y. Wang (2005). Functional linear regression analysis for longitudinal data. The Annals of Statistics, Vol. 33, No. 6, pp J. Fan and I. Gijbels (1996). Local Polynomial Modelling and Its Application, Chapman and Hall.