| Revue: | Ingeniería (Bogotá) |
| Base de datos: | |
| Número de sistema: | 000538066 |
| ISSN: | 0121-750X |
| Autores: | Plazas Nossa, Leonardo1 Ávila Angulo, Miguel Antonio1 Torres, Andrés2 |
| Instituciones: | 1Universidad Distrital Francisco José de Caldas, Bogotá, Bogotá. Colombia 2Pontificia Universidad Javeriana, Bogotá, Bogotá. Colombia |
| Año: | 2017 |
| Periodo: | Abr |
| Volumen: | 22 |
| Número: | 1 |
| Paginación: | 111-124 |
| País: | Colombia |
| Idioma: | Español |
| Resumen en español | Contexto: El registro de la absorbancia UV-Vis mediante captores opticos en línea para la detección de la calidad del agua, en donde se pueden presentar valores atípicos o valores faltantes. Por lo tanto, el pre-procesamiento para corregir dichas anomalías es necesario para un mejor análisis de los datos de monitoreo. El objetivo de este estudio es proponer un método para detectar e imputar valores extremos como también completar valores faltantes en series de tiempo. Método: La detección de valores atípicos utiliza el procedimiento de enventaneo y la aplicación de la Transformada Discreta de Fourier (DFT -Discrete Fourier Transform) y la inversa de la Transformada Rapida de Fourier (IFFT-Inverse of Fast Fourier Transform) para completar las series de tiempo. Estas herramientas fueron utilizadas para un caso de estudio compuesto por tres sitios en Colombia (i) PTAR-Salitre (Planta de Tratamiento de Aguas Residuales) Bogotá D.C., afluente; (ii) Estación Elevadora de Gibraltar Bogota D.C.; y (iii) PTAR-San Fernando, área metropolitana de Medellín, afluente) analizados mediante espectros UV-Vis (Ultravioleta y Visible). Resultados: La detección de valores atípicos con el método propuesto obtiene resultados prometedores cuando los valores de los parámetros de la ventana son pequeños y auto-similares, esto a pesar de que las tres series de tiempo utilizadas presentan diferentes tamaños y comportamientos. Para validar la metodología propuesta, sub-conjuntos continuos (una sección) de las series de tiempo de absorbancia sin valores ausentes o atípicos, fueron removidos de las series original obteniéndose tasas de error de 12 % en promedio para todos los tres sitios de estudio. Conclusiones: La aplicación de la DFT y la IIFT, utilizando el 10% de los armónicos más importantes de los valores utiles es crucial para su posterior uso en diferentes aplicaciones, específicamente para series de tiempo de calidad y cantidad de agua en sistema de saneamiento urbano. Una posible aplicación podría ser la comparación de los efectos de clima seco respecto a temporadas de lluvia, mediante la detección de valores que corresponden a comportamiento inusual en una serie de tiempo. Además, los resultados indican potencial aplicación futura en la corrección de otras series de tiempo hidrológicas. |
| Resumen en inglés | Context: The UV-Vis absorbance collection using online optical captors for water quality detection may yield outliers and/or missing values. Therefore, pre-processing to correct these anomalies is required to improve the analysis of monitoring data. The aim of this study is to propose a method to detect outliers as well as to fill-in the gaps in time series. Method: Outliers are detected using Winsorising procedure and the application of the Discrete Fourier Transform (DFT) and the Inverse of Fast Fourier Transform (IFFT) to complete the time series. Together, these tools were used to analyse a case study comprising three sites in Colombia (i) Bogotá D.C. Salitre-WWTP (Waste Water Treatment Plant), influent; (ii) Bogotá D.C. Gibraltar Pumping Station (GPS); and, (iii) Itaguí, San Fernando-WWTP, influent (Medellín metropolitan area) analysed via UV-Vis (Ultraviolet and Visible) spectra. Results: Outlier detection with the proposed method obtained promising results when window parameter values are small and self-similar, despite that the three time series exhibited different sizes and behaviours. The DFT allowed to process different length gaps having missing values. To assess the validity of the proposed method, continuous subsets (a section) of the absorbance time series without outlier or missing values were removed from the original time series obtaining an average 12 % error rate in the three testing time series. Conclusions: The application of the DFT and the IFFT using the 10% most important harmonics of useful values, can be advantageous for its later use in different applications, specifically for time series of water quality and quantity in urban sewer systems. One potential application would be the analysis of dry weather affecting rainy seasons, a feature achieved by detecting values that correspond to unusual behaviour in a time series. Additionally, the results hint at the potential of the method in correcting other hydrologic time series. |
| Palabras clave: | Absorbancia UV-Vis, Calidad de agua, Detección de valores extremos, Enventaneo, Imputación de valores faltantes. |
| Keyword: | Imputing missing values, Outlier detection, UV-vis absorbance, Water quality, Winsorizing, Language: English |
| Texte intégral: | Texto completo (Ver HTML) Texto completo (Ver PDF) |
