Arquitectura para el análisis de datos agronómicos en un ambiente de Big Data



Título del documento: Arquitectura para el análisis de datos agronómicos en un ambiente de Big Data
Revista: Investigación e innovación en ingenierías
Base de datos: PERIÓDICA
Número de sistema: 000446229
ISSN: 2344-8652
Autores: 1
1
Instituciones: 1Universidad del Valle, Colombia
Año:
Periodo: Jul-Dic
Volumen: 8
Número: 2
Paginación: 233-250
País: Colombia
Idioma: Español
Tipo de documento: Artículo
Enfoque: Prospectivo
Resumen en español Objetivo: Proponer una arquitectura de Big Data especializada en el proceso de predicción del rendimiento de un cultivo. Metodología: Se investigó tomando en cuenta dos enfoques, por un lado, el proceso de predicción de rendimientos de cultivos, por otro lado, se estudiaron arquitecturas de software relacionadas. A partir de las investigaciones se definieron los requerimientos para un sistema de almacenamiento y procesamiento en este ámbito. Resultados: la arquitectura incluyó (1) un modelo de datos en colecciones MongoDB; (2) un sistema de encolamiento Kafka; y (3) un sistema de procesamiento en PySpark. La arquitectura hereda de las tecnologías usadas la capacidad de escalamiento vertical y horizontal, de atender datos heterogéneos y variables de dominio específico, además de permitir la interacción con diferentes transformaciones y modelos de aprendizaje automático. Conclusión: Las tecnologías de Big Data pueden modelar el proceso de predicción de rendimientos de cultivo, este esquema sirve como referencia para llevar a cabo análisis de datos agronómicos sobre un ambiente de Big Data escalable y flexible
Resumen en inglés Objective: This work seeks to propose a big data architecture targeted toward crop yield prediction processes. Methodology: A two-fold research methodology was used herein. On the one hand, it focused on crop yield prediction processes, and on the other hand, several related software architectures were assessed. Accordingly, the implementation requirements for a storage and processing system were defined within the given context. Results: The resulting architecture included (1) a MongoDB collections data model; (2) a Kafka queueing system; and (3) a PySpark processing system. From these technologies, the developed architecture inherits the capacity for vertical and horizontal scaling, to serve heterogeneous data and domain-specific variables, as well as to facilitate interaction with different transformations and machine learning models. Conclusions: Big data technologies can be used to properly model crop yield prediction processes. This scheme serves as a reference for conducting agronomic data analysis on a scalable and flexible big data environment
Disciplinas: Ciencias de la computación
Palabras clave: Análisis de datos,
Arquitectura de computadoras,
Big data,
Datos ambientales
Keyword: Big data,
Environmental data,
Computer architecture,
Data analysis
Texto completo: http://revistas.unisimon.edu.co/index.php/innovacioning/article/view/4211/4972