| Revista: | Revista de matemáticas |
| Base de datos: | PERIÓDICA |
| Número de sistema: | 000453464 |
| ISSN: | 1409-2433 |
| Autores: | Román, Krishna1 Cumbicus, Andy2 Infante, Saba3 Fonseca Delgado, Rigoberto4 |
| Instituciones: | 1Universidad Yachay Tech, Escuela de Matemáticas y Ciencias Computacionales, Urcuqui, Imbabura. Ecuador |
| Año: | 2022 |
| Periodo: | Jul-Dic |
| Volumen: | 29 |
| Número: | 2 |
| Paginación: | 289-312 |
| País: | Costa Rica |
| Idioma: | Inglés |
| Tipo de documento: | Artículo |
| Enfoque: | Experimental, aplicado |
| Resumen en español | Los modelos de redes neuronales profundos (DGPs) se pueden representar jerárquicamente mediante una composición secuencial de capas. Cuando la distribución prior sobre los pesos y sesgos son independientes idénticamente distribuidos, existe una equivalencia con los procesos Gaussiano (GP), en el límite de una anchura de red infinita. Los DGPs son modelos estadísticos no paramétricos y se utilizan para caracterizar los patrones de sistema no lineales complejos, por su flexibilidad, mayor capacidad de generalización, y porque proporcionan una forma natural para hacer inferencia sobre los parámetros y estados del sistema. En este artículo se propone una estructura Bayesiana jerárquica para modelar los pesos y sesgos de la red neuronal profunda, se deduce una formula general para calcular las integrales de procesos Gaussianos con funciones de transferencias no lineles, y se obtiene un núcleo para estimar las funciones de covarianzas. Para ilustrar la metodología se realiza un estudio empírico analizando una base de datos de electroencefalogramas (EEG) para el diagnóstico de la enfermedad de Alzheimer. Adicionalmente, se estiman los modelos DGPs, y se comparan con los modelos de NN para 5, 10, 50, 100, 500 y 1000 neuronas en la capa oculta, considerando dos funciones de transferencia: Unidad Lineal Rectificada (ReLU) y tangenge hiperbólica (Tanh). Los resultados demuestran buen desempeño en la clasificación de las señales. Finalmente, utilizó como medida de bondad de ajuste el error cuadrático medio para validar los modelos propuestos, obteniéndose errores de estimación bajos |
| Resumen en inglés | Deep neural network models (DGPs) can be represented hierarchically by a sequential composition of layers. When the prior distribution over the weights and biases are independently identically distributed, there is an equivalence with Gaussian processes (GP) in the limit of an infinite network width. DGPs are non-parametric statistical models used to characterize patterns of complex non-linear systems due to their flexibility, greater generalization capacity, and a natural way of making inferences about the parameters and states of the system. This article proposes a hierarchical Bayesian structure to model the weights and biases of a deep neural network. We deduce a general formula to calculate the integrals of Gaussian processes with non-linear transfer densities and obtain a kernel to estimate the covariance functions. In the methodology, we conduct an empirical study analyzing an electroencephalogram (EEG) database for diagnosing Alzheimer's disease. Additionally, the DGPs models are estimated and compared with the NN models for 5, 10, 50, 100, 500, and 1000 neurons in the hidden layer, considering two transfer functions: Rectified Linear Unit (ReLU) and hyperbolic Tangent (Tanh). The results show good performance in the classification of the signals. Finally, we use the mean square error as a goodness of fit measure to validate the proposed models, obtaining low estimation errors |
| Disciplinas: | Matemáticas, Medicina |
| Palabras clave: | Matemáticas aplicadas, Neurología, Modelos matemáticos, Redes neuronales infinitas, Procesos gaussianos profundos, Enfermedad de Alzheimer, Electroencefalograma |
| Keyword: | Applied mathematics, Neurology, Mathematical models, Deep Gaussian processes, Alzheimer disease, Electroencephalogram |
| Texto completo: | Texto completo (Ver HTML) Texto completo (Ver PDF) |
