Associative Memory in a Continuous Metric Space: A Theoretical Foundation



Document title: Associative Memory in a Continuous Metric Space: A Theoretical Foundation
Journal: Computación y sistemas
Database:
System number: 000560310
ISSN: 1405-5546
Authors: 1
Institutions: 1Universidad de Buenos Aires, Departamento de Computación, Buenos Aires. Argentina
Year:
Season: Oct-Dic
Volumen: 13
Number: 2
Pages: 161-186
Country: México
Language: Inglés
Document type: Artículo
Spanish abstract Presentamos bases teóricas formales, incluyendo teoremas y sus demostraciones, para un modelo de red neuronal con memoria asociativa y topología continua, i. e. sus unidades de procesamiento son elementos de un espacio métrico continuo y el espacio de estados es euclidiano y de dimensión infinita. El enfoque es concebido como una generalización de los precedentes debidos a Little y Hopfield. La principal contribución del presente trabajo es integrar -y proveer fundamentos teóricos que den consistencia a tal integración- dos niveles de continuidad: i) unidades de proceso de respuesta continua y ii) topología continua del sistema neuronal, obteniendo de esta manera un modelo mas biológicamente plausible de memoria asociativa. Nuestro análisis es presentado de acuerdo con la siguiente secuencia de pasos: resultados generales sobre atractores y soluciones estacionarias, que incluyen un enfoque variacional para derivar la función de energía; estudio detallado del caso de memorias ortogonales, demostrando teoremas sobre estabilidad, tamaño de cuencas de atracción y estados espurios; consideraciones sobre el problema de la resolución, analizando el caso más general de memorias no ortogonales, y con modificaciones posibles al operador sináptico; retorno a los modelos discretos, i.e. consideración de nuevos puntos de vista que surgen del presente esquema, y de cuales de los nuevos resultados son también válidos para los modelos discretos; discusión sobre la generalización de la dinámica no deterministica a temperatura finita.
English abstract We introduce a formal theoretical background, which includes theorems and their proofs, for a neural network model with associative memory and continuous topology, i.e. its processing units are elements of a continuous metric space and the state space is Euclidean and infinite dimensional. This approach is intended as a generalization of the previous ones due to Little and Hopfield. The main contribution of the present work is to integrate -and to provide a theoretical background that makes this integration consistent- two levels of continuity: i) continuous response processing units and ii) continuous topology of the neural system, obtaining a more biologically plausible model of associative memory. We present our analysis according to the following sequence of steps: general results concerning attractors and stationary solutions, including a variational approach for the derivation of the energy function; focus on the case of orthogonal memories, proving theorems on stability, size of attraction basins and spurious states; considerations on the problem of resolution, analyzing the more general case of memories that are not orthogonal, and with possible modifications to the synaptic operator; getting back to discrete models, i. e. considering new viewpoints arising from the present continuous approach and examine which of the new results are also valid for the discrete models; discussion about the generalization of the non deterministic, finite temperature dynamics.
Disciplines: Ciencias de la computación
Keyword: Memoria asociativa,
Espacio métrico continuo,
Sistema dinámico,
Modelo de Hopfield,
Dinámica de Glauber,
Topología continua,
Estabilidad,
Inteligencia artificial
Keyword: Associative memory,
Continuous metric space,
Dynamical systems,
Hopfield model,
Stability,
Glauber dynamics,
Continuous topology,
Artificial intelligence
Full text: Texto completo (Ver HTML) Texto completo (Ver PDF)