| Revista: | Controle & automacao |
| Base de datos: | PERIÓDICA |
| Número de sistema: | 000315291 |
| ISSN: | 0103-1759 |
| Autores: | Costa, Oswaldo L.V1 Aya, Julio C.C |
| Instituciones: | 1Universidade de Sao Paulo, Escola Politecnica, Sao Paulo. Brasil |
| Año: | 2003 |
| Periodo: | Jul-Sep |
| Volumen: | 14 |
| Número: | 3 |
| Paginación: | 223-234 |
| País: | Brasil |
| Idioma: | Portugués |
| Tipo de documento: | Artículo |
| Enfoque: | Analítico |
| Resumen en inglés | In this paper we present an iterative technique based on Monte Carlo simulations for deriving the optimal control of the infinite horizon linear regulator problem of discrete-time Markovian jump linear systems for the case in which the transition probability matrix of the Markov chain is not known. It is well known that the optimal control of this problem is given in terms of the maximal solution of a set of coupled algebraic Riccati equations (CARE), which have been extensively studied over the last few years. We trace a parallel with the theory of TD(lambda) algorithms for Markovian decision processes to develop a TD(lambda) like algorithm for the optimal control associated to the maximal solution of the CARE. Some numerical examples are also presented |
| Resumen en portugués | Neste trabalho apresentaremos uma técnica iterativa baseada em simulações de Monte Carlo para calcular o controle ótimo de um problema de regulador linear quadrático de horizonte infinito para um sistema linear com saltos Markovianos a tempo discreto, quando a matriz de transição de probabilidade não é conhecida. Sabemos que o controle ótimo deste problema é dado em termos da solução maximal de um conjunto de equações algébricas de Riccati acopladas entre si (EARA) a tempo discreto, que foram extensivamente estudadas nos últimos anos. Traçaremos um paralelo com a teoria do algoritmo TD(lambda) para Processos Markovianos de Decisão (PMD) para desenvolver o algoritmo TD(lambda) para o controle ótimo associado à solução maximal de uma EARA |
| Disciplinas: | Ingeniería |
| Palabras clave: | Ingeniería de control, Teoría de control, Sistemas de control, Control óptimo, Simulación de Montecarlo, Ecuaciones algebráicas |
| Keyword: | Engineering, Control engineering, Control theory, Control systems, Optimal control, Monte Carlo simulation, Algebraic equations |
| Texto completo: | Texto completo (Ver HTML) |
