| Revista: | Programación matemática y software |
| Base de datos: | |
| Número de sistema: | 000573325 |
| ISSN: | 2007-3283 |
| Autores: | Trimboli, Maximiliano1 Antonelli, Nicolás1 Avila, Luis1 de Paula, Mariano2 |
| Instituciones: | 1CONICET-UNSL. Laboratorio de Sistemas Inteligentes. San Luis. Argentina, 2UNICEN-CICpBA-CONICET, INTELYMEC. Centro de Investigaciones en Física e Ingeniería del Centro. Olavarría. Argentina, |
| Año: | 2024 |
| Volumen: | 16 |
| Número: | 1 |
| Paginación: | 35-46 |
| País: | México |
| Idioma: | Español |
| Resumen en inglés | Lithium-ion batteries are the standard power source for electric vehicles (EVs) as an alternative of choice to reduce CO2 emissions. But before becoming a reliable technology, lithium-ion batteries must face two major challenges: undesirable electrochemical reactions due to excessive charging rates and the considerable time it takes for an EV to charge. Therefore, it is necessary to use balanced current profiles that avoid both the serious effects of battery degradation and inconvenience to end users. In this work, the authors propose a safe scanning deep reinforcement learning (SDRL) approach to determine optimal load profiles under varying operating conditions. One of the main advantages of RL techniques is that they can learn from the interaction with the simulated or real system by incorporating nonlinearity and uncertainty arising from fluctuating environmental conditions. However, since RL techniques have to explore undesirable states before obtaining an optimal policy, they do not offer security guarantees. The proposed approach aims to maintain zero constraint violations throughout the entire learning process by incorporating a security layer that corrects the action if a constraint is likely to be violated. The proposed method is tested on the equivalent circuit of a lithium-ion battery considering variability conditions. First results show that SDRL is able to find optimized and safe charging policies taking into account a trade-off between charging speed and battery life. |
| Resumen en español | Las baterías de iones de litio son el dispositivo de alimentación estándar de los vehículos eléctricos (EVs) como alternativa de elección para reducir las emisiones de CO2. Pero antes de convertirse en una tecnología fiable, las baterías de iones de litio deben hacer frente a dos grandes retos: las reacciones electroquímicas indeseables debidas a tasas de carga excesivas y el tiempo considerable que tarda un EV en cargarse. Por tanto, es necesario emplear perfiles de corriente equilibrados que eviten tanto los graves efectos de degradación de la batería como las molestias a los usuarios finales. En este trabajo, los autores proponen un enfoque de aprendizaje profundo por refuerzo de exploración segura (SDRL) para determinar los perfiles de carga óptimos en condiciones de funcionamiento variables. Una de las principales ventajas de las técnicas de RL es que pueden aprender de la interacción con el sistema simulado o real incorporando la no linealidad y la incertidumbre derivadas de las condiciones ambientales fluctuantes. Sin embargo, como las técnicas RL tienen que explorar estados indeseables antes de obtener una política óptima, no ofrecen garantías de seguridad. El enfoque propuesto pretende mantener cero violaciones de las restricciones a lo largo de todo el proceso de aprendizaje incorporando una capa de seguridad que corrige la acción si es probable que se viole una restricción. El método propuesto se prueba en el circuito equivalente de una batería de iones de litio considerando condiciones de variabilidad. Los primeros resultados muestran que SDRL es capaz de encontrar políticas de carga optimizadas y seguras teniendo en cuenta un compromiso entre la velocidad de carga y la vida útil de la batería. |
| Palabras clave: | Safe-RL, SOC, envejecimiento de la bateria, variabilidad |
| Keyword: | Safe-RL, SOC, battery aging, variability |
| Texto completo: | Texto completo (Ver PDF) |
