Machine learning aplicada à modelagem e ao controle de um pêndulo invertido sobre um carro

Abstract

RESUMO: Nos últimos anos, a inteligência artificial e o aprendizado de máquina têm experimen tado um crescimento notável, impulsionados pelo aumento do poder de processamento computacional disponível. Esses avanços têm levado à adoção crescente de técnicas de aprendizado de máquina em diversas aplicações práticas, incluindo o controle de processos, onde a compreensão da dinâmica e do modelo do sistema é essencial. No entanto, em muitos casos, a complexidade e a não linearidade desses sistemas tornam o uso de abordagens tradicionais de modelagem e controle desafiadoras. Como resultado, métodos de aprendizado de máquina têm sido cada vez mais empregados para desenvolver soluções eficientes e robustas. Neste contexto, o presente trabalho investiga e apresenta o desenvolvimento de um sistema de caixa-preta para identificação do modelo e controle de um pêndulo invertido sobre um carro, um problema clássico e desafiador na área de controle. Para resolver esse problema, duas técnicas de aprendizado por reforço foram empregadas e suas soluções foram comparadas: Deep Q-Network (DQN) e Natural Evolution Strategy (NES). Ambas as técnicas partiram do zero, sem conhecimento prévio da dinâmica do processo. DQN foi empregada para desenvolver um controlador que aprende a dinâmica do sistema e toma decisões de controle apropriadas por meio de uma rede neural. Por outro lado, NES foi utilizada como uma estratégia para maximizar o desempenho através de um controlador linear a cada iteração. Por fim, é essencial destacar que cada técnica foi implementada independentemente para solucionar o problema em questão e, posteriormente, as soluções obtidas foram comparadas para determinar a eficácia relativa de cada uma delas. Os resultados obtidos demonstram a eficácia das técnicas de aprendizado de máquina na modelagem e no controle do pêndulo invertido sobre um carro, fornecendo insights valiosos sobre as vantagens e desvantagens de cada método.

ABSTRACT: In recent years, artificial intelligence and machine learning have experienced remar kable growth, driven by the increasing availability of computational processing power. These advancements have led to the growing adoption of machine learning techniques in various practical applications, including process control, where understanding the system’s dynamics and model is essential. However, in many cases, the complexity and nonlinearity of these systems make the use of traditional modeling and control approaches challenging. As a result, machine learning methods have been increasingly employed to develop efficient and robust solutions. In this context, the present study investigates and presents the development of a black-box system for model identification and control of an inverted pendulum on a cart, a classic and challenging problem in the control area. To address this issue, two reinforcement learning techniques were employed and their solutions were compared: Deep Q-Network (DQN) and Natural Evolution Strategy (NES). Both techniques started from scratch, with no prior knowledge of the process dynamics. DQN was utilized to develop a controller that learns the system’s dynamics and makes appropriate control decisions through a neural network. On the other hand, NES was employed as a strategy to maximize performance through a linear controller at each iteration. Lastly, it’s crucial to emphasize that each technique was implemented independently to solve the problem at hand, and subsequently, the derived solutions were compared to determine the relative efficacy of each one. The obtained results demonstrate the effectiveness of machine learning techniques in modeling and controlling the inverted pendulum on a cart, providing valuable insights into the advantages and disadvantages of each method.