Controle Preditivo e Aprendizado por Reforço Aplicados a Tanques Conectados em Ambiente de Nuvem Sob Demanda

Abstract

Com a contínua evolução industrial e o advento da Indústria 4.0, os processos industriais estão se tornando cada vez mais complexos e interconectados. Diante dessa complexidade, os processos passaram a lidar com uma grande quantidade de dados e uma necessidade constante de ajustes para se adaptar a um ambiente industrial competitivo, representando um desafio considerável para os métodos tradicionais de controle clássico. O objetivo deste projeto de pesquisa foi implementar um Modelo de Controle Preditivo(MPC) para a regulação do nível de tanques, considerando a Inteligência Artificial (IA) como modelo do processo. Para isso, foram utilizadas redes neurais para aprender a função do processo, capacitando-se a prever o estado futuro do processo com base no estado atual, e adicionalmente, o controle também foi realizado utilizando o Modelo de Aprendizado por Reforço. Inicialmente, foi criado um modelo matemático para simular o comportamento de um tanque, sendo este modelo empregado para realizar simulações e gerar dados. Em seguida, procedeu-se ao treinamento do modelo e à implementação do controle preditivo, posteriormente foi implementado o aprendizado por reforço. Por fim, todo o estudo foi aplicado em um ambiente computacional em nuvem sob demanda, criando um ambiente virtual capaz de simular a planta juntamente com o controlador e o supervisório. Os testes realizados permitiram constatar que as redes neurais são capazes de aprender funções desconhecidas dos processos e prever seus estados futuros servindo como modelo do processo para o controle preditivo. Além disso, comprovou-se a eficácia do Controle Preditivo (MPC) e do Modelo de Aprendizado por Reforço, revelando as limitações do aprendizado por reforço em lidar com problemas contínuos.

Abstract With the continuous evolution of industry and the advent of Industry 4.0, industrial processes are becoming increasingly complex and interconnected. Faced with this complexity, processes now deal with a large amount of data and a constant need for adjustments to adapt to a competitive industrial environment, posing a considerable challenge to traditional methods of classical control. The objective of this research project was to implement a Model Predictive Control (MPC) for regulating tank levels, considering Artificial Intelligence (AI) as the process model. Neural networks were used to learn the process function, enabling prediction of the future state based on the current state. Additionally, control was also conducted using Reinforcement Learning. Initially, a mathematical model was created to simulate tank behavior, which was used for simulations and data generation. Subsequently, the model was trained and MPC was implemented, followed by reinforcement learning. Finally, the entire study was applied in an on-demand cloud computing environment, creating a virtual environment capable of simulating the plant along with the controller and supervisory system. Tests conducted demonstrated that neural networks can learn unknown process functions and predict future states, serving as the process model for predictive control. Furthermore, the effectiveness of Model Predictive Control (MPC) and Reinforcement Learning was confirmed, highlighting the limitations of reinforcement learning in dealing with continuous problems. Keywords: predictive control, MPC, neural networks, reinforcement learning, process control, cloud computing.