Colaboração entre humano e manipulador robótico baseada em visão e ROS

Abstract

RESUMO: A robótica colaborativa moderniza a indústria ao permitir que humanos e robôs compartilhem espaços de forma segura e eficiente. Diferentemente de robôs industriais convencionais, robôs colaborativos interagem diretamente com operadores humanos sem barreiras físicas, tornando a automação mais acessível, especialmente para pequenas e médias empresas. Este estudo desenvolveu e validou aplicações que integram sistemas de percepção avançados em robôs colaborativos, utilizando o ROS, o robô UR3e e a câmera Intel RealSense D435i. Foi criada uma arquitetura modular que permite ao robô interpretar o ambiente, detectar objetos e pessoas, reconhecer gestos e realizar manipulação de peças, tanto de forma autônoma quanto assistida. O sistema de percepção utilizou o YOLOv8 para detecção de objetos, alcançando alta precisão e recall, e o MediaPipe para reconhecimento de gestos, promovendo uma interação mais natural. O Detectron2, utilizado para detecção de pessoas, apresentou alto custo computacional, resultando em baixa frequência (~5,66 Hz) de publicação do tópico /people_info. O Yolov8 oferece maior eficiência (~30 Hz), embora com menor precisão, sendo mais adequado para sistemas robóticos que priorizam segurança e responsividade em tempo real. Os resultados comprovaram a viabilidade da abordagem, com o robô executando tarefas de manipulação e respondendo a comandos gestuais. Concluiu-se que é possível integrar sistemas de percepção avançados com controles baseados em comportamento no ROS, promovendo interações seguras e eficazes entre humanos e robôs. O estudo sugere futuras pesquisas para aprimorar a detecção de pessoas com algoritmos mais responsivos, expandir os comportamentos do robô e implementar planejamento de trajetórias com mapas do ambiente, fortalecendo a aplicação de robôs colaborativos em indústrias.

ABSTRACT: Collaborative robotics modernizes the industry by enabling humans and robots to share spaces safely and efficiently. Unlike conventional industrial robots, collaborative robots interact directly with human operators without physical barriers, making automation more accessible, particularly for small and medium-sized enterprises. This study developed and validated applications integrating advanced perception systems into collaborative robots, utilizing ROS, the UR3e robot, and the Intel RealSense D435i camera. A modular architecture was created, allowing the robot to interpret the environment, detect objects and people, recognize gestures, and perform piece manipulation, both autonomously and in assisted modes. The perception system employed YOLOv8 for object detection, achieving high precision and recall, and MediaPipe for gesture recognition, fostering more natural interaction. Detectron2, used for human detection, demonstrated high computational cost, resulting in a low publication frequency (~5.66 Hz) for the /people_info topic. YOLOv8 offers greater efficiency (~30 Hz) but with lower precision, making it more suitable for robotic systems prioritizing safety and real-time responsiveness. The results confirmed the feasibility of the approach, with the robot successfully performing manipulation tasks and responding to gesture commands. The study concluded that it is possible to integrate advanced perception systems with behavior-based controls in ROS, promoting safe and effective interactions between humans and robots. Future research is suggested to improve human detection with more responsive algorithms, expand robot behaviors, and implement trajectory planning with environmental maps, strengthening the application of collaborative robots in industries.