Sistema automatizado de reconhecimento e pesagem de frutas e legumes para varejo com integração IOT

Abstract

RESUMO Este trabalho apresenta o desenvolvimento e a implementação de um sistema integrado de Visão Computacional e Internet das Coisas (IoT) para automatizar o reconhecimento e a pesagem de frutas e legumes no varejo. Dessa forma, o sistema visa se integrar aos sistemas de autoatendimento, preenchendo uma lacuna existente nos processos de precificação, já bem estabelecidos para produtos industrializados com códigos de barras. O sistema desenvolvido utiliza uma câmera web e arquitetura YoloV8 para classificação de produtos, integrada a uma balança equipada com célula de carga e a plataforma microcontrolada Arduino Mega 2560, garantindo precisão na detecção de itens e na medição de peso. A comunicação entre os dispositivos foi realizada por meio do protocolo MQTT, enquanto a interface interativa, desenvolvida usando a biblioteca Streamlit em Python, proporcionou uma visualização clara e eficiente dos resultados. O modelo YoloV8 foi treinado com datasets específicos, empregando técnicas de data augmentation para aumentar sua robustez em diferentes condições de iluminação e posicionamento. Durante o treinamento, o modelo alcançou uma precisão top-1 de 94,93% nos dados de validação do dataset utilizado, enquanto no teste integrado do sistema final obteve uma acurácia de 70%. Classes específicas, como “lemon” e “potato”, apresentaram maior impacto negativo nos resultados, reduzindo o desempenho geral. A solução demonstrou eficiência ao integrar hardware acessível e algoritmos de aprendizado profundo, otimizando o processo de precificação e reduzindo a dependência de intervenção humana. No entanto, o desempenho do sistema foi limitado em cenários reais devido à necessidade de maior diversidade de imagens no dataset, o que restringiu a capacidade de generalização do modelo. Apesar dessas limitações, os resultados demonstraram o potencial técnico e operacional da solução, evidenciando seu potencial para aplicação prática no conceito de Smart Retail, enquanto indicam a necessidade de melhorias futuras no conjunto de dados para abranger maior variabilidade. Este trabalho busca contribuir para a automação no varejo, apresentando uma alternativa tecnológica que pode potencialmente aumentar a eficiência operacional e aprimorar a experiência do consumidor. Palavras-chave: Visão Computacional. Internet das Coisas. YoloV8. Smart Retail. Automação Comercial

ABSTRACT This work presents the development and implementation of an integrated Computer Vision and Internet of Things (IoT) system to automate the recognition and weighing of fruits and vegetables in retail. The system aims to integrate with self-checkout systems, addressing a gap in pricing processes, which are already well-established for industrialized products with barcodes. The developed system uses a web camera and YoloV8 architecture for product classification, integrated with a scale equipped with a load cell and the Arduino Mega 2560 microcontroller platform, ensuring precision in item detection and weight measurement. Communication between devices was implemented using the MQTT protocol, while the interactive interface, developed with the Streamlit library in Python, provided a clear and efficient visualization of the results. The YoloV8 model was trained with specific datasets, employing data augmentation techniques to enhance its robustness under different lighting and positioning conditions. During training, the model achieved a top-1 accuracy of 94.93% on the validation dataset, while in the integrated testing of the final system, it obtained an accuracy of 70%. Specific classes, such as “lemon” and “potato”, had a more significant negative impact on the results, reducing overall performance. The solution demonstrated efficiency by integrating accessible hardware with deep learning algorithms, optimizing the pricing process and reducing the need for human intervention. However, the system’s performance was limited in real-world scenarios due to the need for greater image diversity in the dataset, which restricted the model’s generalization capability. Despite these limitations, the results highlighted the technical and operational potential of the solution, demonstrating its feasibility for practical application in the Smart Retail concept while also indicating the need for future improvements in the dataset to encompass greater variability. This work aims to contribute to retail automation by presenting a technological alternative that could potentially enhance operational efficiency and improve the consumer experience. Keywords: Computer Vision. Internet of Things. YoloV8. Smart Retail. Retail Automa tion.