Avaliação de desempenho e de satisfação do usuário do assistente virtual Ifes.talk

Abstract

RESUMO: Nos últimos anos, empresas e instituições têm aumentado a utilização de chatbots, que são sistemas de inteligência artificial de conversação, para auxiliar seus usuários e clientes na realização de pré-atendimento, no esclarecimento de dúvidas e na obtenção de informações acerca de produtos e serviços. Em casos de dúvidas mais simples, a utilização desse recurso permite facilitar e tornar mais rápida a busca e o acesso a informações por parte dos usuários, além de reduzir a carga de atendimentos humanos. Nesse contexto, o chatbot ifes.talk visa auxiliar os estudantes do Instituto Federal do Espírito Santo (IFES) nas suas rotinas acadêmicas. Esse chatbot ou assistente virtual é capaz de auxiliar na solução de dúvidas dos alunos sobre informações institucionais do IFES como calendários acadêmicos e Regulamentos de Organização Didática (ROD). O sistema foi desenvolvido com auxílio da ferramenta Rasa, um framework que facilita a construção de chatbots, e está em estágio avançado de desenvolvimento. Apesar disso, o ifes.talk ainda não passou por nenhuma avaliação de usabilidade, sendo essa, essencial antes da sua disponibilização para o usuário final. Neste trabalho, avaliamos a usabilidade do sistema a partir de atributos de qualidade relacionados a desempenho e a satisfação do usuário. O desempenho do sistema foi medido a partir de métricas de aprendizado de máquina, tais como: Acurácia, Precisão e F1-score. Em seguida, realizamos uma pesquisa quantitativa para avaliar a satisfação do usuário ao utilizar o ifes.talk. Em nossos testes de desempenho, verificamos que o sistema alcançou 88.6% de Acurácia, 87.2% de F1-score e 88.8% de Precisão. Já a pesquisa de satisfação do usuário mostrou que o chatbot alcançou média de 79.1 pontos de 100. Portanto, apesar do sistema necessitar de algumas melhorias para aumentar mais ainda a taxa de acerto, consideramos que o sistema obteve resultados satisfatórios em ambos os testes e pode ser utilizado em produção para responder dúvidas básicas de alunos sobre informações institucionais, como o ROD e o calendário. Além disso, com apenas alguns ajustes, o sistema também pode ser aplicado para auxiliar servidores na busca de outros temas institucionais do IFES como informações sobre resoluções do Conselho Superior.

ABSTRACT: In recent years, companies and institutions have increased the use of chatbots, which are conversational artificial intelligence systems, to assist their users and customers in carrying out pre-service, clarifying doubts and obtaining information about products and services. In cases of simpler doubts, the use of this resource makes it easier and faster for users to search for and access information, in addition to reducing the burden of human assistance. In this context, the chatbot ifes.talk aims to help students from the Instituto Federal do Espírito Santo (IFES) in their academic routines. This chatbot or virtual assistant is able to help solve students’ doubts about institutional information such as academic calendars and Regulamentos de Organização Didática (ROD). The system was developed with the Rasa tool, a framework that facilitates the construction of chatbots, and is in an advanced stage of development. Despite this, ifes.talk has not yet undergone any usability evaluation, which is essential before its availability to the end user. In this work, we evaluated the usability of the system based on quality attributes related to performance and user satisfaction. System performance was measured using machine learning metrics such as: Accuracy, Precision and F1-score. We then carried out a quantitative survey to assess user satisfaction when using ifes.talk. In our performance tests, we found that the system achieved 88.6% of accuracy, 87.2% of F1-score and 88.8% of precision. The user satisfaction survey showed that chatbot averaged 79.1 points out of 100. Therefore, although the system needs some improvements to further increase the accuracy rate, we consider that the system obtained satisfactory results in both tests and can be used in production to answer basic questions from students about institutional information, such as the ROD and the calendar. In addition, with just a few adjustments, the system can also be applied to assist servers in the search for other institutional topics of IFES.