Reconhecimento do Alfabeto de Libras para o Aprendizado Utilizando a Metodologia de Gamificação

Abstract

RESUMO: Libras, língua brasileira de sinais, utilizada como meio de comunicação de movimentos gestuais e expressões faciais, os sinais de libras são formados por combinações de movimentos das mãos, essas articulações podem ser comparadas a fonemas e morfemas sendo parâmetros para os sinais. Embora existam leis de inclusão para que os surdos se integrem socialmente, falta conhecimento e motivação por parte das pessoas para que a comunicação com o deficiente auditivo seja mais efetiva. Sistemas tecnológicos, usados em diversas áreas de conhecimento, são aplicados também na educação de pessoas com deficiência auditiva, inclusive no ensino da linguagem brasileira de sinais. Espera-se que através de um sistema didático desenvolvido utilizando recursos de gamificação, pessoas com surdez ou não, se interessem mais pelo conteúdo e adquiram maior conhecimentos da linguagem de libras, promovendo assim uma maior inclusão dos surdos na sociedade. Este trabalho propõe um sistema que utiliza live stream para fazer o reconhecimento das letras do alfabeto de libras utilizando gamificação para promover o interesse do usuário em aprender a linguagem brasileira de sinais, através de um jogo de soletrar com as letras do alfabeto de libras. O sistema avalia as imagens dos sinais capturados, e realiza comparação de pontos da mão, dando retorno ao usuário relativo ao seu desempenho rankeamento o usuário. O escopo desse trabalho, foca no reconhecimento de sinais do alfabeto(datilologia) e tem como diferencial a utilização do reconhecimento dos movimentos do indivíduo capturado pela câmera, com o fim de facilitar, auxiliar e motivar o aprendizado do alfabeto de libras, podendo ser uma ferramenta muito importante tanto no auxílio do aprendizado da língua dos sinais como na inclusão do surdo na sociedade.

ABSTRACT: Libras, Brazilian sign language, used as a means of communicating gestural movements and facial expressions, Libras signs are formed by combinations of hand movements, these articulations can be compared to phonemes and morphemes being parameters for the signs. Although there are inclusion laws for the deaf to integrate socially, people lack knowledge and motivation to make communication with the hearing impaired more effective. Technological systems, used in several areas of knowledge, are also applied in the education of people with hearing impairment, including the teaching of Brazilian sign language. It is expected that through a didactic system developed using gamification resources, people with or without deafness will become more interested in the content and acquire greater knowledge of the Libras language, thus promoting greater inclusion of the deaf in society. This work proposes a system that uses live stream to recognize the letters of the Libras alphabet using gamification to promote the user’s interest in learning Brazilian sign language, through a spelling game with the letters of the Libras alphabet. The system evaluates the images of the captured signals, and compares hand points, giving feedback to the user regarding their performance ranking the user. The scope of this work focuses on the recognition of alphabet signs (typing) and has as a differential the use of recognition of the movements of the individual captured by the camera, in order to facilitate, assist and motivate the learning of the Libras alphabet, which can be a very important tool both in helping to learn sign language and in the inclusion of the deaf in society.