Estudo comparativo de técnicas de segmentação não supervisionadas em sinais temporais de sensores de gestos de mão

Abstract

RESUMO: A proposta desse trabalho é realizar um estudo sobre técnicas de aprendizado não super- visionado para segmentação de sinais temporais de sensores inerciais de gestos de mãos. Para tanto, foi desenvolvido um processo de segmentação automatizado que pode ser utilizado com diversas técnicas para identificar e segmentar uma base de dados com 3.800 gestos. Como a base não é segmentada foi realizada uma segmentação manual para servir de referência (ground truth) para a avaliação dos resultados dos experimentos. Na etapa de segmentação, foram feitos testes com dados brutos, dados transformados pela aplicação de desvio padrão médio e dados transformados com a utilização de um Autoencoder. A separação dos gestos entre repouso e movimento foi testada utilizando as técnicas não supervisionadas KMeans, um algoritmo de clusterização hierárquica do tipo aglomerativo e uma técnica de abordagem estatística chamada CAST. O desempenho da segmentação na tarefa de separar os sinais em registros de repouso e movimento foi avaliado utilizando as métricas de acurácia, precisão e revocação, enquanto a qualidade dos segmentos criados foi medida pelo índice IoU . Além disso, as bases segmentadas foram testadas como bases de treinamento de um classificador Floresta Aleatória, utilizando a acurácia de classificação como medida de similaridades entre a base segmentada manualmente e aquelas segmentadas de forma automatizada. Os resultados do experimentos mostraram que bases segmentadas utilizando o KMeans apresentaram as melhores métricas de avaliação, tanto na fase de segmentação como na fase de classificação, com 0,86 de média do índice IoU , como na fase de classificação, com 95,31% de acurácia contra 95,61% da base segmentada manualmente.

ABSTRACT: The purpose of this work is to carry out a study on unsupervised learning techniques for segmenting temporal signals of hand gestures acquired by inertial sensors. For that, an automated segmentation process was developed to be used with different techniques to identify and segment a database with 3800 gestures. As the database is not segmented, manual segmentation was performed to serve as reference to assess the experimental results. In the segmentation step, tests were performed with raw data, data transformed by applying the mean standard deviation and data transformed using an Autoencoder. The separation of gestures between rest and movement was tested using the unsupervised techniques KMeans and an agglomerative hierarchical clustering algorithm, in addition to a statistical approach technique called CAST. The segmentation performance in the task of separating signals into rest and movement records was evaluated using the accuracy, precision and recall metrics, while the quality of the segments created was measured by the IoU index. Furthermore, the segmented databases were tested as training dataset for a Random Forest classifier, using the classification accuracy as a measure of similarities between the manually segmented database and those automatically segmented. The results of the experiment showed that database segmented using KMeans had the best numbers of the assessment criteria, both in the segmentation phase and in the classification phase, with a 0.86 index average of IoU , as in the classification phase, with 95.31% accuracy, against 95.61% of the manually segmented database.