Detecção de anomalias em vídeos com classificador sequencial de dados composto apenas por camadas de rede neural profunda

Bento, Fabio Ricardo Oliveira ; Vassallo, Raquel Frizera (2023-10-20)

tese_doutorado

Esta tese aborda o problema de detecção de anomalias, que consiste em identificar eventos que não se conformam a um padrão de comportamento esperado. No contexto específico desta pesquisa, o objetivo é desenvolver um método para a detecção automática de eventos anômalos em vídeos, utilizando exclusivamente informações de sequências de frames. Essa abordagem é especialmente útil em situações em que dados auxiliares provenientes de algoritmos de detecção/rastreamento de objetos ou dados de pose humana não estão disponíveis ou não são confiáveis. A abordagem inicial adotada utiliza redes neurais convolucionais para extrair características espaciais dos dados. Em seguida, é empregado um classificador de séries temporais, composto por uma camada de convolução unidimensional e um conjunto de redes neurais recorrentes. A metodologia proposta seleciona uma arquitetura convolucional pré-treinada como extrator de características e emprega a técnica de transferência de aprendizagem para adaptar a rede ao problema em questão. Foram conduzidos experimentos com os conjuntos de dados UCSD Anomaly Detection e CUHK Avenue, e a avaliação foi baseada em métricas como a Area Under the Receiver Operating Characteristic Curve (AUC), a Area Under the Precision vs Recall Curve (AUPRC) e a Equal Error Rate (EER). Os resultados obtidos demonstraram uma AUC superior a 92% e uma EER inferior a 9%, os quais estão em conformidade com os resultados encontrados na literatura atual. Em seguida foi proposto um modelo que visa aprender as características globais e locais de cada frame em um vídeo de entrada. No nível do frame, empregou-se uma arquitetura baseada na FPN (Feature Pyramid Network) para extrair características globais. Por outro lado, no nível dos patches, adotou-se uma arquitetura fundamentada no ViT (Vision Transformer) para extrair características locais. Então, foi aplicado um classificador sequencial que combina redes Transformers e LSTM (Long Short-Term Memory) para gerar um escore de anomalia para cada frame. Isso é realizado com base em uma sequência de embeddings codificados por posição. Também, foi utilizada a função de perda Class-Balanced Focal Loss (CBFL) para lidar com o desequilíbrio entre as classes normal e anômala. Foram conduzidos experimentos no conjunto de dados UBnormal, avaliando a métrica AUC no nível de frame, tanto em sua versão micro quanto macro. Além disso, foram analisados os escores de anomalia ao longo do tempo no nível de frame, bem como os gráficos t-SNE. Por fim, o resultado da avaliação pelas métricas AUC micro-média e AUC macro-média demonstrou proximidade com o estado da arte.

The anomaly detection problem involves identifying events that do not follow an expected pattern of behavior. This paper addresses the of automatically detecting abnormal activity in videos using only information from frames. This is especially useful when auxiliary data from object detection, tracking, or human pose are unavailable or unreliable. The initial approach adopts convolutional neural networks to extract spatial features, followed by a time series classifier composed of a one-dimensional convolution layer and a set of tacked recurrent neural networks. The proposed methodology selects a pre-trained onvolutional architecture as a feature extractor and uses transfer learning to specialize another network with the same architecture for detecting anomalies in surveillance videos. Experiments were conducted on the UCSD Anomaly Detection and CUHK Avenue datasets to compare the proposed approach with other studies. The evaluation protocol uses the metrics Area Under the Receiver Operating Characteristic Curve (AUC), Area Under the Precision vs Recall Curve (AUPRC) and Equal Error Rate (EER). During the experiments, the model achieved an AUC greater than 92% and an EER less than 9%, results consistent with the current literature. We next proposed a model that learns the global and local features of video frames. At the frame level, we used an FPN (Feature Pyramid Network)-based architecture to extract global features. At the patches level, we use a ViT (Vision Transformer) based architecture to extract local features. We then employ a sequential classifier that combines Transformers and LSTM (Long Short-Term Memory) networks to generate an anomaly score for each frame, based on a sequence of position-encoded embeddings. During model training, we use the Class-Balanced Focal Loss (CBFL) loss function to handle imbalance between classes. This function assigns more significant weights to classes with fewer samples, ensuring a balanced contribution of each class to the overall loss. CBFL improves model performance in unbalanced classification tasks, especially when dealing with underrepresented classes, such as the abnormal class in the context of video anomaly detection. We perform experiments on the UBnormal dataset to evaluate our approach and compare our results with existing work. In addition, we analyzed anomaly scores at the frame level over time and t-SNE plots for further insights. Our results, evaluated by the micro-average AUC and macro-average AUC metrics, are consistent with the current state of the art.


Collections: