Detecção de Deepfakes com filtros de alta frequência em uma arquitetura híbrida de redes neurais convolucionais e Vision Transformes

RESUMO: Nos últimos anos, o avanço das tecnologias de aprendizado profundo tornou possível a criação de deepfakes, que são conteúdos digitais manipulados, capazes de imitar com alta fidelidade rostos, vozes e gestos. Embora tragam benefícios em áreas como entretenimento e comunicação, o uso indevido dessas tecnologias tem levantado preocupações éticas e de segurança, como a disseminação de desinformação. Este trabalho tem como objetivo investigar se a aplicação de filtros de alta frequência em uma arquitetura híbrida baseada em Redes Neurais Convolucionais (CNNs) e Vision Transformers (ViTs) pode aprimorar a detecção de deepfakes, especialmente em cenários de bases de dados cruzadas. Este trabalho propõe e avalia a aplicação de filtros Spatial Rich Models (SRM) e Sobel nas imagens de entrada na arquitetura CrossViT. A metodologia incluiu o treinamento de modelos em um subconjunto do Deepfake Detection Challenge (DFDC) e sua avaliação em bases de dados distintas, como Celeb-DF v2 e FaceForensics++, permitindo analisar a capacidade de generalização dos modelos. No total, foram utilizados 457.888 quadros para o treinamento e 54.592 para a validação, mantendo um equilíbrio entre classes reais e falsas. Os resultados indicaram que o uso do filtro SRM no ramo L-Branch do CrossViT alcançou os melhores desempenhos no cenário in-database do DFDC (AUC de 0,847) e no cenário cross-database do Celeb-DF v2 (AUC de 0,755), enquanto o SRM no pré-processamento destacou-se no cenário cross-database do FaceForensics++ (AUC médio de 0,755). No geral, os resultados com o uso de filtros de alta frequência foram melhores que os resultados sem o uso dos filtros. Esses achados reforçam a importância de integrar filtros de alta frequência, que ajudam a evidenciar artefatos sutis em manipulações faciais.

ABSTRACT: In recent years, advancements in deep learning technologies have enabled the creation of deepfakes, which are digitally manipulated content capable of highly realistic imitations of faces, voices, and gestures. While these technologies offer benefits in areas such as entertainment and communication, their misuse has raised ethical and security concerns, particularly regarding the spread of misinformation. This study aims to investigate whether the application of high-frequency filters in a hybrid architecture based on Convolutional Neural Networks (CNNs) and Vision Transformers (ViTs) can enhance deepfake detection, especially in cross-database scenarios. The proposed approach evaluates the use of Spatial Rich Models (SRM) and Sobel filters applied to input images in the CrossViT architecture. The methodology involved training models on a subset of the Deepfake Detection Challenge (DFDC) and evaluating them on distinct datasets, such as CelebDF v2 and FaceForensics++, to assess the models’ generalization capability. A total of 457,888 frames were used for training and 54,592 for validation, ensuring a balanced distribution between real and fake classes. The results indicated that applying the SRM filter to the L-Branch of CrossViT achieved the best performance in the in-database scenario for DFDC (AUC of 0.847) and the cross-database scenario for Celeb-DF v2 (AUC of 0.755), while SRM in pre-processing achieved the best results in the cross-database scenario for FaceForensics++ (average AUC of 0.755). Overall, the results obtained with high-frequency filters outperformed those without their use. These findings reinforce the importance of integrating high-frequency filters, which help highlight subtle artifacts in facial manipulations.