Uma solução rápida e eficiente para vídeo super resolution em dispositivos móveis

Abstract

RESUMO: Apesar das evoluções no processamento de imagens para Super Resolução, técnicas energeticamente eficientes que possam ser aplicadas em dispositivos móveis ainda precisam ser exploradas. Para isso, este trabalho apresenta uma análise comparativa de arquiteturas de redes neurais profundas para Super Resolução de Vídeos (Video Super Resolution - VSR) em dispositivos móveis. Foram avaliados dois modelos: a SRResNet e a ELSR, vencedor da Mobile AI Challenge de 2022. As redes foram treinadas e testadas utilizando o REDS Dataset, que contém amostras de vídeo em alta e baixa resolução. A avaliação de desempenho foi realizada com base em três métricas principais: Peak Signal-to-Noise Ratio (PSNR), tempo de execução e consumo energético. A SRResNet alcançou um PSNR médio de 28,29, superando ligeiramente o PSNR de 27,91 da ELSR. Em termos de velocidade de execução, a SRResNet demonstrou melhor desempenho com um tempo médio de 0, 2ms por quadro, enquanto a ELSR necessitou de 2, 11ms. No aspecto de eficiência energética, a SRResNet consumiu apenas 0, 09W em comparação com os 0, 24W da ELSR. Estes resultados indicam que a SRResNet oferece um equilíbrio promissor entre qualidade de imagem, tempo de execução e consumo de energia, sendo uma solução viável para VSR em dispositivos móveis com recursos limitados.

ABSTRACT: Despite advancements in image processing for Super Resolution, energy-efficient techniques that can be applied to mobile devices still need to be explored. With that in mind, this work presents a comparative analysis of deep neural network architectures for Video Super Resolution (VSR) on mobile devices. Two models were evaluated: SRResNet, introduced by Ledig et al. (2017), and ELSR, winner of the 2022 Mobile AI Challenge. The networks were trained and tested using the REDS Dataset, which provides both high and low-resolution video frames. Performance evaluation was based on three key metrics: Peak Signal-to-Noise Ratio (PSNR), execution time, and energy consumption. SRResNet achieved an average PSNR of 28.29, slightly surpassing the 27.91 PSNR of ELSR. Regarding execution speed, SRResNet demonstrated superior performance with an average runtime of 0.2ms, while ELSR required 2.11ms per frame. Regarding energy efficiency, SRResNet consumed only 0.09W compared to ELSR’s 0.24W. These results indicate that SRResNet provides a balanced trade-off between image quality, runtime, and energy consumption, making it a promising solution for VSR on resource-constrained mobile devices.