Framework para suporte à ciência de dados intensiva em redes cientes de caminho usando roteamento de fonte Polka

RESUMO: A pesquisa científica moderna gera vastos volumes de dados (petabytes) que necessitam de compartilhamento e análise em tempo hábil entre instituições geograficamente dispersas, especialmente para aplicações de Ciência de Dados Intensiva (DIS). No entanto, as redes de comunicação tradicionais são limitadas por sua dificuldade em atualizar dinamicamente os caminhos ideais, falta de controle granular e visibilidade das aplicações sobre as rotas, e a ausência de uma interface padronizada para conectar algoritmos inteligentes (como os de aprendizado de máquina) à infraestrutura de rede para otimizar rotas e obter telemetria. Para abordar esses desafios, esta dissertação propõe o desenvolvimento de um framework para suporte eficiente a aplicações DIS em redes cientes de caminho, utilizando o protocolo de roteamento de fonte PolKA. As redes cientes de caminho permitem que os sistemas finais descubram e influenciem as propriedades dos caminhos disponíveis, viabilizando uma engenharia de tráfego mais eficaz. O PolKA é uma abordagem inovadora de roteamento de fonte que utiliza o Teorema Chinês dos Restos Polinomial para calcular um rótulo de rota (routeID), permitindo o encaminhamento totalmente sem estado nos nós de núcleo da rede e simplificando a configuração dinâmica de rotas apenas nos nós de entrada (borda). O framework proposto é composto pelos módulos Telemetry Server, Controller, Service API e Web Server, que se comunicam via um sistema de filas de mensagens. Ele foi projetado para se integrar a otimizadores externos (incluindo algoritmos de aprendizado de máquina) e atuar sobre a infraestrutura de rede subjacente que implementa redes cientes de caminho com PolKA. As principais contribuições deste trabalho incluem a identificação dos requisitos de rede para aplicações DIS e o desenvolvimento de um ambiente virtual de experimentação robusto utilizando a plataforma RARE/FreeRtr. Adicionalmente, destaca-se a proposição e validação do framework, que permite o controle de roteadores de borda via PolKA, com suporte à integração de algoritmos de otimização de roteamento e acesso a dados de telemetria em tempo real. Os resultados experimentais comprovaram a eficácia da solução em protótipos testados tanto em ambiente virtualizado com VirtualBox e FreeRtr quanto em um testbed físico com switches programáveis Intel Tofino. Os testes demonstraram redução de latência por meio da migração dinâmica de túneis para caminhos mais rápidos, resposta eficiente a falhas com redirecionamento contínuo dos fluxos sem interrupções perceptíveis, além da agregação de fluxos baseada em políticas, permitindo distribuir o tráfego por diferentes rotas e melhorar a vazão total. As validações em cenários realistas reforçam a viabilidade prática da abordagem proposta.

ABSTRACT: Modern scientific research generates vast volumes of data (petabytes) that require timely sharing and analysis among geographically dispersed institutions, especially for Data Intensive Science (DIS) applications. However, traditional communication networks are limited by their difficulty in dynamically updating optimal paths, lack of granular control and application visibility over routes, and the absence of a standardized interface to connect intelligent algorithms (such as machine learning) to network infrastructure for route optimization and telemetry acquisition. To address these challenges, this dissertation proposes the development of a framework to efficiently support DIS applications in path aware networks, utilizing the PolKA source routing protocol. Path-aware networks allow end systems to discover and influence the properties of available paths, enabling more effective traffic engineering. PolKA is an innovative source routing approach that uses the Chinese Remainder Theorem for Polynomials to calculate a route label (routeID), enabling fully stateless forwarding at network core nodes and simplifying dynamic route configuration only at ingress (edge) nodes. The proposed framework comprises the Telemetry Server, Controller, Service API, and Web Server modules, which communicate via a message queuing system. It was designed to integrate with external optimizers (including machine learning algorithms) and act upon the underlying network infrastructure that implements path-aware networks with PolKA. The main contributions of this work include the identification of network requirements for DIS applications and the development of a robust virtual experimentation environment using the RARE/FreeRtr platform. Additionally, the proposal and validation of the framework are highlighted, which allows control of edge routers via PolKA, with support for integrating routing optimization algorithms and access to real-time telemetry data. The experimental results confirmed the effectiveness of the solution in prototypes tested both in a virtualized environment using VirtualBox with FreeRtr and in a physical testbed with Intel Tofino programmable switches. The tests demonstrated latency reduction through dynamic tunnel migration to faster paths, efficient failure response with continuous flow redirection without noticeable interruptions, and flow aggregation based on policies, enabling traffic distribution across multiple routes to enhance overall throughput. These validations in realistic scenarios reinforce the practical applicability of the proposed approach.