Agentes Inteligentes baseados em Aprendizado por Reforço para Alocação Dinâmica de Tráfego em Nuvens

Abstract

A alocação eficiente do tráfego em nuvens é desafiadora devido ao compartilhamento de recursos entre os clientes. Isso pode implicar recursos ociosos caso os clientes estejam limitados a utilizar somente a banda contratada. O uso da nuvem pode ser otimizado provendo recursos aos clientes dinamicamente de acordo com a demanda. Agentes de aprendizado por reforço promovem respostas adaptáveis a ambientes variantes no tempo. Este artigo propõe um mecanismo baseado em Q-learning com múltiplos agentes para gerenciar o acesso aos recursos por cada cliente da nuvem. A proposta é analisada em um ambiente emulado, no qual um controlador é responsável pela alocação de tráfego aos clientes. Os resultados mostram que o mecanismo reduz a ociosidade da nuvem, permitindo que clientes com baixa priorização utilizem a banda disponível, ao mesmo tempo que garante a banda contratada a clientes prioritários. O mecanismo exige baixo comprometimento de processamento total, mesmo variando o número de estados e espaço de ações, ao passo que o custo em memória por agente aumenta, alcançando um máximo de 300 kB para 200 estados e ações.

Gerenciamento e Orquestração de Serviços em O-RAN: Inteligência, Tendências e Desafios

“…No aprendizado por reforço, um agente realiza ações em um ambiente que levam a mudanças de estado. Essas ações recebem como retorno recompensas ou punições [Santos Filho et al, 2020]. Na proposta de Rezazadeh et al, a ação de uma agente consiste em quantos PRBs serão alocados para a fatia para o PRB associado no intervalo de tempo de decisão [Rezazadeh et al, 2023].…”