Análise do desempenho do aprendizado por reforço na solução do problema da mochila multidimensional

Abstract

Resumo: Neste trabalho, o objetivo é analisar o desempenho do Aprendizado por Reforço na solução do Problema da Mochila Multidimensional. Para isso, é proposto um modelo de Aprendizado por Reforço estruturado em estados, ações e recompensas. Além disso, os experimentos computacionais apresentados permitem analisar a sensibilidade dos parâmetros do algoritmo Q-learning na resolução desse tipo de problema de otimização combinatória. Palavras-chave:Aprendizado por Reforço. Otimização Combinatória. Problema da Mochila Multidimensional.Abstract: In this work, the goal is to analyze the performance of Reinforcement Learning in solving the Multidimensional Knapsack Problem. For this, a Reinforcement Learning model structured in states, actions and rewards is proposed. In addition, the computational experiments presented allow us to analyze the sensitivity of the parameters of the Q-learning algorithm in solving this type of combinatorial optimization problem.

Transferência de Aprendizado por Reforçoo em Problemas de Otimização Combinatória

“…Aárea de otimização combinatóriaé um campo com vários estudos com AR (Gambardella and Dorigo, 1995;Bianchi et al, 2009;Lima Júnior et al, 2010;Costa et al, 2016;Alipour et al, 2018;Lins et al, 2019). Nesse aspecto, alguns domínios com aplicações de técnicas de AR são: Problema do Caxeiro Viajante (TSP) (Gambardella and Dorigo, 1995;Lima Júnior et al, 2010), Problema dos K-Servos (Costa et al, 2016;Lins et al, 2019), Problema da Mochila Multidimensional (Ottoni et al, 2017), Roteamento de Veículos (Silva et al, 2019) e Sequential Ordering Problem (SOP) (Ottoni et al, 2020).…”

Development of a Pedagogical Graphical Interface for the Reinforcement Learning

“…A definic ¸ão de parâmetros do AR é um ponto importante para um bom desempenho nos experimentos [14], [17], [11]. A taxa de aprendizado (α) regula a velocidade que as novas informac ¸ões aprendidas se sobrepõem perante as antigas.…”

“…A estrutura de AR adotada foi proposta em [17]. No modelo, um estado identifica qual item i é inserido nas m mochilas no instante t. As ac ¸ões representam a intenc ¸ão de inserir um objeto i em t+1.…”

“…Em pesquisas recentes, os autores deste trabalho analisaram a influência da definic ¸ão das condic ¸ões de simulac ¸ão do AR em três problemas: Problema do Caixeiro Viajante (TSP) [14], [16], Problema da Mochila Multidimensional (MKP) [17] e Navegac ¸ão Autônoma [11]. Nesse sentido, esses estudos ressaltam a importância de investigar a determinac ¸ão das condic ¸ões de aprendizado para a obtenc ¸ão de bons resultados.…”

Análise da influência da taxa de aprendizado e do fator de desconto sobre o desempenho dos algoritmos Q-learning e SARSA: aplicação do aprendizado por reforço na navegação autônoma

“…Já o trabalho [9], define os parâmetros α e γ por tentativa e erro para um ambiente de navegação simulada. Em uma publicação recente dos autores deste trabalho, é avaliado o desempenho do algoritmo Q-learning na solução do Problema do Caixeiro Viajante, verificando os resultados da variação da polítca ε-greedy e da taxa de aprendizado [10]. Ainda na literatura, o método mais simples e muito utilizado é a definição dos parâmetros α e γ constantes em um única combinação inicial, como nos trabalhos [11] [12] [13] [14] [15].…”