A Response Surface Model Approach to Parameter Estimation of Reinforcement Learning for the Travelling Salesman Problem

Abstract

This paper reports the use of response surface model (RSM) and reinforcement learning (RL) to solve the travelling salesman problem (TSP). In contrast to heuristically approaches to estimate the parameters of RL, the method proposed here allows a systematic estimation of the learning rate and the discount factor parameters.The Q-learning and SARSA algorithms were applied to standard problems from the TSPLIB library. Computational results demonstrate that the use of RSM is capable of producing better solutions to both symmetric and asymmetric tests of TSP.

Estimação de Parâmetros do Aprendizado por Reforço para o Problema de Planejamento de Rotas com Reabastecimento

“…O modelo de AR definido para a resolução do problema de planejamento de rotas com reabastecimentoé composto por um conjunto de estados (S), ações (A) e reforços (R). A formulação adotadaé baseada em trabalhos anteriores: (Bianchi et al, 2009;Lima Júnior et al, 2010;Ottoni et al, 2018). Após analisar a lógica do problema abordado,é proposta a seguinte estrutura:…”

“…A metodologia experimental foi baseada em trabalhos recentes: (Ottoni et al, 2018(Ottoni et al, , 2019. As simulações foram realizadas no software M AT LAB R e compreenderam 16 grupos de experimentos (2 algoritmos × 4 instâncias × 2 tipos de problemas):…”

“…Uma técnica de Inteligência Artificial com relevantes aplicações no planejamento de rotas e no PCVé o Aprendizado por Reforço (AR) (Gambardella and Dorigo, 1995;Konar et al, 2013;Rakshit et al, 2013;Li et al, 2015;Ottoni et al, 2018). No AR, um agente aprende a partir de sucessos e fracassos interagindo em um ambiente (Sutton and Barto, 2018).…”

“…Um dos principais aspectos do ARé a estimação de parâmetros que otimizem o aprendizado, como taxa de aprendizado (α) e o fator de desconto (γ) (Even-Dar and Mansour, 2003;Schweighofer and Doya, 2003;Ottoni et al, 2019). A definição dos parâmetros podem influenciar diretamente no aprendizado de uma boa rota (Ottoni et al, 2018). Nesse sentido, Ottoni et al (2018) apresentam uma metodologia para a estimação de parâmetros do AR utilizando modelos de Superfície de Resposta (RSM) (Myers et al, 2009).…”

“…A definição dos parâmetros podem influenciar diretamente no aprendizado de uma boa rota (Ottoni et al, 2018). Nesse sentido, Ottoni et al (2018) apresentam uma metodologia para a estimação de parâmetros do AR utilizando modelos de Superfície de Resposta (RSM) (Myers et al, 2009).…”