Desempenho de algoritmos de aprendizagem por reforço sob condições de ambiguidade sensorial em robótica móvel

Abstract

We analyzed the performance variation of reinforcement learning algorithms in ambiguous state situations commonly caused by the low sensing capability of mobile robots. This variation is caused by violation of the Markov condition, which is important to guarantee convergence of these algorithms. Practical consequences of this violation in real systems are not firmly established in the literature. The algorithms assessed in this study were Q-learning, Sarsa and Q(λ), and the experiments were performed on a Magellan Pro TM robot. A method to build variable resolution cognitive maps of the environment was implemented in order to provide realistic data for the experiments. The implemented learning algorithms presented satisfactory performance on real systems, with a graceful degradation of efficiency due to state ambiguity. The Q-learning algorithm accomplished the best performance, followed by the Sarsa algorithm. The Q(λ) algorithm had its performance restrained by experimental parameters. The cognitive map learning method revealed to be quite efficient, allowing adequate algorithms assessment. RESUMOAnalisamos a variação de desempenho de algoritmos de aprendizagem por reforço em situações de ambigüidade de estados comumente produzidas pela baixa capacidade sensorial de robôs móveis. Esta variaçãoé produzida pela violação da condição de Markov, importante para garantir a convergência destes algoritmos. As conseqüências práticas desta violação em sistemas reais não estão avaliadas de maneira definitiva na literatura. São estudados neste artigo os algoritmos Q-learning, Sarsa e Q(λ), em experimentos realizados em um robô mó-vel Magellan Pro TM . De modo a definir um verificador de desempenho para os algoritmos testados, foi implementado um método para criar mapas cognitivos de resolução variável. Os resultados mostram um desempenho satisfatório dos algoritmos, com uma degradação suave em função da ambigüidade sensorial. O algoritmo Q-learning teve o melhor desempenho, seguido do algoritmo Sarsa. O algoritmo Q(λ) teve seu desempenho limitado pelos parâmetros experimentais. O método de criação de mapas se mostrou bastante eficiente, permitindo uma análise adequada dos algoritmos. PALAVRAS-CHAVE:Robôs móveis autônomos, aprendizagem por reforço, aprendizagem de mapas, redes neurais.

Análise do Aprendizado por Reforço Aplicado a Otimização em Tomadas de Decisões Multiagente

“…A ideia básica do Q-learningé que o algoritmo de aprendizagem aprende um função de avaliaçãoótima sobre todo o espaço de pares estado-ação S × A. Desde que o particionamento do espaço de estados do robô e do espaço de ações não omita e não introduzam novas informações relevantes. Quando a funçãoótima Q for aprendida, o agente saberá qual ação resultará na maior recompensa em uma situação particular s futura [24].…”

“…A função Q(s, a) de recompensa futura esperada ao se escolher a ação a no estado s,é aprendida por meio de tentativas e erros segundo a equação (1): A política de escolha ações adotada foi a ε-gulosa(ε-Greedy) [2], onde o agente tem probabilidade igual a 1-ε de escolher a ação que maximiza a função valor estado-ação Q(s, a) estando no estado s, e executa uma ação aleatória com probabilidade ε. A forma procedimental do algoritmo Qlearningé retratada no algoritmo 1 [23], [24].…”

“…)em que αé a taxa de aprendizagem, r té a recompensa, resultante de tomar a ação a no estado s, γé fator de desconto e o termo V t (s t+1 ) = max a Q(s t+1 , a t )é a utilidade do estado s resultante da ação a, obtida utilizando a função Q que foi aprendida até o presente[24].…”

Aprendizado da coordenação de comportamentos primitivos para robôs móveis

“…Para ambientes estacionários, a teoria de processos markovianos de decisão -em inglês, Markov Decision Processes, ou MDPs -garante um tratamento matemático adequado. De fato, a maior parte dos trabalhos em AR baseiam-se em MDPs, embora os conceitos envolvidos possam ser aplicados de forma mais genérica (Monteiro, 2002).…”

Análise da influência da taxa de aprendizado e do fator de desconto sobre o desempenho dos algoritmos Q-learning e SARSA: aplicação do aprendizado por reforço na navegação autônoma

“…A navegação autônoma é uma das situações em robótica móvel em que é dado alto enfoque nos estudos de aprendizado por reforço [17] [11] [18] [14] [12]. Nesse tipo de problema, geralmente um agente deve aprender a se movimentar por um ambiente desconhecido, evitando colisões com obstáculos.…”