Navegação de robôs móveis utilizando aprendizado por reforço e lógica fuzzi

Abstract

Aprendizado por Reforço pode ser visto como uma forma de programar agentes utilizando recompensas e punições para resolver tarefas específicas através de interações com o ambiente. Neste trabalho é investigado o desempenho dos mais importantes algoritmos de aprendizado por reforço: Q-learning, R-learning e H-learning, no contexto de tarefas de navegação evitando colisões. Além disso, é proposto neste trabalho um método de navegação por sonares, denominado R'-learning, que incorpora lógica fuzzy ao algoritmo R-learning para navegação de robôs móveis em ambientes incertos. Foi também realizada uma aplicação de navegação utilizando o algoritmo R'-learning que consiste em ensinar robôs a encontrar pequenos objetos em um corredor. Para isto, foi proposto um mapeamento de estados do ambiente a partir do conceito de força de repulsão. O robô mostrou ter comportamentos satisfatórios ao executar a tarefa proposta.<br>Reinforcement Learning can be seen as a way of programming agents by reward and punishment for solving specific tasks through repeated interactions with the environment. In this work, the performance of the most important reinforcement learning algorithms: Qlearning, Rlearning, H-learning is investigated in the context of a navigation task avoiding obstacles. Furthermore, this work proposes a sensor-based navigation method, named R'-learning, which incorporates fuzzy logic into the Rlearning algorithm for mobile robot navigation in uncertain environment. An application is realized consisting of teaching the robots to find small objects in a corridor. For this, a state set mapping has been proposed through force field concepts. R'learning algorithm has been used for this navigation task. The robot showed to have satisfactory behaviors in performing this task

Navegação robô móvel diferencial com AMCL utilizando o ROS

“…Este trabalho mostra a estrutura física e a implementação da estratégia de controle de um robô que tem como objetivo a navegação autônoma, baseado nas aplicações que foram compiladas de uma revisão sistemática da literatura (Faria & Romero, 2002;Romero et al, 2014). A metodologia utilizada baseia-se em projetar uma estrutura de um robô e utilizar um modelo matemático que se aproxime o máximo possível dessa estrutura a fim de que possam ser desenvolvidos os algoritmos…”

Análise da influência da taxa de aprendizado e do fator de desconto sobre o desempenho dos algoritmos Q-learning e SARSA: aplicação do aprendizado por reforço na navegação autônoma

“…No entanto, vale ressaltar, que para todos os valores de α > 0, 01, o modelo ajustado registrou desempenho superior ao grupo de referência. Já analisando a razão de chances para o fator de desconto, nota-se que γ = 0,75 alcançou o maior valor (1,17).…”

“…A navegação autônoma é uma das situações em robótica móvel em que é dado alto enfoque nos estudos de aprendizado por reforço [17] [11] [18] [14] [12]. Nesse tipo de problema, geralmente um agente deve aprender a se movimentar por um ambiente desconhecido, evitando colisões com obstáculos.…”

Navegação de robôs utilizando curvas implícitas

“…No Brasil, vários grupos de pesquisa têm considerado o problema de planejamento e controle de robôs com a utilização de técnicas distintas. Métodos de planejamento de caminhos em ambientes desconhecidos foram propostos por exemplo em (de Lima Ottoni e Lages, 2005) e (Faria e Romero, 2002). Outros métodos baseados em sensores e inspirados pela biologia podem ser vistos em (Langer et al, 2006) e (Tavares Neto e dos Santos Coelho, 2005).…”