Aprendizado e Controle de Robôs Móveis Autônomos Utilizando Atenção Visual

Abstract

Este artigo descreve um modelo de aprendizado por reforço capaz de aprender tarefas de controle complexas utilizando ações e estados contínuos. Este modelo, que é baseado no ator-crítico contínuo, utiliza redes de funções de base radial normalizadas para aprender o valor dos estados e das ações, sendo capaz de configurar a estrutura destas redes de forma automática durante o aprendizado. Além disso, um mecanismo de atenção visual seletiva é utilizado para perceber o ambiente e os estados. Para a validação do modelo proposto, foi utilizada uma tarefa relativamente complexa para os algoritmos de aprendizado por reforço: conduzir uma bola até o gol em um ambiente de futebol de robôs simulado. Os experimentos realizados demonstram que o modelo proposto é capaz realizar a tarefa em questão com bastante sucesso utilizando somente informações visuais.

Rede neural hierárquica para aprendizado de enxames de robôs em tempo real

“…O uso da arquitetura de aprendizado adotada justifica-se pelo grande número de iterações que algoritmos de aprendizado por reforço tradicionais exigem, pela simplicidade de obtenção de conhecimento, e para a experimentação de tal estrutura em um sistema multirrobótico, com a possibilidade de compartilhamento de informação. Arquiteturas de aprendizado online na forma de redes neurais crescentes foram, também, alternativas para a solução de aprendizado online em outros trabalhos recentes (Heinen e Engel, 2010) (Silva et al, 2012). O problema da escolta foi escolhido porque sua eficácia é sensivelmente dependente de um número de robôs razoável, visto que o agente precisa ser coberto pelos robôs, e porque se trata de um problema de navegação de dificuldade considerável porque os robôs não só devem perseguir um agente móvel como evitar colisões entre os robôs e eventuais obstáculos do ambiente.…”