Aprendizado da coordenação de comportamentos primitivos para robôs móveis

Abstract

Para ter uma aplicação real, um robô móvel deve poder desempenhar sua tarefa em ambientes desconhecidos. Uma arquitetura para robôs móveis que se adapte ao meio em que o robô se encontra é então desejável. Este trabalho apresenta uma arquitetura adaptativa para robôs móveis, de nome AAREACT, que aprende como coordenar comportamentos primitivos codificados por Campos Potenciais através de Aprendizado por Reforço. A atuação da arquitetura proposta, após uma fase de aprendizado inicial, é comparada com a apresentada por uma arquitetura com coordenação fixa dos comportamentos, demonstrando melhor desempenho para diversos ambientes. Os experimentos foram realizados no simulador do robô Pioneer, da ActivMedia Robotics®. Os resultados experimentais obtidos neste trabalho apontam também a alta capacidade de adaptação da arquitetura AAREACT para um ambiente e tarefa especificos.<br>In most real world applications, mobile robots should perform their tasks in previously unknown environments. Thus, a mobile robot architecture capable of adaptation is very suitable. This work presents an adaptive architecture for mobile robots, AAREACT, which has the ability of learning how to coordinate primitive behaviors codified by the Potential Fields method by using Reinforcement Learning. The proposed architecture’s performance is compared to that showed by an architecture that performs a fixed coordination of its behaviors, and shows a better performance for different environments. Experiments were performed in the robot Pioneer’s simulator, from ActivMedia Robotics®. The obtained results also suggest that AAREACT has good adaptation skills for specific environment and task

Robotic Surgery: Bioethical Aspects

“…The actively controlled devices perform their actions according to predetermined schedules; semi-actively or passively controlled devices reflect the physical movement of the controller, minimizing or maximizing the strength and range, allowing to perform actions that would be impossible without this aid. Moreover, are already available robots with locomotive capacity to develop reactive behaviors, for example obstacles, and build an evolutionary learning to adapt to different environments, whose refinement could produce important advances in robotics 26 .…”

Análise da influência da taxa de aprendizado e do fator de desconto sobre o desempenho dos algoritmos Q-learning e SARSA: aplicação do aprendizado por reforço na navegação autônoma

“…Conforme [11], reforços intermediários são importantes para acelerar o aprendizado, no entanto, esses reforços devem ter valores inferiores aquele recebido quando o robô atinge o alvo.…”

“…Em uma publicação recente dos autores deste trabalho, é avaliado o desempenho do algoritmo Q-learning na solução do Problema do Caixeiro Viajante, verificando os resultados da variação da polítca ε-greedy e da taxa de aprendizado [10]. Ainda na literatura, o método mais simples e muito utilizado é a definição dos parâmetros α e γ constantes em um única combinação inicial, como nos trabalhos [11] [12] [13] [14] [15].…”

Análise do Aprendizado por Reforço Aplicado a Otimização em Tomadas de Decisões Multiagente

“…Dessa forma, o objetivo de "marcar um gol" pode ser desmembrado em "obter posse de bola", "driblar em direçãoà meta" e "chutar em direção ao gol". Reforços intermediários são importantes para acelerar o aprendizado, no entanto, esses reforços devem ter valores inferioresàquele recebido quando o robô atinge o alvo [7].…”

“…Desde a elaboração do Q-learning, pesquisas e publicações vem propondo diferentes aplicações e análises para o AR. Robótica móvel [7], otimização na produção de petróleo [8], tráfego aéreo [9] e controleótimo de descarregadores de navios [10] são alguns exemplos de aplicações do AR encontrados na literatura. Outras pesquisas atuam na linha de tentar diminuir o tempo gasto para convergência dos algoritmos de AR.…”