Explorando o Potencial de Algoritmos de Aprendizado com Reforço em Robôs Móveis

Abstract

Lista de Tabelas 2.1 Transição de estados 4.1 Reforço imediato definindo a tarefa de navegação 4.2 Classificação das leituras priorizando objetos próximos 4.3 Classificação das leituras priorizando objetos próximos em cinco classes.. . 4.4 Recompensas para os algoritmos R-learning e RL/earning. 5.1 Recompensas para o robô pegador de objetos. vi Lista de Algoritmos 2.1 TD(À) 2.2 Q-learning 2.3 SARSA 2.4 R-learning 2.5 H-1 earning 4.1 It'-learning vii Resumo O problema de aprendizado com robôs é essencialmente fazer com que o robô execute tarefas sem a necessidade de programá-los explicitamente. Nos últimos anos, Aprendizado de Máquina, um subcampo de Inteligência Artificial, tem procurado substituir programação explicita pelo processo de ensinar uma tarefa. O Aprendizado com Reforço é um dos paradigmas do aprendizado não-supervisionado, podendo ser visto como uma forma de ensinar o robô a realizar uma tarefa sem especificar previamente como realizá-la. O problema de aprendizado com reforço pode ser modelado como: um conjunto de estados do ambiente, um conjunto de ações e um conjunto de recompensas Neste trabalho explora-se o potencial dos principais algoritmos de aprendizado com reforço: Q-learning, R-/earning e H-learning. Desta forma, foram comparados métodos "independentes de modelo" e "baseados em modelo", verificando a eficiência de cada algoritmo para a tarefa de navegação em um ambiente dinâmico contendo obstáculos. Além disso, este trabalho propõe um método de navegação baseado em sensores, chamado R'-learning, o qual incorpora conceitos de lógica fuzzy ao algoritmo R-/earning para a navegação de robôs móveis em ambientes desconhecidos. Foi realizada uma aplicação que consiste em ensinar o robô a encontrar pequenos objetos. Para isto, um conjunto de estados foi mapeado através de conceitos de força de repulsão e para navegação foi utilizado o algoritmo R'-learning. O robô mostrou ter um comportamento satisfatório ao realizar esta tarefa.

Aprendizado por reforço relacional para o controle de robôs sociáveis

“…Muitos tipos diferentes de paradigmas de aprendizado podem ser encontrados na literatura. (Mitchell, 1997;Faria, 2000).…”

“…As recompensas que o agente espera receber, depende das ações que ele escolherá. Deste modo, funções de custo são definidas de acordo com políticas particulares (Faria, 2000).…”

“…Considere o problema: para uma dada política de ação fixa π, como é possível calcular por simulação -i.e., sem a ajuda de PD -a função de avaliação V π ? A solução mais simples é executar muitas trajetórias simuladas para cada estado e calcular a média aritmética dos reforços acumulados obtidos, ou seja, uma simulação de Monte Carlo (Faria, 2000).…”

“…O Aprendizado por Reforço está associado a questão na qual o agente deve aprender comportamentos onde não exista um auxílio externo, utilizando somente as iterações de tentativa e erro em um ambiente dinâmico. Baseado na idéia que, se uma ação é seguida de estados satisfatórios, ou por uma melhoria no estado, então a tendência para produzir esta ação é aumentada, isto é, reforçada (Faria, 2000).…”

“…A técnica de DT parte da idéia de propagar o reforço pelo tempo, assim, os estados que foram visitados anteriormente e que conduziram a esta condição, serão associados a uma predição de conseqüências futuras. Isto está baseado em uma suposição importante em processos dinâmicos, chamada Processo de Decisão de Markov (PDM) (Faria, 2000).…”