Moldagem e aprendizado aplicados à coleta de recursos

Abstract

Resumo: Neste trabalho investiga-se a resolução do problema de coleta de recursos utilizando aprendizado por reforço e moldagem. Nesse problema, um agente deve explorar um ambiente desconhecido em busca de recursos e transportar esses recursos até um destino pré-definido. Quando aprendizado por reforço é utilizado, não é necessário escrever um algoritmo que controle as ações do agente, porém, esse tipo de técnica é custosa e demora para convergir. Para mitigar esses problemas em algoritmos de aprendizado existem diferentes técnicas. Neste trabalho pretende-se avaliar a técnica de moldagem. Moldagem consiste em prover ao agente informação privilegiada para guiar o aprendizado por caminhos promissores, reduzindo o esforço gasto ao explorar caminhos improdutivos durante esse processo. Para averiguar a utilidade da moldagem foi realizado um conjunto de experimentos para avaliar diferentes estratégias de moldagem em conjunto com o algoritmo de aprendizado NEAT para a resolução do problema de coleta de recursos. A partir dos resultados dos experimentos concluiu-se que moldagem afeta o treinamento do algoritmo NEAT, no entanto, melhores resultados são obtidos sem a utilização de moldagem. Palavras-chave: moldagem, aprendizado por reforço, neuroevolução, robótica, redes neurais artificiais, computação evolutiva, coleta de recursos

Abstract: This work researches the resolution of the foraging problem using reinforcement learning and shaping. In this problem, an agent explores a unknown environment searching for resources and delivering these resources to a pre-defined location. When using reinforcement learning to solve this problem, is not required to write an algorithm to control agent actions, however, such approach is expensive and slow to converge. There are some techniques used to mitigate these problems with learning algorithms. In this work, shaping is evaluated. Shaping provide the agent with privileged information used to guide the learning through promising paths, reducing the effort spent exploring unfruitful paths. To investigate the utility of shaping, a set of experiments were realised in order to evaluate different methods of shaping combined with the learning algorithm NEAT to solve the foraging problem. The results obtained through experiments show that shaping affects the performance of NEAT training however better results are obtained without shaping. Keywords: shaping, reinforcement learning, neuroevolution, robotics, artificial neural networks, evolutionary computing, foraging