Q-SVR : aprendizado por reforço via aproximação da função ação-valor por máquinas de vetores suporte

Abstract

Resumo: A busca por novos algoritmos que consigam resolver o problema do aprendizado por reforço, no qual um agente explora um ambiente com estados buscando tomar ações que maximizem sua recompensa, tem crescido nos últimos tempos, principalmente ao combinar com outras técnicas de aproximação de funções já estabelecidas em outras áreas do aprendizado de máquina. Apesar de alguns algoritmos já terem se consolidado da literatura, ainda existem problemas notáveis para explorar, como a dificuldade em lidar com ambientes com um alto número de ações e estados do Q-Learning e o problema da não-convexidade do algoritmo Deep Q-Network. Uma técnica pouco explorada para o problema do aprendizado por reforço é a Máquina de Vetores Suporte, técnica utilizada tanto para classificação e regressão que tem uma grande capacidade de generalização. Essa tem a característica desejável em algoritmos de otimização que é a convexidade no seu problema de otimização. O objetivo deste trabalho é propor um algoritmo de aprendizado por reforço utilizando Máquina de Vetores Suporte, o qual é chamado de Q-SVR. O estudo se limitou à ambientes de problemas de aprendizado por reforço que têm um número discreto e pequeno de estados. Testes foram realizados e mostraram a viabilidade do algoritmo proposto, assim como sua superioridade em relação aos algoritmos Q-Learning e Deep Q-Network em algumas métricas específicas. Uma aplicação no jogo de cartas Blackjack também foi apresentada. Os testes também apontaram possibilidades de melhorias do algoritmo proposto, como o alto tempo computacional e a dificuldade de lidar com problemas com muitos estados

Abstract: The search for new algorithms that can solve the reinforcement learning problem, in which an agent explores an environment with states seeking to take actions that maximize its reward, has grown in recent times, especially when combined with other function approximation techniques already established in other areas of machine learning. Although algorithms have already been consolidated in the literature, there are still notable problems to explore, such as the difficulty in dealing with environments with a high number of actions and states of Q-Learning and the problem of non-convexity of the Deep Q-Network algorithm. A little-explored technique for the reinforcement learning problem is the Support Vector Machine, a technique used for both classification and regression that has a great generalization capacity. This has a desirable characteristic in optimization algorithms, which is convexity in its optimization problem. The objective of this work is to propose a reinforcement learning algorithm using Support Vector Machine, which is called Q-SVR. The study was limited to reinforcement learning problem environments that have a small and discrete number of states. Tests were performed and showed the viability of the proposed algorithm, as well as its superiority over the Q-Learning and Deep Q-Network algorithms in some specific metrics. An application in the card game Blackjack was also presented. The tests also pointed out possibilities for improvements in the proposed algorithm, such as the high computational time and the difficulty of dealing with problems with many states