Métodos de busca direta para seleção de parâmetros em máquinas de vetores suporte

Abstract

Resumo: Nesta dissertação apresentamos uma revisão de conceitos acerca das máquinas de vetores suporte, utilizadas para problemas de classificação e regressão no contexto de aprendizagem de m'máquina. Abordamos detalhes sobre as soluções dos problemas primal e dual gerados pela teoria de m'máquinas de vetores suporte para classificação. Tendo em vista que escolher adequadamente os parâmetros utilizados nos problemas de Otimização envolvidos pode melhorar o desempenho do classificador, estudamos dois métodos de otimização sem derivadas, a saber, busca padrão e busca direta com malha adaptável, e discutimos como estes podem auxiliar nessa tarefa. Para avaliar a eficiência de tais métodos nesse contexto, nós os comparamos com a clássica busca por grid na aplicação a trinta e quatro problemas de classificação binária da biblioteca LIBSVM. Constatamos que a busca padrão utilizada e a busca direta com malha adaptável foram capazes de encontrar parâmetros tão bons quanto a busca por grid, com baixa taxa de vetores suporte e alta taxa de acerto no conjunto de teste, resultando em horas ou até dias de economia de processamento. Palavras-chave: Máquinas de vetores suporte, Otimização sem derivadas, parâmetros algorítmicos, busca padrão, método de busca direta com malha adaptável.

Abstract: In this work, we present a review on support vector machines, a very useful tool for classification and regression problems on machine learning. We discuss details about solutions of the primal and dual problems generated by the theory of support vector machines for classification. Considering that properly choosing the parameters used in the problems of optimization involved can improve the performance of the classifier, we studied two methods of derivative-free Optimization, namely pattern search method and mesh adaptive direct search method, and we discussed how they can help in this task. In order to verify the efficiency of such methods in this context, we compare them with the classic grid search in the application to thirty four binary classification problems of the LIBSVM library. We found that the pattern search and the mesh adaptive direct search were able to find parameters as good as the ones found by the grid search, with low support vector rates and high accuracy in the test set, resulting in hours or even days of processing economy. Keywords: Support vector machines, derivative-free Optimization, algorithmic parameters, pattern search, mesh adaptive direct search method.