Performance de métodos de otimização aplicados ao problema de treinamento de máquinas de vetores suporte

Abstract

Resumo: Neste trabalho, pesquisou-se e implementou-se m'etodos de Otimiza?c˜ao para treinamento em M'aquina de Vetores de Suporte. O foco principal consiste em analisar o desempenho de cada um deles e se algum se sai melhor que os demais em termos de tempo computacional e m'etricas de classifica?c˜ao. Tais m'etodos de Otimiza?c˜ao foram propostos para problemas gen'ericos de Otimiza?c˜ao n˜ao Linear restritos, e aqui objetivou-se adapt'a-los ao problema de treinamento de M'aquina de Vetores Suporte. Dessa forma, foram implementados m'etodos das classes de proje?c˜ao, Pontos Interiores, Restri?c˜oes Ativas, Lagrangiano Aumentados e Filtro. Esses algoritmos foram implementados em MATLAB®, e experimentos num'ericos foram conduzidos a partir da aplica?c˜ao de conjuntos de dados gerados aleatoriamente e de reposit'orios de Aprendizado de M'aquina. Dos experimentos realizados, analisando sob a 'otica de qualidade de solu?c˜oes encontradas, an'alise de sobrevivˆencia, perfil de desempenho de treinamento, bem como observando m'etricas de tempo de treinamento, acur'acia, F1 Score e coeficiente de correla?c˜ao de Matthews, os resultados indicam que at'e mesmo uma implementa?c˜ao ingˆenua do algoritmo de Restri?c˜oes Ativas baseado em Otimiza?c˜ao Sequencial M'?nima foi mais eficiente na maioria dos crit'erios quando comparado aos demais algoritmos implementados.

Abstract: In this work, Optimization methods were researched and implemented for training Support Vector Machine. The main focus is to analyze the performance of each method and determine if any outperforms the others in terms of computational time and classification metrics. These Optimization methods were originally proposed for generic problems of constrained non-linear Optimization, and the objective here was to adapt them to the problem of Support Vector Machine training. Thus, methods from the classes of projection, Interior Points, Active Sets, Augmented Lagrangian, and Filter method were implemented. These algorithms were implemented in MATLAB®, and numerical experiments were conducted using randomly generated datasets and Machine Learning repositories. From the performed experiments, analyzing from the perspective of quality of solutions found, survival analysis, training performance profile, as well as observing training time, accuracy, F1 Score, and Matthews correlation coefficient, the results indicate that even a na¨?ve implementation of the Active Set algorithm based on Sequential Minimal Optimization was more efficient in most criteria compared to the other implemented algorithms.