Sobre o uso de regressão por vetores suporte para a construção de modelos em um método de região de confiança sem derivadas

Abstract

Resumo: Em otimização, os métodos de região de confiança a cada iteração utilizam um modelo que aproxima localmente a função a ser otimizada. Em métodos sem derivadas geralmente os modelos são construídos por interpolação polinomial. Apresentamos a construção de modelos de uma função utilizando vetores suporte, que são uma classe de métodos de aprendizagem de máquinas que podem ser utilizados para a classificação de padrões ou regressão. Apresentamos ainda modificações em um algoritmo de região de confiança livre de derivadas e sua prova de convergência. Mostramos que os modelos construídos por regressão via vetores suporte satisfazem as hipóteses necessárias para a convergência do algoritmo e podem ser utilizados como alternativa à interpolação polinomial. Experimentos numéricos preliminares são apresentados comparando o desempenho do algoritmo com modelos construídos por regressão via vetores suporte e por interpolação polinomial.

Abstract: In optimization, each iteration of trust-region methods uses a model that locally approximates the function to be minimized. In derivative-free methods, the models generally are built by polynomial interpolation. Alternatively, we present function models built by support vectors, a class of machine learning methods that can be used to pattern classification or regression. We also propose modifications for a derivative-free trust-region algorithm and its global convergence proof. We show that support vector regression models satisfy the assumptions required for the global convergence of the trust-region algorithm. Preliminary numerical experiments are presented to compare the performance of the algorithm using models constructed by support vectors regression and by polynomial interpolation.