Um estudo sobre o método de gradientes conjugados para minimização irrestrita

Abstract

Resumo: Dentre os métodos para a minimização irrestrita de funções contínuas e diferenciáveis encontramos o Método de Gradientes Conjugados, que é o foco deste trabalho. Revisamos várias das suas versões, que diferem principalmente na escolha do parâmetro Bk da atualização na direção de busca. Além disso, estudamos também as propriedades teóricas dos algoritmos clássicos, como os propostos por Hestenes e Stiefel, Fletcher e Reeves e Polak, Rebi_ere e Polyak. Em seguida, analisamos o método proposto por Dai e Kou em 2013, que utiliza elementos da regra de atualização BFGS para construir as direções de busca, bem como traz melhorias para as condições de Wolfe. Ao final do texto, apresentamos alguns experimentos numéricos para avaliar o desempenho do método de Gradientes Conjugados para algumas escolhas do parâmetro Bk e do critério de busca linear utilizado.

Abstract: Among the methods for unconstrained optimization of continually differentiable functions we find the Conjugate Gradient Method, which is the subject of this work. We revise many of its versions, that differ mainly in the choice of the parameter Bk of the search direction update. We also study the theoretical properties of some classical algorithms, such as the ones proposed by Hestenes and Stiefel, Fletcher and Reeves and Polak, Rebi_ere and Polyak. After that, we analyze the method proposed by Dai and Kou in 2013, which uses elements from the BFGS update rule to build the search directions as well as brings some improvements to the Wolfe conditions. At the end of the text, we present some numerical experiments to evaluate the performance of the Conjugate Gradient method for some choices of the parameter Bk and of the linear search criterion used.