Diferentes abordagens para o aprendizado da rede neural artificial multilayer perceptron

Abstract

Resumo: A área de Machine Learning tem ganhado destaque nos últimos tempos e as redes neurais artificiais estão entre as técnicas mais populares neste campo. Tais técnicas possuem a capacidade de aprendizado que ocorre no processo iterativo dos ajustes dos parâmetros. No presente trabalho, foram avaliadas diferentes abordagens para o aprendizado da rede neural Multilayer Perceptron (MLP), cuja arquitetura constitui-se das camadas de entrada, ocultas e de saída. As funções de ativação utilizadas para este estudo foram a sigmóide logística na camada oculta e a identidade para a de saída. Buscou-se compreender o aprendizado da rede inicialmente com dados simulados de uma estrutura de MLP, em que três algoritmos convencionais obtidos no pacote neuralnet do software R foram aplicados para a estimação dos parâmetros. Também foi feita a estimação via inferência Bayesiana e, ao final, uma nova proposta de aprendizado foi aplicada, a qual utiliza do ranking do Score Information Criteria (SIC) como ideia principal, para esta abordagem o algoritmo simulated annealing (SA) juntamente com a regressão linear são utilizados para a etapa de otimização. As mesmas técnicas também foram utilizadas para previsão em dois estudos de caso, sendo eles a previsão do preço de petróleo WTI e a previsão de exportação de produtos alimentícios, cuja unidade dos dados está em milhões de US$. A técnica proposta mostrou-se eficiente no modelo de séries temporais do petróleo, com acertividade compatível com a de técnicas tradicionais. O principal ganho está na simplicidade do modelo, com uma redução considerável no número de parâmetros. Palavras-chave: Inteligência Computacional. Redes Neurais Artificiais. Algoritmos de aprendizado. Score Information Criteria.

Abstract: The Machine Learning area has been gaining more attention and artificial neural networks are among the most well known techniques in this research area. Such techniques have the learning capacity that occurs in the iterative process of parameter adjustments. This paper evaluated different approaches for learning the Multilayer Perceptron (MLP) neural network, whose architecture consists of the input, hidden and output layers. The activation functions used for this study were the logistical sigmoid function in the hidden layer and the identity functions in the output layer. We sought to understand the network learning initially with simulated data from an MLP structure. Three conventional algorithms obtained in the neuralnet package of the R software were applied to estimate the parameters. Bayesian inference for parameters estimation was also used. Ultimately, a new learning proposal was applied, which uses the Score Information Criteria (SIC) ranking as the core concept. For this approach the Simulated Annealing (SA) algorithm and the linear regression were used for the optimization. The same techniques were also used to predict two case studies such as the WTI oil price prediction and the food product export prediction. The proposed technique proved to be efficient in the oil time series model. The main gain in this work is the simplicity of the model, with a reduction in the number of parameters. Keywords: Computational Intelligence. Artificial neural networks. Learning algorithms. Score Information Criteria.