Máquina de aprendizagem extrema com otimização por exame de partículas aplicada à previsão de séries temporais

Abstract

Resumo: Identificação de sistemas é uma área interessada em obter modelos matemáticos de sistemas desconhecidos baseados em dados de leituras sequenciais do sistema. Diversas aplicações do mundo real não tem sua dinâmica completamente compreendida ou são complexas para serem modeladas, para estes casos, a identificação de sistemas é uma ferramenta eficiente para modelagem e previsão. Este trabalho aborda redes neurais artificiais, mais precisamente, redes neurais com uma única camada de neurônios ocultos, em inglês, Single Layer Feedforward Neural Network (SLFN), para previsão de séries temporais. Um algoritmo de aprendizagem proposto recentemente chamado de Máquina de Aprendizagem Extrema, em inglês, Extreme Learning Machine (ELM), é introduzido para a tarefa de aprendizagem da rede neural. O algoritmo ELM é baseado na matriz inversa generalizada de Moore-Penrose, que torna o problema um simples sistema linear. No núcleo do algoritmo ELM, duas funções de ativação diferentes serão testadas, sendo que uma delas é uma função de ativação variável. Para alcançar melhores resultados, um método estocástico de otimização do campo da inteligência de enxame chamado de Otimização por Enxame de Partículas, em inglês, Particle Swarm Optimization (PSO), é validado para otimizar os parâmetros do algoritmo ELM. O PSO consiste em modelar as ações de um bando de pássaros procurando por comida, onde cada pássaro é uma partícula, e cada partícula é uma possível solução para o problema. Neste trabalho é proposta uma nova variação do PSO empregando a função gama invertida. Neste contexto, três conjuntos de dados são usados para testar os algoritmos, um é a leitura de uma fornalha, e dois são obtidos de equações diferenciais com comportamento caótico. Os modelos obtidos através do algoritmo ELM são então validados através de testes de correlação. As previsões realizadas pelo algoritmo ELM são promissoras para todos os conjuntos de dados, revelando que a combinação do algoritmo PSO com o ELM é uma eficiente forma de identificação de sistemas.

Abstract: System identification is a subject concerned about obtaining mathematical models of unknown systems based on sequential systems' data readings. Many real-world applications do not have their dynamics well understood yet or are complex for modeling, for these cases, system identification is an efficient tool for modeling and forecasting. This work approaches artificial neural networks, more precisely, the Single Layer Feedforward Neural Network (SLFN) for time series forecasting. A recently proposed learning algorithm called Extreme Learning Machine (ELM) is introduced for the neural network learning task. The ELM algorithm is based on the Moore-Penrose generalized inverse of a matrix, turning the problem into a simple linear system. In the core of ELM algorithm, two different activation functions will be evaluated, where one is a variable activation function. To reach better results, a stochastic optimization method of the swarm intelligence field called Particle Swarm Optimization (PSO) is validated to optimize ELM's parameters. PSO consists of modeling the actions of a flock of birds looking for food, where each bird is a particle and each particle is a possible solution for the problem. This work proposes a modified PSO based on the incomplete gamma function. In this context, three datasets are used for testing, one is from a gas furnace, and two are obtained from differential equations with chaotic behavior. After the optimization, model verification is realized by correlation tests. The ELM's forecasting results are promising for all datasets, revealing that PSO combined with ELM is an efficient way for the task of the system identification.