Aplicação de metaheurísticas para otimização do tratamento de dados, hiper parâmetros e treinamento de uma rede neural artificial

Abstract

Resumo: A pesquisa em Redes Neurais Artificiais tem ganhado destaque como um campo de interesse vital para engenheiros e cientistas de variadas áreas de conhecimento. Com o avanço contínuo das tecnologias baseadas em Redes Neurais Artificiais, emerge a necessidade de aprofundar o conhecimento acerca de suas múltiplas fases operacionais, com o intuito de otimizar sua aplicabilidade prática. Esta dissertação visa investigar a integração de metaheurísticas como instrumento de aprimoramento na performance de Redes Neurais Artificiais, analisando especificamente a utilização das técnicas de Algoritmo Genético, Evolução Diferencial e Nuvem de Partículas. Essas técnicas foram aplicadas isoladamente em três componentes fundamentais de uma Rede Neural Artificial: pré-processamento de dados, seleção de Hiper parâmetros e treinamento. Posteriormente, as etapas foram otimizadas em conjunto, combinando a otimização de diferentes etapas em somente um algoritmo. O estudo contemplou a implementação dessas abordagens em três conjuntos de dados distintos para examinar o impacto na eficácia de Redes Neurais Artificiais em tarefas de classificação e regressão. Foram propostas também adaptações nas metaheurísticas para otimização mais precisa de cada etapa considerada. A análise dos resultados evidencia uma elevação notável da acurácia e da precisão ao incorporar metaheurísticas no pré-processamento e na seleção de Hiper parâmetros. A otimização simultânea dessas fases resultou em melhorias expressivas na performance global da Rede Neural Artificial, chegando a reduções de até aproximadamente 16,3% na raiz do erro quadrático médio para um dos casos. Embora a otimização no treinamento dos pesos apresente potencial relevante, os resultados obtidos não foram superiores às técnicas convencionais, atingindo resultados próximos, porém com uma demanda computacional 50% maior, no melhor dos casos. Conclui-se que, por meio da elaboração de estratégias metaheurísticas customizadas para cada fase, pode-se facilitar o manejo eficaz de Redes Neurais Artificiais, conduzindo a uma elevação geral na sua performance.

Abstract: Research in Neural Networks has gained prominence as a field of vital interest for engineers and scientists from a variety of knowledge areas. With the continuous advancement of Neural Network-based technologies, there emerges the need to deepen our understanding of their multiple operational phases, with the aim of optimizing their practical applicability. This dissertation aims to investigate the integration of metaheuristics as a tool for enhancing the performance of Neural Networks, specifically examining the use of Genetic Algorithm, Diffe rential Evolution, and Particle Swarm Optimization techniques. These techniques were applied individually to three fundamental components of a Neural Network: data preprocessing, hyperparameter selection, and training. Subsequently, the different strategies were combined into the same algorithm to study the combined effect of the optimization. The study included the implementation of these approaches on three different datasets to examine their impact on the effectiveness of Neural Networks in classification and regression tasks. Adaptations in the metaheuristics for more precise optimization of each considered stage were also proposed. The analysis of the results reveals a notable increase in accuracy and precision when incorporating metaheuristics into pre-processing and hyperparameter selection. Simultaneous optimization of these phases resulted in significant improvements in the overall performance of the Neural Network, leading to reductions of up to approximately 16.3% in the root mean square error for one of the cases. Although optimization in weight training presents significant potential, the results obtained were not superior to conventional techniques, achieving similar outcomes but with a 50% higher computational demand in the best case. It is concluded that through the development of customized metaheuristic strategies for each phase, the effective management of Neural Networks can be facilitated, leading to a general elevation in performance.