Um novo critério estocástico para poda iterativa nas redes neurais convolucionais

Abstract

Resumo: As técnicas de poda aplicadas nas redes neurais artificiais são divergentes em relação à tendência dos últimos anos. Enquanto as arquiteturas se tornam cada vez maiores, complexas, com mais parâmetros e camadas, os métodos de poda buscam reduzir a quantidade de parâmetros e a complexidade das redes. A hipótese do bilhete premiado é um algoritmo de poda iterativa para achar redes super esparsas. Esta técnica mostrou que com os mesmos pesos é possível chegar a uma rede de desempenho igual ou superior à rede não podada. Dessa forma, a pergunta natural é: existem outros critérios de poda para se achar o bilhete premiado? Neste trabalho é apresentado um novo critério de poda, denominado de Poda Estocástica com Camada Nula. Utilizando quatro conjuntos de dados e sete arquiteturas da literatura foi analisado o comportamento do método proposto. A análise foi feita por meio do desempenho, níveis de esparsidade e contagem das operações de pontos flutuantes ao longo das rodadas de poda. O algoritmo de Poda Estocástica com Camada Nula conseguiu melhorar a acurácia das redes testadas e apresentou o melhor desempenho quando estavam em seus maiores níveis de esparsidade

Abstract: Pruning techniques applied to artificial neural networks are divergent from the trend observed in recent years. While architectures are becoming larger, more complex, with more parameters and layers, pruning methods reduce the number of parameters and the complexity of networks. The lottery ticket hypothesis is an iterative pruning algorithm to find highly sparse networks. It demonstrated that it is possible to achieve a network with equal or superior performance to the unpruned network with the same initial weights. Thus, the natural question is: are there other pruning criteria to find the winning ticket? In this work, a new pruning criterion is presented, called Stochastic Pruning with Null Layer. The proposed method was analyzed using four datasets and seven architectures from the literature. The analysis was conducted through performance, sparsity levels, and Floating-Point Operations throughout the pruning rounds. The Stochastic Pruning with Null Layer algorithm improved the accuracy of the tested networks and achieved the best performance when it was at its highest levels of sparsity