Representação de textos e arquitetura de redes neurais profundas mistas usando uma abordagem de evolução gramatical

Abstract

Resumo: A classificação de texto é um das tarefas do Processamento de Linguagem Natural (do inglês, Natural Language Processing (NLP)). Seu principal objetivo é rotular elementos textuais, tais como frases, questões, parágrafos e documentos. Em NLP, muitas abordagens têm alcançado resultados promissores sobre essa tarefa. Abordagens baseadas em Redes Profundas têm sido constantemente usadas neste contexto, em especial as Redes Neurais Profundas (do inglês, Deep Neural Network (DNNs)) adicionam a habilidade de extração de características e a criação de um modelo de aprendizagem. A escala crescente e complexidade das arquiteturas DNN colocaram novos desafios para projetar e configurar DNNs. Em termos gerais, este trabalho está alinhado às tarefas de classificação de texto e como melhorar a performance de modelos já consolidados na literatura. Nossa hipótese é que a performance de modelos de classificação de texto pode ser incrementada em duas frentes complementares: 1) Representação de texto como aprimoramento contextual; e 2) Construção de modelos especializados no domínio do texto. Neste contexto, este estudo é dividido em duas partes principais: Primeiramente é apresentado uma abordagem para gerar representações de textos refinadas e semanticamente mais coesas. Para avaliar este modelo realizamos experimentos de classificação de texto consolidados na literatura que colocam à prova o modelo de representação. Em seguida, é apresentado uma aplicação da abordagem baseada em gramática evolutiva para o desenho de DNNs usando modelos baseados em Convolutional Neural Networks (CNNs), Long Short-Term Memory (LSTM) e Graph Neural Networks (GNNs) aplicadas à tarefa de Classificação de Texto. Propõe-se, portanto, diferentes gramáticas, que foram definidas para capturar as características de cada tipo de rede, propondo também algumas combinações entre elas, analisando seu impacto nas arquiteturas de redes produzidas e no desempenho dos modelos gerados. Os resultados em ambas as frentes alcançam valores animadores e oferecem direções promissoras de pesquisas futuras, pois mostram que as representações de textos ganham significativos pontos semânticos e as arquiteturas projetadas têm desempenho comparável ao de suas contrapartes. Na melhor das arquiteturas, foi possível melhorar os resultados de uma rede neural estruturada manualmente em 8,18 pontos percentuais o projeto de representação de texto proposto neste trabalho.

Abstract: Text classification is one of the Natural Language Processing (NLP) tasks. Its main objective is to label textual elements, such as phrases, queries, paragraphs, and documents. In NLP, several approaches have achieved promising results regarding this task. Deep Learning-based approaches have been widely used in this context, with deep neural networks (DNNs) adding the ability to generate a representation of the data and a learning model. The increasing scale and complexity of DNN architectures was expected, posing new challenges to designing and configuring DNNs. In general terms, this work is aligned with text classification tasks and how to improve the performance of models already consolidated in the literature. Our hypothesis is that the performance of text classification models can be increased on two complementary fronts: 1) Text representation as contextual enhancement; and 2) Construction of specialized models in the text domain. So, this study is divided into two parts: Firstly we present a new approach to refine a text in order to create a comphreensive text representation model. Secondly, we present a application of a grammar-based evolutionary approach to the design of DNNs using models based on Convolutional Neural Networks (CNNs), Long Short-Term Memory (LSTM), and Graph Neural Networks (GNNs). We propose different grammars, which were defined to capture the features of each type of network, also proposing some combinations, verifying their impact on the produced designs and performance of the generated models. The results on both fronts reach encouraging values and offer promising directions for future research, as they show that text representations gain significant semantic points and the designed architectures have performance comparable to their counterparts. In the best of architectures, it was possible to improve the results of a manually structured neural network by 8.18 percentage points using the text representation project proposed in this work.