Anotaí : uma ferramenta para a anotação de bases textuais utilizando aprendizado de máquina iterativo

Abstract

Resumo: Esse trabalho tem como objetivo analisar o uso de diferentes técnicas e algoritmos de aprendizado de máquina aplicados a análise de sentimentos, em especial o estudar do impacto de bases de dados pequenas ou em construçao em algoritmos de aprendizado de máquina. Além disso, é proposto um protótipo de uma ferramenta com o intuito auxiliar a criaçao de novas bases de dados, a qual faz uso das técnicas de aprendizado de máquina analisadas. Para isso é utilizada uma base de dados em construçao proposta pelo Departamento de Comunicaçao da UFPR que consiste em """" comentários extraídos de plataformas na internet manualmente anotados em 22 classes diferentes. Para decidir qual técnica de aprendizado de máquina é o ideal para o protótipo de ferramenta e como elas se comporta com uma base de dados pequena foi elaborado " experimentos. Os experimentos foram feitos utilizando algoritmos de aprendizagem profunda (Bert) e algoritmos com aprendizagem de custo computacional mais baixo (W2V, Glove e classificadores não lineares) e mostraram que as técnicas de aprendizado de máquina profunda possuem um desempenho maior em relaçao àquelas que não possuem aprendizado profundo. Entretanto, quando o custo computacional é considerado, as técnicas cl?ssicas de aprendizado de máquina se mostraram mais adequadas para apoiar a ferramenta proposta. Além disso, foram testadas as técnicas de aprendizado de máquina interativo e ativo, para auxiliar no processo de criaçao de bases de dados na ferramenta. A ferramenta foi desenvolvida com tecnologias bem estabelecidas, possui código aberto e possibilita a constru?ao de bases de texto por um grupo de pesquisadores. Palavras-chave? análise de sentimentos. aprendizado de maquina. aprendizado profundo.

Abstract: The purpose of this work is to analyse the use of different machine learning approaches and algorithms applied to sentiment analysis and to propose a tool that can be used to create new databases leveraging the techniques that were analyzed. In particular, study the impact with a database with few examples or a database that is being constructed. The database used was proposed by the Departamento de Comunica?ao da UFPR and is being built with comments extracted from platforms on the internet to achieve this goal. This database has """" comments that were annotated in 22 classes. Four experiments were made to decide which machine learning algorithm is the best for the proposed tool and how they perform with a small database. The experiments were done using deep learning algorithms (Bert) and other algorithms that have a lower learning cost (W2V, Glove, and nonlinear classifiers) These experiments showed that deep learning algorithms have a clear performance advantage over techniques that do not have deep learning, but they also have a much higher computational cost, making them inadequate to the proposed tool. Active machine learning and interactive machine learning techniques were also tested to assist the creation of new databases. The tool was developed following current development standards, is open-source, and can be used to speed up the construction of text databases by groups of researchers. Keywords? sentiment analisys. machine learning. deep learning.