UGP-NET : geração do grafo de cena utilizando Teorema de Causa e Efeito para extração e definição das propriedades das características de uma cena visual

Abstract

Resumo: A utilização de grafos está presente em vários domínios do conhecimento e em diversas aplicações, desde a análise social, na fabricação de novos medicamentos e até mesmo em visão computacional em abordagens que buscam a descrição ou representação de uma cena visual. Este trabalho tem o objetivo de investigar e apresentar o método UGP-Net (Unbiased Graph Property Network for Scene Graph Generation) que visa tratar as limitações descritas no processo de geração de grafo de cena (SGG), especificamente na etapa de refinamento das características de cada nó, que representa imagens de diferentes níveis semânticos e que possa ser validada em conjuntos de imagens públicos e distintos tais como: Visual Genome, OpenImages e Visual Relationship Detection. Além disso, o trabalho realiza um comparativo referente a eficiência e a performance da abordagem UGP-Net e os métodos considerados estado da arte baseados em aprendizagem profunda que empregam o uso de redes neurais para grafos (GNN) e de redes neurais convolucionais de grafos (GCN) para execução do pipeline do processo SGG que consiste em localizar e detectar vários padrões de objetos, atributos e relacionamentos.

Abstract: The use of graphs in present in various fields of knowledge and in several applications, from social analysis, in the manufacture of new drugs and even in computer vision in approaches that seek the description or representation of a visual scene. This work aims to investigate and present the UGP-Net (Unbiased Graph Property Network for Scene Graph Generation) method, which aims to deal with the limitations described in the scene graph generation process (SGG), specifically in the stage of refinement of the characteristics of each node, which represents images of different semantic levels and that can be validated in sets of public and distinct images such as: Visual Genome, OpenImages and Visual Relationship Detection. In addition, the work compares the efficiency and performance of the UGP-Net approach and state-of-the-art methods based on deep learning that employ the use of graph neural networks (GNN) and graph convolutional neural networks (GCN) for running the SGG process pipeline that consists of finding and detecting various patterns of objects, attributes and relationships.