Verificação do uso das variáveis visuais tom de cor e textura em representações 3D de ambientes indoor

Abstract

Resumo: Esta pesquisa trata da proposta de simbologia tridimensional para representar ambientes indoor valendo-se de um modelo gerado a partir do uso do sensor Microsoft® Kinect. O objetivo foi verificar o uso das variáveis visuais tom de cor e textura, assim como o efeito visual da iluminação, o sombreamento e a configuração da câmera na simbologia. As principais vantagens do sensor utilizado são a sua portabilidade e seu baixo custo no mercado, quando comparado com outras tecnologias existentes como o laser scanner e as câmeras de distância. O Kinect é um sensor que ganhou espaço na comunidade fotogramétrica por permitir a coleta de pontos tridimensionais com valores RGB e de profundidade de forma simultânea, sendo os mesmos armazenados como nuvem de pontos. Nesta pesquisa, a nuvem foi gerada e processada para produzir o modelo 3D do ambiente indoor. Superfícies planas foram detectadas atráves do método RANSAC, e classificadas em três classes predefinidas: chão, parede e teto. A classificação dos planos é baseada nas relações de paralelismo ou perpendicularidade entre os vetores normais aos planos. Em seguida, os planos foram importados no MeshLab, um software de processamento de malhas usado na etapa de reconstrução das superfícies do modelo tridimensional. A etapa de verificação do uso das variáveis visuais aplicadas ao modelo foi feita tanto no MeshLab como no ESRI ArcScene. O potencial de ambos os softwares foi explorado através da geração de várias representações dos ambientes simbolizados, cada uma delas com parâmetros diferentes, os mesmos são a essência da verificação da simbologia 3D para ambientes indoor. Para implementar o método proposto foram considerados três ambientes amostrais com características diferentes, de forma a favorecer a verificação dos aspectos da simbologia, visando a determinação dos parâmetros que influenciam positivamente na criação de representações 3D de ambientes indoor. Os resultados obtidos mostraram que o tom de cor é uma variável visual dependente da textura, quando aplicada de forma fotorealística, que foi o parâmetro que apresentou melhor resultado. O efeito de visualização da iluminação foi determinante para a representação de ambientes indoor, quando aplicada com os feixes de luz em direção à frente das superfícies e com um tom de cor cinza 50%, o mesmo oferece uma visualização equilibrada do ambiente. A configuração da câmera com FOV de 46° mostrou-se apropriada para a representação. Não foi conclusivo o efeito de outros ângulos, no entanto, notou-se uma variação importante ao se aumentar ou diminuir exageradamente o FOV, o qual só ocorreria em situações extremas que não seriam recomendadas para a representação. O aspecto sombreamento não pôde ser verificado devido à falta de sombras. Cada variável visual e cada efeito de visualização influencia na simbolização de ambientes indoor, sua aplicação deve ser cuidadosa e com tendência à obtenção de uma representação visual agradável que permita a identificação da cena. Os métodos de geração de modelos 3D e de verificação das variáveis visuais que foram propostos nesta pesquisa mostraram-se satisfatórios e são parte de uma abordagem diferente que pode ser considerada na criação de simbologia 3D de ambientes indoor.

Abstract: This research is about 3D symbology proposition for representation of indoor environments based on a Microsoft® Kinect sensor modeling approach. The task was to verify the parameters that define color and texture as visual variables, as well as the effect of illumination, shadows and camera settings, in order to determine its influence in symbology. The main advantages of the sensor are its portability and its relatively low retail price and cost of operation, when compared with other technologies such as laser scanner or range cameras. The Kinect has made it to the top in photogrammetry applications due to its ability to capture RGB and depth data simultaneously of tridimensional points as part of dense point clouds. In this work, the point cloud was generated and processed by computer algorithms mainly developed in the computer vision area. Planar surfaces were detected with RANSAC and then classified under one of these three predefined classes: floor, wall or ceiling. In order to correctly classify the planes, parallelism and perpendicularism conditions between normal vectors and planes were stablished. After that, all the planes were imported to MeshLab, which is a mesh processing software used in the process of reconstruction of model’s 3D surfaces. The next step was the verification process of the visual variables applied to the model. This was made on MeshLab and ESRI’s ArcScene software. The capabilities of the proposed software were explored by producing several representations of the symbolized environments, each one with different parameters defining a specific symbology. The application of parameters was considered the essence of the symoblogy verification. There were three test environments considered for the analysis, each with different characteristics, which is a favorable condition for evaluating symbology and determining the influence of the parameters used for the generation of 3D indoor environment representation. The results showed that color is a dependant variable of texture when applied in a photorealistic manner. Lighting was determinant for indoor representation when applied with a light direction in front of the surface model and as an ambient light with 50% grey color value, giving the ambient an overall balanced visual aspect. The configuration of the camera with an angle value of 46° for the FOV was appropriate for representation, being not conclusive the evaluation of other angles close to that value. Each visual variable and visual effect has an influence on symbolization and though it is important to apply and choose them wisely for application in order to obtain a rich visual representation of the scene that would permit its immediate interpretation and identification by users. The proposed method for 3D model construction and visual variable verification was found satisfactory as part of a new approach for symbolization of indoor environments and is meant to be considered for future research agenda.