Reconstruçao 3D de acervos culturais usando câmeras RGB-D : solução de compromisso entre precisão e tempo aplicada ao projeto Aleijadinho Digital

Abstract

Resumo: Neste trabalho é proposto a utilização de câmeras RGB-D dentro do contexto de digitalização 3D de acervos culturais. O grupo de pesquisa no qual este trabalho foi desenvolvido está atuando no projeto Aleijadinho Digital. Este projeto consiste da digitalização do acervo deixado pelo artista barroco Aleijadinho. Uma das contribuições desta tese está na apresentação de um estudo comparativo sobre os projetos mais relevantes da área da preservação digital. As diversas tecnologias de geração 3D destes e outros projetos de preservação cultural também são discutidas e classificadas. Os scanners tradicionalmente utilizados nestes trabalhos possuem alta precisão, chegando na casa dos micrômetros. No entanto podem custar até centenas de milhares de dólares, necessitam de tripés, fonte própria de energia, treinamento para calibrar e operar o equipamento, espaço físico amplo e a aquisição pode durar alguns minutos para uma única captura. Enquanto os sensores RGB-D apesar da menor precisão realizam até 60 capturas por segundo, são simples de serem operados, necessitam apenas da conexão com um notebook e em geral custam até 100 dólares. Diversos trabalhos recentes apresentaram métodos que exploram o potencial destes sensores. No entanto, estas abordagens com frequência apresentam deformações quando aplicadas em reconstruções 3D completas, 360 graus, para diversos objetos. Neste trabalho é proposto uma metodologia completa de reconstrução 3D baseada em câmeras RGB-D. E para atenuar o efeito da deformação é apresentado um método de alinhamento baseado em pares que expande o grafo de conectividade. Isto é feito através de um método original para detecção automática de novos pares de malhas 3D com região de sobreposição. Esta medida permite que eventuais erros de alinhamento sejam distribuídos de forma mais homogênea entre um maior número de pares de alinhamento. Esta técnica de alinhamento é importante pois o acúmulo de erro é intensificado pela grande quantidade de imagens geradas por câmeras RGBD. Os experimentos foram realizados utilizando os dados de 30 obras do projeto Aleijadinho Digital, realizado em parceria com a UNESCO. Com o auxílio de modelos criados com um sensor 3D de precisão submilimétrica específico para tarefa de reconstrução 3D, experimentos comparativos foram realizados contra outros métodos estado da arte. Os resultados apresentados foram favoráveis ao método proposto no que diz respeito a precisão geométrica. Palavras-chave: kinect, alinhamento, reconstrução 3D, acervos culturais.

Abstract: This work proposes a 3D reconstruction method using RGB-D cameras within the context of 3D digital preservation of cultural heritage. Our research group is involved in Digital Aleijadinho project, which consists of the digitization of the artworks from this baroque artist. We present a comparative study of the most influential projects of the digital preservation area, their contributions and 3D generation technologies. Scanners traditionally used in these projects can achieve micrometer precision. However they also can cost up to hundreds of thousands of dollars, require tripods, own source of energy, training to calibrate and operate the equipment, ample space and the acquisition may take several minutes for a single capture. While the RGB-D sensors despite the lower precision they achieve up to 60 fps, they are easy to operate, requiring only the connection to a notebook and generally cost up to $100. Several recent studies presented methods that exploit the potential of these sensors. However, these approaches often exhibit errors when applied to full 3D reconstruction of di_erent objects, known as the loop closure problem. This work proposes a complete methodology of 3D reconstruction based on RGB-D cameras.And to mitigate the loop closure e_ect we present an pairwise alignment method that expands the graph connectivity.This is done through a new method that expands connections in a pairwise alignment system by automatically discovering new pairs of meshes with overlapping region. Then the alignment error is distributed more evenly over the aligned pairs avoiding the loop closure of full 3D reconstructions. Our alignment approach is necessary because the error accumulation is intensified by the large amount of data generated by RGB-D cameras. The experiments were performed using the data of 30 artworks of Digital Aleijadinho project, conducted in partnership with UNESCO. Our experiments show detailed 3D models and favorably compare with state-of-the-art methods found in literature. Keywords: kinect, alignment, 3D reconstruction, cultural heritage.