Twice dataset : digital twin of test scenarios in a controlled environment

Abstract

Resumo: Para possibilitar o desenvolvimento de sistemas de percepção para direção automatizada, a indústria automotiva utiliza cenas pré-gravadas com dados de sensores, como por exemplo: câmera, radar e LiDAR. Este conjunto de dados (dataset) permite a realização de um processo iterativo no desenvolvimento de algoritmos, a fim de reduzir quantidade de testes reais. Primeiramente, neste projeto é realizada uma revisão de diferentes datasets disseminados pela comunidade científica e utilizados pela indústria automotiva. Em seguida, é proposta a criação de um novo dataset chamado TWICE, um acrônimo em inglês para "digital twin of test scenarios in a controlled environment". Este dataset contém dados de sensores reais (câmera, radar e LiDAR) coletados de duas formas diferentes: (1) com a execução de testes em campo em uma pista de testes, e (2) em laboratório, com uma bancada de testes, na qual os sensores são estimulados com ajuda de simulação. Para a criação do dataset proposto, os dados coletados devem ser estruturados de maneira que possibilitem seu processamento de forma automatizada. A principal característica é o fato de que os dados coletados em laboratório se referem a um gêmeo digital (digital twin) dos testes executados em campo. Ou seja, para cada teste real existe um teste equivalente criado na simulação. Porém, ambos foram executados com o mesmo hardware e software para a percepção do ambiente. A fim de estimar a diferença entre os testes realizados em campo e em laboratório, é proposto um método para estimar a diferença (gap) entre realidade e simulação com base no TWICE dataset. Isso contribui para que o desenvolvimento de algoritmos de direção automatizada possa ser, em um primeiro momento, auxiliado por testes realizados em laboratório antes da execução de extensivos testes em campo, que demandam grande esforços e custos.

Abstract: To enable the development of perception systems for automated driving, the automotive industry uses pre-recorded scenes with data from sensors such as camera, radar and LiDAR. This allows an iterative process in the development of algorithms, in order to reduce the effort in the execution of tests. First, in this project a review of different datasets disseminated by the scientific community and used by the automotive industry is performed. Then, it is proposed the creation of a new dataset called TWICE, an acronym for "digital twin of test scenarios in a controlled environment". This dataset contains data from real sensors (camera, LiDAR and radar) collected in two different ways: (1) by performing field tests on a test track, and (2) in the laboratory, with a test bench, on which the sensors are stimulated with the help of simulation. To create the proposed dataset, the collected data must be structured in such a way that it can be processed in an automated manner. The main characteristic of the TWICE dataset is the fact that the data collected in the laboratory refer to the digital twin of the tests performed in the field. That is, for each real test there is an equivalent test created in the simulation. However, both tests were executed with the same hardware and software for environment perception. In order to estimate the difference between the tests performed in the field and in the laboratory, a method is proposed to estimate the gap between reality and simulation based on the TWICE dataset. This contributes to the fact that the development of automated driving algorithms can be, in a first moment, aided by tests performed in the laboratory before the execution of extensive field tests, which demand great efforts and costs.