Automated comparison of different simulation setups for scenario-based testing based on similarity metrics
Resumo
Resumo: O uso de simulação computacional na indústria automotiva tem se tornado uma realidade cada vez mais comum para teste e validação de Sistemas Avançados de Assistência ao Condutor (ADAS) e Sistemas de Diração Autônoma (ADS). Atualmente, diversos simuladores estão presentes no mercado e padrões foram definidos para unificar arquivos utilizados por tais ferramentas. No entanto, nem todas as plataformas suportam todas as funcionalidades do arquivo de cenário, e a dinâmica do veículo implementada em cada plataforma pode afetar a forma como a simulação é executada. Tendo em vista garantir a qualidade dos arquivos de cenário, este trabalho tem como objetivo implementar uma ferramenta capaz de comparar e analisar simulações executadas em diferentes plataformas. O trabalho propõe um conjunto de métricas de similaridade que podem ser utilizadas em conjunto para avaliar a porcentagem de correspondência entre as execuções de cenários. Primeiramente, uma análise de trajetória é proposta com base na similaridade de cosseno. Na sequência, uma análise de criticalidade é proposta com base no tempo de colisão entre dois veículos. Finalmente, um novo conjunto de manobras relacionadas a objetos é definida de forma a obter uma análise de manobras. Combinadas, as três métricas descritas são utilizadas para calcular a equivalência entre as simulações. Para isso, uma soma ponderada entre as métricas é realizada. Três plataformas foram utilizadas para implementação e teste da ferramenta de comparação. A primeira ferramenta, esmini, é a ferramenta base de simulação, compatível com arquivos OpenSCENARIO, mas que possui uma dinâmica veicular simples e por vezes não realista. A segunda e terceira ferramentas, Carla e CarMaker, possuem uma dinâmica veicular mais realista e suportam arquivos OpenSCENARIO. No entanto, nem todas as funcionalidades são 100% compatíveis. Utilizando-se a ferramenta esmini como base, foram comparados os resultados de diferentes cenários quando simulados nas ferramentas Carla e CarMaker. Resultados mostram que a ferramenta é capaz de obter uma comparação precisa dos resultados da simulação, identificando ações não intencionais e gerando um relatório de compatibilidade entre simulações para cada tipo de cenário. A ferramenta é capaz de realizar análise de trajetória, identificar diferentes manobras executadas durante a simulação e realizar o cálculo de criticalidade em cenários que possuem mais de um veículo. Abstract: The use of computer simulation in the automotive industry has become a common reality for testing and validating Advanced Driver Assistance Systems (ADAS) and Autonomous Driving Systems (ADS). Currently, several simulation tools are present in the market, and standards have been developed to unify the patterns used by those tools. However, not all platforms support all the functionalities in the scenario file, and the vehicle dynamics implemented in each platform may affect how the simulation is executed. To ensure the quality assessment of scenario files, this work aims to implement a tool able to compare and analyze simulations running on different platforms. The work proposes a set of similarity metrics that can be used together to evaluate the percentage match between scenario executions. A trajectory analysis is proposed based on cosine similarity, and a criticality analysis is proposed based on time-to-collision. Also, a new set of object-related maneuvers was defined for a maneuver analysis. Combined, the three individual metrics are used to calculate the final score between simulations based on the weighted sum of the individual metrics. To implement and test the comparison tool, three platforms were used. The first one, esmini, is the reference simulation tool, compatible with OpenSCENARIO files but with simple vehicle dynamics. The second and third ones, Carla and CarMaker, have more realistic vehicle dynamics and support OpenSCENARIO files. However, not all features are 100% compatible, and the dynamics of each tool are implemented differently. Using esmini as the basis for comparison, the results of different scenarios simulated in Carla and CarMaker were compared. Results show that the tool can accurately compare simulations, identifying unintentional actions and generating a compatibility report between simulations for each scenario type. The tool can perform a trajectory analysis, identify different maneuvers performed during the simulation, and perform the criticality calculation in scenarios with more than one vehicle.
Collections
- Dissertações [215]