Creating a multi-sensor dataset in hybrid indoor and outdoor environments to assist wheeled mobile robots with localization and mapping using proposed cognitive blended sensors

Abstract

Resumo: Aprender sobre um ambiente enquanto nos movimentamos é uma das funções do sistema cognitivo humano. Percebemos o que está ao nosso redor por meio dos sentidos básicos e, a partir disso, tomamos decisões sobre as ações a serem executadas. Para identificar um lugar, o sistema cognitivo, por meio da atenção, seleciona estímulos sensoriais relevantes para compreender o ambiente. No entanto, fatores como o período do dia, a estação do ano ou mesmo a presença de determinados objetos podem alterar o peso atribuído a cada sentido. Robôs móveis autônomos, de modo análogo, utilizam sensores para perceber o ambiente em que se locomovem. Contudo, ao depender apenas de um tipo de sensor, não conseguem identificar uma mesma cena em diferentes posições, sob variações de iluminação ou na presença de objetos dinâmicos. Da mesma forma, utilizar um grande volume de dados provenientes de múltiplos sensores não garante, por si só, uma observação adequada para localização e navegação. Neste trabalho, apresentamos uma revisão sobre o processo cognitivo humano e os sistemas cognitivos que, considerados em uma arquitetura hierárquica, envolvem o ciclo percepção-ação. A partir desse estudo, foi proposto o método de combinação cognitiva de sensores (CBS– Cognitive Blended Sensor) como apoio ao mapeamento e à localização de robôs móveis. O modelo de combinação de sensores sugere conjuntos (SBS– Sensor Blend Sets) com diferentes características dentro do processo de fusão do CBS, capazes de colaborar com tarefas relacionadas ao estado do robô, movimentação, medição de distância, orientação, mapeamento e posicionamento. Alguns direcionamentos foram adotados neste trabalho com o objetivo de guiar a proposta e contribuir para a área de estudo, entre eles: a pesquisa sobre sistemas cognitivos humanos e sistemas cognitivos dinâmicos; o desenvolvimento do conceito de robô móvel gêmeo digital; a análise de datasets que utilizam mapeamento com múltiplos sensores; o estudo de plataformas e métodos de referência para ambientes internos e externos com validação de trajetória; experimentos com algoritmos de localização e mapeamento simultâneos; além da classificação e reconhecimento de objetos. Os resultados obtidos evidenciam o avanço da proposta por meio do método CBS-SBS, do desenvolvimento do robô móvel VRI4WD, dedicado à aplicação de múltiplos sensores em ambiente ROS, e, principalmente, da construção do dataset VRI4WD UFPR-MAP. Este dataset se destaca por sua especificidade, disponibiliza dados de múltiplos sensores de baixo custo com transição entre ambientes internos e externos no campus da UFPR, posicionamento geodésico preciso que permite a validação das trajetórias. Essa contribuição preenche uma lacuna relevante na literatura, oferecendo uma base experimental para os estudos de fusão de sensores em ambientes híbridos, auxiliando o avanço da pesquisa em robôs móveis autônomos

Abstract: Learning about an environment while moving through it is one of the fundamental functions of the human cognitive system. Based on this perception, we perceive our surroundings through basic senses and decide on the actions to be executed. To identify a place, the cognitive system, through attention, selects relevant sensory stimuli to interpret the environment. However, factors such as time of day, season, or the presence of specific objects can influence the weight given to each sense. Autonomous mobile robots, in a similar way, rely on sensors to perceive their environment. Yet, when depending solely on a single type of sensor, they are unable to identify the same scene under different positions, illumination changes, or dynamic objects. Likewise, processing large volumes of data from multiple sensors does not necessarily ensure adequate perception for localization and navigation. This work reviews the human cognitive process and cognitive systems, considered within a hierarchical architecture involving the perception–action cycle. Based on this study, the Cognitive Blended Sensor (CBS) method is proposed to support the mapping and localization of mobile robots. The sensor combination model introduces Sensor Blend Sets (SBS) with distinct characteristics within the CBS fusion process, contributing to tasks such as robot state estimation, movement, distance measurement, orientation, mapping, and positioning. Several directions were pursued in this work to guide the proposal and contribute to the field, including research on human and dynamic cognitive systems, development of the digital twin mobile robot concept, analysis of datasets employing multi-sensor mapping, evaluation of reference platforms and methods for indoor and outdoor trajectory validation, experiments with simultaneous localization and mapping algorithms, and object classification and recognition. The results demonstrate the advancement of the proposed approach through the CBS-SBS method, the development of the VRI4WD mobile robot for multi-sensor applications within the ROS environment, and, most notably, the construction of the VRI4WD UFPR-MAP multimodal dataset. This dataset stands out for its specificity, providing low-cost multi-sensor data with transitions between indoor and outdoor environments on the UFPR campus and precise geodetic positioning that enables trajectory validation. This contribution fills a significant gap in the literature by offering an experimental foundation for sensor fusion studies in hybrid environments, thereby supporting the advancement of research in autonomous mobile robotics