Camera -based driver’s health monitoring system

Abstract

Resumo: O desenvolvimento de veículos autônomos tornou-se possível devido ao salto tecnológico obesrvado nos equipamentos embarcados disponíveis no mercado atualmente, principalmente no que se refere à sua capacidade computacional. Este desenvolvimento afeta toda a cadeia produtiva, visto que proporciona a possibilidade de implementação de sistemas de assistência ao condutor (ADAS) mais complexos, como sistemas robustos em tempo real para monitoramento do nível de atenção e o estado de saúde do motorista. Muitos estudos afirmam que fatores psicológicos, como doença e fadiga, são as principais causas de acidentes de trânsito graves, e neste contexto o monitoramento do estado da saúde do motorista pode aumentar a segurança ao dirigir. O indicador mais expressivo para inferir o estado de saúde é a frequência cardíaca, a qual pode indicar com precisão, condições como cansaço e sonolência. No presente trabalho, é proposta a avaliação da viabilidade de uma abordagem em tempo real de um estimador de frequência cardíaca, sem contato, baseado em aprendizado profundo, em uma tarefa de regressão, utilizando três diferentes tipos rede neural convolucional (CNN) tendo como entrada um mapa espaço-temporal. Três arquiteturas de CNN são utilizadas, a saber: VGG16, RESNET18 e MobieNETV2. Muitos estudos têm sido realizados usando abordagens de aprendizado de máquinas e técnicas de processamento de sinais para obter uma estimativa robusta da frequência cardíaca a partir de sequências de imagens. Além disso, abordagens de aprendizado profundo têm sido propostas, mas devido à falta de um conjunto massivo de dados, essas soluções não são capazes de oferecer uma boa generalização na solução do problema. Neste trabalho é proposta uma melhoria na abordagem de aprendizado profundo baseada em CNN e representação de mapas espaço-temporais, utilizando uma segmentação da pele usando uma malha poligonal combinada com filtragem independente para cada segmento. O desempenho do método é avaliado utilizando uma base de dados de alta resolução concebida e construída para treinamento e teste. Além disso, também é avaliado o uso de três modelos de representação de cores - RGB, HSV e YUV para representação da imagem de entrada da CNN. Em contraste com o método proposto, três algoritmos estado da arte são utilizados como referência para comparação do desempenho das técnicas aplicadas à base de dados da THI. Os resultados dos experimentos mostram que é possível usar o método proposto com representação de mapas espaçotemporais para obter uma estimativa confiável da frequência cardíaca a partir de sequências de imagens, obtendo resultados mais precisos do que os métodos do estado da arte utilizados na técnica chamada remote photoplethysmography (rPPG). Além disto, a malha poligonal cria uma representação rica, e a filtragem independente elimina mudanças presentes na face que geram erros nas medições, oriundos de movimentos ou devido à brusca variação de luz. Além disso, é possível verificar que o modelo de representação de cores HSV (Hue Saturation Value) é o melhor a ser usado neste problema. Quanto às arquiteturas de rede, utilizando o espaço de cores HSV a CNN com arquitetura VGG16 oferece um desempenho 46% melhor que a arquitetura ResNET18, e por sua vez, 490% melhor que a rede MobileNETv2.

Abstract: Currently, the development of autonomous vehicles has become common in the automotive context, due to progress on embedded hardware in terms of computational power. Therefore, this affects all the production chain, due to the possibility of implementing more complex driver assistance systems, such as driver's health monitoring. Many studies state that psychological factors, such as illness and fatigue, are the primary causes of major traffic accidents, thus monitoring driver health status can increase driver safety. In this context, the most expressive indicator of the health condition is the heart rate, which may indicate health conditions such as sleepiness and drowsiness. In the present work is proposed an evaluation of the feasibility of a real-time, non-contact approach of deep learning-based heart rate estimator using a pre-trained CNN (Convolutional Neural Network) architecture using a spatial-temporal map as input in a regression task. Many studies have been done in the field using machine learning and deep learning approaches and signal processing techniques to obtain a robust heart rate estimation from image sequences. In the present work, an improvement of a deep learning approach based on CNN is proposed using a polygonal segmentation combined with independent filtering for each segment. The performance of the proposed method is evaluated using a high-resolution database devised and built for training and testing. Besides, an optimal color space in the context of three state of the art image classification CNNs is also evaluated, in addition, three state of the art algorithms for remote photoplethysmography (rPPG) are used as a reference for comparison. The experimental results show that it is possible to use the proposed improved method with spatial-temporal map representation to obtain a reliable heart rate estimation from video sequences, overperforming the state of the art algorithms. The polygonal mesh creates rich maps representation, and the filtering can cut exaggerated movement artifacts from the measurements, such as the abrupt light changes effect along the map windowing process. Besides, It is possible to verify that HSV (Hue Saturation Value) is the best color space to be used in this problem, as the VGG16 performs 46% better than RESNET18 and 490% better than MOBILENETV2 architectures.