Sumarização e análise de atividades práticas de direção para detecção e avaliação de estresse e ansiedade de motoristas

Abstract

Resumo: Esta tese de doutorado apresenta uma abordagem para deteccao e analise de estados emocionais de estresse/ansiedade em motoristas a partir de dados coletados durante atividades praticas de direcao. O metodo proposto tem o objetivo de identificar esses estados emocionais e agilizar o suporte necessario a ser prestado aos motoristas. Para isso, o metodo combina tecnicas de priorizacao e sumarizacao de videos gravados durante atividades praticas de direcao. Com os sumarios produzidos, profissionais da area da psicologia podem identificar e compreender o comportamento do motorista com estresse/ansiedade de forma mais rapida, sem precisar assistir aos videos na sua integralidade, muito menos estar presente durante as atividades. Isso porque, com a tecnica de priorizacao, e gerada uma lista de atividades praticas de direcao, ordenadas pelo nivel de estresse/ansiedade do motorista, possibilitando que sejam propostas medidas individuais para auxiliar motoristas a lidarem ou corrigirem esses estados. A tecnica de priorizacao contribui com a abordagem de sumarizacao, pois agiliza o atendimento aos motoristas que mais precisam desse suporte. Ambas as tecnicas propostas utilizam dados de Expressoes Faciais (EF's), frequencia cardiaca e movimentos do motorista - essas caracteristicas foram selecionadas por ja terem sido exploradas com sucesso em trabalhos relacionados. A maioria dos trabalhos correlatos focam na classificacao automatica de situacoes de estresse ou ansiedade em motoristas, portanto, a abordagem proposta nesta tese se diferencia por apresentar tecnicas para sumarizar e priorizar atividades praticas de direcao. A tecnica de sumarizacao proposta utiliza tambem coordenadas de GPS, permitindo identificar o local no qual os comportamentos foram observados e, com isso, verificar gatilhos para estresse/ansiedade em cada motorista. A frequencia cardiaca foi mensurada em termos de batimentos do coracao por minuto. Quanto as EF's, um conjunto de 18 Action Units foi reconhecido com a ferramenta Open Face 2.0. Como movimentos, foram considerados habitos do motorista que podem ocorrer em situacoes de estresse/ansiedade: pressionar, morder e lamber os labios, roer as unhas e esfregar o rosto e/ou o cabelo. A tecnica de priorizacao proposta combina um algoritmo classico de ordenacao com uma funcao comparativa baseada em uma Rede Neural Artificial. A funcao comparativa recebe uma lista de parametros extraidos de duas atividades de direcao e identifica em qual delas o motorista apresentou maior nivel de estresse/ansiedade. Quanto a sumarizacao, a abordagem proposta e apoiada por uma ferramenta desenvolvida para permitir a visualizacao de cada uma das atividades de direcao em tres perspectivas diferentes, exploradas para facilitar e organizar a analise dos dados: i) videos; ii) relatorios; e iii) sumarios. Alem das tecnicas de priorizacao e sumarizacao, essa tese tambem apresenta um metodo para deteccao automatica dos movimentos das maos dos motoristas, associados ao estresse/ansiedade. O metodo proposto para deteccao desses gestos combina morfologia matematica com a deteccao automatica do rosto do motorista. Para avaliar a abordagem proposta, foram coletados dados em 60 atividades praticas de direcao de alunos de uma autoescola. Os eventos de interesse foram rotulados manualmente na base de dados, que tambem foi priorizada, em relacao ao nivel de estresse/ansiedade dos motoristas, por uma psicologa especializada no atendimento a motoristas. O resultado do metodo de priorizacao foi avaliado quanto a coesao e similaridade com o conjunto de referencia que foi priorizado manualmente pela especialista. A ferramenta de suporte a sumarizacao de video foi avaliada qualitativamente por profissionais ligados a autoescola na qual a base de dados foi produzida. Os resultados do metodo proposto para deteccao automatica de movimentos foram avaliados quanto a acuracia, revocacao, precisao e F1-score, indicando que o suporte a motoristas pode ser agilizado, especialmente a aqueles com alto nivel de estresse/ansiedade. Deve-se destacar que a abordagem proposta e particularmente relevante no contexto de autoescolas com grande fluxo de alunos, nas quais e dificil que um especialista em Psicologia analise, em tempo habil, todos os dados das atividades de direcao realizadas. Nesse contexto, essa tese contribui diretamente para melhorar a formacao de motoristas e consequentemente para a seguranca no transito. Palavras-chave: Visao Computacional. Comportamento de motoristas. Resumo de video. Priorizacao de atividades.

Abstract: This doctoral thesis presents an approach for detecting and analyzing the emotional states of drivers' stress/anxiety from data collected during practical driving activities. The proposed method aims to identify these emotional states and streamline the necessary support to be provided to drivers. For this, the method combines techniques of prioritization and summarization of videos recorded during practical activities of direction. With the summaries produced, professionals in the field of psychology can identify and understand the behavior of the driver with stress/anxiety more quickly, without having to watch the videos in their entirety, let alone being present during the activities. This is because, with the prioritization technique, a list of practical driving activities is generated, ordered by the driver's stress/anxiety level, enabling individual measures to be proposed to help drivers deal with or correct these states. The prioritization technique contributes to the summarization approach, as it speeds up the service to drivers who need this support the most. Both of the proposed techniques use data from Facial Expressions (EF's), heart rate and driver movements - these characteristics have been selected because they have already been successfully explored in related works. Most related works focus on the automatic classification of stress or anxiety situations in drivers, therefore, the approach proposed in this thesis differs by presenting techniques to summarize and prioritize practical driving activities. The proposed summarization technique also uses GPS coordinates, allowing to identify the place where the behaviors were observed and, with this, to verify triggers for stress/anxiety in each driver. Heart rate was measured in terms of heartbeats per minute. As for EF's, a set of 18 Action Units recognized with the Open Face 2.0 tool. As movements, it was considered driver's habits that can occur in stress/anxiety situations: pressing, biting and licking his lips, biting his nails, and rubbing his face and/or hair. The proposed prioritization technique combines a classic ordering algorithm with a comparative function based on an Artificial Neural Network. The comparative function receives a list of parameters extracted from two driving activities and identifies in which one the driver had the highest level of stress/anxiety. As for summarization, the proposed approach is supported by a tool developed to allow the visualization of each of the management activities in three different perspectives, explored to facilitate and organize the analysis of the data: i) videos; ii) reports; and iii) summaries. In addition to the prioritization and summarization techniques, this thesis also presents a method for automatic detection of drivers' hand movements, associated with stress/anxiety. The proposed method for detecting these gestures combines mathematical morphology with automatic detection of the driver's face. To assess the proposed approach, data were collected in 60 practical driving activities for students at a driving school. The events of interest were manually labeled in the database, which was also prioritized, in relation to the level of stress/anxiety of the drivers, by a psychologist specialized in assisting drivers. The result of the prioritization method was assessed for cohesion and similarity with the reference set that was prioritized manually by the specialist. The video summarization support tool was qualitatively evaluated by professionals linked to the driving school in which the database was produced. The results of the proposed method for automatic movement detection were evaluated for accuracy, recall, precision, and F1-score, indicating that support for drivers can be streamlined, especially for those with a high level of stress/anxiety. It should be noted that the proposed approach is particularly relevant in the context of driving schools with a large flow of students, in which it is difficult for a specialist in Psychology to analyze, in a timely manner, all the data of the direction activities performed. In this context, this thesis contributes directly to improving the training of drivers and, consequently, to traffic safety. Keywords: Computer Vision. Driver Behavior. Video Abstract. Prioritization of activities.