Rastreamento facial e refinamento de pontos fiduciais 3D baseado na região do nariz em ambientes não controlados

Abstract

Resumo: O rastreamento da face utiliza a informa..o temporal para inferir a posição da face em cada frame. Uma de suas aplicações . em cenários não controlados, onde os métodos de detecção da face falham. As abordagens atuais presentes na literatura s.o baseadas em pontos fiduciais, por.m encontram dificuldades quando aplicadas em ambientes n.o controlados, devido este cenário no ser trivial. Para lidar com esta dificuldade, o presente trabalho propõe uma abordagem baseada no método de rastreamento visual de Nam e Han, inicializando-o com a regi.o do nariz detectada no frame de vídeo com melhor qualidade da face. A regi.o do nariz, ao inv.s da face inteira, foi escolhida devido sua menor probabilidade de estar oclusa, ser invariante a expressões faciais e visível em grande variações de pose. Foram realizados experimentos na base de dados 300 Videos in the Wild e Point and Shoot Challenge, em compara..o ao rastreamento de face. J. o alinhamento de faces em ambientes sem restrições consiste em localizar pontos fiduciais com precisão, auxiliando em tarefas como reconstrução 3d, reconhecimento e analise de expressões faciais. Em situações onde existem variações de poses, a aparência da face difere da face frontal, dificultando a tarefa de alinhamento. Para contornar esta situa..o, este trabalho propõe refinar a localiza..o dos pontos fiduciais com regressão em cascata e regressão com vetores de suporte (SVR), partindo da pose estimada com a regi.o do nariz. Experimentos foram realizados na base de dados 3D Face Alignment in the Wild, demonstrando resultados amplamente superiores ao alinhamento baseado na pose e comparáveis ao estado-da-arte. Palavras-chave: rastreamento da face; alinhamento de face 3d; refinamento de pontos fiduciais.

Abstract: Face tracking uses temporal information to infer the position of the face in each frame. One of its applications is in-the-wild environments where face detection methods fail to perform robustly. Current approaches presented in the literature are based on facial landmarks. Therefore, they have limitations when applied in in-the-wild environments as estimating the landmarks in such scenarios is not trivial. To address this issue, this work propose an approach based on a Nam and Han's visual tracking method, initializing it with the nose of the best quality face in the video sequence. The nose region, rather than the entire face was chosen due to it being unlikely to be occluded, mostly invariant to facial expressions and visible in a long range of head poses. We performed experiments on the 300 Videos in the Wild and Point and Shoot Challenge datasets. Face alignment in unrestricted environments, however, consists of accurately locating landmarks, assisting in tasks such as 3D reconstruction, recognition and facial expression analysis. In situations where there are variations of poses, the face appearance differs from the frontal face, making the alignment task difficult. To overcome this issue, this work proposes to refine the landmarks by using cascade regression and support vector regression (SVR), starting from the pose estimated with the nose region. Experiments were performed on the 3D Face Alignment in the Wild dataset, showing results broadly superior to pose-based alignment and comparable to the state-of-the-art. Keywords: face tracking; 3d face alignment; landmark refinement.