Nose pose estimation in the wild and its applications on nose tracking and 3d face alignment

Abstract

Resumo: Neste trabalho, estimamos a pose da cabeça em imagens 2D, tanto em ambientes controlados como não controlados, baseado apenas na região do nariz. Para este fim, propomos e comparamos uma metodologia livre de landmarks, baseado em Support Vector Machines (SVM-NosePose). O uso de apenas a região do nariz apresenta vantagens sobre o uso da face inteira; não apenas é menos provável a oclusão do nariz, mas ele também é visível e provado ser altamente discriminante em todas as poses de perfil a frontal. O SVM já foi utilizado para este tipo de tarefa em uma base pequena e controlada. Nosso SVM-NosePose adiciona novas idéias e experimentos à etapa da geração do vetor de características, tanto na extração destas, como na agregação dos dados. É comparado favoravelmente ao estado-da-arte, através de experimentos abrangentes cuidadosamente elaborados, utilizando seis bases de dados publicamente disponíveis, Pointing’04, Multi-PIE, McGillFaces, SFEW, AFW e PaSC, abrangendo diversos cenários possíveis na estimativa da pose da cabeça. A fim de realizar uma avaliação completa e detalhada, apresentamos resultados tanto com as regiões anotadas do nariz quanto com a saída de um detector de narizes estado-da-arte. Adicionalmente, investigamos duas diferentes aplicações para nossa estimativa: a inclusão original de uma pontuação da pose da cabeça na estimativa da qualidade da face para a inicialização de um rastreador de narizes, alcançando maior precisão de rastreamento; e a execução de alinhamento 3D livre de landmarks em ambientes não controlados utilizando apenas a informação da região do nariz, permitindo que estimativas sejam geradas mesmo em cenários desafiadores. Palavras-chave: pose da cabeça; rastreamento facial; alinhamento facial.

Abstract: We perform head pose estimation solely based on the nose region as input, extracted from 2D images in both constrained and unconstrained environments. To this end, we propose a landmark free methodology, based on Support Vector Machines (SVM-NosePose) and compare it against the state-of-the-art. Using the nose region has advantages over using the whole face; not only it is less likely to be occluded, it is also visible and proved to be highly discriminant in all poses from profile to frontal. SVM has been previously used for this task on a small, controlled dataset. Our SVM-NosePose adds new ideas and experiments on the feature vector generation stage, both in feature extraction and data aggregation. Our SVM-NosePose estimation favorably compares, through thoughtful and comprehensive experiments, against state-of-the-art approaches, using six publicly available datasets, Pointing'04, Multi-PIE, McGillFaces, SFEW, AFW and PaSC. To achieve a complete and detailed evaluation, we present results using both the nose region ground-truth and the output of a state-of-the-art nose detector. Additionally, two different applications for our approach are also investigated: the original inclusion of a head pose score for face quality estimation, for initializing a nose tracker, leading to higher tracking precision; and performing landmark-free 3D face alignment in the wild using only the information of the nose region, enabling coherent estimates to be generated even in challenging scenarios. Keywords: head pose; face tracking; face alignment.