A robust context based approach to detect and segment the ocular region components

Abstract

Resumo: Devido à demanda mundial por sistemas de segurança, a biometria é um tópico crítico de pesquisa em visão computacional. Várias características do corpo humano (impressão digital, face, íris, retina e voz) podem ser usadas como entrada nesses sistemas. Os componentes da região ocular apresentam alto grau de distinção (íris, esclera, toda a área ocular), e a utilização destes em sistemas biométricos proporciona resultados que permanecem entre os mais significativos. Dada a importância dos componentes oculares na biometria, é necessário desenvolver abordagens robustas para a extração da Região de Interesse (RoI) destes, visto que uma área identificada erroneamente pode afetar a eficácia de um sistema inteiro. No entanto, até o momento, nenhum trabalho na literatura aborda as relações contextuais entre os componentes da região ocular. Desta forma, a hipótese deste trabalho é identificar os componentes da região ocular utilizando as informações contextuais da área em que se encontram. Para validar a hipótese proposta toods os experimentos realizados neste trabalho tiveram por finalidade validar: 1) a viabilidade de empregar CNNs para detectar os componentes da região ocular; 2) a complementaridade da detecção simultânea de múltiplos objetos; 3) a viabilidade de realizar segmentação de esclera e íris usando CNNs; 4) o uso de informações contextuais presentes nas imagens como forma de melhorar os resultados apresentados pelas abordagens convencionais de segmentação. Tendo como propósito validar os objetivos definidos, propomos uma abordagem de detecção baseada em YOLO para verificar se a detecção dos componentes da região ocular é possível. Depois disso, avaliamos a complementaridade da detecção simultânea de vários objetos comparando dois métodos, um baseado em You Only Look Once (YOLO) e outro baseado Faster R-CNN + Feature Pyramid Network. Após o cenário de detecção, todos os nossos esforços foram direcionados à segmentação dos componentes da região ocular. Para avaliar a viabilidade de realizar a segmentação desses componentes, propusemos duas novas abordagens, a primeira baseada em Generative Adversarial Networks (GAN) e a segunda baseada em Fully Convolutional Networks (FCN). Por fim, para validar o último objetivo apresentado, avaliamos a possibiliade de punir a Loss de uma rede neural considerando as informações contextuais presente no conjunto de dados avaliado. Nesse sentido, propomos uma nova abordagem de segmentação baseada em contexto, intitulada Ocular Region Context Network (ORCNet), introduzindo uma loss function específica, conhecida como Punish Context Loss (PC-Loss). A PC-Loss pune o aprendizado de uma rede usando uma diferença percentual entre o ground truth e as máscaras de segmentação geradas. A diferença percentual é obtida empregando os conceitos de relacionamento contextual propostos por Biederman, nos quais são avaliados os relacionamentos semântico, espacial e de escala dos objetos presentes em uma imagem. Empregando a Ocular Region Context Network (ORCNet) no conjunto de dados MICHE-I obtivemos resultados promissores nos cenários avaliados (segmentações de íris, esclera e ALL (íris + esclera)), superando os baselines utilizados. A ORCNet com ResNet-152 superou o melhor baseline (EncNet com ResNet-152) por em 2,27%, 28,26% e 6,43% em termos de F-Score, Error Rate e Intersection Over Union, respectivamente.

Abstract: Biometrics is a critical research topic in computer vision due to the global demand for security systems. Various features of the human body (e.g., fingerprint, face, iris, retina, and voice) can be used as input to these systems. Ocular Region Componentss (ORCs) present a high degree of distinction (e.g., iris, sclera, and an entire ocular area), and their use in biometric systems yields the most significant results. Given the importance of ORCs in biometrics, robust approaches for extracting the Region of Interest (RoI) from them are required, as an incorrectly identified area can affect the effectiveness of an entire system. However, to date, no work in the literature addresses the contextual relationships mentioned scenario. To validate the proposed hypothesis, the aims of the experiments in this thesis are to investigate the following: 1) the feasibility of using Convolutional Neural Networks (CNNs) to detect the components of an ocular region, 2) complementarity of the simultaneous detection of multiple objects, 3) feasibility of performing sclera and iris segmentation using CNN-based methods, and 4) use of contextual information present in the images as a technique to improve the results presented by conventional segmentation approaches. To validate the defined objectives, we propose a detection approach based on You Only Look Once (YOLO) to verify the opportunity of ORC detection. Thereafter, we evaluated the complementarity of simultaneous detection of multiple objects by comparing two methods: one is YOLO-based and the other is based on Faster R-CNN + Feature Pyramid Network (FPN). All our efforts were directed toward segmenting the components of the ocular region after the detection scenario investigation. To assess the feasibility of segmenting these components, we proposed two new approaches: based on Generative Adversarial Network (GAN), and based on Fully Convolutional Network (FCN). Finally, to validate the last objective presented, we evaluated the possibility of punishing the loss of a neural network considering the contextual information present in an evaluated dataset. Thus, we propose a new context-based segmentation approach, called Ocular Region Context Network (ORCNet), introducing a specific loss function, known as Punish Context Loss (PC-Loss). PC-Loss punishes the learning of a network by using a percentage difference between the ground truth and generated segmentation masks. The percentage difference is obtained using the contextual relationship concepts proposed by Biederman, wherein the semantic, spatial, and scale relationships of the objects present in a dataset are evaluated. We employed the ORCNet in the Mobile Iris Challenge Evaluation I (MICHE-I) dataset and obtained promising results in the evaluated scenarios (e.g., iris, sclera, and ALL (iris + sclera) segments), surpassing the baselines used. ORCNet outperformed the best baseline (EncNet) by 2.27%, 28.26%, and 6.43% in terms of F-Score, Error Rate, and Intersection Over Union, respectively. Keywords: Context-Based, Segmentation, Biometrics,