Sketch-to-face : photorealistic face reconstruction from forensic sketches

Abstract

Resumo: Umassalto normalmente ocorre rapidamente, deixando pouca ou nenhuma evidência na cena do crime. Em muitos casos, a única pista para a identidade do agressor é a memória visual da vítima. A reconstrução dessas pistas visuais é importante quando as evidências físicas são escassas. O esboço forense é um método tradicional de transformar a descrição da vítima em uma representação visual do suspeito. No entanto, esses esboços frequentemente carecem do detalhe e realismo necessários para uma identificação pública eficaz. Uma representação mais realista e precisa do suspeito pode aumentar o engajamento do público e facilitar a integração com a tecnologia de reconhecimento facial. Este trabalho apresenta uma nova arquitetura de Autoencoder Variacional Condicional (CVAE) para transformar esboços forenses em imagens faciais fotorrealistas. O modelo proposto utiliza um pipeline estocástico de pré-processamento para extrair diversos mapas de contorno a partir de imagens, evitando a necessidade de bancos de dados de esboço-fotografias pareados manualmente. Ao incorporar entradas condicionais, o CVAEpermiteumprocessodegeraçãointerativo baseadoematributos específicos e interpretáveis. Odesempenho do modelo é avaliado utilizando múltiplos bancos de dados, incluindo esboços desenhados digitalmente e não digitalmente. Quando avaliado usando Facenet, o CVAE gera imagens 56,8% mais semelhantes à foto original do suspeito em comparação com abordagens mais simples. Além disso, o modelo foi testado em um cenário onde a imagem gerada foi usada para identificar um suspeito hipotético a partir de um pequeno conjunto de imagens, demonstrando sua aplicabilidade prática na aplicação da lei. Nossos resultados indicam que a estrutura proposta oferece uma solução viável para aplicações forenses e outras tarefas de conversão de imagem para imagem

Abstract: Arobbery often occurs quickly, leaving little to no evidence at the crime scene. In many cases, the only clue to the assailant’s identity is the victim’s visual memory. Reconstructing these visual clues is important when physical evidence is scarce. Forensic sketching is a traditional method of turning a victim’s description into a visual representation of the suspect. However, these sketches often lack the detail and realism required for effective public identification. A more realistic and accurate depiction of the suspect could enhance public engagement and facilitate integration with facial recognition technology. This work presents a novel Conditional Variational Autoencoder (CVAE) architecture for transforming forensic sketches into photorealistic facial images. The proposed model utilizes a stochastic preprocessing pipeline to extract diverse edge maps from images within a dataset, bypassing the need for manually paired sketch-photo databases and enhancing scalability. By incorporating conditional inputs, the CVAE enables an interactive generation process based on specific interpretable attributes. The model’s performance is evaluated using multiple databases, including digitally and non-digitally drawn sketches. When evaluated with a Facenet-based metric, the CVAE generates images that are 56.8% more similar to the suspect’s original picture compared to simpler approaches. Furthermore, the model was tested in a scenario where the generated image was used to identify a hypothetical suspect from a small image set, demonstrating its practical applicability in law enforcement. Our results indicate that the proposed framework offers a viable solution for forensic applications and other image-to-image translation tasks