An efficient and layout-independent automatic license plate recognition system based on the Yolo detector

Abstract

Resumo: O reconhecimento automático de placas de veículos (Automatic License Plate Recognition (ALPR), do inglês Automatic License Plate Recognition) tem sido um tópico frequente de pesquisa devido as muitas aplicações praticas tais como cobrança automática de pedágio e aplicação da lei de transito. No entanto, muitas das soluções atuais ainda não são robustas em situações do mundo real, dependendo comumente de certas restrições como câmeras ou ângulos de visão específicos, planos de fundo simples, boas condições de iluminação, entre outras. Esta dissertação apresenta um sistema ALPR eficiente e independente de layout baseado no detector de objetos de ultima geração YOLO (You Only Look Once), com uma abordagem unificada para detecção de placas e classificação de layout para melhorar os resultados de reconhecimento através de regras de pós-processamento. Em cada estagio, nos avaliamos diferentes modelos com varias modificações, otimizando e combinando-os cuidadosamente com o objetivo de alcançar o melhor compromisso de velocidade/precisão. As Redes Neurais Convolucionais (Convolutional Neural Networks (CNNs), do inglês Convolutional Neural Networks) são treinadas utilizando imagens de vários conjuntos de dados para que sejam robustas sob diferentes condições (por exemplo, com variações de iluminação, posição e configurações da câmera, tipos de veículos, etc.). Este trabalho também introduz um conjunto de dados publico para ALPR, chamado UFPR-ALPR, que inclui 4.500 imagens totalmente anotadas de 150 veículos em cenários do mundo real em que tanto o veiculo quanto a câmera (dentro de outro veiculo) estão em movimento. Em comparação com o conjunto de dados publico de placas brasileiras mais empregado para ALPR, o conjunto de dados proposto tem mais que o dobro de imagens e contem uma variedade maior em diferentes aspectos. O sistema proposto foi capaz de atingir uma taxa media de reconhecimento de ponta a ponta de 96,76% em oito conjuntos de dados públicos utilizados nos experimentos, superando tanto os trabalhos anteriores quanto os sistemas comerciais nos conjuntos de dados ChineseLP, OpenALPR-EU, SSIG e UFPR-ALPR. Nos demais conjuntos de dados, a abordagem proposta obteve resultados semelhantes ao melhor resultado alcançado pelas linhas de base. Nosso sistema também alcançou impressionantes taxas de quadros por segundo (FPS, do inglês Frames Per Second) em uma unidade de processamento gráfico (GPU, do inglês Graphics Processing Unit) de ponta, sendo capaz de executar em tempo real mesmo quando ha 4 veículos na cena.

Abstract: ALPR has been a frequent topic of research due to many practical applications such as automatic toll collection and traffic law enforcement. However, many of the current solutions are still not robust in real-world situations, commonly depending on certain constraints such as specific cameras or viewing angles, simple backgrounds, good lighting conditions, among others. This dissertation presents an efficient and layout-independent ALPR system based on the state-of-the-art You Only Look Once (YOLO) object detector, with a unified approach for License Plate (LP) detection and layout classification to improve the recognition results through post-processing rules. In each stage, we evaluate different models with various modifications, carefully optimizing and combining them aiming to achieve the best speed/accuracy trade-off. The CNNs are trained using images from several datasets so that they are robust under different conditions (e.g., with variations in lighting, camera position and settings, vehicle types, etc.). This work also introduces a public dataset for ALPR, called UFPR-ALPR, that includes 4,500 fully annotated images from 150 vehicles in real-world scenarios where both the vehicle and the camera (inside another vehicle) are moving. Compared to the public dataset of Brazilian LPs most frequently used for ALPR, our dataset has more than twice the images and contains a larger variety in different aspects. The proposed system was able to achieve an average end-to-end recognition rate of 96.76% across eight public datasets used in the experiments, outperforming both previous works and commercial systems in the ChineseLP, OpenALPR-EU, SSIG and UFPR-ALPR datasets. In the other datasets, the proposed approach obtained similar results to the best result attained by the baselines. Our system also achieved impressive Frames Per Second (FPS) rates on a high-end Graphics Processing Unit (GPU), being able to perform in real time even when there are 4 vehicles in the scene