Automatic license plate recognition (ALPR) : toward improving the state of the art and bridging the gap between academia and industry

Abstract

Resumo: O reconhecimento automático de placas de veículos (ALPR) tem sido um tópico de pesquisa frequente devido às suas amplas aplicações práticas, incluindo cobrança automática de pedágios e aplicação das leis de trânsito. Apesar do progresso considerável no estado da arte nos últimos anos, várias questões persistem em aberto neste domínio. Esta tese investiga o potencial para avanços significativos no ALPR ao investigar e abordar meticulosamente essas questões, em vez de focar no aumento do número de imagens reais de treinamento, na proposta de descritores inovadores, ou na busca extensiva por melhores arquiteturas de modelos. Nossa pesquisa começa endereçando a falta de atenção dada às imagens contendo placas Mercosul, motocicletas, e placas com duas linhas de caracteres através da criação de um conjunto de dados dedicado (RodoSol-ALPR) e da condução de uma série de experimentos com ele. Nossos experimentos ressaltam a importância deste conjunto de dados para o reconhecimento robusto de placas Mercosul e de placas com duas linhas de caracteres, já que modelos de reconhecimento óptico de caracteres (OCR) treinados em outros conjuntos de dados não conseguem ultrapassar uma taxa de reconhecimento de 70% em seu conjunto de teste. Posteriormente, apresentamos melhorias substanciais no desempenho do ALPR de ponta a ponta ao mesclar a saída de vários modelos de OCR e combinar várias metodologias de geração de dados sintéticos. Notavelmente, a utilização extensiva de dados sintéticos leva a resultados estado-da-arte em diversos conjuntos de dados e desempenha um papel fundamental na superação de desafios causados pela disponibilidade limitada de dados de treinamento. Esta tese também identifica questões críticas na avaliação de sistemas para o ALPR. Revelamos que os protocolos de avaliação estabelecidos não levam em conta as quase duplicatas nos conjuntos de treinamento e teste, dificultando o desenvolvimento e a aceitação de modelos mais eficientes que tenham fortes habilidades de generalização mas não memorizam duplicatas tão bem quanto outros modelos. Por fim, contextualizamos o problema do viés de conjunto de dados no domínio do ALPR, aumentando a conscientização sobre suas possíveis consequências. A identificação destas questões enfatiza a importância da realização de experimentos cross-dataset, uma vez que estes fornecem uma melhor indicação de generalização do que experimentos intra-dataset. Uma maior adoção de avaliações cross-dataset tem o potencial de reduzir a lacuna entre os resultados relatados no meio acadêmico e os alcançados na indústria.

Abstract: Automatic License Plate Recognition (ALPR) has been a frequent research topic due to its wideranging practical applications, including automatic toll collection and traffic law enforcement. Despite the considerable progress in the state of the art driven by deep learning and the increasing availability of public datasets, several open issues persist within the ALPR domain. This thesis investigates the potential for significant advancements in ALPR by meticulously identifying and addressing these issues, rather than focusing on increasing the number of real training images, designing groundbreaking descriptors, or extensively searching for better model architectures. Our research begins by tackling the lack of attention given to images featuring Mercosur License Plates (LPs), motorcycles, and two-row LPs by creating a dedicated dataset (RodoSol-ALPR) and conducting a series of experiments using it. Our experiments underscore the importance of the RodoSol-ALPR dataset for robust recognition of Mercosur and two-row LPs, as Optical Character Recognition (OCR) models trained on alternative datasets fail to surpass a 70% recognition rate on its test set. Subsequently, we showcase substantial improvements in end-to-end ALPR performance by fusing the outputs of multiple OCR models and combining various synthetic data generation methodologies. Notably, the extensive use of synthetic data leads to state-of-the-art results across diverse datasets and plays a pivotal role in overcoming challenges caused by limited training data availability. This thesis also identifies critical issues in the assessment of ALPR systems. We reveal that established evaluation protocols have failed to account for near-duplicates within training and test sets, hindering the development and acceptance of more efficient models that have strong generalization abilities but do not memorize duplicates as well as other models. Finally, we contextualize the dataset bias problem within the License Plate Recognition (LPR) domain, raising awareness about its potential consequences and discussing the subtle ways this bias may have crept into existing datasets. Identifying these issues emphasizes the importance of conducting cross-dataset experiments, as they provide a better indication of generalization than intra-dataset ones. This shift toward cross-dataset setups has the potential to bridge the gap between results reported in academia and those achieved in industry.