Geração de dados sintéticos para a classificação de imagens de imuno-histoquímica de câncer de mama

Abstract

Resumo: Devido ao rápido desenvolvimento da tecnologia na última década, a área de histopatologia começou sua era digital com a difusão das Whole Slide Images (WSIs). Com este avanço, muitos estudos foram propostos para automatizar o diagnóstico de diversas patologias em imagens médicas de imuno-histoquímica, visando reduzir o tempo e esforço dos médicos em tarefas exaustivas e demoradas. Neste contexto, um progresso recente, mas expressivo, vem sendo alcançado na automatização da classificação dos níveis do câncer de mama em imagens advindas de exames com receptores de hormônio. Este progresso tem sido alcançado com técnicas de Aprendizagem de Máquina e Deep Learning, com Redes Neurais Profundas conhecidas pela sua grande capacidade de generalização, mas também pela necessidade de um conjunto volumoso de dados para aprender os padrões do problema. A desvantagem da aplicação destes métodos no ambiente de imagens médicas se concentra na escassez e desbalanceamento dos dados anotados por especialistas, além da falta de disponibilização pública destes dados. Assim, para mitigar estes problemas, propomos uma metodologia para investigar o impacto da adição de imagens imuno-histoquímicas sintéticas na classificação dos níveis de intensidade da coloração de células cancerosas presentes nas WSIs dos biomarcadores de receptores de hormônio. Inicialmente, treinamos uma rede generativa pertencente ao estado da arte chamada StyleGAN2ADA, e avaliamos a qualidade quantitativa e qualitativa das imagens produzidas pela rede. Na análise quantitativa, alcançamos um DreamSIM de 0,091, indicando uma excelente similaridade entre as imagens sintéticas e reais. Em relação à avaliação qualitativa, implementamos o método de Categorização Rápida de Cenas (CRC) envolvendo a participação de três patologistas. Nessa validação, os médicos não detectaram as imagens sintéticas, demonstrando o alto padrão de qualidade das imagens geradas pela rede. Para melhorar a performance da classificação dos níveis de câncer, nós conduzimos cinco experimentos com os modelos SVM, CNN, DenseNet e ViT, incorporando imagens geradas via StyleGAN2ADA e AutoAugment. Os experimentos envolveram o balanceamento de classes e a adição de uma pequena quantidade de imagens sintéticas ao processo de treinamento. Como resultado, alcançamos um f1-score de 87,46% no conjunto de imagens de Receptores de Estrogênio (ER) e de 92,22% nas imagens de Receptores de Progesterona (PR), atingindo uma melhora de até 14,15 pontos percentuais com a StyleGAN2DA em relação à classificação com os dados originais. Por fim, visando trazer uma maior robustez e assertividade à pesquisa, estudamos algumas possíveis melhorias futuras à metodologia proposta.

Abstract: Due to the rapid development of technology in the last decade, the field of histopathology began its digital era with the dissemination of Whole Slide Images (WSIs). With this advancement, many studies have been proposed to automate the diagnosis of various pathologies in immunohistochemical medical images, aiming to reduce the time and effort of doctors in exhaustive and time-consuming tasks. In this context, recent but significant progress has been made in automating the classification of breast cancer levels in images from exams with hormone receptors. This progress has been achieved with Machine Learning and Deep Learning techniques, specifically Deep Neural Networks which are known for their great generalization capacity and need for a voluminous set of data to learn the problem patterns. The disadvantage of applying these methods in the medical imaging environment focuses on the scarcity and imbalance of data annotated by specialists, in addition to the lack of public availability of these data. Therefore, to mitigate these problems, we propose a methodology to investigate the impact of adding synthetic immunohistochemical images on classifying the color intensity levels of cancer cells present in the WSIs of hormone receptor biomarkers. Initially, we trained a generative network belonging to the state-of-the-art called StyleGAN2ADA, and we evaluated the quantitative and qualitative quality of the images produced by the network. In a quantitative analysis, we achieved a DreamSIM of 0.091, indicating an excellent similarity between the synthetic and real images. About qualitative assessment, we implemented the Rapid Scene Categorization (RSC) method involving the participation of three pathologists. In this validation, doctors did not detect the synthetic images, demonstrating the high-quality standard of images generated by the network. To improve the performance of cancer classification, we conducted five experiments using SVM, CNN, DenseNet, and ViT models, incorporating images generated via StyleGAN2ADA and AutoAugment. The experiments involved class balancing and adding a small amount of synthetic images to the training process. As a result, we achieved an f1-score of 87.46% in the Estrogen Receptors (ER) dataset and 92.22% in the images of Progesterone Receptors (PR), reaching an improvement of up to 14.15 percentage points with StyleGAN2DA compared to the classification with the original data. Finally, aiming to bring greater robustness and assertiveness to the research, we studied some possible future improvements to the proposed methodology.