Contribuições na detecção de frutos de maçã em pomar de alta densidade utilizando imagens obtidas para fotogrametria terrestre

Abstract

Resumo: A maleicultura brasileira faz uso de operações manuais para fazer avaliação de produção de pomar. Essas operações são morosas, despendem de esforço físico e necessitam no mínimo dois operadores para serem realizadas. Partindo desse problema propôs-se utilizar técnicas de Visão Computacionais e de Fotogrametria para obtenção de informações quantitativas e individualizadas de plantas de um pomar comercial de maçã. O estudo foi realizado em um pomar no município de Correia Pinto-SC, a cultivar analisada foi a Fuji Suprema, próximo ao período da colheita. Foram analisadas 8 linhas, identificadas de L1 a L8 com 10 plantas cada. A coleta de dados dividiu-se em duas etapas: 1) A Primeira etapa foi a aquisição das imagens que permitiram as análises realizadas por Fotogrametria; nesta etapa foram fotografadas 8 linhas em ambos os lados, e com sobreposição entre as fotos. 2) a Segunda foi a aquisição dos dados do pomar de modo convencional onde foram coletados: Diâmetro do Caule (Di), Altura da planta (H), Comprimento (Co), Largura (Lg), Número dos Frutos (NF) e Peso Médio do Fruto (PMF). Duas metodologias (A) e (B) de detecção de frutos de maçã foram desenvolvidas, empregando de forma independente técnicas de Processamento Digital de Imagem (PDI) e de Aprendizado Profundo - Deep Learning (DL). A metodologia (A) usou técnica do espaço de cores para detectar os frutos da maçã em uma Linha, com 20 imagens. Como avaliação calculou-se valores de comissão, omissão e acurácia para as detecções dos frutos. As bandas que apresentaram melhor desempenho foram Lab-a, Combinações C2 e C3, com valores aproximados de 0,06, 0,25 e 0,76 para comissão, omissão e acurácia, respectivamente. Na contagem de frutos proposta Lab-a apresentou um R2 de 0,73 e na comparação com o acerto na posição dos frutos o R2 foi de 0,96. A metodologia (B) explorou sete modelos diferentes de DL para realizar a detecção dos frutos. Os modelos de DL avaliados foram ATSS, Faster-RCNN, Libra-RCNN, Cascade-RCNN, RetinaNet, FSAF e HRNet. Das experimentações realizadas conclui-se que os melhores resultados foram obtidos com ATSS, HRNet e FSAF, resultado Precisões Médias de 0,925, 0,922 e 0,922, respectivamente. Empregando o modelo ATSS foram efetuadas experimentações visando explorar diferentes tamanhos de caixas delimitadoras (BB), diferentes níveis de densidade de frutos por patches, e corrupção da imagem. Os melhores resultados foram: na BB o tamanho de 160 x 160 pixel, na densidade de frutos o valor de (20-29) frutos, e nas imagens corrompidas o método teve bom desempenho exceto para condições simuladas de neve, geada e névoa.

Abstract: The Brazilian apple crop has used manual operations to evaluate its orchard production. These operations are time-consuming, require physical effort, and need at least two operators to be performed. Considering these difficulties, a study was performed to develop semi-automatic approaches to obtain quantitative and individualized information of plants from a commercial apple orchard using Computer Vision and Photogrammetry techniques. The study area was carried out in an orchard at Correia Pinto-SC; Fuji Suprema was the cultivar analyzed near to the harvest period. Eight rows with ten apple plants in each row, identified as L1 to L8, were analyzed. Data collection was divided into two steps: 1) The first step was the acquisition of images that allowed the analysis performed by Photogrammetry; In this step, 8 rows were photographed on both sides. A large overlap between the photos was used, resulting 20 images in each line. 2) In the second step, the basic dataset from the orchard was acquired using a conventional procedure; the following data were collected: Trunk Diameter (Di), Plant Height (H), Length (Co), Width (Lg), Number of Fruits (NF) and Weight Fruit Medium (FMP). Two methodologies (A) and (B) for apple fruit detection were developed using Digital Image Processing (PDI) and Deep Learning (DL) techniques. Methodology (A) used the color space technique to detect apple fruits in a line. Commission, omission, and accuracy were the parameters' values calculated to measure the performance of the approaches used for apple detection. The bands that showed the best performance were Lab-a, Combinations C2, and C3; The obtained results from Lab-a were values near 0.06, 0.25, and 0.76 for commission, omission, and accuracy, respectively. Additionally, the obtained value of R2 was 0.73 and in the comparison with the correct position of the fruits, the R2 was 0.96. Methodology (B) explored seven different DL models to perform the process of fruit detection. The DL models evaluated were ATSS, Faster-RCNN, Libra-RCNN, Cascade-RCNN, RetinaNet, FSAF, and HRNet. From the experiments carried out, it can be concluded that the best results were obtained with ATSS, HRNet, and FSAF, resulting in Average Precision of 0.925, 0.922, and 0.922, respectively. Using the ATSS model, experiments were carried out to explore different sizes of bounding boxes (BB), different levels of fruit density by patches, and image corruption. The best results were: in BB the size of 160 x 160 pixels, in the density of fruits the value of (20- 29) fruits, and in the corrupted images the method performed well except for simulated conditions of snow, frost, and fog.