Aprendizado por reforço aplicado ao problema de alocação de berços no porto de Paranaguá e Antonina

Abstract

Resumo: O Problema de Alocação de Berços (PAB) é um dos principais desafios operacionais enfrentadospor terminais portuários, especialmente em contextos com alta variabilidade de carga, múltiplosoperadores e restrições físicas, como ocorre no sistema da APPA (Administração dos Portosde Paranaguá e Antonina). A alocação eficiente dos navios aos berços impacta diretamente otempo de espera, o uso da infraestrutura e a fluidez da cadeia logística. Diante da naturezaestocástica do ambiente portuário e das limitações dos métodos determinísticos tradicionais,esta dissertação propõe a modelagem do PAB como um Processo de Decisão Sequencial(SDP), resolvido por meio de Aprendizado por Reforço (Reinforcement Learning – RL). Aabordagem considera estados definidos por parâmetros operacionais reais, como tipo de carga,tempo de manuseio, configuração dos berços e tempos de troca entre tipos de operação. Aabordagem incorpora técnicas de clusterização funcional para reduzir o espaço de estados emelhorar a especialização das políticas aprendidas. O treinamento é realizado com base emrecompensas projetadas para maximizar a ocupação dos berços e minimizar o tempo de esperadas embarcações. Os resultados obtidos incluem ganhos significativos de eficiência operacionalem relação a políticas tradicionais, como First-In First-Out (FIFO) e Priority of Handling Time(PHT), com destaque para uma redução média de aproximadamente 37% nos tempos deespera das embarcações, além de escalabilidade e robustez frente a incertezas operacionais.Esta abordagem contribui para o avanço de soluções baseadas em inteligência artificial no setorportuário e pode ser replicada em outros terminais com características similares.

Abstract: The Berth Allocation Problem (BAP) is one of the main operational challenges faced by portterminals, especially in contexts with high cargo variability, multiple operators, and physicalconstraints, as observed in the APPA system (Administration of the Ports of Paranaguá andAntonina). Efficient allocation of vessels to berths directly impacts waiting times, infrastructureutilization, and the fluidity of the logistics chain. Considering the stochastic nature of the portenvironment and the limitations of traditional deterministic methods, this dissertation proposesmodeling the BAP as a Sequential Decision Process (SDP), solved through ReinforcementLearning (RL). The approach considers states defined by real operational parameters, such ascargo type, handling time, berth configuration, and switching times between different types ofoperations. The model incorporates functional clustering techniques to reduce the state spaceand improve the specialization of the learned policies. The training process is realized usingreward functions designed to maximize berth occupancy and minimize vessel waiting times.The results achieved include significant operational efficiency gains compared to traditionalpolicies such as First-In First-Out (FIFO) and Priority of Handling Time (PHT), with emphasison an average reduction of approximately 37% in vessel waiting times, in addition to improvedscalability and robustness in the face of operational uncertainties. This approach contributesto the advancement of artificial-intelligence-based solutions in the port sector and can bereplicated in other terminals with similar characteristics.