Sistemas de recomendação sequencial : uma nova abordagem para aumento de sequências

Abstract

Resumo: Na era do consumo eletrônico, sistemas de recomendação se tornaram ferramentas essenciais para prover uma experiência mais concisa e gratificante para os usuários. Para isso, costuma-se utilizar informações como o histórico de interações e sistemas de recomendação sequencial. Esta especialização recebeu muita atenção na última década, graças à popularização de modelos baseados em Transformers, que utilizam técnicas como mecanismo de atenção e codificação posicional para criar representações que correlacionam itens com precisão e que convergem rapidamente. Apesar das vantagens, Transformers ainda sofrem de problemas comuns de aprendizado de máquina, como a dificuldade em realizar predições em cenários de poucos exemplos, como ao tentar recomendar algo para um usuário com poucas interações. Neste contexto, surgiram modelos inspirados em Self-Supervised Learning (SSL). SSL consiste em tirar o máximo de proveito dos dados existentes, criando novas informações que possam ser úteis para melhorar um modelo. Modelos como ASReP e BARec realizam SSL utilizando o histórico de interações reverso de um usuário para aprender a realizar aumentos no início das sequências, estendendo o número de interações de um usuário, visando tornar a recomendação mais fácil para usuários com poucas interações. Porém, estes modelos falham em melhorar a acurácia nestas situações. Além disso, eles se limitam a realizar o aumento de sequências no começo. Não apenas isso, mas também realizam os aumentos de forma cumulativa, adicionando interações artificiais utilizando as adições feitas em passos anteriores. O que acreditamos que possa propagar erros, gerando aumentos de qualidade baixa. Neste cenário, notando essas lacunas na literatura, este trabalho propõe uma nova abordagem utilizando BERT, chamada ESA4SRec ou Extrapolation-based Sequence Augmentation For Sequential Recommendation, para realizar aumentos não cumulativos em qualquer posição do histórico de um usuário e que sejam capazes de melhorar a recomendação para usuários com poucas interações. BERT utiliza uma abordagem de treinamento que se especializa em reconstruir sequências corrompidas. Induzindo BERT a tratar sequências completas como corrompidas, ESA4SRec é capaz de realizar aumentos em qualquer posição de uma sequência e de forma não cumulativa, já que o algoritmo reconstrói a sequência em um único passo. Utilizando a metodologia de treinamento e validação mais recente da literatura, conjuntos de dados vistos frequentemente em artigos e comparando com os modelos mais relevantes (que realizam aumento de sequências), este trabalho apresenta melhorias expressivas na acurácia de recomendações ao se utilizar ESA4SRec. Estes ganhos não se resumem a usuários com históricos grandes, mas também se apresentam para usuários com poucas interações, validando a proposta

Abstract: In the age of digital consumption, recommendation systems have become essential tools for providing a more concise and rewarding experience for users. To achieve this, information such as interaction history and sequential recommender systems are commonly used. This specialization has gained a lot of attention in the last decade, thanks to the popularization of models based on Transformers, which use techniques such as attention mechanisms and positional encoding to create representations that correlate items accurately and converge quickly. Despite their advantages, Transformers still suffer from common machine learning problems, such as difficulty in making predictions in scenarios with few examples, such as when trying to recommend something to a user with few interactions. In this context, models inspired by Self-Supervised Learning (SSL) have emerged. SSL consists of making the most of existing data, creating new information that can be useful for improving a model. Models such as ASReP and BARec perform SSL using a user’s reversed interaction history to learn how to make augmentations at the beginning of sequences, extending the number of interactions for a user, aiming to make recommendations easier for users with few interactions. However, these models fail to improve accuracy in these situations. In addition, they are limited to making augmentations at the beginning of sequences. Not only that, but they also perform augmentations cumulatively, adding artificial interactions using additions made in previous steps. We believe this can propagate errors, generating low-quality augmentations. In this scenario, noting these gaps in the literature, this work proposes a new approach using BERT, called ESA4SRec or Extrapolation-based Sequence Augmentation For Sequential Recommendation, to perform non-cumulative augmentations at any position of a user’s history that are capable of improving recommendations for users with few interactions. BERT uses a training approach that specializes in reconstructing corrupted sequences. By inducing BERT to treat complete sequences as corrupted, ESA4SRec is able to make augmentations at any position in a sequence and in a non-cumulative manner, since the algorithm reconstructs the sequence in a single step. Using the latest training and validation methodology in the literature, datasets frequently seen in articles, and comparing with the most relevant models (which perform sequence augmentation), this work presents significant improvements in the accuracy of recommendations when using ESA4SRec. These improvements are not limited to users with large histories, but also apply to users with few interactions, validating the proposed approach