Análise comparativa dos algoritmos SVD e KNN para sistemas de recomendação de produtos em marketplaces

Abstract

Resumo: Com o crescimento exponencial do volume de dados na internet, os sistemas de recomendação tornaram-se essenciais para marketplaces. Este estudo apresenta uma análise comparativa entre os algoritmos K-Nearest Neighbors (KNN) e Singular Value Decomposition (SVD) em sistemas de recomendação. Foi utilizado o dataset "eCommerce behavior data from multi category store" do Kaggle que possui interações de compras dos usuários em uma plataforma de marketplace. A avaliação foi realizada através das métricas de precisão Mean Absolute Error (MAE), Root Mean Square Error (RMSE) e Hit Rate, comparando diferentes recortes de catálogo, entre o top 1.000 ao top 4.000 produtos, e também foi mensurado a eficiência dos modelos em grupos de 500 a 2.500 usuários. Os resultados mostraram que o KNN se saiu melhor em todas as métricas de precisão, já o SVD se mostrou muito mais rápido e eficiente nas predições, sendo 100 vezes mais rápido na geração de recomendações. Contudo, o estudo identificou que a limitação do catálogo aos produtos mais populares criou um ambiente artificialmente denso, isto favoreceu o KNN, pois removeu sua principal desvantagem, a alta esparsidade, e uma das vantagens do SVD, sua capacidade de generalização. O resultado mostrou que para a escolha do algoritmo ideal deve-se considerar volume de dados, esparsidade da matriz e tempo de predição

Abstract: With the exponential growth of data volume on the internet, recommendation systems have become essential for marketplaces. This study presents a comparative analysis between K-Nearest Neighbors (KNN) and Singular Value Decomposition (SVD) algorithms in recommendation systems. The "eCommerce behavior data from multi category store" dataset from Kaggle was used, which contains user purchase interactions on a marketplace platform. The evaluation was conducted through precision metrics Mean Absolute Error (MAE), Root Mean Square Error (RMSE), and Hit Rate, comparing different catalog subsets, from top 1,000 to top 4,000 products, and the efficiency of the models was also measured across groups of 500 to 2,500 users. The results showed that KNN performed better in all precision metrics, while SVD proved much faster and more efficient in predictions, being 100 times faster in generating recommendations. However, the study identified that limiting the catalog to the most popular products created an artificially dense environment, which favored KNN by removing its main disadvantage, high sparsity, and one of SVD's advantages, its generalization capability. The results showed that for choosing the ideal algorithm, one should consider data volume, matrix sparsity, and prediction time