DYNSE+ : combining dynamic ensemble selection with concept drift detection

Abstract

Resumo: Concept Drift é umproblema comum quando lidamos com fluxos de dados. Como as distribuições de probabilidade dos dados mudam com o passar do tempo, é essencial que modelos de Aprendizado de Máquina consigam se adaptar. Na literatura, existem alguns métodos que tentam se adaptar a essas mudanças. Entre eles, o Dynse, que é baseado em seleção dinâmica de ensemble, é o foco deste trabalho. Ele mantém um pool de classificadores que é atualizado sempre que um novo lote de dados chega. Esses classificadores são selecionados baseado em sua performance em um dataset de validação para classificar uma instância. Duas mudanças foram propostas, que são fazer o Dynse capaz de fazer processamento online, e adicionar um detector de mudança, para auxiliar na adaptação para um novo conceito. Os resultados experimentais mostram que, após a adaptação para processamento online, que chamamos de ODynse, tivemos uma performance melhor do que o framework Dynse original em ambas mudanças de conceito real e virtual. Após a adição do detector de mudança, resultando no Dynse+, tivemos resultados melhores estatisticamente significativos do que o Dynse. O Dynse+ também foi o método melhor classificado entre 7 outros métodos do estado-da-arte, com uma diferença estatisticamente significativa para 4 deles. Também foram feitos testes considerando rótulos atrasados e parciais, para simular um cenário mais próximo do mundo real. O Dynse+ também foi o melhor comparado a outros métodos do estado da arte. Contudo, ele foi o método mais lento quando consideramos tempo de processamento.

Abstract: Concept drift is a common problem when we are dealing with data streams. As the probability distribution of data changes with time, it is crucial that Machine Learning models are able to adapt. In the literature, there are some methods that try to adapt to these changes. Between them, Dynse, which is based on Dynamic Ensemble Selection, is the focus of this work. It maintains a pool of classifiers that is updated whenever a new batch of data arrives. These classifiers are selected based on their performance in a validation dataset to classify an instance. Two changes were proposed, which are making Dynse able to perform online processing, and to add a drift detector to assist on the adaptation to a new concept. The experimental results show that, after the adaptation to online processing, which we call ODynse, we had a best performance to the original Dynse framework. After the addition of the drift detector, resulting on the Dynse+, we had a statistically significant best results than Dynse. Dynse+ also was the best ranked method among 7 other state-of-the-art methods, with a statistically significant difference to 4 of them. There were also performed tests considering delayed and partial labels, to simulate a scenario closer to the real world. Dynse+ was also the best one compared to other methods in the state of the art. However, it was the slowest method when we take into account the processing time.