Estudos empíricos dos métodos de balanceamento para a classificação

Abstract

Resumo: A classificação tem o objetivo de rotular eventos e objetos de acordo com classes preestabelecidas. No entanto, alguns algoritmos perdem a capacidade de prediçao, quando o conjunto de dados possui uma distribuiçao desbalanceada entre suas classes. Para tentar resolver esse problema diversos metodos tem sido propostos na literatura. O presente trabalho tem como objetivo analisar e comparar os metodos mais conhecidos que se propoe a resolver o problema de classificação com bases desbalanceadas. Para isto, os metodos foram testados com os classificadores tradicionais como: Naive Bayes, Bayes Net, SMO, MultilayerPerceptron, J48 e JRip. As metricas de avaliaçao consideradas foram RecallP (verdadeiros positivos), RecallN (Verdadeiros negativos) e finalmente a taxa de acurada. Para realizar esta analise, os testes foram efetuados em 13 bases provenientes do UCI Machine Learning Repository e tambem em dois conjuntos de bases do "mundo real", que sao bases construídas com informações sobre defeitos em sistemas de Orientacao a Aspectos. O primeiro conjunto são cinco bases do repositório NASA Metrics Data Project, sendo elas cml, jml, kcl, kc2 e pcl. O segundo conjunto, sao três sistemas Orientados a Aspecto que sao: Ibatis, HW (HealthWatcher) e MM (MobileMedia). Os resultados demonstram que e possível melhorar a taxa de classificacao, mas e difícil dizer o metodo que se comporta melhor em bases do mundo real, pois tudo depende de como o classificador generaliza a base, principalmente com a presencça de dados ruidosos. As bases do UCI, apresentam melhores resultados em relaçao às bases de Engenharia de Software. Isto pode ser explicado em funcao da natureza dos dados reais que costumam conter mais ruídos.