A study about Lq-norm least squares support vector machine with feature selection

Abstract

Resumo: Neste trabalho s˜ao estudados os problemas de classifica¸c˜ao bin'aria, nos quais h'a um n'umero m de observa¸c˜oes em um espa¸co de n dimens˜oes e n ? m ou n ? m. No 'ultimo caso o problema 'e denominado Amostras de Tamanho Pequeno (SSS, do inglˆes Small Sample Size). Nesse caso, o problema de classifica¸c˜ao se torna mais dif'?cil, pois os algoritimos podem sofrer de um fenˆomeno chamado de maldi¸c˜ao da dimensionalidade. Tal fenˆomeno faz com que o classificador tenha um baixo n'umero de acertos. Tamb'em pode ocorrer um problema chamado de sobreajuste, isto 'e, quando o classificador consegue classificar bem os dados que foram utilizados para constru'?-lo, no entanto, n˜ao apresenta uma boa taxa de acertos para novos dados. Uma t'ecnica utilizada para espa¸cos com muitas caracter'?sticas 'e a sele¸c˜ao de caracter'?sticas, que pode melhorar a taxa de acertos de um classificador, al'em de fornecer um melhor entendimento dos dados que est˜ao sendo classificados. O modelo estudado neste trabalho 'e uma variante de Least Squares Support Vector Machine (LS-SVM) com o Kernel linear, chamado de Lq-norm Least Squares Support Vector Machine (Lq-norm LS-SVM), que constr'oi um classificador capaz de realizar a sele¸c˜ao de caracter'?sticas e predi¸c˜ao de dados simultaneamente, mesmo no caso SSS. Palavras-chave: Aprendizagem supervisionada. Classifica¸c˜ao. Lq-norm Least Squares Support Vector Machine. Sele¸c˜ao de Caracter'?sticas

Abstract: In this work we study the binary classification problems, in which we have a number m of data observations in a space with dimension n and we have that n ? m or n ? m. In the last case the problem is called Small Sample Size (SSS). In this case, the classification problem becomes more difficult, since the algorithms can suffer from a phenomenon called the curse of dimensionality. This makes the classifier have a low number of correct answers, also can occur a problem called overfitting, that is, when the classifier is able to classify correctly the data that were used to build it, however, it does not present a good rate of correct predictions for new data. A technique used for spaces with many characteristics is known as feature selection, which can improve the ability of a classifier to predict correctly new data, avoid overfitting and also provide us a better understanding of the data. The model that we study in this work is a variant of Least Squares Support Vector Machine (LS-SVM) with linear Kernel, called Lq-norm Least Squares Support Vector Machine (Lq-norm LS-SVM), which builds a classifier able to perform feature selection and prediction, even in SSS case. Keywords: Supervised learning. Classification. Lq-norm Least Squares Support Vector Machine. Feature selection.