Utilizando meta-aprendizado para seleção de modelos de confiabilidade de software

Abstract

Resumo: A área de confiabilidade de software é considerada uma das mais críticas em Engenharia de Software. Diante disso, escolher qual o melhor modelo de confiabilidade a ser utilizado é uma tarefa importante, uma vez que os modelos apresentam resultados distintos para um mesmo conjunto de dados. Uma forma de selecionar qual o melhor modelo é analisar experiências e resultados de outras bases. Mas isto pode consumir muito tempo e esforço e nem sempre é uma tarefa trivial para a maioria dos gerentes de software. Para auxiliar na atividade de seleção de qual o modelo de confiabilidade a ser utilizado, este trabalho apresenta uma abordagem baseada em Meta-Aprendizado, uma sub-área do Aprendizado de Máquina. A tarefa de seleção é vista como uma tarefa de classificação, na qual as classes são os diferentes modelos. Para validação da abordagem foram realizados vários experimentos de comparação e seleção de qual o melhor modelo entre tradicionais ou paramétricos, e modelos não paramétricos que utilizam Redes Neurais e Programação Genética. Essa validação explora algumas características, meta-dados, de bases contendo dados de tempo entre falhas, tais como: variância, inclinação, auto-correlação e ruído médio. Dois classificadores foram avaliados, um baseado em árvores de decisão e outro em Redes Neurais. Ao final, um modelo é selecionado baseado no Erro Médio. Os resultados obtidos sugerem que a aplicação do Meta-Aprendizado é uma ferramenta importante para seleção do melhor modelo de confiabilidade.

Abstract: Software reliability is considered one of the most critical tasks in Software Engineering. Due to this, the use of software reliability models is fundamental. However, there are many types of models that can be used and none has proved to perform well considering different projects and databases. One way to select the best model for a specific dataset,is to analyse historical data. But, this can consume a lot of effort and time and it is not always a trivial task for most of the software managers. To help in the selection of what reliability model to use, this work presents one approach based on Meta-Learning, a sub-field of Machine Learning. The selection task is seen as a classifier activity, where the classes are the different models. To validate the introduced approach, some experiments were conducted with traditional or parametric models and non parametric ones, such as the models based on Neural Networks and Genetic Programming. These experiments explored some meta-data as variance, inclination, auto-correlation and noise and two kind of classifiers: one based on decision trees and another one based on Neural Networks.The best model is selected based on the Average Error. The obtained results validate the proposed Meta-Learning approach and are very promising.