Memorial de projetos : o uso do processo CRISP-ML como instrumento de garantia de qualidade no desenvolvimento de aplicações de machine learning

Abstract

Resumo: Neste parecer técnico, faz-se uma discussão acerca da ausência de uma padronização hegemônica de metodologias e modelos para o desenvolvimento de soluções de inteligência artificial e aprendizado de máquina, e da necessidade da sua utilização para garantir a qualidade final destas. A partir do referencial teórico apresentado por livros e artigos científicos relacionados ao tema, faz-se uma análise das metodologias e modelos neles propostos, com foco principal no modelo de desenvolvimento CRISP-ML (CRoss-Industry Standard Process model for Machine Learning), especialmente na sua mais recente versão proposta, CRISP-ML(Q), em que são introduzidas metodologias de garantia de qualidade da solução durante todo o seu ciclo de vida. Observa-se que, devido à natureza não-determinísticas destas aplicações, e à adição da gestão e tratamento dos dados utilizados e do desenvolvimento de modelos ao seu escopo, se faz necessária a utilização de metodologias específicas, que possam direcionar corretamente o processo de desenvolvimento e, assim, garantir a sua qualidade. O modelo é baseado no CRISPDM (CRoss-Industry Standard Process model for Data Mining) que, historicamente, vem sendo utilizado pelo mercado no desenvolvimento deste tipo de aplicação, mas não produzia resultados totalmente satisfatórios por não ter sido desenvolvido para o domínio de inteligência artificial e aprendizado de máquina. Neste contexto, o modelo CRISP-ML(Q) é apresentado como uma opção específica para o domínio em questão e que busca, através do estabelecimento de fases e tarefas bem definidas, garantir que todos os requisitos da solução sejam realmente satisfeitos

Abstract: This technical report discusses the absence of a hegemonic standardization of methodologies and models for the development of artificial intelligence and machine learning solutions, as well as the necessity of their adoption to ensure the final quality of such solutions. Drawing upon the theoretical framework presented in books and scientific articles related to the subject, an analysis is conducted of the methodologies and models proposed therein, with a primary focus on the CRISP-ML (CRoss-Industry Standard Process model for Machine Learning) development model, especially its most recently proposed version, CRISP-ML(Q), which introduces quality assurance methodologies throughout the entire solution lifecycle. It is observed that, due to the non-deterministic nature of these applications and the inclusion of data management and processing and model development within their scope, the use of specific methodologies is required to properly guide the development process and thus guarantee its quality. The model is based on CRISP-DM (CRoss-Industry Standard Process model for Data Mining) which, historically, has been employed by the market for the development of such applications but has not yielded fully satisfactory results, as it was not originally designed for the domain of artificial intelligence and machine learning. In this context, the CRISP-ML(Q) model is presented as a domain-specific option that seeks, through the establishment of well-defined phases and tasks, to ensure that all solution requirements are effectively met