Aprendizado de Máquina Automático (AutoML) para problemas de classificação : Análise comparativa do desempenho de frameworks privados e públicos

Abstract

Resumo: O crescente uso de soluções baseadas em aprendizado de máquina para resolução de problemas complexos em diversas áreas de aplicação, tem demandado soluções versáteis e de fácil utilização. A partir de meados da década passada, começaram a surgir soluções voltadas para esse objetivo, denominadas Automated Machine Learning (AutoML), com iniciativas da comunidade de desevolvimento de códigos abertos e de grandes empresas privadas. Com isso, este projeto tem como objetivo comparar a performance de seis frameworks de AutoML escolhidos, sendo três deles privados (GCP AutoML, AWS Autopilot e Dataiku) e três de código aberto (Pycaret, MLJar e H20), para modelos de classificação binários. Concluimos que o framework GCP AutoML se destacou mas ao contrário dos demais framework não mostra quais algoritmos foram testados, seus parâmtros ou qualquer outra informação referente ao log dos experimentos, mostrando apenas as métricas de performance da solução final. Dentre os framework gratuitos o MLJar e H2O demonstraram alto nível de competitividade frente aos outros framework privados AWS Autopilot e Dataiku, tendo apenas como contra ponto a necessidade de conhecimentos de programação para execução dos processos enquanto as soluções privadas possuem interface interativo e não necessitam de códificação explicita.