Memorial de projetos : a análise estatística descritiva como pilar fundamental na fase exploratória de dados em projetos de IA

Abstract

Resumo: A Estatística Descritiva configura-se como um pilar essencial na fase exploratória de dados (Exploratory Data Analysis – EDA) em projetos de Inteligência Artificial (IA) e Machine Learning (ML), desempenhando um papel estratégico para a compreensão inicial, a preparação e a qualidade dos dados. Evidências recentes (2019–2024) indicam que o uso de medidas como média, mediana, desvio padrão e técnicas de visualização, como histogramas e boxplots, permite identificar distribuições, outliers e padrões relevantes, prevenindo problemas que poderiam comprometer a robustez dos modelos. Estudos apontam que grande parte dos erros e inconsistências em projetos de IA é detectado durante a EDA, enquanto a ausência dessa etapa tende a elevar significativamente a ocorrência de falsos positivos e vieses nos resultados. Adicionalmente, estratégias baseadas em quartis, correlação e análise de variância auxiliam na seleção de variáveis, resultando em reduções de até 40% no tempo de treinamento e custos computacionais. Assim, a Estatística Descritiva contribui diretamente para ganhos de acurácia, robustez e generalização dos modelos, consolidando-se como um alicerce indispensável em pipelines de IA. Negligenciar essa etapa implica riscos como viés nos resultados, baixa capacidade preditiva e retrabalho na validação, aumentando custos e comprometendo a tomada de decisão. Portanto, recomenda-se que projetos de IA incorporem formalmente a análise estatística descritiva, automatizando relatórios e capacitando equipes na interpretação adequada dessas métricas, conforme melhores práticas destacadas na literatura recente

Abstract: Descriptive Statistics is established as an essential pillar in the exploratory data phase (Exploratory Data Analysis – EDA) in Artificial Intelligence (AI) and Machine Learning (ML) projects, playing a strategic role in the initial understanding, preparation, and quality of the data. Recent evidence (2019–2024) indicates that the use of measures such as mean, median, standard deviation, and visualization techniques, such as histograms and boxplots, enables the identification of distributions, outliers, and relevant patterns, preventing issues that could compromise model robustness. Studies show that a large portion of errors and inconsistencies in AI projects is detected during EDA, while the absence of this step tends to significantly increase the occurrence of false positives and biases in the results. Additionally, strategies based on quartiles, correlation, and variance analysis support variable selection, resulting in reductions of up to 40% in training time and computational costs. Thus, Descriptive Statistics directly contributes to gains in accuracy, robustness, and model generalization, establishing itself as an indispensable foundation in AI pipelines. Neglecting this stage entails risks such as biased results, reduced predictive capacity, and rework during validation, increasing costs and compromising decision-making. Therefore, it is recommended that AI projects formally incorporate descriptive statistical analysis, automating reports and training teams in the proper interpretation of these metrics, in accordance with best practices highlighted in recent literature