Testes sequenciais como alternativa para antecipar resultados de testes A/B : simulação de ganhos incrementais em conversão com análise deconfiabilidade estatística

Abstract

Resumo: Este trabalho investiga a metodologia de testes sequenciais como uma alternativa eficiente aos testes A/B tradicionais, cujos longos tempos de coleta de amostra limitam a agilidade na tomada de decisão em ambientes digitais. Por meio de um robusto estudo de simulação computacional, implementado em Python com o auxílio do pacote R rpact [1], foi avaliado o desempenho de um design de grupo sequencial sob múltiplos cenários com diferentes ganhos de conversão. Os resultados comprovaram o valor da metodologia, demonstrando sua capacidade de concluir testes significativamente mais cedo, resultando em uma economia substancial de recursos e tempo, já que verificou-se uma economia média de 17% da amostra utilizando a metodologia de testes sequenciais. Contudo, a análise também revelou que a eficácia do método é altamente dependente do planejamento inicial, já que um design parametrizado para detectar grandes efeitos demonstrou baixo poder estatístico para identificar ganhos mais sutis. Dessa forma, o estudo conclui que a análise sequencial é uma ferramenta poderosa e estatisticamente rigorosa para otimizar a experimentação, mas seu sucesso prático está intrinsecamente ligado a um design estatístico cuidadoso e alinhado aos objetivos de negócio

Abstract: This paper investigates sequential testing methodology as an efficient alternative to traditional A/B testing, whose long sample collection times limit decision-making agility in digital environments. Through a robust computer simulation study, implemented in Python with the help of the R package rpact [1], the performance of a sequential group design was evaluated under multiple scenarios with different conversion gains. The results proved the value of the methodology, demonstrating its ability to complete tests significantly earlier resulting in substantial savings in resources and time, as an average savings of 17% of the sample was verified using the sequential testing methodology. However, the analysis also revealed that the effectiveness of the method is highly dependent on initial planning, as a design parameterized to detect large effects demonstrated low statistical power to identify more subtle gains. Thus, the study concludes that sequential analysis is a powerful and statistically rigorous tool for optimizing experimentation, but its practical success is intrinsically linked to a careful statistical design aligned with business objectives