A experimentação é sem dúvidas uma das bases da estatística, relacionando-se com todas as áreas científicas e empresariais. O objetivo geral do desenvolvimento de testes é confirmar ou rejeitar uma hipótese formulada. Hoje, no mercado de trabalho é comum que cientistas de dados e estatísticos tenham que constantemente conduzir experimentos, em sua maioria relacionados à interface de usuário e marketing. Desses experimentos o que mais se destaca hoje em dia é o teste A/B que será discutido nesse post.
Experimentos Estatísticos
Os usos para a testagem não tem fim, grandes fintechs e empresas consolidadas utilizam experimentos extensivamente para todo o tipo de ação em que se possa avaliar e comparar resultados. A experimentação segue a chamada “cadeia” clássica de inferência estatística que segue o seguinte esquema:
Desenhar Experimento
Coletar Dados
Inferência Conclusões
O processo consiste na formulação de uma hipótese (o remédio A é melhor que o remédio B existente), desenho do experimento para o teste da hipótese, projetando-o de maneira a esperar um resultado conclusivo, coleta e analise de dados e por fim a conclusão por meio de inferência.
Testagem A/B
O teste A/B é um modelo de experimentação que utiliza dois grupos para determinar qual dos dois tratamentos, produtos, procedimentos ou semelhantes é o superior.
Tipicamente, um dos dois tratamentos é o tratamento padrão, que já é utilizado, ou nenhum tratamento. Chamamos esse grupo padrão de controle. A hipótese que costuma-se utilizar é a de que o novo tratamento, ou tratamento de teste, é melhor que o controle.
Um grupo controle rigoroso também garantirá que quaisquer diferenças encontradas entre os grupos sejam devido ao tratamento ou ao acaso. Poderemos, então, excluir coorte, sazonalidade e outras variáveis indesejadas.
Exemplos de testes A/B:
- Testagem de dois tratamentos de solo para determinar qual deles gera melhor germinação de sementes
- Testagem de duas rações para determinar qual tem melhor resultado na criação de suínos
- Testagem de dois preços para determinar qual gera mais lucro líquido
- Testagem de dois formatos de botões para determinar qual gera mais cliques no site
- Testagem de dois anúncios online para determinar qual gera mais conversões
Estrutura do Teste
A testagem A/B moderna utiliza computação para realizar permutações sucessivas nos dados e compreender se as diferenças encontradas são devido ao efeito dos tratamentos ou à aleatoriedade.
Para que o teste seja adequado os indivíduos, (sementes, suínos, cliques, etc) deverão estar atribuídos a necessariamente um tratamento do experimento, idealmente de forma randomizada (aleatória).
O que iremos avaliar é o comportamento da estatística de teste que irá comparar o grupo A ao grupo B. Uma forma de visualizar a estatística de teste ou métrica, é através de uma tabela de contingência 2×2
| Resultado | Botão A | Botão B |
|---|---|---|
| Clique | 230 | 170 |
| Não Clique | 20459 | 19449 |
Caso precisássemos utilizar uma métrica contínua (lucro, crescimento relativo, rendimento), não seria interessante utilizar resultados binários, porém, para cada caso existe uma forma de exibir os resultados satisfatoriamente, utilizando a média ou a variância, por exemplo.
Testando
Como referenciamos anteriormente o teste de permutação iremos exemplificar a testagem A/B utilizando permutações, mas lembre que existem outras formas de realizar experimentos A/B e ainda mais formas se considerarmos mais do que dois tratamentos.
Permutação
A primeira etapa do teste de permutação é combinar os resultados dos grupos A e B. Essa combinação representará logicamente a hipótese nula da qual os tratamentos não diferem quanto à exposição dos grupos.
Testaremos então a hipótese extraindo aleatoriamente os grupos desse conjunto combinado e avaliando o quanto eles diferem um do outro. A permutação segue a seguinte ordem:
- Combinação de resultados dos diferentes grupos em um único conjunto de dados.
- Embaralhamento dos dados combinados seguido da extração aleatória e sem reposição de uma reamostra de tamanho igual ao do grupo A
- Extração aleatória e sem reposição de uma reamostra de tamanho igual ao do grupo B a partir dos dados restantes.
- Calculo e registro da estatística ou estimativa, calculada para as amostras originais, para as reamostras
- Repetição extensiva dos passo anteriores para produzir uma distribuição de permutação
Após realizar as permutas voltaremos às diferenças observadas entre os grupos e compararemos ao conjunto das diferenças permutadas. Se a diferença observada estiver dentro do conjunto de diferenças permutadas, então não foi possível provar nada e consideraremos que a diferença foi devido ao acaso. Caso a diferença observada estiver significativamente fora da distribuição de permutação, poderemos concluir que o acaso não é responsável.
No segundo caso poderemos dizer que a diferença é estatisticamente significante.
Concluindo
Vimos para que serve e como aplicamos o teste A/B, entendendo a sua importância na área de experimentação.
Pontuamos que as testagens são ferramentas importantíssimas e existem muitos tópicos que não abordamos. O conhecimento estatístico é essencial para compreender o escopo da testagem e da experimentação.
Caso algo não tenha ficado claro talvez seja necessário rever conceitos e consultar materiais.
Nossa recomendação é acompanhar a página de nossa parceira IMEJR que tem excelentes conteúdos sobre a prática estatística e didática nas ciências exatas.
Aproveite e assine nossa Newsletter para receber notícias e conteúdos atuais e relevantes!
Escrito por Rafael Arocho
