Teste A/B

Dois celulares com layouts diferentes demonstrando tratamentos

Compartilhe esse post

A experimentação é sem dúvidas uma das bases da estatística, relacionando-se com todas as áreas científicas e empresariais.  O objetivo geral do desenvolvimento de testes é confirmar ou rejeitar uma hipótese formulada. Hoje, no mercado de trabalho é comum que cientistas de dados e estatísticos tenham que constantemente conduzir experimentos, em sua maioria relacionados à interface de usuário e marketing. Desses experimentos o que mais se destaca hoje em dia é o teste A/B que será discutido nesse post.

 

Experimentos Estatísticos

Os usos para a testagem não tem fim, grandes fintechs e empresas consolidadas utilizam experimentos extensivamente para todo o tipo de ação em que se possa avaliar e comparar resultados. A experimentação segue a chamada “cadeia” clássica de inferência estatística que segue o seguinte esquema:

Formular
Hipótese

Desenhar Experimento

Coletar Dados

Inferência Conclusões

O processo consiste na formulação de uma hipótese (o remédio A é melhor que o remédio B existente), desenho do experimento para o teste da hipótese, projetando-o de maneira a esperar um resultado conclusivo, coleta e analise de dados e por fim a conclusão por meio de inferência.

Testagem A/B

O teste A/B é um modelo de experimentação que utiliza dois grupos para determinar qual dos dois tratamentos, produtos, procedimentos ou semelhantes é o superior.

Tipicamente, um dos dois tratamentos é o tratamento padrão, que já é utilizado, ou nenhum tratamento. Chamamos esse grupo padrão de controle. A hipótese que costuma-se utilizar é a de que o novo tratamento, ou tratamento de teste, é melhor que o controle.

Um grupo controle rigoroso também garantirá que quaisquer diferenças encontradas entre os grupos sejam devido ao tratamento ou ao acaso. Poderemos, então, excluir coorte, sazonalidade e outras variáveis indesejadas.

Exemplos de testes A/B:

  • Testagem de dois tratamentos de solo para determinar qual deles gera melhor germinação de sementes
  • Testagem de duas rações para determinar qual tem melhor resultado na criação de suínos
  • Testagem de dois preços para determinar qual gera mais lucro líquido
  • Testagem de dois formatos de botões para determinar qual gera mais cliques no site
  • Testagem de dois anúncios online para determinar qual gera mais conversões

Estrutura do Teste

A testagem A/B moderna utiliza computação para realizar permutações sucessivas nos dados e compreender se as diferenças encontradas são devido ao efeito dos tratamentos ou à aleatoriedade.

Para que o teste seja adequado os indivíduos, (sementes, suínos, cliques, etc) deverão estar atribuídos a necessariamente um tratamento do experimento, idealmente de forma randomizada (aleatória).

O que iremos avaliar é o comportamento da estatística de teste que irá comparar o grupo A ao grupo B. Uma forma de visualizar a estatística de teste ou métrica, é através de uma tabela de contingência 2×2

Resultado Botão A Botão B
Clique 230 170
Não Clique 20459 19449

Caso precisássemos utilizar uma métrica contínua (lucro, crescimento relativo, rendimento), não seria interessante utilizar resultados binários, porém, para cada caso existe uma forma de exibir os resultados satisfatoriamente, utilizando a média ou a variância, por exemplo.

Testando

Como referenciamos anteriormente o teste de permutação iremos exemplificar a testagem A/B utilizando permutações, mas lembre que existem outras formas de realizar experimentos A/B e ainda mais formas se considerarmos mais do que dois tratamentos.

Permutação

A primeira etapa do teste de permutação é combinar os resultados dos grupos A e B. Essa combinação representará logicamente a hipótese nula da qual os tratamentos não diferem quanto à exposição dos grupos.

Testaremos então a hipótese extraindo aleatoriamente os grupos desse conjunto combinado e avaliando o quanto eles diferem um do outro. A permutação segue a seguinte ordem:

  1. Combinação de resultados dos diferentes grupos em um único conjunto de dados.
  2. Embaralhamento dos dados combinados seguido da extração aleatória e sem reposição de uma reamostra de tamanho igual ao do grupo A
  3. Extração aleatória e sem reposição de uma reamostra de tamanho igual ao do grupo B a partir dos dados restantes.
  4. Calculo e registro da estatística ou estimativa, calculada para as amostras originais, para as reamostras
  5. Repetição extensiva dos passo anteriores para produzir uma distribuição de permutação

Após realizar as permutas voltaremos às diferenças observadas entre os grupos e compararemos ao conjunto das diferenças permutadas. Se a diferença observada estiver dentro do conjunto de diferenças permutadas, então não foi possível provar nada e consideraremos que a diferença foi devido ao acaso. Caso a diferença observada estiver significativamente fora da distribuição de permutação, poderemos concluir que o acaso não é responsável.

No segundo caso poderemos dizer que a diferença é estatisticamente significante.

Concluindo

Vimos para que serve e como aplicamos o teste A/B, entendendo a sua importância na área de experimentação.

Pontuamos que as testagens são ferramentas importantíssimas e existem muitos tópicos que não abordamos. O conhecimento estatístico é essencial para compreender o escopo da testagem e da experimentação.

Caso algo não tenha ficado claro talvez seja necessário rever conceitos e consultar materiais.

Nossa recomendação é acompanhar a página de nossa parceira IMEJR que tem excelentes conteúdos sobre a prática estatística e didática nas ciências exatas.

Aproveite e assine nossa Newsletter para receber notícias e conteúdos atuais e relevantes!

Escrito por Rafael Arocho

Se interessou?

Deixe seu email que entraremos em contato!

Posts recentes