Início›Marketing

Teste A/B: o resultado é real ou sorte?

Compare duas versões de página, anúncio, e-mail ou preço e descubra se a diferença na conversão é estatisticamente significativa ou pode ter sido acaso. Veja o aumento estimado, o intervalo de confiança e quantos visitantes o teste precisa para detectar uma melhora.

Simulação educativa. Não é recomendação de investimento. Os resultados são estimativas feitas com os dados que você informa e não substituem a orientação de um profissional habilitado.

Revisado em 31/10/2026

Valores de exemplo. Visitantes que viram cada versão e quantos converteram (compraram, se cadastraram, clicaram).

Versão A (original)
Versão B (nova)
Rigor do teste

Os dados ficam só neste navegador e não são enviados. Desmarque para apagar.

—Aumento da conversão da versão B
—

Onde está a conversão verdadeira de cada versão

Faixa provável da taxa de conversão real de cada versão. Quanto menos as curvas se sobrepõem, mais confiável é a diferença.

Toque no gráfico para ver os valores.

Visitantes necessários conforme a melhora que quer detectar

Visitantes por versão para detectar cada melhora relativa, com a confiança e o poder escolhidos. Melhoras pequenas exigem testes muito maiores.

Toque no gráfico para ver os valores.

Estatísticas

O resumo traz os dados informados, os resultados, as fórmulas, as premissas e as fontes. O relatório completo inclui também os gráficos e as interpretações, em cores. Na janela de impressão, escolha Salvar como PDF.

Método, premissas e fontes

Fórmulas

z = (pB − pA) ÷ √(p × (1 − p) × (1/nA + 1/nB)), com p = conversões totais ÷ visitantes totais
p-valor bicaudal = 2 × (1 − Φ(|z|))
Intervalo da diferença = (pB − pA) ± z crítico × √(pA(1 − pA)/nA + pB(1 − pB)/nB)
Amostra por versão = (zα/2 × √(2p̄(1 − p̄)) + zβ × √(p1(1 − p1) + p2(1 − p2)))² ÷ (p2 − p1)²

Premissas e limites

  • Cálculo educativo pelo teste z de duas proporções. Intervalo de confiança da diferença com erro padrão não agrupado; tamanho de amostra para detectar a melhora relativa informada sobre a conversão da versão A.
  • Boas práticas: defina o tamanho do teste antes de começar, não pare o teste assim que der significativo, rode por semanas completas e teste uma mudança de cada vez.
  • O teste supõe amostras independentes e um único indicador. Encerrar o teste antes do tamanho planejado aumenta a chance de falso positivo.

Fontes oficiais e referências

Perguntas frequentes

O que é p-valor em teste A/B?

A probabilidade de observar uma diferença pelo menos desse tamanho se as duas versões fossem iguais. Abaixo de 5%, a diferença é considerada significativa com 95% de confiança.

Quantos visitantes preciso em um teste A/B?

Depende da conversão atual e da melhora que você quer detectar. Melhoras pequenas exigem dezenas de milhares de visitantes por versão.

Posso parar o teste quando ficar significativo?

Não é recomendado. Defina o tamanho da amostra antes e espere completá-lo, por semanas inteiras, para evitar falsos positivos.

O que é poder do teste?

A probabilidade de detectar uma melhora que realmente existe. O valor usual é 80%.

Como leio o resultado do exemplo da página?

A versão A converteu 3,00% (156 de 5.200) e a B, 3,71% (191 de 5.150): aumento de 23,6%. O p-valor é de 4,5%, abaixo dos 5% aceitos com 95% de confiança, então a diferença é significativa, mas por pouco. O aumento verdadeiro deve estar entre 0,5% e 46,8%. Para detectar melhoras de 10%, o teste precisaria de cerca de 53 mil visitantes por versão.

Quanto tempo o teste deve durar?

O suficiente para atingir o tamanho de amostra planejado e, no mínimo, uma ou duas semanas completas, para incluir dias úteis e fim de semana. Com o tráfego de 700 visitantes por dia do exemplo, detectar melhoras de 10% levaria mais de 150 dias: com pouco tráfego, teste mudanças maiores.

O que fazer se o resultado não for significativo?

Significa que o teste não encontrou evidência suficiente, não que as versões sejam iguais. Se o tamanho planejado já foi atingido, a melhora real é provavelmente menor que a buscada: fique com a versão mais simples ou mais barata e teste uma mudança mais ousada.

Calculadoras relacionadas

Ver todas de Marketing ›

Teste A/B: como saber se o resultado é significativo

Em um teste A/B, metade dos visitantes vê a versão atual (A) e a outra metade vê a nova (B). Se B converter mais, a pergunta é: a diferença é real ou foi sorte? O teste estatístico responde com o p-valor e o intervalo de confiança.

Os conceitos principais

  • p-valor: a probabilidade de ver uma diferença pelo menos desse tamanho se as duas versões fossem iguais. Abaixo de 5% (para 95% de confiança), a diferença é considerada estatisticamente significativa.
  • Intervalo de confiança: a faixa em que a melhora verdadeira provavelmente está. Se o intervalo inclui zero, não dá para afirmar que B é melhor.
  • Poder do teste: a chance de detectar uma melhora que realmente existe. O padrão é 80%.

Exemplo

No exemplo da calculadora, a versão A converteu 156 de 5.200 visitantes (3,00%) e a B, 191 de 5.150 (3,71%). O p-valor é de 4,5%: com 95% de confiança, B é melhor. Mas o intervalo da melhora vai de 0,5% a 46,8%, mostrando que o tamanho exato do ganho ainda é incerto.

Os números do exemplo são os valores iniciais da calculadora; troque pelos do seu negócio.

Tamanho da amostra

Melhoras pequenas exigem muitos visitantes para serem detectadas. Para perceber uma melhora de 10% sobre uma conversão de 3%, são necessários dezenas de milhares de visitantes por versão. A calculadora mostra quantos e quantos dias o teste vai levar com o seu tráfego.

Erros comuns

  • parar o teste assim que ele fica significativo: aumenta muito a chance de falso positivo;
  • rodar por poucos dias: o comportamento muda entre dias da semana;
  • testar várias mudanças ao mesmo tempo: não se sabe qual delas funcionou;
  • olhar só a conversão: confira também o ticket médio e a receita por visitante.