Erros que muitas empresas cometem ao iniciar na experimentação

Tomar decisões baseadas em dados é algo fundamental, mas isso nem toda empresa integra de verdade à sua rotina. Para fazer escolhas com embasamento real em métricas e evidências científicas, é preciso contar com experimentação, ou testes A/B.

Por mais que nossos instintos e experiências possam ser aplicados na criação de hipóteses, elas só podem ser provadas quando testamos. Agora, será que você está utilizando a experimentação de forma correta? Isso é muito importante, uma vez que, se o teste não for confiável, seus resultados também não serão.

Assim, veja, a seguir, uma seleção de erros que empresas geralmente cometem quando começam a ensaiar uma entrada no mundo da experimentação.

Finalizar testes A/B antes da hora

Esse é um erro clássico que se dá pela ansiedade por saber logo qual é o resultado do teste. O cenário é quase sempre o seguinte: 

1. A empresa lança uma variável
2. Pouco tempo depois, percebe que a variável trouxe um aumento na taxa de conversão
3. Sem mais análises, declara a variável como vencedora…
4. …Correndo um risco tremendo de o aumento ter sido pura sorte.

A fim de evitar esse risco, é preciso calcular o que chamamos de significância estatística. Esse cálculo ajuda a descobrir qual é a chance daquele resultado ser de fato uma prova de que a variável vai aumentar a taxa de conversão.

Sem significância estatística mínima de 95%, implementar a mudança pode ser muito arriscado.

Realizar testes A/B sem tráfego suficiente

Outro erro muito comum é rodar testes sem ter tráfego suficiente, algo que está intimamente ligado à significância estatística. Antes de começar a investir em experimentação, avalie se a sua interface possui um tráfego que vai alimentar o teste A/B – confirme isso por meio da calculadora de significância.

Se você verificar que a sua interface ainda não está preparada para passar por experimentação, é uma boa ideia investir em atração primeiro. Alguns conteúdos que podem ajudar nisso:

• Guia de integração entre PPC e CRO
• 7 ferramentas de SEO

Não basear testes A/B em hipóteses bem fundamentadas

Se você está testando qual é a “melhor cor”, pare agora mesmo. É uma perda de tempo testar hipóteses que provavelmente nunca vão atingir significância estatística, como essa. As hipóteses devem ser bem fundamentadas, de preferência em estudos aprofundados da interface e do usuário. Ao tentar entender seu público e a forma como ele interage com o site ou aplicativo da sua empresa, você provavelmente vai descobrir hipóteses que têm muitas chances de se tornarem testes vencedores.

Temos aqui um checklist com todo tipo de diagnóstico que você pode fazer para descobrir hipóteses. Faça o download:

Desistir depois que o primeiro teste falha

Eu fico até um pouco na dúvida sobre utilizar a palavra “falha”. Se um teste A/B demonstra que a variável não traz melhores resultados, você ainda pode tirar um aprendizado dele. Entenderá o que não funciona para a experiência do seu usuário e saberá aplicar esse aprendizado nas próximas hipóteses.

O importante, no entanto, é ter um sistema para salvar esses aprendizados. Possuir uma forma de backlog é fundamental, assim, outros membros da equipe podem consultá-lo toda vez que forem criar novas ideias de experimentação.

Veja este exemplo do que fizemos no site da Lokamig. Ao todo, foram 5 testes e um deles foi uma competição entre duas variáveis que criamos. Entenda o passo a passo aqui.

Não ter a experimentação como uma rotina

Experimentação é rotina. É preciso pensar em dados e hipóteses de forma frequente e regulada. Só assim a empresa terá uma base para gerar resultados reais e constantes.

Já falei por aqui sobre como criar uma rotina de growth hacking, vale ler para entender como implementar na sua empresa. Já adianto aqui:

1. Gerar ideias (em reuniões periódicas)
2. Priorizar hipóteses (escolher o que será testado, sem parar)
3. Analisar o que foi descoberto
4. E começar tudo de novo

Essa rotina não pode parar. Por isso, é fundamental ter pessoas dedicadas a isso na sua empresa, ou pelo menos contar com uma consultoria que ajude a manter a experimentação ativa.

Rodar vários testes A/B ao mesmo tempo

A audiência que você vai utilizar para testar é a mesma, não importa quantos testes você estiver fazendo no momento. Acontece que ela será impactada de diversas formas e uma hipótese pode afetar a outra.

Por isso, uma das regras clássicas é evitar rodar mais de um teste ao mesmo tempo. Eu já escrevi por aqui um guia completo de como fazer um teste A/B e recomendo que você siga o passo a passo e comece a observar mudanças reais e seguras na sua interface.

Guia de implementação de um teste A/B.

Se você gostou desse conteúdo, recomendo que faça o download também do nosso e-book De Curioso a Cliente. Ele vai ensinar como pegar “pela mão” o seu usuário e transformá-lo em uma audiência qualificada e pronta para comprar.

Boa leitura!