3 mitos desvendados por testes A/B que trazem dados reais

O universo de Otimização de Conversão está repleto de mitos.

E se você é um empresário, empreendedor digital ou alguém interessado em impedir que “verdades” infundadas coloquem o desempenho e a receita do seu negócio em risco, é fundamental que leia este artigo e entenda definitivamente o que é teste A/B e como usá-lo para construir ou melhorar seu site.

Para não ser manipulado por argumentos duvidosos, principalmente se estiver negociando um contrato com uma empresa de CRO (Conversion Rate Optimization), iremos alertar você sobre 3 mitos do mundo da Otimização de Conversão que já caíram por terra.

Ao terminar a leitura deste artigo, você estará pronto para provar que sabe o que está dizendo quando se deparar com qualquer um deles em uma mesa de conversa.

Derrubando mitos com o teste A/B

Antes de começar, vamos entender o que é teste A/B:

Imagine que você quer testar a melhoria de uma página de seu site ou mesmo uma alternativa de criação de paginas de um site novo.

Pode a mudança de uma cor ou mesmo de uma frase. Para isso, mantem-se a versão original da página e a outra, com as modificações.

Em seguida, divide-se o tráfego entre elas e mede-se qual das duas teve um melhor desempenho em conversões.

Agora que você já entendeu o que são testes A/B, vamos prosseguir!

Mito 1: “Reduza o número de campos obrigatórios dos seus formulários e sua taxa de conversão irá aumentar.”

Muitas pessoas confiam cegamente que mais usuários concluirão o preenchimento de um formulário (seja de orçamento, cadastro em e-commerce ou inscrição para testar um software) à medida que o número de campos obrigatórios for reduzido.

Vários cases já provaram que isso não é uma regra:

• A inclusão de campos estratégicos pode ser uma alternativa valiosa para qualificar melhor os seus leads; 

• A inclusão de campos que comuniquem ao lead que você entende qual é o problema dele pode ajudá-lo a perceber que você sabe do que está falando e pode ajudá-lo;

• A inclusão de campos pode causar no lead a sensação de que sua situação será avaliada de maneira detalhada, e não como se fosse mais um ticket no depósito de uma empresa que recebe milhares de solicitações por dia.

Um experimento realizado pela MECLABS mostrou como a adição de campos de preenchimento – e também a maneira como foram apresentados – ajudou uma empresa a alavancar drasticamente a quantidade de leads gerados através do formulário de contato.

Os insights do teste estão revelados no vídeo abaixo (entre 5min20seg e 24min45seg):

*Apesar do vídeo não estar legendado, o inglês utilizado pelo especialista da MECLABS é bastante simples e as imagens ajudam muito a entender o que está sendo dito.

Confira também: Case de Sucesso: 105% mais leads gerados

Mito 2: “Cuidado com os depoimentos negativos nas páginas do seu site, eles podem prejudicar a sua taxa de conversão.”

Uma verdade pouco difundida é: depoimentos e reviews negativos podem ajudar na conversão. Sim, acredite!

Se você analisar os depoimentos ou reviews em um site que não os manipula de maneira desonesta, perceberá que naturalmente são uma mistura de feedbacks positivos e negativos. E quando uma mensagem negativa é postada, ela imediatamente ajuda a desenvolver a credibilidade daquelas que são positivas.

Uma pesquisa da Reevo, publicada pela eConsultancy, analisou mais de 2.5 milhões de reviews e concluiu algo impressionante:

Fonte: https://econsultancy.com/blog/8638-bad-reviews-improve-conversion-by-67

Mas isso não é tudo. A Reevo também descobriu que aqueles que buscavam por reviews negativos:

• Convertiam 67% mais;
• Visitavam 5x mais páginas;
• Permaneciam, em média, por 26.1 minutos no site (um intervalo de tempo 6x superior em relação aos usuários que não estavam em busca de reviews negativos).

A ideia não é a de que os consumidores estavam procurando razões para desistir da compra. O que eles queriam era a certeza de que estavam tomando a decisão correta.

Mas tome cuidado, pois a quantidade de reviews negativos pode incentivar o efeito contrário. De acordo com uma pesquisa da Lightspeed, um único comentário que fale mal do produto tem um baixo potencial para fazer um consumidor desistir da compra. Entretanto, três reviews negativos têm um poder de influência significativo para motivar a desistência.

Fonte: Pesquisa Lightspeed, dados do Reino Unido.

Outra importante ferramenta, além dos testes A/B, que ajuda a definir melhorias em seu site são os mapas de calor.

Mito 3: “Se o seu teste atingir 95% de significância estatística, temos seguramente um resultado vencedor.”

Se você está realizando um teste A/B no seu site, o fato de uma versão ter atingido significância estatística, seja como vencedora ou perdedora, não é suficiente para que você finalize o experimento.

Um case compartilhado pelo consultor Peep Laja mostra por que a pressa em concluir um teste é um erro grave, que faz empresas perderem muito dinheiro. Dois dias após iniciar um experimento, esta era a situação:

A Variação 1 estava perdendo feio, por mais de 89%, e a ferramenta afirmava que havia 0% de chance dela virar o jogo e vencer a Control (versão original que estava sendo confrontada). Era o momento de pendurar as chuteiras e finalizar o teste? Não.

Mas o que fazer? Chegamos a uma encruzilhada? Também não. A iniciativa mais prudente era deixar o teste rodando por mais tempo. E foi isso que Peep fez.

Após 10 dias de experimento, veja como estava o dashboard de resultados:

É isso mesmo! A Variação 1, que tinha 0% de chance de vencer a Control, passou a ser a vencedora com 95% de significância estatística.

Mas o que podemos concluir a partir disso? Simples: “100% de significância estatística” ou “0% de chance de vencer” são indicadores pobres quando analisados isoladamente.

A situação vivenciada por Peep Laja ilustra bem a fragilidade da significância estatística quando avaliada inadequadamente.

Veja que mesmo após 10 dias de experimento, não era possível chegar a uma conclusão segura. A amostra era pequena e apenas 19 transações separavam a versão vencedora da perdedora (um cenário que pode mudar em menos de 24 horas).

Em posts futuros, vamos explicar qual é o momento certo de terminar um experimento do tipo teste A/B. Para ser informado pelo seu e-mail quando este post for publicado, assine nosso blog.

Conclusão: só confie em testes A/B

Quando se trata de Otimização de Conversão, nenhuma verdade é absoluta. Muitas empresas trocam os pés pelas mãos copiando concorrentes e achando que o que deu certo em outros sites dará certo nos seus. 

O importante é sempre garantir que sua equipe não realize nenhuma alteração nas suas páginas sem que sejam previamente testadas estatisticamente. Deixar o achômetro determinar as diretrizes da sua empresa? No way!

O primeiro passo para descobrir onde o seu site está perdendo dinheiro é a Análise Heurística. A Supersonic pode te ajudar a tapar os buracos por onde a receita do seu negócio está escapando (e continuará escapando até que você decida agir):