Significância estatística: o que é e por que se preocupar com isso?

O que, neste momento, está fazendo seus visitantes desistirem da conversão?

Quais mudanças significariam um aumento da taxa de conversão? Podem existir muitas respostas para estas perguntas.

Na prática de CRO (Conversion Rate Optimization), trabalhamos para encontrar alternativas mais rentáveis para a sua interface. Mas não basta conseguir números melhores: precisamos descobrir se essas melhorias não foram obra do acaso.

É aqui que a significância estatística entra. Quando executamos um teste, precisamos entender se o resultado obtido tem mesmo potencial de afetar o faturamento do seu negócio. Esse cálculo é importante porque a versão que você testou pode ter tido uma performance melhor (ou pior) por puro acaso. 

Parece difícil de entender?

Vamos esmiuçar esse assunto e você vai compreender sua importância e como utilizá-lo para criar versões arrebatadoras das suas páginas.

O que é significância estatística?

A significância estatística é uma forma de medir a probabilidade da diferença entre as taxas de conversão de versões diferentes da mesma página não ter sido pura coincidência.

Se em um teste A/B uma versão foi vencedora e a significância foi de 95%, por exemplo, isso significa que há 95% de chance de que você realmente tem uma versão vencedora.

No entanto, ainda há 5% de chance de que esse resultado tenha sido uma pura obra do acaso e não refletir a realidade.

Pode acontecer, por exemplo, que se você rodar um teste AA, ou seja, duas versões iguais, uma converta mais que a outra. Há 5% de chance disso ocorrer. Por isso, a significância estatística é tão importante: indica quando você deve ter expectativas altas e quando não é bem assim. 

Mas é realmente importante calcular a significância estatística?

Este texto do Hotjar traz um exemplo que deixa clara a importância de calcular a significância na hora de declarar testes vencedores (se você não sabe o que é o Hotjar, recomendo que dê uma olhada neste nosso artigo também).

Se você tirar “cara ou coroa” dez vezes seguidas, existe uma chance em 1.024 de que vai dar cara em todas elas. Isso acontece simplesmente por aleatoriedade. 

A possibilidade parece pequena, mas de cinco mil pessoas tentarem o experimento, a probabilidade de pelo menos uma tirar dez “caras” seguidas é de 99,24%. Se você rodar muitos experimentos, é quase garantido que “anomalias estatísticas” como essa acontecerão de vez em quando. 

Da mesma forma, testes A/B podem produzir resultados que não equivalem à realidade. A significância estatística nos ajuda a determinar o nível de risco que podemos aceitar, equilibrando a necessidade de precisão e os recursos disponíveis.

Assim, para garantir uma significância mais alta, é preciso utilizar uma amostra maior ou conseguir um impacto grande na taxa de conversão. 

Como calcular a significância estatística?

Para realizar o cálculo, vamos entender um pouco antes sobre o cálculo de “tamanho do efeito”.

Trata-se da porcentagem de aumento ou diminuição em conversões entre as versões de um teste. Ou seja, o quanto a taxa de conversão aumentou ou diminuiu comparando a versão controle (original) e a nova. Passo a passo para calcular esse número:

Assim, se a versão controle tem uma taxa de 10% de conversão e a nova 8%, o tamanho do efeito é 20%. O cálculo:

• 10 – 8 = redução de 2 
• 2/10 = 0.2
• 0.2 * 100 = 20% de diminuição

Quanto maior o tamanho do efeito, maior a confiança que podemos ter no resultado. Isso porque resultados muito diferentes têm menos chance de serem causados por pura sorte.

A fórmula de cálculo da significância estatística é um tanto quanto complicada, por isso, recomendamos que você utilize esta calculadora do SurveyMonkey. Você precisará fornecer o número de visitantes e de conversões de cada versão e a calculadora oferece a significância estatística. 

Para se preparar para um teste, é importante utilizar esse cálculo. Comece com estas informações:

• Taxa de conversão base (atual)
• Tamanho do efeito mínimo que você deseja obter
• Significância estatística desejada (o ideal é sempre 95% ou mais)

Jogue números na calculadora até alcançar esses resultados desejados. Dessa forma, você saberá quanto tempo precisará rodar o teste a fim de declarar a melhor versão.

Nesse exercício, você também vai entender melhor porque precisamos de uma certa quantidade de tráfego para rodar experimentos de CRO. 

É importante notar que esse cálculo é feito para quando aplicamos apenas uma variável. Em versões que combinam diversas alterações, a significância estatística deve ser calculada de outra forma e você vai precisar de mais tráfego para que se tirem conclusões. 

Mas é bom lembrar que não vale apenas mudar uma cor de botão, ok? Entenda mais sobre o que é um teste A/B aqui. 

Como priorizar testes?

Mas imaginamos que agora que você aprendeu esse conceito tão importante do CRO, queira começar logo a testar. Para escolher um elemento de cada vez com bons resultados para o seu negócio, procure priorizá-los. O que é mais importante para você no momento é o que deve ser colocado à prova primeiro. 

Como definir, então? Algumas pistas que você pode utilizar:

• Observe comentários e feedbacks de seus clientes. Uma conversa com o time de vendas e marketing pode ajudar aqui. Se você não possui nenhuma informação nesse sentido, comece a pedir utilizando ferramentas como o Hotjar e o Typeform. 
• Analise o comportamento do usuário e veja o que o faz desistir do site ou landing page. Você pode encontrar essas informações no Google Analytics.
• Também com o Hotjar, dentre outras ferramentas, você pode gerar mapas de calor e entender quais elementos são ignorados ou geram confusão, perdendo conversões. Entenda mais sobre mapas de calor aqui. 

Com essas pistas, você pode começar a priorizar os seus testes. Crie hipóteses com base nos conteúdos que você encontra aqui no blog e comece a criar versões que permitem testá-las. 

Entenda como priorizamos hipóteses e realizamos testes a fim de aumentar em 21% a receita de um e-commerce.

E antes de ir embora, que tal fazer um teste para descobrir se o CRO é a estratégia certa para você? Descubra em 1 minuto: