/ Metodologias Agéis

Teste A/B: o que é e como aplicar no Marketing Digital

Otimizar a performance das iniciativas digitais é uma das atividades mais importantes na rotina de um profissional de marketing digital. O teste A/B é uma das melhores ferramentas para validar hipóteses e melhorar os resultados de maneira controlada e sistêmica.

O que é teste A/B?

O teste A/B é uma das metodologias mais eficientes que existe para realizar experimentos com foco na maximização dos resultados de um métrica ou indicador de performance específico. Esta metodologia consiste em analisar dentro de um ambiente controlado duas versões do objeto do estudo, como por exemplo uma landing page, para definir qual delas será a vencedora.

Por que os testes A/B são importantes?

Usar uma metodologia consistente para analisar os resultados de um experimento é fundamental para validar as descobertas e tomar decisões embasadas em dados e não em intuição. Seguir uma metodologia vai te guiar na definição prévia de informações relevantes que serão utilizadas durante todo o período do experimento.

Grandes empresas globais como Amazon, Google e Apple, criaram departamentos de CRO (Conversion Rate Optimization) há mais de 10 anos para potencializar suas taxas de conversão e transformar positivamente a experiência do usuário dentro dos canais digitais, seja ele um site, aplicativo ou até mesmo um assistente pessoal como o Alexa ou Google Home.

É essencial entender porque devemos criar um teste A/B e quais são as informações mais relevantes que precisamos analisar. Abaixo estão listados alguns dados necessários para concepção de um experimento:

  1. Hipótese a ser validada;
  2. Pontos de atenção (fatores externos, variáveis incontroláveis);
  3. Descrição detalhada do experimento;
  4. Indicadores de sucesso (os famosos KPI’s);
  5. Amostra e universo da pesquisa;
  6. Variável para análise (analisar apenas 1 por experimento);
  7. Duração do estudo (tempo estimado);
  8. Resultado esperado;

Após ter todos os itens acima definidos dentro de uma planilha de acompanhamento seu teste A/B estará pronto para começar.

Como encontrar e priorizar otimizações para criar experimentos?

Normalmente esta é a parte mais fácil, todo mundo tem muitas ideias para melhorar algo que já existe. Mas o problema é como decidir entre tantas coisas que devem ser otimizadas qual hipótese deve ser testada primeiro? Para isso você vai precisar de um banco de experimentos.

Junte seu time e faça uma reunião de brainstorm para identificar pontos de melhorias que podem ser implementados no seu produto ou serviço que irão gerar valor para o cliente. A melhor estratégia aqui é colocar o usuário no centro das decisões e utilizar a metodologia de design thinking para guiar este processo. Não se esqueça de anotar todas as ideias para não perder nenhum experimento e categorizá-las dentro de  temas estratégicos do negócio (como ROI, geração de leads, retenção de clientes, etc.).

Agora que já temos um banco de ideias precisamos priorizá-la. Nesta fase é necessário definir qual será o critério de priorização, para isso podemos utilizar diversas metodologias:

PIE

O framework PIE é o mais conhecido pelos especialistas de otimização e um dos mais antigos também. Ele é baseado em 3 pilares:

Potential (Potencial)

Qual é o potencial de melhoria proporcionado pela hipótese que será validada?

Importance (Importância)

Qual é a relevância do objeto que será testado neste experimento para o seu negócio?

Ease (Facilidade)

Qual é o nível de complexidade para implementar este experimento?

Com as variáveis setadas podemos incluir os valores dentro de uma tabela para gerar o PIE Score seguindo a seguinte fórmula ((Potential +Importance + Ease ) / 3), conforme exemplo abaixo:

Quando aplicar o PIE framework tome cuidado com a subjetividade dos pilares, como todas as notas serão atribuídas pelos usuários que geraram as ideias se faz necessário uma calibração das notas por um grupo, isso proporciona uma ponderação dos resultados e minimiza a probabilidade de manipulação dos resultados.

ICE Score

O ICE Score é o framework de otimização utilizado no  Projects by Growth Hackers e foi criado pelo seu fundador Sean Ellis. Ele é bem similar ao PIE:

ICE Score – Projects by Growth Hackers

PXL

Framework PXL by ConversionXL

Este framework foi desenvolvido pela ConversionXL e oferece 2 benefícios:

  1. A ponderação das variáveis “potential”, “impact” ou “ease” fica mais objetiva
  2. Contribui para criação de uma mais orientada por dados

Neste modelo todos os membros da equipe são obrigados a coletar dados, analisar e traduzir os dados em insights para aumentar as chances de suas ideias serem priorizadas.

Algumas perguntas que devem ser respondidas são:

  • O problema foi descoberto através de uma pesquisa de usuário?
  • O problema foi descoberto por feedback qualitativo (pesquisas, enquetes, entrevistas)?
  • O problema foi encontrado através de digital analytics?
  • Esta hipótese é suportada por mouse tracking, heat maps ou eye tracking?

Eles criaram esse modelo para atender todos os tipos de negócio, por isso todos as variáveis podem ser customizadas com base nas especificidades de cada negócio. Como por exemplo, se uma startup tem como principal fonte de tráfego SEO, ela pode criar uma variável ponderando se o teste interfere em alguma mudança de título ou descrição de uma página.

Aqui você encontra o link para baixar o template do framework PXL direto do Google Docs (em inglês).

Ferramentas de Teste A/B

Tão importante quanto definir a metodologia que será aplicada é escolher a plataforma para implementar e gerenciar os testes. Muitas empresas optam por iniciar com uma planilha, porém esta opção com o amadurecimento das equipes e das hipóteses a serem validadas ser ser torna limitada.

Abaixo segue uma lista de plataformas pagas e gratuitas que atendem a diferentes tipos de testes:

Teste A/B na prática

Podemos realizar um teste A/B para tudo que for relacionado a marketing digital, desde que os dados necessário para analisar os resultados estejam disponíveis. Vamos lá, agora é a hora de planejar o experimento e a forma mais fácil de fazer isso é seguindo um checklist:

  1. Qual é o objetivo que gostaria de atingir;
  2. Defina a hipótese;
  3. Quando vai começar e terminar o teste;
  4. Definir as métricas e indicadores;
  5. Garantir que os dados necessários para análise estão disponíveis;
  6. Estude os impactos desta mudança em todos os elementos;
  7. Defina o público que será analisado;
  8. Crie a nova versão e avalie se os elementos da hipótese estão presentes;
  9. Monitore os resultados regularmente;
  10. Finalize o experimento;
  11. Colete e análise os dados;
  12. Defina os próximos passos;

Teste A/B para Marketing Digital

Quando aplicamos o teste A/B nos canais digitais podemos testar diversos elementos, o mais importante é definir o indicador de sucesso que pode ser taxa de abertura (e-mail marketing), taxa de cliques (mídia paga) e ou até mesmo alcance (socia). Veja abaixo algumas sugestões de teste para diferentes canais:

E-mail Marketing

  • Títulos;
  • Conteúdo (imagens e textos);
  • CTA’s (call to actions)
  • Horários;
  • Dias da semana;
  • Públicos (personas);

Facebook Ads

  • Público-alvo (lookalike, interesse, demográfico);
  • Tipo de otimização (cliques vs. conversões);
  • Veiculação (horários e dias da semana);
  • Posicionamentos (automáticos vs. personalizados);
  • Criativo (imagens e copywriting).

Google Adwords

  • Palavras chave;
  • Conteúdo (títulos, descrições e imagens);
  • CTA’s (call to actions);
  • Rotação de anúncios;
  • Horários;
  • Dias da semana;
  • Públicos (personas);
  • Página de destino URL;
  • Dispositivos (mobile vs. desktop);
  • Extensões de anúncios;
  • Localização.

Landing Pages

  • CTA’s (palavra, tamanho, cor and localização),
  • Conteúdo (títulos, descrições e imagens);
  • Tamanho do formulário e tipos de campos;
  • Layout & Design;
  • Preço do produto / oferta;
  • Quantidade de texto (curto vs. longo).

Analisando os resultados

Após finalizar um experimento é necessário investigar se todas as etapas foram concluídas para garantir a assertividade e relevância dos resultados obtidos. Não podemos correr o risco de tomar decisões baseadas em conclusões concebidas por testes que não cumpriram todas as etapas definidas em sua concepção.

Para evitar que isso aconteça seguem algumas perguntas importantes para este momento:

  • O experimento foi executado de acordo com o planejado?
  • Sua hipótese estava alinhada com os objetivos do negócio?
  • Os resultados seriam diferentes se os dados fossem segmentados?
  • Devo otimizar o experimento e testar novamente?
  • Por que a hipótese foi validada/revogada?
  • O que você poderia otimizar para criar melhores experimentos no futuro?

Com o passar do tempo a capacidade de criar e gerenciar experimentos deve evoluir e para garantir que isso aconteça pense nessas perguntas:

  • Suas hipóteses estão ficam mais assertivas?
  • O time está gerando mais conquistas?
  • A qualidade dos insights está melhorando?
  • O time está criando e gerenciando mais testes por semana?

Armazenando e distribuindo os aprendizados

Todo experimento gera conhecimento, seja sobre o processo e ou negócio, portanto é extremamente importante que todos os aprendizados sejam armazenados em um repositório acessível a todos. As empresas normalmente utilizam um sistema ou até mesmo uma planilha no Google Drive para guardar e compartilhar essas informações, o ponto de atenção aqui é garantir que este repositório esteja sempre organizado e disponível para as equipes.

Manter tudo documentado é importante porque:

  • Será mais fácil criar relatórios e apresentações sobre os resultados obtidos;
  • Aumenta a transparência entre os times, evitando assim experimentos duplicados;
  • Novos membros poderão acessar tudo que já foi testado;
  • Conhecimento garante testes mais inteligentes no futuro.

Não se esqueça:

  • Teste uma variável por vez, e não todas ao mesmo tempo, só assim é possível mensurar como cada item contribui para o resultado final;
  • Independente se a hipótese foi validada ou não, tente entender se a mudança proposta realmente vai gerar valor para o seu negócio. Ou seja, se o resultado obtido não for tão relevante continue com a versão anterior;
Teste A/B: o que é e como aplicar no Marketing Digital
Share this

Assine nossa newsletter