What is *A/B Testing* by Dan Siroker about?

*A/B Testing* provides a step-by-step guide to implementing data-driven decisions through controlled experiments. Dan Siroker and Pete Koomen explain how businesses can optimize websites, emails, and campaigns by testing variables like headlines, layouts, and CTAs. The book includes real-world examples, including Siroker’s work on Obama’s 2008 campaign, which increased donations by $50 million through strategic testing.

Who should read *A/B Testing*?

Marketers, product managers, and business leaders seeking to improve conversion rates or make data-backed decisions will benefit most. It’s particularly valuable for startups aiming to scale efficiently and enterprises looking to replace guesswork with empirical evidence. The book’s actionable frameworks suit both A/B testing beginners and practitioners needing advanced strategies.

Is *A/B Testing* worth reading?

Yes – the book combines tactical advice with high-impact case studies, including how Obama’s campaign achieved a 40.6% sign-up increase through rigorous testing. It offers timeless principles for building a culture of experimentation, making it essential for organizations prioritizing continuous improvement.

How did Dan Siroker use A/B testing in Obama’s campaign?

Siroker’s team tested website elements like donation button colors, headline phrasing, and media formats. One test comparing a “Learn More” vs. “Sign Up Now” CTA boosted email conversions by 40.6%, generating $50M+ in extra donations. This case study demonstrates how incremental changes create compound growth.

What are the key A/B testing frameworks in the book?

- **The 5-step testing process**: Goal-setting, hypothesis formation, variable selection, experiment execution, and result analysis - **Multivariate testing**: Simultaneously evaluating multiple element combinations - **Statistical significance thresholds**: Avoiding false positives through proper sample sizing.

What quote summarizes *A/B Testing*’s philosophy?

“It’s about being humble… maybe we don’t actually know what’s best, let’s look at data and use that to guide us.” This embodies the book’s core message: replacing HiPPO (Highest Paid Person’s Opinion) with empirical validation.

How does *A/B Testing* compare to *Trustworthy Online Controlled Experiments*?

While Kohavi’s academic text focuses on statistical rigor for tech giants, Siroker/Koomen emphasize practical implementation for businesses of all sizes. Both advocate rigorous methodology, but *A/B Testing* prioritizes actionable steps over theoretical depth.

Can A/B testing strategies apply to email campaigns?

Absolutely. The authors detail how testing subject lines (“Free Trial” vs. “30-Day Access”), send times, and personalization tokens can boost open rates by 18-34%. They emphasize tracking secondary metrics like reply rates to avoid skewed data.

Resumo de Otimização On-line: Teste A/B

The Most Powerful Way to Turn Clicks into Customers

Dan Siroker and Pete Koomen

3.72(363 Reviews)

Visão geral do Resumo de Otimização On-line: Teste A/B

Descubra como os testes A/B revolucionaram a tomada de decisões digitais, com base em mais de 300.000 experimentos. A mesma metodologia que ajudou Obama a vencer em 2012 está desafiando a "HiPPO" (Opinião da Pessoa Mais Bem Paga) em diversos setores. E se um simples teste pudesse dobrar suas taxas de conversão da noite para o dia?

Escolha como a história é contada

Explore o Resumo de Otimização On-line: Teste A/B em diferentes estilos de aprendizagem

As mesmas ideias de Otimização On-line: Teste A/B. Escolha a voz, a profundidade e o ritmo ideais para você. Mude quando quiser.

Capítulo 1

O Botão de 57 Milhões de Dólares

Em 2007, Dan Siroker pediu demissão do Google para entrar numa campanha presidencial. Ele não era um estrategista político. Nem tinha intuição sobre o que os eleitores queriam ouvir. O que ele tinha era uma pergunta engatada na cabeça: será que esse botão vermelho é o melhor que a gente consegue fazer? O botão dizia "Cadastre-se". Ele ficava no site da campanha de Barack Obama. Era a porta de entrada. Por ali passava cada inscrito de e-mail, cada voluntário, cada dólar doado online. Siroker olhou para aquilo e não viu um artefato político. Ele viu um problema de otimização. Então, ele rodou um teste. Quatro textos diferentes no botão. Seis opções de fotos e vídeos acima do formulário. Foram 24 combinações exibidas aleatoriamente para os visitantes. Todas avaliadas por uma única métrica: cadastros de e-mail. A equipe da campanha apostava alto no vídeo. A voz do Obama, a presença dele, os momentos mais marcantes dos discursos... É claro que isso iria mexer mais com as pessoas do que uma foto parada. Só que eles estavam errados. Todos os vídeos performaram pior do que qualquer imagem. E uma combinação específica — uma foto da família com o texto "Saiba Mais" — venceu o original por 40,6 por cento. Ao longo da campanha, esse aumento significou 2,8 milhões de cadastros de e-mail a mais, 288 mil novos voluntários e 57 milhões de dólares em doações. Um dinheiro que simplesmente não teria entrado. Cinquenta e sete milhões de dólares por causa do teste de um botão. Vale a pena parar para pensar nesse número por um instante. Ele carrega toda a essência do que Dan Siroker e Pete Koomen construíram em seguida. As ferramentas para rodar esse tipo de experimento só existiam dentro das grandes empresas de tecnologia. Siroker e Koomen queriam colocar essas ferramentas nas mãos de todo mundo. Em 2010, eles fundaram a Optimizely. E, com isso, ajudaram a mudar a forma como as organizações tomam decisões. Saíram da opinião da pessoa mais bem paga da sala — a famosa sigla HiPPO — e foram em direção a algo muito mais honesto: os dados. O que você vai ouvir a seguir é o método que eles desenvolveram com base em centenas de milhares de testes. É um passo a passo para transformar palpites em conhecimento real. E tudo começa com uma pergunta que a maioria das empresas ignora.

Capítulo 2

Passo Um: Defina o que Significa Vencer

O processo de testes em cinco passos que Siroker e Koomen apresentam não começa com um teste. Começa com uma definição. Antes de saber qual variação venceu, você precisa decidir como vai marcar os pontos. Eles propõem um exercício mental muito útil. Imagine que alguém te pergunta por que o seu site existe. Você responde que não tem certeza. A pessoa então diz: "então por que você não tira ele do ar?". E aí, de repente, você lembra exatamente por que ele existe. Porque ele faz algo específico que importa para o seu negócio. Essa coisa específica é a sua métrica de sucesso. Para um e-commerce, pode ser a receita por visitante. Para uma página de arrecadação de fundos, a doação média por visualização. Para um serviço de assinatura, a taxa de retenção. Essa métrica precisa ser mensurável e precisa ser a métrica certa. Aqui entra uma distinção importante de Avinash Kaushik entre macroconversões e microconversões. A macroconversão é a ação mais ligada à própria razão de existir do seu negócio. As microconversões são os passos menores no meio do caminho. Vale a pena acompanhar as duas. Mas otimizar uma microconversão prejudicando a macro é o caminho para perseguir métricas de vaidade. Números que impressionam no papel, mas não significam nada. A métrica da campanha do Obama era o cadastro de e-mails. Pelos próprios dados, eles sabiam que, depois que conseguiam o e-mail de alguém, eram excelentes em transformar essa pessoa em doadora. O gargalo não era a arrecadação. Era a etapa do cadastro. E esse é o segundo passo do processo: depois de definir sua métrica, olhe para os seus dados e descubra onde os usuários estão desistindo. O funil do Obama tinha muito tráfego chegando e uma ótima conversão de e-mail para doação. O buraco estava no meio. E esse buraco mostrou exatamente onde focar. O terceiro passo é a hipótese. Não é um palpite qualquer. É uma afirmação específica e testável sobre por que determinada mudança vai melhorar a sua métrica. O caso do Fundo Clinton-Bush pelo Haiti mostra bem a importância disso. Quando a equipe colocou a foto de vítimas do terremoto no formulário de doação, o valor das doações caiu. Mas eles não descartaram a ideia imediatamente. Eles criaram uma hipótese: talvez o problema não fosse a foto. Talvez a imagem estivesse empurrando o formulário para baixo na tela, obrigando o usuário a rolar a página. Então, eles testaram um layout em duas colunas, com a imagem ao lado do formulário. Essa versão superou a original. Sem essa hipótese, eles teriam concluído que colocar fotos prejudica as doações. Com a hipótese, eles aprenderam uma verdade sobre o comportamento do público. Os passos quatro e cinco são priorização e execução. O tempo da sua equipe e o tráfego do seu site são finitos. Use a projeção do retorno sobre o investimento para ordenar seus experimentos. Depois, rode os testes, acompanhe tudo pela sua métrica de sucesso e espere atingir relevância estatística antes de declarar um vencedor. E o ciclo não acaba aí. Ele se alimenta sozinho. Cada teste concluído gera novas perguntas, e essas perguntas viram a próxima rodada de hipóteses.

Veja cada palavra enquanto a ouve

Acompanhe a leitura sem esforço enquanto cada palavra do Resumo de Otimização On-line: Teste A/B se destaca em tempo real.

Capítulo 3

Busque o Máximo Global

Existe uma armadilha que pega quase toda equipe que começa a fazer testes. Você encontra um título melhor, uma cor de botão mais chamativa, uma imagem mais bonita... e fica ali, só refinando o detalhe. Você está subindo o morro onde já está pisando. Mas nunca se pergunta se não existe uma montanha muito mais alta logo ali ao lado. Na otimização, esse pico mais próximo é chamado de máximo local. O ponto mais alto de toda a cordilheira é o máximo global. Siroker e Koomen defendem que a maioria das equipes passa o tempo todo no máximo local e nunca descobre o máximo global. A equipe digital da Disney rodou um teste na página inicial da ABC Family que ilustra bem essa diferença. A página original tinha uma foto promocional enorme de um programa em destaque. Era bonita visualmente, feita para chamar atenção. A equipe poderia ter testado outras fotos, outros programas ou cores diferentes. Em vez disso, eles olharam os registros de busca e notaram uma coisa. Muitos visitantes estavam buscando por títulos específicos de programas e nomes de episódios. As pessoas não estavam navegando sem rumo. Elas queriam algo específico. Então, a equipe criou uma página totalmente diferente. Menos visual, mais hierárquica, organizada para o usuário ir clicando nos menus até achar exatamente o que procurava. A meta deles era aumentar o engajamento entre 10 e 20 por cento. O resultado real? Um aumento de mais de 600 por cento. Essa é a diferença entre refinamento e exploração. O refinamento melhora o que você já tem. A exploração questiona se o que você tem é o caminho certo. A Chrome Industries, uma empresa de mochilas e roupas para ciclistas, descobriu isso num teste menor. Eles estavam testando a ordem de três blocos de conteúdo na página inicial, achando que as pessoas liam da esquerda para a direita. O que eles descobriram foi que o bloco do meio sempre performava melhor do que o da esquerda, não importava o conteúdo. As pessoas não liam da esquerda para a direita. Elas iam direto ao centro. Essa descoberta mudou todo o redesign do site. Não por ser um teste gigante, mas porque revelou uma verdade sobre como os usuários se comportavam. Já a Lumosity, a plataforma de treinos cerebrais, encontrou o seu máximo global questionando o próprio modelo de negócios. Os cientistas da empresa recomendavam de 15 a 20 minutos de treino por dia, quatro a cinco vezes por semana. Só que os usuários ficavam logados por horas. Com o tempo, a frequência de acessos começou a cair. A equipe levantou uma hipótese: o acesso ilimitado estava gerando cansaço mental nas pessoas. Eles testaram uma versão que limitava o usuário a apenas uma sessão de treino por dia e avisava que por aquele dia tinha acabado. O gerente de produto, Eric Dorf, ficou apreensivo. Afinal, se a pessoa paga uma assinatura e não pode usar o quanto quiser, por que continuar pagando? Mas os resultados foram surpreendentes. No modelo limitado, as pessoas passaram a treinar mais ao longo do tempo. Ele contou que o gráfico era impressionante de tão claro. Restringir o acesso aumentou o engajamento. Essa mensagem do treino diário virou o pilar de toda a comunicação da Lumosity a partir dali. A lição aqui não é que você deve sempre explorar antes de refinar. É que exploração e refinamento trabalham juntos. Às vezes, um pequeno teste de refinamento revela um insight que te leva a uma grande mudança. Às vezes, você precisa subir acima das árvores para enxergar onde está o pico mais alto.

Capítulo 4

Menos é Mais: O Princípio da Subtração

Uma das descobertas mais surpreendentes em centenas de experimentos é como a variação vencedora costuma ser aquela que tira algo, em vez de adicionar. A página de doações do Fundo Clinton-Bush pelo Haiti tinha campos para número de telefone e cargo. A fundação nem fazia chamadas telefônicas, porque a equipe era enxuta. Ou seja, eles estavam coletando dados que ninguém usava. A hipótese foi que remover esses campos reduziria o esforço do usuário e aumentaria as doações. Tirar dois campos opcionais gerou uma melhoria de 11 por cento na receita por visualização. Dois campos. Onze por cento de aumento. O SeeClickFix, uma plataforma de relatos cidadãos, estava com uma homepage novinha pronta para lançar. Tinha um mapa interativo, super avançado tecnicamente e bonito visualmente. Eles fizeram um teste A/B contra a versão antiga, que era apenas uma caixa cinza simples com um texto explicativo e uma chamada para ação. A versão simples gerou 8 por cento a mais de engajamento. A página mais impressionante perdeu. A Cost Plus World Market testou esconder os campos de cupom de desconto e opções de frete na etapa de pagamento. Eles transformaram esses campos em links expansíveis. A receita por visitante subiu 15,6 por cento. E a taxa de conversão aumentou 5,2 por cento. Os campos continuavam lá, o usuário podia acessar se quisesse, mas tirá-los da vista principal diminuiu a poluição visual o suficiente para fazer diferença. A Avalanche Technology Group, distribuidora do antivírus AVG na Austrália, removeu os links do menu do topo da página no momento de finalizar a compra. Só os links de navegação. A taxa de conversão subiu 10 por cento. E a receita por visitante aumentou 16 por cento. Cada elemento clicável numa página é uma rota de fuga. Cada opção é uma decisão que o usuário precisa tomar. Menos decisões significam mais conversões. A campanha do Obama de 2012 levou esse princípio ao limite. O formulário de doação deles já era super otimizado. Todos os campos desnecessários tinham sido removidos. Só restavam os exigidos por lei. Eles não podiam eliminar mais nada. Então, o que fizeram foi fazer o formulário parecer menor, dividindo o processo em etapas. Esse design sequencial dividiu o formulário em passos: primeiro pedia o valor da doação, depois as informações pessoais, em seguida os dados de pagamento e, por último, a profissão e a empresa. Pedir o valor primeiro combinava com o estado mental do usuário: quem decide doar já está pronto para digitar um número, não o endereço de casa. O formulário em etapas gerou um aumento de 5 por cento na conversão em relação a uma página que já parecia perfeitamente otimizada. Como disse Kyle Rush, o desenvolvedor principal da campanha: você consegue levar mais pessoas ao topo da montanha se mostrar uma rampa suave em vez de uma subida íngreme.

Aproveite ainda mais o Resumo de Otimização On-line: Teste A/B

Receba insights diários de mais de 100 mil lições
As palavras se destacam em sincronia com o áudio
Sua biblioteca salva em todos os dispositivos

Capítulo 5

As Palavras Importam: O Poder da Chamada para Ação

Depois que a equipe do Fundo para o Haiti removeu os dois campos do formulário, eles voltaram a atenção para o botão em si. No botão estava escrito "Enviar". Eles mudaram para "Apoie o Haiti". O impacto foi de vários dólares a mais por visualização. Essa mudança, somada ao ajuste de layout e de campos, ajudou a arrecadar mais de um milhão de dólares em ajuda humanitária. Uma palavra. "Enviar" descreve o que o usuário faz com o formulário. "Apoie o Haiti" descreve o impacto daquela ação no mundo real. É a diferença entre uma transação fria e um ato humano. A Formstack, uma ferramenta de criação de formulários online, teve uma discussão na equipe sobre o nome do item principal no menu do site. Eles tinham escolhido "Por que usar nossa ferramenta", porque queriam convencer as pessoas de que o serviço deles era melhor do que os concorrentes. Mas os dados mostravam que quase ninguém clicava ali. Eles testaram a opção "Como funciona". O novo texto aumentou o tráfego para essa página em quase 50 por cento e fez as inscrições no teste gratuito de duas semanas subirem 8 por cento. "Por que usar nossa ferramenta" convidava à comparação. "Como funciona" convidava à curiosidade. Para quem ainda não entende direito o que o produto faz, a curiosidade é uma porta muito mais eficiente. A LiveChat, que vende software de atendimento ao cliente, mudou o botão da página inicial de "Teste Grátis" para "Experimente grátis". A taxa de cliques aumentou 14,6 por cento. A informação é exatamente a mesma, mas o enquadramento muda tudo. "Teste Grátis" é um substantivo descrevendo um produto. "Experimente grátis" é um verbo convidando para uma ação. Se você quer que alguém faça algo, diga diretamente para a pessoa fazer. O trabalho do psicólogo Daniel Kahneman sobre enquadramento explica exatamente por que isso acontece. Dizer que as chances de sobrevivência de uma cirurgia são de 90 por cento traz muito mais segurança do que dizer que a taxa de mortalidade em um mês é de 10 por cento. É a mesma informação, mas com uma resposta emocional completamente diferente. Da mesma forma, um presunto vendido como "90 por cento livre de gordura" é muito mais atraente do que quando é descrito com "10 por cento de gordura". A forma como você apresenta a informação molda como as pessoas se sentem. E o sentimento determina a ação. Um estudo de 1995 da psicóloga Sara Banks mostrou que mulheres que assistiram a um vídeo sobre mamografia focado em perdas — destacando os riscos de não fazer o exame — tiveram mais chances de se examinar no ano seguinte do que as que assistiram a um vídeo focado em ganhos. Foram 61,2 por cento contra 51,5 por cento. Mesmos fatos, enquadramentos diferentes, comportamentos diferentes. Não existe uma regra universal sobre qual enquadramento funciona melhor. Esse é o ponto. Você precisa testar.

Capítulo 6

Erre Rápido e Aprenda

Nem todo teste produz um vencedor. O portal de games IGN queria gerar mais tráfego para seus vídeos, que geravam uma receita publicitária alta. A hipótese era que mover o link de "Vídeos" para o canto esquerdo do menu — o espaço mais nobre da tela — aumentaria os cliques. Eles rodaram o teste. E a taxa de cliques em vídeos despencou 92,3 por cento. Olhando para trás, o motivo era óbvio. A maior parte do tráfego do IGN vinha de leitores frequentes, que já sabiam exatamente onde o botão ficava. Ficava na direita. Quando mudou para a esquerda, eles não acharam. E não procuraram. Simplesmente deixaram de clicar. Se o IGN tivesse feito a mudança sem testar, o prejuízo teria acontecido antes que qualquer pessoa percebesse. Outro exemplo: um grande e-commerce descobriu que mostrar avaliações com estrelas nas páginas de produtos ajudava na conversão. Então, resolveram colocar estrelas também na página da categoria, um nível acima, onde aparecem todos os itens. Parecia um raciocínio lógico. Mostrar avaliações antes deveria gerar mais cliques. Só que a conversão caiu 10 por cento. O que funciona numa etapa do funil não funciona automaticamente na outra. A história do Etsy é ainda mais esclarecedora. A equipe reformulou o feed de atividades, tirando a visão de "Sua Loja" e deixando só a de "Pessoas que Você Segue". Eles achavam que estavam simplificando a tela. O engajamento despencou. Ao analisar os dados, descobriram que os vendedores usavam aquele feed como uma linha do tempo para gerenciar a própria loja, acompanhando o que tinham anunciado e quando. A equipe tinha desenhado a tela para compradores, mas os vendedores usavam a ferramenta para outra coisa completamente diferente. Sem o teste que deu errado, o Etsy jamais saberia disso. A versão seguinte trouxe as duas visões de volta. E a história termina com o Etsy criando recursos específicos para um comportamento que eles só descobriram porque algo quebrou. A Chrome Industries testou se um vídeo de produto venderia mais do que uma foto estática para o tênis Truk. Depois de quase três meses, o resultado foi praticamente um empate. O vídeo superou a foto por décimos de por cento. Só que produzir vídeos custa muito mais do que tirar fotos. O veredito ficou claro: o custo extra não se justificava. A empresa pôde engavetar o projeto de vídeo e redirecionar esses recursos para experimentos com maior potencial de retorno. Um teste que mostra que uma ideia não funciona é um presente. Ele liberta recursos daquilo que não gera resultado e foca no que pode funcionar.

Veja cada palavra enquanto a ouve

Acompanhe a leitura sem esforço enquanto cada palavra do Resumo de Otimização On-line: Teste A/B se destaca em tempo real.

Capítulo 7

Construindo a Equipe dos Sonhos

O teste A/B não pertence a um único departamento. Ele cruza marketing, gestão de produto, engenharia e design. Fazê-lo funcionar no longo prazo exige pensar em como ele se encaixa na organização, tanto na estrutura quanto na cultura. Algumas empresas criam uma equipe centralizada de testes. Scott Zakrajsek, que montou programas de teste na Staples, Victoria's Secret e Adidas, conta que começou como uma equipe de uma pessoa só e foi contratando: um desenvolvedor focado em testes, um designer e analistas adicionais. A equipe centralizada dele na Adidas cuida de todos os testes da empresa. Quem tem uma ideia de teste procura o time dele. A estratégia de longo prazo é manter a equipe centralizada como guardiã do conhecimento, enquanto a execução vai sendo descentralizada para os gerentes de produto com o tempo. Outras organizações preferem a descentralização desde o início. A CareerBuilder tirou os testes da equipe de desenvolvimento e colocou nas mãos dos donos de produtos — as pessoas diretamente responsáveis por páginas específicas. O administrador do sistema, David Harris, treina cada novo testador e tira dúvidas de controle de qualidade, mas não interfere nas decisões sobre o que testar. O objetivo é dar liberdade e criatividade às equipes. O ponto de atenção é a coordenação: equipes separadas testando em paralelo precisam compartilhar resultados e boas práticas. Caso contrário, a empresa perde o aprendizado coletivo que faz os testes gerarem valor no longo prazo. A Netflix roda os testes no nível dos gerentes de produto, onde cada gerente é responsável por uma plataforma de streaming específica. Duas vezes por semana, vice-presidentes e gerentes se reúnem para analisar resultados e avaliar novas ideias. A cada seis ou oito semanas, acontece a Reunião de Ciência do Cliente com o CEO e executivos da diretoria para rever o que está sendo testado, o que foi lançado e o que não funcionou. Independente da estrutura escolhida, quatro elementos são essenciais. Primeiro, uma pessoa de referência. Alguém que lidere os testes, promova a cultura e não deixe a prática ser engolida por tarefas mais urgentes. Segundo, defensores em toda a organização. Aliados no marketing, na engenharia e no produto que incluam os testes no planejamento desde o início. Terceiro, testadores capacitados. Pessoas com treinamento, recursos de design e incentivo da empresa para serem criativas. Testar sem criatividade é apenas ajustar detalhes. Quarto, um histórico documentado. Mantenha um registro de cada teste: o que foi testado, como foi estruturado, qual foi o resultado e o porquê. Quando alguém sai da equipe, o conhecimento permanece. Quando alguém entra, não começa do zero. Lizzie Allen entrou no IGN em 2010 como analista de dados júnior. A empresa nunca tinha ouvido falar de testes A/B. Ela começou a ensinar o conceito em treinamentos, mas viu o entusiasmo diminuir conforme as pessoas passaram a encarar os testes como uma burocracia a mais num processo que já funcionava. Então, ela transformou o processo num jogo. Criou a Copa Mestre A/B. Toda semana, ela enviava prints de um teste do IGN e pedia para as pessoas adivinharem qual variação tinha vencido. No fim do mês, quem acertava mais recebia o título de Mestre A/B. Quase todo mundo errava. Teve mês que nem teve vencedor. O concurso gerou conversas, trouxe humildade e despertou a curiosidade. Semana a semana, Allen construiu uma cultura em que as pessoas andavam pelos corredores dizendo "a gente devia testar isso, devia testar aquilo". Ela fez isso sendo uma analista júnior numa empresa de 300 pessoas. As ferramentas não exigem um cargo alto. Exigem alguém disposto a ser, como ela mesma disse, um pouquinho inconveniente.

Capítulo 8

Além da Página: E-mail, Preços e Personalização

A mesma lógica que se aplica a um botão ou a um título vale para o assunto de um e-mail, uma estratégia de preço e a experiência mostrada para diferentes perfis de visitantes. David Malpass, na Prezi, estava planejando um e-mail de Halloween em 2011. Ele tinha três opções de assunto prontas. O chefe sugeriu uma quarta: "Bu!". Malpass achou a ideia péssima. Mesmo assim, resolveu testar. Enviou as quatro variações para cerca de um milhão de usuários. "Bu!" venceu com 20 por cento a mais de aberturas. A lição não é que assuntos de uma palavra só sempre vencem. A lição é que a nossa intuição falha, e o custo de testar é baixo o suficiente para você testar até as ideias que acha que não vão dar certo. A Prezi também descobriu que a hora do envio importa tanto quanto o conteúdo. Para os usuários educadores, a segunda-feira tinha a maior taxa de abertura, caindo ao longo da semana. Para quem não era da área de educação, a quinta-feira era o pico. O mesmo e-mail, enviado para segmentos diferentes em momentos diferentes, performa de forma diferente. Segmentar não é só direcionar. É entender que o seu público não é uma massa homogênea. Nos testes de preço, os riscos são maiores e o método precisa ser rigoroso. A técnica do desconto de última hora permite testar a sensibilidade ao preço sem complicações no sistema e sem arranhar a relação com o cliente: você mostra um preço mais alto ao usuário e revela um desconto logo antes da confirmação da compra. Assim, você obtém dados sobre como o preço mais alto afeta a conversão sem cobrar de ninguém mais do que o esperado. Para testar o impacto psicológico do final dos preços — por exemplo, se 19,95 dólares performa melhor do que 19,99 ou 20,00 dólares —, essa abordagem é rápida e limpa. O Judy's Book, um site de buscas locais e avaliações, testou se mostrar uma coluna com anúncios gratuitos ao lado das opções pagas aumentaria as assinaturas pagas. A hipótese era que colocar uma opção gratuita com recursos limitados ao lado faria o plano pago parecer mais vantajoso. Os cliques no botão do plano pago subiram 198,6 por cento. A ancoragem funciona. A questão é descobrir qual âncora usar, e a única forma de saber é testando. A personalização é o próximo passo, e ela é mais sutil do que parece. A campanha de Romney em 2012 testou páginas de destino direcionadas por localização, mostrando mensagens com o nome do estado do visitante no botão de ação. Os visitantes preenchiam o e-mail e o CEP com uma frequência 19 por cento maior quando viam uma mensagem específica para o seu estado. Com o tempo, a campanha criou experiências personalizadas para todos os 50 estados americanos, com mensagens direcionadas para voto antecipado ou voto por correspondência. Quem acessava de Ohio via direções para locais de votação antecipada. Quem acessava do Colorado recebia instruções sobre a votação por correio. Por outro lado, a Wikipedia testou a personalização e descobriu o oposto. A equipe de arrecadação viu que as pessoas doavam menos quando recebiam um pedido direcionado do que quando viam uma mensagem universal. Parte da marca da Wikipedia é a abertura e a universalidade. Uma mensagem personalizada soava desconectada dessa essência. Os dados mostraram isso, e eles mantiveram o apelo universal. Personalizar nem sempre é melhor. Às vezes, a experiência padrão mais equilibrada é simplesmente a melhor. A única forma de saber é testando.

Aproveite ainda mais o Resumo de Otimização On-line: Teste A/B

Receba insights diários de mais de 100 mil lições
As palavras se destacam em sincronia com o áudio
Sua biblioteca salva em todos os dispositivos

Capítulo 9

O Jogo de Longo Prazo: Cultura, Iteração e o Próximo Passo

As empresas que mais se beneficiam dos testes não são as que fazem mais experimentos. São as que tratam os testes como um ciclo contínuo, e não como um projeto com data para terminar. Dan McKinley, do Etsy, descreve essa mudança na forma como o time dele desenvolvia produtos. Nos primeiros anos, os engenheiros passavam meses trabalhando em um recurso, lançavam a novidade sob aplausos numa reunião geral e seguiam em frente. Dois anos depois, tinham que remover o recurso porque ninguém usava. "Percebi que estávamos falhando no que tentávamos fazer; só não éramos muito bons em perceber que estávamos falhando", disse ele. A solução foi criar lançamentos menores, medir cada etapa e evoluir aos poucos. Não onze coisas de uma vez. Onze coisas em sequência. Os testes multivariados, que testam várias alterações ao mesmo tempo, são ótimos para entender como diferentes elementos interagem entre si. O teste da campanha do Obama em 2008 foi multivariado: testou todas as combinações de botões e mídias simultaneamente. Mas esse tipo de teste exige muito mais tráfego para alcançar relevância estatística, porque você multiplica o número de combinações que as pessoas precisam ver. Na prática, as empresas mais bem-sucedidas com testes preferem uma abordagem mais ágil: testes A/B simples, implementação do vencedor e avanço para a próxima variável. Os efeitos de interação existem, mas são raros. O próprio teste do Obama confirmou isso: o botão que se saiu melhor no geral também foi o melhor no contexto multivariado, e o mesmo aconteceu com a imagem. O teste complexo só confirmou o que testes simples teriam descoberto. A mudança cultural profunda é o que mais importa. O teste A/B substitui achismos e convicções por dados empíricos. Em vez de "eu acho que deveríamos fazer X", uma cultura de testes gera a frase: "minha hipótese é que X é melhor. Vamos rodar um experimento". E, depois do experimento: "eu sei que devemos fazer X porque os dados comprovam". Jarred Colli, da Rocket Lawyer, conta o que aconteceu depois que um ano de testes gerou uma melhoria de cerca de 50 por cento na taxa de conversão. Antes, existiam verdades intocáveis, coisas em que ninguém podia mexer. Depois dos resultados, essa postura desapareceu. "Agora", disse ele, "nós testamos de tudo". Esse é o destino final. Não é um botão melhor. Não é uma taxa de conversão mais alta numa página isolada. É uma empresa que aprendeu a fazer perguntas em vez de impor respostas. Que substituiu a opinião da pessoa mais bem paga pela hipótese testável. E que trata cada suposição como um convite para descobrir a verdade. Você já tem um site. Já tem visitantes. A pergunta que Dan Siroker fez em 2007 continua sendo a pergunta certa: será que esse é o melhor que a gente consegue fazer? A única resposta honesta é: ainda não sabemos. Mas nós podemos descobrir.

★★★★★

Você chegou ao fim do Resumo de Otimização On-line: Teste A/B

“Já se passaram 23 dias e usei o app todos os dias. Ele agora faz parte da minha rotina.”

jayallen

Temas principais do Resumo de Otimização On-line: Teste A/B

conversion rate optimization
data driven decision-making
website user experience
digital experimentation
evidence based marketing

Melhores citações do Resumo de Otimização On-line: Teste A/B

The beauty of A/B testing lies in its simplicity and objectivity.
Curiosity: the willingness to question assumptions and test hypotheses.
Without knowing how you're keeping score, you can't determine which variation wins.
Analytics data reveals these friction points.
Well-formulated hypotheses make tests more informative.

Personagens do Resumo de Otimização On-line: Teste A/B

Dan SirokerAuthor and former Google product manager
Pete KoomenAuthor and co-founder of Optimizely

Sobre o Autor

Dan Siroker e Pete Koomen, coautores de A/B Testing: The Most Powerful Way to Turn Clicks Into Customers, são figuras pioneiras em experimentação baseada em dados e otimização digital.

Siroker, ex-diretor de análise de dados da campanha presidencial de Barack Obama em 2008, cofundou a Optimizely — a plataforma de experimentação líder mundial, utilizada por empresas como Disney, Starbucks e Google.

Koomen, ex-gerente de produto do Google que ajudou a lançar o Google App Engine, traz experiência técnica em sistemas de software escaláveis, aprimorada durante seus estudos em matemática e ciência da computação na Case Western Reserve University.

O livro deles destila décadas de experiência em estratégias acionáveis para alavancar testes A/B para impulsionar o crescimento dos negócios, refletindo a missão da Optimizely de democratizar a tomada de decisões informada por dados. Siroker compartilha insights de liderança em seu blog amplamente lido, enquanto o trabalho de Koomen foi reconhecido com prêmios como o Young Alumni Achievement Award da Siebel School.

Elogiado por sua mistura de estudos de caso práticos e estruturas acessíveis, o livro tornou-se leitura essencial para profissionais de marketing e equipes de produto, sustentado pela adoção da Optimizely em mais de 8.000 empresas em todo o mundo.

Baixar resumo de Otimização On-line: Teste A/B

Obtenha o resumo de Otimização On-line: Teste A/B como PDF ou EPUB gratuito. Imprima ou leia offline a qualquer momento.

Usuários também gostaram

/ B Testing

Dan Siroker and Pete Koomen

A/B Testing — Statistical Modelling for Data Science

A/B Testing - A complete guide to statistical testing | Towards Data Science

How to choose the right A/B test | ABtesting.tools

A/B Testing Methodology: Statistical | Digital Codex

5 sources

The Science of A/B Testing

Capa do livro A/B testing for marketing: why your gut is wrong

23 sources

A/B testing for marketing: why your gut is wrong

Testing Business Ideas

David J. Bland & Alexander Osterwalder

The mom test

Rob Fitzpatrick

Capa do livro Testing Strategies That Actually Work

21 sources

Testing Strategies That Actually Work

You Should Test That

Chris Goward

19 sources

Testing strategies that actually work

Perguntas frequentes sobre o Resumo de Otimização On-line: Teste A/B

Descubra mais

PLANO DE APRENDIZADO

The Psychology of High-Impact Conversion

This plan is essential for growth marketers and sales professionals looking to merge behavioral science with data-driven optimization. It provides a unique framework for mastering both the digital funnel and the psychological triggers that lead to a final close.

1 h 30 m•3 Seções

PLANO DE APRENDIZADO

Digital Growth: From Zero to Profitable Campaign

In an increasingly crowded digital landscape, mastering the transition from visibility to profitability is essential for any modern entrepreneur. This plan is designed for business owners and marketers who need a structured roadmap to master conversion psychology, paid acquisition, and automated community building.

2 h•4 Seções

PLANO DE APRENDIZADO

Hidden Psychology of Meta Ads

This plan is essential for digital marketers and entrepreneurs who want to move beyond basic technical settings and master the underlying human science of advertising. It bridges the gap between data-driven targeting and the deep-seated psychological triggers that actually convert viewers into customers.

4 h 49 m•4 Seções

PLANO DE APRENDIZADO

Rapid Deployment and Digital Persuasion

This plan is designed for entrepreneurs and developers who need to launch products fast while ensuring they actually convert users. It combines the technical speed of prompt-based engineering with the psychological rigor of influence design to create a competitive edge in the digital economy.

2 h•4 Seções

PLANO DE APRENDIZADO

Psychology-Based FB Ads for High-Ticket Pros

This plan bridges the gap between technical ad management and the deep psychological drivers of premium buyers. It is essential for high-ticket service providers and marketers looking to scale profitably using science-backed persuasion.

5 h 25 m•4 Seções

PLANO DE APRENDIZADO

The Grit of Decision Science

This plan bridges the gap between behavioral theory and practical application for professionals facing high-pressure choices. It is ideal for leaders and strategists who want to master the psychological friction between intuition and logic.

2 h 18 m•3 Seções

PLANO DE APRENDIZADO

Pilot Partnerships & Product Testing

This learning plan is designed for founders and product leaders looking to eliminate guesswork during early-stage development. It provides a structured roadmap for validating ideas, running effective pilots, and scaling operations through strategic alliances.

4 h 15 m•4 Seções

PLANO DE APRENDIZADO

The Trial Conversion Playbook

This playbook is essential for product managers and growth marketers looking to turn free users into loyal subscribers. It provides a strategic framework for mastering user psychology and technical automation to drive sustainable revenue growth.

2 h 24 m•4 Seções

Criado por ex-alunos da Universidade de Columbia em San Francisco

BeFreed Reúne Uma Comunidade Global De Mentes Curiosas

4.7

avaliação média

Mais de 7,84 mil avaliações do app

BeFreed Community

"Instead of endless scrolling, I just hit play on BeFreed. It saves me so much time."

@Moemenn

"I never knew where to start with nonfiction—BeFreed’s book lists turned into podcasts gave me a clear path."

@Chloe, Solo founder, LA

117

"Perfect balance between learning and entertainment. Finished ‘Thinking, Fast and Slow’ on my commute this week."

@Raaaaaachelw

"Crazy how much I learned while walking the dog. BeFreed = small habits → big gains."

@Matt, YC alum

108

"Reading used to feel like a chore. Now it’s just part of my lifestyle."

@Erin, Investment Banking Associate , NYC

254

"Feels effortless compared to reading. I’ve finished 6 books this month already."

@djmikemoore

"BeFreed turned my guilty doomscrolling into something that feels productive and inspiring."

@Pitiful

4.5K

"BeFreed turned my commute into learning time. 20-min podcasts are perfect for finishing books I never had time for."

@SofiaP

"BeFreed replaced my podcast queue. Imagine Spotify for books — that’s it. 🙌"

@Jaded_Falcon

201

"It is great for me to learn something from the book without reading it."

@OojasSalunke

"The themed book list podcasts help me connect ideas across authors—like a guided audio journey."

@Leo, Law Student, UPenn

483

"Makes me feel smarter every time before going to work"

@Cashflowbubu

Veja mais sobre como o BeFreed é discutido na web

Criado por ex-alunos da Universidade de Columbia em San Francisco

BeFreed Reúne Uma Comunidade Global De Mentes Curiosas

4.7

avaliação média

Mais de 7,84 mil avaliações do app

BeFreed Community

"Instead of endless scrolling, I just hit play on BeFreed. It saves me so much time."

@Moemenn

"I never knew where to start with nonfiction—BeFreed’s book lists turned into podcasts gave me a clear path."

@Chloe, Solo founder, LA

117

"Perfect balance between learning and entertainment. Finished ‘Thinking, Fast and Slow’ on my commute this week."

@Raaaaaachelw

"Crazy how much I learned while walking the dog. BeFreed = small habits → big gains."

@Matt, YC alum

108

"Reading used to feel like a chore. Now it’s just part of my lifestyle."

@Erin, Investment Banking Associate , NYC

254

"Feels effortless compared to reading. I’ve finished 6 books this month already."

@djmikemoore

"BeFreed turned my guilty doomscrolling into something that feels productive and inspiring."

@Pitiful

4.5K

"BeFreed turned my commute into learning time. 20-min podcasts are perfect for finishing books I never had time for."

@SofiaP

"BeFreed replaced my podcast queue. Imagine Spotify for books — that’s it. 🙌"

@Jaded_Falcon

201

"It is great for me to learn something from the book without reading it."

@OojasSalunke

"The themed book list podcasts help me connect ideas across authors—like a guided audio journey."

@Leo, Law Student, UPenn

483

"Makes me feel smarter every time before going to work"

@Cashflowbubu

"Instead of endless scrolling, I just hit play on BeFreed. It saves me so much time."

@Moemenn

"I never knew where to start with nonfiction—BeFreed’s book lists turned into podcasts gave me a clear path."

@Chloe, Solo founder, LA

117

"Perfect balance between learning and entertainment. Finished ‘Thinking, Fast and Slow’ on my commute this week."

@Raaaaaachelw

"Crazy how much I learned while walking the dog. BeFreed = small habits → big gains."

@Matt, YC alum

108

"Reading used to feel like a chore. Now it’s just part of my lifestyle."

@Erin, Investment Banking Associate , NYC

254

"Feels effortless compared to reading. I’ve finished 6 books this month already."

@djmikemoore

"BeFreed turned my guilty doomscrolling into something that feels productive and inspiring."

@Pitiful

4.5K

"BeFreed turned my commute into learning time. 20-min podcasts are perfect for finishing books I never had time for."

@SofiaP

"BeFreed replaced my podcast queue. Imagine Spotify for books — that’s it. 🙌"

@Jaded_Falcon

201

"It is great for me to learn something from the book without reading it."

@OojasSalunke

"The themed book list podcasts help me connect ideas across authors—like a guided audio journey."

@Leo, Law Student, UPenn

483

"Makes me feel smarter every time before going to work"

@Cashflowbubu

"Instead of endless scrolling, I just hit play on BeFreed. It saves me so much time."

@Moemenn

"I never knew where to start with nonfiction—BeFreed’s book lists turned into podcasts gave me a clear path."

@Chloe, Solo founder, LA

117

"Perfect balance between learning and entertainment. Finished ‘Thinking, Fast and Slow’ on my commute this week."

@Raaaaaachelw

"Crazy how much I learned while walking the dog. BeFreed = small habits → big gains."

@Matt, YC alum

108

"Reading used to feel like a chore. Now it’s just part of my lifestyle."

@Erin, Investment Banking Associate , NYC

254

"Feels effortless compared to reading. I’ve finished 6 books this month already."

@djmikemoore

"BeFreed turned my guilty doomscrolling into something that feels productive and inspiring."

@Pitiful

4.5K

"BeFreed turned my commute into learning time. 20-min podcasts are perfect for finishing books I never had time for."

@SofiaP

"BeFreed replaced my podcast queue. Imagine Spotify for books — that’s it. 🙌"

@Jaded_Falcon

201

"It is great for me to learn something from the book without reading it."

@OojasSalunke

"The themed book list podcasts help me connect ideas across authors—like a guided audio journey."

@Leo, Law Student, UPenn

483

"Makes me feel smarter every time before going to work"

@Cashflowbubu

Veja mais sobre como o BeFreed é discutido na web

Comece sua jornada de aprendizado, agora

Capítulo 7

Resumo de Otimização On-line: Teste A/B

Visão geral do Resumo de Otimização On-line: Teste A/B

Explore o Resumo de Otimização On-line: Teste A/B em diferentes estilos de aprendizagem

O Botão de 57 Milhões de Dólares

Passo Um: Defina o que Significa Vencer

Veja cada palavra enquanto a ouve

Busque o Máximo Global

Menos é Mais: O Princípio da Subtração

Aproveite ainda mais o Resumo de Otimização On-line: Teste A/B

As Palavras Importam: O Poder da Chamada para Ação

Erre Rápido e Aprenda

Veja cada palavra enquanto a ouve

Construindo a Equipe dos Sonhos

Além da Página: E-mail, Preços e Personalização

Aproveite ainda mais o Resumo de Otimização On-line: Teste A/B

O Jogo de Longo Prazo: Cultura, Iteração e o Próximo Passo

Você chegou ao fim do Resumo de Otimização On-line: Teste A/B

Temas principais do Resumo de Otimização On-line: Teste A/B

Melhores citações do Resumo de Otimização On-line: Teste A/B

Personagens do Resumo de Otimização On-line: Teste A/B

Sobre o Autor

Baixar resumo de Otimização On-line: Teste A/B

Usuários também gostaram

Perguntas frequentes sobre o Resumo de Otimização On-line: Teste A/B

What is A/B Testing by Dan Siroker about?

Who should read A/B Testing?

Is A/B Testing worth reading?

How did Dan Siroker use A/B testing in Obama’s campaign?

Descubra mais

BeFreed Reúne Uma Comunidade Global De Mentes Curiosas

BeFreed Reúne Uma Comunidade Global De Mentes Curiosas

Explore o Resumo de Otimização On-line: Teste A/B em diferentes estilos de aprendizagem

O Botão de 57 Milhões de Dólares

Passo Um: Defina o que Significa Vencer

Veja cada palavra enquanto a ouve

Busque o Máximo Global

Menos é Mais: O Princípio da Subtração

Aproveite ainda mais o Resumo de Otimização On-line: Teste A/B

As Palavras Importam: O Poder da Chamada para Ação

Erre Rápido e Aprenda

Veja cada palavra enquanto a ouve

Construindo a Equipe dos Sonhos

Além da Página: E-mail, Preços e Personalização

Aproveite ainda mais o Resumo de Otimização On-line: Teste A/B

O Jogo de Longo Prazo: Cultura, Iteração e o Próximo Passo

Você chegou ao fim do Resumo de Otimização On-line: Teste A/B

Usuários também gostaram

Descubra mais