NovoTeste A/B de modelos de LLM e prompts com usuários reais

Testes A/B que o marketing lança sozinho. Feature flags em que a engenharia confia.

Uma ferramenta para o time todo: editor visual para o marketing, SDKs para web, mobile e servidores para a engenharia. Acompanhe os resultados todo dia sem se enganar, deixe os guardrails (métricas de proteção) pararem um teste que derruba a receita e sirva tudo a partir do seu próprio domínio, para que bloqueadores de anúncios não distorçam seus dados.

  • Grátis até 25 mil visitantes testados por mês
  • Planos pagos a partir de US$ 49 por mês
  • Sem cartão de crédito
  • Seu domínio, seus dados
app.liftcanary.com/experiments/one-page-checkout

Experiment · Production

One-page checkout

Running · day 14

One page wins on Purchases: +12.1% conversion, 99.2% significance.

LiftAlways-valid intervalday 1 → 14
+20%+10%0%+12.1%
VariationVisitorsConversionLift
Baseline24,8124.12%—
One page24,7904.62%+12.1%
Checkout errors holdingPage load time holding

Uma só plataforma para tudo o que você coloca no ar

  • Qualquer site
  • React e Next.js
  • Apps móveis
  • Servidores
  • Lojas virtuais
  • Apps com LLM

Produto

Tudo o que você precisa para lançar com confiança

Libere aos poucos, teste cada ideia e descubra em poucos dias o que realmente mexeu nos números. Um SDK e um painel, para marketing e engenharia.

Feature flags e rollouts graduais

Ative um recurso para 5% dos usuários, um país ou seus beta testers. Volte atrás com um clique: seus servidores recebem a mudança em até um segundo, sem deploy.

new_checkoutAtivo
  • Interno100%
  • Usuários beta100%
  • Brasil25%
  • Todos0%

Testes A/B, multivariados e de split URL

Teste variações no código, várias partes de uma página ao mesmo tempo com o resultado de cada parte, ou mande metade dos visitantes para uma página redesenhada.

shop.com/checkout

  • /checkout50%
  • /checkout-v250%

Metas sem código

Conte visitas a páginas, cliques, envios de formulário e profundidade de rolagem direto do painel. Eventos personalizados pedem uma linha de código.

  • Visita à página/checkout/success
  • Clique#add-to-cart
  • Profundidade de rolagem50% de /blog/*

Guardrails que barram lançamentos ruins

Escolha o que nunca pode piorar: erros, tempo de carregamento, custo, receita. Se uma variação piorar algum deles de forma significativa, o LiftCanary avisa você, ou para o teste e mantém todo mundo na versão segura.

Tempo de carregamento

−4.2%

Dentro do limite

Erros no checkout

+212%

Parado automaticamente · versão original restaurada

Resultados que você confere a qualquer hora

Estatísticas sempre válidas deixam você olhar de hora em hora sem se enganar, ou defina a duração antes e precise de cerca de 40% menos visitantes. Percentis para velocidade, limites de valores extremos para receita e verificação da divisão de tráfego incluídos.

  • Compras+12.1%
  • Adição ao carrinho+4.3%
  • Receita por visitante+9.4%

Conferido 40 vezesContinua válido

Feito para ser visto, não bloqueado

Sirva o SDK e os eventos a partir do seu próprio domínio. Os bloqueadores de anúncios não conseguem separar seus testes do seu site, e seus dados ficam completos.

  • cdn.testing-tool.com/sdk.jsBloqueado
  • shop.com/_sk/sdk/v1/liftcanary.jsCarregado

Bandits que levam o tráfego ao vencedor

Enquanto o teste roda, o tráfego vai para a variação que está ganhando, então menos visitantes veem uma perdedora. Cada variação mantém pelo menos 5%, e cada visitante continua na versão que viu primeiro.

Tráfego agoraChance de ser a melhor

  • Botão cinza9%4%
  • Verde, maior86%95%
  • Barra fixa5%1%

Holdouts que somam tudo

Deixe uma pequena parte dos visitantes fora de todos os testes e de cada vencedor que você lançar, e veja quanto todos os seus experimentos valem juntos.

Compras

  • De fora · 5%4.5%
  • Todos os outros5.6%

+24% de tudo o que você lançou

Sem código

Mude suas páginas sem esperar por um desenvolvedor

Aponte, clique e edite o seu site no ar. Teste a mudança contra a versão original ou mostre-a a um público como personalização. Os desenvolvedores só precisam adicionar a tag uma vez.

  • Editor visual

    Clique em qualquer elemento para mudar textos, cores, links ou imagens, movê-lo, ocultá-lo ou adicionar um banner.

  • Testes multivariados, de split URL, multipágina e A/A

    Teste juntos o título, a imagem e o botão, mande visitantes para uma página redesenhada, teste o checkout inteiro ou valide a sua configuração.

  • Personalizações e campanhas

    Mostre uma mudança a um único público e deixe que ela comece e termine sozinha.

  • App para Shopify

    Instala sem mexer no código do tema e conta carrinho, checkout e compras como metas.

  • Sem flicker

    Os visitantes nunca veem a página original se transformar na variação: o snippet mantém a página oculta até a mudança ser aplicada, por no máximo 1,5 s.

Veja tudo o que o editor faz

Metas de receita

Escolha vencedores pelo dinheiro que entrou de verdade.

Conecte Stripe, Paddle ou Chargebee, ou sua loja ikas ou WooCommerce. Testes grátis, assinaturas, pagamentos, cancelamentos e pedidos pagos chegam direto do sistema que recebeu o pagamento, de servidor para servidor, e contam como metas para o visitante que viu seu teste: semanas depois se for preciso, e descontados os reembolsos. Nada de estimativa a partir de uma página de obrigado.

Assinaturas

Do seu sistema de cobrança

Metas

  • Teste grátis iniciado(um vencedor aumenta)
  • Virou assinante pagante(um vencedor aumenta)
  • Receita de assinaturas(um vencedor aumenta)
  • Assinatura cancelada(um vencedor diminui)

Um visitante, do Stripe

  1. Stripe Checkout

    Visitante encontrado

    Dia 0
  2. Teste grátis iniciado

    billing.trial_started

    Dia 0
  3. Virou assinante pagante

    billing.subscribed

    Dia 14
  4. Pagamento · +US$ 49,00

    billing.revenue

    Dia 14

Pagou depois que o experimento terminou? Conta mesmo assim, como conversão tardia.

Pedidos da loja

Da sua loja

Metas

  • Pedido pago(um vencedor aumenta)
  • Receita da loja(um vencedor aumenta)
  • Pedido cancelado ou reembolsado(um vencedor diminui)

Um pedido pago por transferência bancária

  1. Pedido feito

    Ainda não pago, então não conta

    Dia 0
  2. Pedido pago

    store.order_paid

    Dia 2
  3. Total do pedido · +R$ 589,00

    store.revenue

    Dia 2
  4. Reembolso parcial · −R$ 190,00

    store.revenue

    Dia 9

Receita contada para este visitante: R$ 399,00. A página de obrigado dizia R$ 589,00.

O que uma página de obrigado não consegue saber

Uma página vê a confirmação do pedido e nada depois disso. O sistema que recebeu o pagamento sabe o que aconteceu com o dinheiro.

O que aconteceuContado na páginaEnviado pelo seu sistema de cobrança ou loja
Uma transferência que nunca é pagaUma vendaNão conta
Um pedido com pagamento na entrega recusado na portaUma vendaUm pedido cancelado
Um pedido reembolsado uma semana depoisReceita cheiaReembolso descontado
Um teste grátis que vira pago duas semanas depoisNunca vistoUm assinante pagante

Metas de página, como compras, continuam contando o que acontece na página. Estas contam o que acontece com o dinheiro.

  • Pouco ou nenhum código

    O snippet passa o id do visitante para os Payment Links, tabelas de preços e botões de compra do Stripe, para o Paddle.js e o Chargebee.js. O ikas se conecta com um app privado, o WooCommerce com nosso plugin para WordPress.

  • Impossível de forjar a partir de uma página

    Só chamadas verificadas com o segredo do seu sistema de cobrança ou da sua loja podem enviar essas metas. A chave do SDK nas suas páginas não pode, então ninguém consegue adicionar um pagamento que não aconteceu.

  • Uma só pessoa, da visita à renovação

    Os pagamentos encontram o visitante mesmo depois do cadastro ou da troca de aparelho, incluindo renovações e reembolsos meses depois. Nomes, e-mails e dados de cartão nunca são guardados.

As metas de receita vêm em todos os planos pagos.Ver preços

Como os pagamentos encontram o visitante (em inglês)
Experimentos com IA

Evals dizem que um modelo é bom. Experimentos dizem se ele é melhor para os seus usuários.

Evals offline não dizem se um novo modelo, prompt ou temperatura deixa os clientes mais satisfeitos, converte melhor ou custa menos. Coloque duas configurações diante de usuários reais, meça qualidade, velocidade, custo e impacto no negócio lado a lado, e lance a versão vencedora com confiança.

Funciona com qualquer provedor de modelos: o LiftCanary entrega a configuração e registra os resultados.

Atual50%

model
"gpt-large"
temperature
0.7
prompt
Você é um agente de suporte da {{brand}}. Responda em {{language}}…

Desafiante50%

model
"gpt-small"
temperature
0.3
prompt
Responda em {{language}} em no máximo 3 frases. Inclua o link do artigo de ajuda…

Bot de suporte · 14 dias · 18.240 usuários

Desafiante vence
MétricaAtualDesafianteDiferença
Latência por chamada1.204 ms800 ms−33,6%
Custo por chamada$0,0072$0,0006−91,7%
Respostas com 👍30,2%33,9%+12,3%
Usuários com erro9,1%9,4%+3%

Guardrail de erros dentro do limite: nenhuma mudança significativa

  • Troque de modelo sem deploy

    Modelo, prompt e parâmetros ficam no LiftCanary como uma AI config. Mude, libere para 10% e volte atrás com um clique.

  • Custo e latência, por chamada

    Cada chamada registra latência, tokens e custo. Veja quanto um modelo mais barato economiza de verdade, e quanto ele custa em qualidade.

  • Meça o que os usuários sentem

    Avaliações positivas e negativas, novas tentativas, transferências para um atendente humano: qualquer sinal do usuário vira uma meta ao lado das suas métricas de negócio.

  • Seguro por padrão

    Guardrails de erros e de feedback voltam todo mundo para o modelo atual assim que um desafiante começa a prejudicar.

Como funciona

Da ideia ao resultado comprovado em três passos

  1. 1

    Adicione uma tag

    Cole uma tag de script ou instale o SDK para React, React Native ou Node. Em poucos minutos, sirva tudo a partir do seu próprio domínio.

    <script src="/_sk/sdk/v1/liftcanary.js"
      data-sdk-key="pk_…"></script>
  2. 2

    Crie uma flag ou um teste

    Escolha um público, divida o tráfego, defina a meta que decide a vencedora e os guardrails que não podem ser violados.

    Público
    Brasil · mobile
    Tráfego
    50 / 50
    Meta
    Compras
    Guardrail
    Erros no checkout
  3. 3

    Lance a vencedora

    Acompanhe os resultados ao vivo. Quando uma variação vencer, libere-a para todos com um clique. Se ela prejudicar, o LiftCanary para o teste por você.

    Página única+12,1% · vencedora

    Liberar para 100%

Veja passo a passo no tour do produto

Para desenvolvedores

Poucas linhas de código. Zero flicker.

As flags são decididas no próprio dispositivo, em microssegundos, sem uma chamada de rede por flag. Em sites, a página espera apenas a primeira decisão, por no máximo 1,5 s, e uma falha do nosso lado nunca derruba o seu app.

  • Decisões locais a partir de um datafile em cache: nenhuma chamada de rede por flag
  • Kill switches chegam aos seus servidores (Node.js, Python, Go, Java, Ruby, .NET) em cerca de um segundo, com atualizações ao vivo
  • Mesma atribuição de variações na web, no mobile e no servidor: cada usuário vê a mesma variação em todo lugar
  • SDKs tipados, log de auditoria de cada mudança e controle de acesso por função
  • Funciona offline no mobile; os eventos são enviados em lote e reenviados em caso de falha
Leia a documentação (em inglês)
1<!-- One tag. Flags, tests and auto-tracked goals. -->
2<script src="https://your-domain.com/_sk/sdk/v1/liftcanary.js"
3 data-sdk-key="pk_live_…"></script>
4
5// Anywhere in your code
6if (liftcanary.isEnabled("new_checkout")) {
7 showOnePageCheckout();
8}
9liftcanary.track("purchase", { value: 129.90 });

Estatísticas confiáveis

Olhe seus resultados quantas vezes quiser

A maioria das ferramentas supõe que você vai conferir o resultado uma única vez, no final. Ninguém faz isso. O LiftCanary usa estatística sequencial sempre válida, corrigida para múltiplas variações, então conferir todo dia nunca transforma ruído em um falso vencedor. E o CUPED elimina o ruído que os visitantes já trazem consigo, para você chegar a uma decisão mais cedo. Consegue definir a duração antes? Então um teste planejado precisa de cerca de 40% menos visitantes e ainda declara cedo um vencedor claro.

de falsos vencedores depois de olhar os resultados 40 vezes

0,9%

de falsos vencedores depois de olhar os resultados 40 vezes

Um teste clássico conferido com a mesma frequência aponta um falso vencedor em cerca de 30% das vezes.

usuários por variação para detectar um pico de 4× nos erros

~300

usuários por variação para detectar um pico de 4× nos erros

Os guardrails pegam grandes regressões em horas, não em semanas.

menos ruído na receita por visitante com CUPED

80%

menos ruído na receita por visitante com CUPED

O que os visitantes fizeram nos 14 dias anteriores ao teste explica parte do que fazem durante ele, então o mesmo tráfego dá uma resposta mais clara. Para visitantes novos, o ganho é menor.

Simulação: 1.000 testes A/A com 40 olhadas cada; 300 execuções com taxa de erro base de 10%; 300 execuções de receita por visitante com 30% de compradores recorrentes. Métodos: mSPRT (Johari, Pekelis & Walsh, 2017) e CUPED (Deng, Xu, Kohavi & Walker, 2013).

Quanto tempo seu teste vai levar? Calcule com a calculadora

Seus dados

Os dados dos seus visitantes continuam seus

Para equipes que precisam cumprir o GDPR ou a KVKK: teste no seu próprio domínio, mantenha os eventos na sua própria infraestrutura se precisar e guarde só o necessário, pelo tempo necessário.

  • Seu domínio

    O snippet e os eventos passam por um caminho no seu próprio site. O navegador dos visitantes vê requisições first-party, e os bloqueadores de anúncios deixam seus testes em paz.

  • Sua infraestrutura, se você quiser

    Com a implantação híbrida, os eventos ficam em um plano de dados operado por você, e o LiftCanary recebe só os totais por variação. No Enterprise, você também pode rodar todo o LiftCanary por conta própria.

  • Consentimento e solicitações, de fábrica

    Espere pelo consentimento com um único atributo na tag. Sem cookies de terceiros, sem endereços IP armazenados com os eventos, e os dados de um visitante apagados mediante solicitação.

  • Resultados que duram mais que os dados brutos

    Os eventos brutos são apagados após 400 dias. Um experimento encerrado guarda seus resultados como totais: finais, inalterados e ainda disponíveis anos depois.

FAQ

Suas dúvidas, respondidas

Mais alguma dúvida? Escreva para nós.

Bloqueadores de anúncios vão quebrar meus testes?

Não se você servir o LiftCanary a partir do seu próprio domínio. O SDK e os eventos passam por um caminho no seu site, então os bloqueadores enxergam tráfego first-party. O guia de configuração (em inglês) leva poucos minutos.

Minhas páginas piscam enquanto a variação carrega?

Não. As flags são decididas no dispositivo, sem chamada de rede por decisão. Em sites, a opção anti-flicker do snippet mantém a página oculta até a variação ser aplicada (no máximo 1,5 s, mesmo se o script for bloqueado), então os visitantes nunca veem a versão original se transformar na variação.

O marketing consegue usar sem um desenvolvedor?

Sim. Depois de instalar a tag uma única vez, mude páginas no editor visual, rode testes de split URL, mostre personalizações a um público com agendamento e conte visitas a páginas, cliques, envios de formulário e profundidade de rolagem como metas, tudo pelo painel. Conecte Stripe, Paddle ou Chargebee, ou sua loja ikas ou WooCommerce, e pagamentos e pedidos também contam como metas. No Shopify, o app adiciona a tag para você.

Posso trocar a ferramenta de testes que uso hoje?

Sim, e sem precisar migrar tudo de uma vez. Adicione a tag do LiftCanary ao lado da sua ferramenta atual, crie seus próximos testes no editor visual ou como flags e remova o snippet antigo quando o último teste dele terminar. Só não teste a mesma página com as duas ferramentas ao mesmo tempo, senão uma distorce os resultados da outra. Ainda não há importação automática: se você tiver muitos testes para migrar, escreva para nós e ajudamos.

Como sei que um resultado é real?

Cada meta mostra a melhoria, o intervalo de confiança e a significância em relação ao nível de confiança que você escolheu. As estatísticas continuam válidas não importa com que frequência você confira, e uma verificação da divisão de tráfego avisa quando os dados não são confiáveis.

E se um teste prejudicar minhas métricas?

Adicione guardrails como erros, tempo de carregamento ou receita. Se uma variação piorar algum deles de forma significativa, o LiftCanary avisa você ou para o teste e mostra a versão original para todos, conforme o que você escolheu.

Preciso mudar a forma como chamo meu LLM?

Quase nada. Leia o modelo, o prompt e os parâmetros do experimento com aiConfig e envolva a chamada em measureLLM para registrar latência, tokens, custo e erros, em Node.js ou Python. Funciona com qualquer provedor, porque quem faz a chamada continua sendo o seu código.

Funciona em apps mobile?

Sim. O SDK de React Native guarda o datafile em cache no dispositivo e funciona offline, e cada usuário vê a mesma variação na web, no mobile e no servidor.

Onde ficam os dados dos meus visitantes?

No LiftCanary Cloud, no nosso banco de dados de analytics, em servidores na Alemanha (UE), e são apagados 400 dias após a coleta; experimentos encerrados mantêm seus resultados como totais. Com a implantação híbrida, os eventos ficam em um plano de dados operado por você e nós recebemos só os totais. Tanto a implantação híbrida quanto rodar todo o LiftCanary por conta própria estão disponíveis no Enterprise.

Seu próximo lançamento pode ser o melhor de todos. Comprove.

Comece grátis, adicione uma tag e rode seu primeiro experimento hoje mesmo.