Experimentos com LLM

O novo modelo é melhor para os seus usuários?

Coloque dois modelos, prompts ou configurações diante de tráfego real. Veja o efeito de cada um no resultado que importa para você, e quanto ele custa em dinheiro e em tempo. Lance a versão vencedora pelo painel, sem deploy.

Qualquer provedor, qualquer modelo. Node.js, Python, Go, Java, PHP, Ruby e .NET. Prompts e respostas nunca saem dos seus servidores.

Assistente de suporte · 14 dias · 18.240 usuários

Desafiante vence

atual

large-model · t=0.7

desafiante

small-model · t=0.3 · novo prompt

MetaAtualDesafianteDiferença
Tickets resolvidos sem atendente humano61,4%66,0%+7,5%
Custo por chamada$0,0072$0,0011−84,7%
Latência por chamada1.204 ms742 ms−38,4%
Respostas interrompidas6,8%4,1%−39,7%
Respostas com 👍30,2%31,0%+2,6%

Guardrail de erros dentro do limite · dados de exemplo

Evals não bastam

Evals dizem que um modelo é bom. Só um experimento diz se ele é melhor.

Mantenha seus evals e seu tracing: eles pegam respostas quebradas antes do lançamento e explicam chamadas individuais. Um experimento responde à pergunta que eles não respondem: o que acontece com os seus usuários, e com a sua conta, quando você troca.

LiftCanaryEvalsTracing
Pontua respostas antes do lançamento
Rastreia e registra cada chamada
Compara versões com usuários reais, de forma aleatória
Mede metas de negócio: conversões, tickets resolvidos, retenção
Custo e latência por versão, com intervalos
Diz quando uma diferença é real (estatísticas sempre válidas)
Reverte sozinho uma versão ruim
Muda modelo ou prompt sem deploy

Evals: conjuntos de teste offline pontuados antes do lançamento. Tracing: ferramentas de observabilidade de LLM. São categorias, não produtos: muitas equipes usam as três juntas.

O que você pode testar

Toda mudança em um recurso com LLM é uma hipótese

  • Um modelo mais barato ou mais novo

    O modelo menor dá conta para os seus usuários? Descubra quanto ele economiza e quanto custa em qualidade antes de mudar todo mundo.

  • Um prompt reescrito

    Respostas mais curtas, outro tom, uma instrução passo a passo. Prompts são variáveis, então marketing e produto também podem mudá-los.

  • Parâmetros e retrieval

    Temperatura, máximo de tokens, quantos documentos recuperar, quais ferramentas um agente pode usar: tudo o que você passa em params.

  • Se a IA ajuda de verdade

    Teste o recurso de IA contra nenhum recurso de IA. Às vezes, a boa e velha caixa de busca converte mais.

Dez linhas de código

Funciona com o modelo que você já usa

  1. 1

    Crie uma AI config

    Uma flag com modelo, prompt e params, e duas variações: Atual e Desafiante.

  2. 2

    Envolva sua chamada

    Leia a configuração com aiConfig e envolva a chamada em measureLLM, ou uma resposta em streaming em measureLLMStream. Seu código continua chamando o provedor.

  3. 3

    Inicie o experimento

    Escolha como principal a meta que importa e adicione custo, latência e erros como guardrails.

Também em Python: ai_config e measure_llm, com chamadas síncronas, assíncronas e em streaming.

support.ts
import { createClient, aiConfig, measureLLM, trackFeedback } from "@liftcanary/node";

const liftcanary = createClient({
  sdkKey: process.env.LIFTCANARY_SDK_KEY!,
  modelPrices: { "small-model": { input: 0.25, output: 1.25 }, "large-model": { input: 3, output: 15 } },
});

const fallback = { model: "large-model", prompt: "You are a helpful assistant." };

export async function answer(req) {
  const user = liftcanary.createUser({ id: req.user.id });
  // Modelo, prompt e params da variação deste usuário
  const cfg = aiConfig(user, "support_bot", fallback);

  // Sua própria chamada ao provedor; latência, tokens, custo e erros são registrados
  return measureLLM(user, cfg,
    () => llm.chat({ model: cfg.model, system: cfg.prompt, ...cfg.params, messages: req.messages }),
    (r) => ({ inputTokens: r.usage.input_tokens, outputTokens: r.usage.output_tokens }));
}

// Quando o usuário avalia uma resposta (positiva ou negativa)
export function rate(req, positive) {
  const user = liftcanary.createUser({ id: req.user.id });
  trackFeedback(user, aiConfig(user, "support_bot", fallback), positive);
}

Seguro por padrão

Teste mudanças ousadas com poucos usuários, não com todos

  • Rollback automático

    Guardrails de erros, latência, custo ou feedback negativo. Se o desafiante for significativamente pior, todo mundo volta sozinho para a versão atual.

  • Olhe quando quiser

    Estatísticas sempre válidas: confira os resultados de hora em hora sem inventar vencedores. Grandes regressões aparecem depois de algumas centenas de usuários.

  • Um custo em que você pode confiar

    Custo por chamada calculado com a sua própria tabela de preços e a contagem real de tokens, comparado com um intervalo, e não um palpite tirado de uma planilha.

  • Os prompts ficam com você

    Só são enviados latência, contagem de tokens, custo, erros e o nome do modelo. Prompts, respostas e chaves de API nunca saem dos seus servidores. Com a implantação híbrida, até isso fica na sua nuvem.

FAQ

Perguntas de times de IA

Com quais provedores e modelos funciona?

Com todos. O LiftCanary entrega ao seu código o nome do modelo, o prompt e os parâmetros de cada usuário; o seu código faz a chamada com o SDK que você já usa, inclusive para modelos self-hosted.

Vocês veem nossos prompts ou as mensagens dos usuários?

Não. O SDK envia o experimento, a variação, o nome do modelo e números: latência, tokens, custo e se a chamada falhou. O template do prompt fica na sua flag; o prompt preenchido e a resposta ficam nos seus servidores.

De quantos usuários precisamos?

Depende do tamanho da diferença. Uma regressão grande, como erros quatro vezes mais frequentes, aparece depois de algumas centenas de usuários por variação. Alguns pontos percentuais em uma meta de negócio exigem milhares; o assistente de experimentos estima quanto tempo vai levar com base no seu tráfego.

O mesmo usuário pode receber modelos diferentes em requisições diferentes?

Não. A atribuição é por usuário, então cada pessoa mantém a sua variação, e a experiência e o feedback dela podem ser comparados de forma justa.

Quanto custa?

Os experimentos são cobrados por visitantes testados por mês, com um plano gratuito. Flags, rollouts e as próprias AI configs são gratuitos e ilimitados.

Sua próxima troca de modelo, baseada em dados.

Grátis para começar. Seu primeiro experimento com IA pode rodar hoje.