Experimentos com LLM
O novo modelo é melhor para os seus usuários?
Coloque dois modelos, prompts ou configurações diante de tráfego real. Veja o efeito de cada um no resultado que importa para você, e quanto ele custa em dinheiro e em tempo. Lance a versão vencedora pelo painel, sem deploy.
Qualquer provedor, qualquer modelo. Node.js, Python, Go, Java, PHP, Ruby e .NET. Prompts e respostas nunca saem dos seus servidores.
Assistente de suporte · 14 dias · 18.240 usuários
Desafiante venceatual
large-model · t=0.7
desafiante
small-model · t=0.3 · novo prompt
| Meta | Atual | Desafiante | Diferença |
|---|---|---|---|
| Tickets resolvidos sem atendente humano | 61,4% | 66,0% | +7,5% |
| Custo por chamada | $0,0072 | $0,0011 | −84,7% |
| Latência por chamada | 1.204 ms | 742 ms | −38,4% |
| Respostas interrompidas | 6,8% | 4,1% | −39,7% |
| Respostas com 👍 | 30,2% | 31,0% | +2,6% |
Guardrail de erros dentro do limite · dados de exemplo
Evals não bastam
Evals dizem que um modelo é bom. Só um experimento diz se ele é melhor.
Mantenha seus evals e seu tracing: eles pegam respostas quebradas antes do lançamento e explicam chamadas individuais. Um experimento responde à pergunta que eles não respondem: o que acontece com os seus usuários, e com a sua conta, quando você troca.
| LiftCanary | Evals | Tracing | |
|---|---|---|---|
| Pontua respostas antes do lançamento | |||
| Rastreia e registra cada chamada | |||
| Compara versões com usuários reais, de forma aleatória | |||
| Mede metas de negócio: conversões, tickets resolvidos, retenção | |||
| Custo e latência por versão, com intervalos | |||
| Diz quando uma diferença é real (estatísticas sempre válidas) | |||
| Reverte sozinho uma versão ruim | |||
| Muda modelo ou prompt sem deploy |
Evals: conjuntos de teste offline pontuados antes do lançamento. Tracing: ferramentas de observabilidade de LLM. São categorias, não produtos: muitas equipes usam as três juntas.
O que você pode testar
Toda mudança em um recurso com LLM é uma hipótese
Um modelo mais barato ou mais novo
O modelo menor dá conta para os seus usuários? Descubra quanto ele economiza e quanto custa em qualidade antes de mudar todo mundo.
Um prompt reescrito
Respostas mais curtas, outro tom, uma instrução passo a passo. Prompts são variáveis, então marketing e produto também podem mudá-los.
Parâmetros e retrieval
Temperatura, máximo de tokens, quantos documentos recuperar, quais ferramentas um agente pode usar: tudo o que você passa em params.
Se a IA ajuda de verdade
Teste o recurso de IA contra nenhum recurso de IA. Às vezes, a boa e velha caixa de busca converte mais.
Dez linhas de código
Funciona com o modelo que você já usa
- 1
Crie uma AI config
Uma flag com modelo, prompt e params, e duas variações: Atual e Desafiante.
- 2
Envolva sua chamada
Leia a configuração com aiConfig e envolva a chamada em measureLLM, ou uma resposta em streaming em measureLLMStream. Seu código continua chamando o provedor.
- 3
Inicie o experimento
Escolha como principal a meta que importa e adicione custo, latência e erros como guardrails.
Também em Python: ai_config e measure_llm, com chamadas síncronas, assíncronas e em streaming.
import { createClient, aiConfig, measureLLM, trackFeedback } from "@liftcanary/node";
const liftcanary = createClient({
sdkKey: process.env.LIFTCANARY_SDK_KEY!,
modelPrices: { "small-model": { input: 0.25, output: 1.25 }, "large-model": { input: 3, output: 15 } },
});
const fallback = { model: "large-model", prompt: "You are a helpful assistant." };
export async function answer(req) {
const user = liftcanary.createUser({ id: req.user.id });
// Modelo, prompt e params da variação deste usuário
const cfg = aiConfig(user, "support_bot", fallback);
// Sua própria chamada ao provedor; latência, tokens, custo e erros são registrados
return measureLLM(user, cfg,
() => llm.chat({ model: cfg.model, system: cfg.prompt, ...cfg.params, messages: req.messages }),
(r) => ({ inputTokens: r.usage.input_tokens, outputTokens: r.usage.output_tokens }));
}
// Quando o usuário avalia uma resposta (positiva ou negativa)
export function rate(req, positive) {
const user = liftcanary.createUser({ id: req.user.id });
trackFeedback(user, aiConfig(user, "support_bot", fallback), positive);
}Seguro por padrão
Teste mudanças ousadas com poucos usuários, não com todos
Rollback automático
Guardrails de erros, latência, custo ou feedback negativo. Se o desafiante for significativamente pior, todo mundo volta sozinho para a versão atual.
Olhe quando quiser
Estatísticas sempre válidas: confira os resultados de hora em hora sem inventar vencedores. Grandes regressões aparecem depois de algumas centenas de usuários.
Um custo em que você pode confiar
Custo por chamada calculado com a sua própria tabela de preços e a contagem real de tokens, comparado com um intervalo, e não um palpite tirado de uma planilha.
Os prompts ficam com você
Só são enviados latência, contagem de tokens, custo, erros e o nome do modelo. Prompts, respostas e chaves de API nunca saem dos seus servidores. Com a implantação híbrida, até isso fica na sua nuvem.
FAQ
Perguntas de times de IA
Com quais provedores e modelos funciona?
Com todos. O LiftCanary entrega ao seu código o nome do modelo, o prompt e os parâmetros de cada usuário; o seu código faz a chamada com o SDK que você já usa, inclusive para modelos self-hosted.
Vocês veem nossos prompts ou as mensagens dos usuários?
Não. O SDK envia o experimento, a variação, o nome do modelo e números: latência, tokens, custo e se a chamada falhou. O template do prompt fica na sua flag; o prompt preenchido e a resposta ficam nos seus servidores.
De quantos usuários precisamos?
Depende do tamanho da diferença. Uma regressão grande, como erros quatro vezes mais frequentes, aparece depois de algumas centenas de usuários por variação. Alguns pontos percentuais em uma meta de negócio exigem milhares; o assistente de experimentos estima quanto tempo vai levar com base no seu tráfego.
O mesmo usuário pode receber modelos diferentes em requisições diferentes?
Não. A atribuição é por usuário, então cada pessoa mantém a sua variação, e a experiência e o feedback dela podem ser comparados de forma justa.
Quanto custa?
Os experimentos são cobrados por visitantes testados por mês, com um plano gratuito. Flags, rollouts e as próprias AI configs são gratuitos e ilimitados.
Sua próxima troca de modelo, baseada em dados.
Grátis para começar. Seu primeiro experimento com IA pode rodar hoje.