Expérimentations LLM
Le nouveau modèle est-il meilleur pour vos utilisateurs ?
Confrontez deux modèles, prompts ou réglages à du trafic réel. Voyez l’effet de chacun sur le résultat qui compte pour vous, et ce qu’il coûte en argent comme en temps. Généralisez le gagnant depuis le tableau de bord, sans déployer de code.
Tous les fournisseurs, tous les modèles. Node.js, Python, Go, Java, PHP, Ruby et .NET. Vos prompts et vos réponses ne quittent jamais vos serveurs.
Assistant support · 14 jours · 18 240 utilisateurs
Le challenger l’emporteactuel
large-model · t=0.7
challenger
small-model · t=0.3 · nouveau prompt
| Objectif | Actuel | Challenger | Écart |
|---|---|---|---|
| Tickets résolus sans intervention humaine | 61,4 % | 66,0 % | +7,5 % |
| Coût par appel | $0,0072 | $0,0011 | −84,7 % |
| Latence par appel | 1 204 ms | 742 ms | −38,4 % |
| Réponses inachevées | 6,8 % | 4,1 % | −39,7 % |
| Réponses notées 👍 | 30,2 % | 31,0 % | +2,6 % |
Guardrail sur les erreurs respecté · données d’exemple
Les évals ne suffisent pas
Les évals disent qu’un modèle est bon. Seule une expérimentation dit qu’il est meilleur.
Gardez vos évals et votre tracing : ils repèrent les réponses défaillantes avant la mise en production et expliquent les appels un par un. Une expérimentation répond à la question qui leur échappe : que deviennent vos utilisateurs, et votre facture, quand vous changez ?
| LiftCanary | Évals | Tracing | |
|---|---|---|---|
| Note les réponses avant la mise en production | |||
| Trace et journalise chaque appel | |||
| Compare les versions sur de vrais utilisateurs, répartis au hasard | |||
| Mesure les objectifs business : conversions, tickets résolus, rétention | |||
| Coût et latence par version, avec intervalles | |||
| Indique quand une différence est réelle (statistiques toujours valides) | |||
| Annule automatiquement une mauvaise version | |||
| Change de modèle ou de prompt sans redéploiement |
Évals : jeux de tests hors ligne notés avant la mise en production. Tracing : outils d’observabilité LLM. Ce sont des catégories, pas des produits : beaucoup d’équipes utilisent les trois ensemble.
Ce que vous pouvez tester
Chaque changement d’une fonctionnalité LLM est une hypothèse
Un modèle moins cher ou plus récent
Le petit modèle tient-il la route pour vos utilisateurs ? Mesurez ce qu’il fait économiser et ce qu’il coûte en qualité, avant d’y basculer tout le monde.
Un prompt réécrit
Des réponses plus courtes, un autre ton, une consigne étape par étape. Les prompts sont des variables : le marketing et le produit peuvent aussi les modifier.
Paramètres et récupération (retrieval)
Température, nombre maximal de tokens, nombre de documents à récupérer, outils autorisés pour un agent : tout ce que vous passez dans params.
L’IA apporte-t-elle quelque chose ?
Testez la fonctionnalité IA face à une version sans IA. Parfois, le simple champ de recherche convertit mieux.
Dix lignes de code
Compatible avec le modèle que vous appelez déjà
- 1
Créez une AI config
Un flag avec modèle, prompt et params, et deux variantes : « Actuel » et « Challenger ».
- 2
Encapsulez votre appel
Lisez la config avec aiConfig et encapsulez l’appel dans measureLLM, ou une réponse en streaming dans measureLLMStream. C’est toujours votre code qui appelle le fournisseur.
- 3
Lancez l’expérimentation
Choisissez comme objectif principal celui qui compte vraiment, et ajoutez coût, latence et erreurs comme guardrails.
En Python aussi : ai_config et measure_llm, en synchrone, asynchrone et streaming.
import { createClient, aiConfig, measureLLM, trackFeedback } from "@liftcanary/node";
const liftcanary = createClient({
sdkKey: process.env.LIFTCANARY_SDK_KEY!,
modelPrices: { "small-model": { input: 0.25, output: 1.25 }, "large-model": { input: 3, output: 15 } },
});
const fallback = { model: "large-model", prompt: "You are a helpful assistant." };
export async function answer(req) {
const user = liftcanary.createUser({ id: req.user.id });
// Modèle, prompt et params de la variante de cet utilisateur
const cfg = aiConfig(user, "support_bot", fallback);
// Votre propre appel au fournisseur : latence, tokens, coût et erreurs sont enregistrés
return measureLLM(user, cfg,
() => llm.chat({ model: cfg.model, system: cfg.prompt, ...cfg.params, messages: req.messages }),
(r) => ({ inputTokens: r.usage.input_tokens, outputTokens: r.usage.output_tokens }));
}
// Quand l’utilisateur note une réponse (pouce levé ou baissé)
export function rate(req, positive) {
const user = liftcanary.createUser({ id: req.user.id });
trackFeedback(user, aiConfig(user, "support_bot", fallback), positive);
}Sûr par défaut
Testez les changements audacieux sur quelques utilisateurs, pas sur tous
Retour arrière automatique
Des guardrails sur les erreurs, la latence, le coût ou les retours négatifs. Si le challenger est significativement moins bon, tout le monde revient automatiquement à la version actuelle.
Consultez quand vous voulez
Statistiques toujours valides : consultez les résultats toutes les heures sans inventer de gagnant. Les fortes régressions apparaissent après quelques centaines d’utilisateurs.
Des coûts fiables
Le coût par appel, calculé à partir de votre propre grille tarifaire et du nombre réel de tokens, comparé avec un intervalle plutôt qu’estimé dans un tableur.
Vos prompts restent chez vous
Seuls la latence, le nombre de tokens, le coût, les erreurs et le nom du modèle sont envoyés. Prompts, réponses et clés d’API ne quittent jamais vos serveurs. Le déploiement hybride garde même ces données dans votre cloud.
FAQ
Les questions des équipes IA
Avec quels fournisseurs et modèles est-ce compatible ?
Tous. LiftCanary donne à votre code le nom du modèle, le prompt et les paramètres de chaque utilisateur ; votre code fait l’appel avec le SDK de votre choix, modèles auto-hébergés compris.
Voyez-vous nos prompts ou les messages de nos utilisateurs ?
Non. Le SDK envoie l’expérimentation, la variante, le nom du modèle et des chiffres : latence, tokens, coût et échec éventuel de l’appel. Le template du prompt se trouve dans votre flag ; le prompt rempli et la réponse restent sur vos serveurs.
De combien d’utilisateurs avons-nous besoin ?
Tout dépend de l’ampleur de la différence. Une forte régression, comme quatre fois plus d’erreurs, apparaît après quelques centaines d’utilisateurs par variante. Quelques pour cent sur un objectif business demandent des milliers d’utilisateurs ; l’assistant de création d’expérimentation estime la durée nécessaire d’après votre trafic.
Un même utilisateur peut-il recevoir des modèles différents d’une requête à l’autre ?
Non. L’affectation se fait par utilisateur : chacun garde sa variante, et son expérience comme ses retours peuvent être comparés équitablement.
Combien ça coûte ?
Les expérimentations sont facturées au nombre de visiteurs testés par mois, avec une offre gratuite. Les flags, les déploiements progressifs et les AI configs elles-mêmes sont gratuits et illimités.
Votre prochain changement de modèle, mesuré.
Gratuit pour commencer. Votre première expérimentation IA peut tourner dès aujourd’hui.