Expérimentations LLM

Le nouveau modèle est-il meilleur pour vos utilisateurs ?

Confrontez deux modèles, prompts ou réglages à du trafic réel. Voyez l’effet de chacun sur le résultat qui compte pour vous, et ce qu’il coûte en argent comme en temps. Généralisez le gagnant depuis le tableau de bord, sans déployer de code.

Tous les fournisseurs, tous les modèles. Node.js, Python, Go, Java, PHP, Ruby et .NET. Vos prompts et vos réponses ne quittent jamais vos serveurs.

Assistant support · 14 jours · 18 240 utilisateurs

Le challenger l’emporte

actuel

large-model · t=0.7

challenger

small-model · t=0.3 · nouveau prompt

ObjectifActuelChallengerÉcart
Tickets résolus sans intervention humaine61,4 %66,0 %+7,5 %
Coût par appel$0,0072$0,0011−84,7 %
Latence par appel1 204 ms742 ms−38,4 %
Réponses inachevées6,8 %4,1 %−39,7 %
Réponses notées 👍30,2 %31,0 %+2,6 %

Guardrail sur les erreurs respecté · données d’exemple

Les évals ne suffisent pas

Les évals disent qu’un modèle est bon. Seule une expérimentation dit qu’il est meilleur.

Gardez vos évals et votre tracing : ils repèrent les réponses défaillantes avant la mise en production et expliquent les appels un par un. Une expérimentation répond à la question qui leur échappe : que deviennent vos utilisateurs, et votre facture, quand vous changez ?

LiftCanaryÉvalsTracing
Note les réponses avant la mise en production
Trace et journalise chaque appel
Compare les versions sur de vrais utilisateurs, répartis au hasard
Mesure les objectifs business : conversions, tickets résolus, rétention
Coût et latence par version, avec intervalles
Indique quand une différence est réelle (statistiques toujours valides)
Annule automatiquement une mauvaise version
Change de modèle ou de prompt sans redéploiement

Évals : jeux de tests hors ligne notés avant la mise en production. Tracing : outils d’observabilité LLM. Ce sont des catégories, pas des produits : beaucoup d’équipes utilisent les trois ensemble.

Ce que vous pouvez tester

Chaque changement d’une fonctionnalité LLM est une hypothèse

  • Un modèle moins cher ou plus récent

    Le petit modèle tient-il la route pour vos utilisateurs ? Mesurez ce qu’il fait économiser et ce qu’il coûte en qualité, avant d’y basculer tout le monde.

  • Un prompt réécrit

    Des réponses plus courtes, un autre ton, une consigne étape par étape. Les prompts sont des variables : le marketing et le produit peuvent aussi les modifier.

  • Paramètres et récupération (retrieval)

    Température, nombre maximal de tokens, nombre de documents à récupérer, outils autorisés pour un agent : tout ce que vous passez dans params.

  • L’IA apporte-t-elle quelque chose ?

    Testez la fonctionnalité IA face à une version sans IA. Parfois, le simple champ de recherche convertit mieux.

Dix lignes de code

Compatible avec le modèle que vous appelez déjà

  1. 1

    Créez une AI config

    Un flag avec modèle, prompt et params, et deux variantes : « Actuel » et « Challenger ».

  2. 2

    Encapsulez votre appel

    Lisez la config avec aiConfig et encapsulez l’appel dans measureLLM, ou une réponse en streaming dans measureLLMStream. C’est toujours votre code qui appelle le fournisseur.

  3. 3

    Lancez l’expérimentation

    Choisissez comme objectif principal celui qui compte vraiment, et ajoutez coût, latence et erreurs comme guardrails.

En Python aussi : ai_config et measure_llm, en synchrone, asynchrone et streaming.

support.ts
import { createClient, aiConfig, measureLLM, trackFeedback } from "@liftcanary/node";

const liftcanary = createClient({
  sdkKey: process.env.LIFTCANARY_SDK_KEY!,
  modelPrices: { "small-model": { input: 0.25, output: 1.25 }, "large-model": { input: 3, output: 15 } },
});

const fallback = { model: "large-model", prompt: "You are a helpful assistant." };

export async function answer(req) {
  const user = liftcanary.createUser({ id: req.user.id });
  // Modèle, prompt et params de la variante de cet utilisateur
  const cfg = aiConfig(user, "support_bot", fallback);

  // Votre propre appel au fournisseur : latence, tokens, coût et erreurs sont enregistrés
  return measureLLM(user, cfg,
    () => llm.chat({ model: cfg.model, system: cfg.prompt, ...cfg.params, messages: req.messages }),
    (r) => ({ inputTokens: r.usage.input_tokens, outputTokens: r.usage.output_tokens }));
}

// Quand l’utilisateur note une réponse (pouce levé ou baissé)
export function rate(req, positive) {
  const user = liftcanary.createUser({ id: req.user.id });
  trackFeedback(user, aiConfig(user, "support_bot", fallback), positive);
}

Sûr par défaut

Testez les changements audacieux sur quelques utilisateurs, pas sur tous

  • Retour arrière automatique

    Des guardrails sur les erreurs, la latence, le coût ou les retours négatifs. Si le challenger est significativement moins bon, tout le monde revient automatiquement à la version actuelle.

  • Consultez quand vous voulez

    Statistiques toujours valides : consultez les résultats toutes les heures sans inventer de gagnant. Les fortes régressions apparaissent après quelques centaines d’utilisateurs.

  • Des coûts fiables

    Le coût par appel, calculé à partir de votre propre grille tarifaire et du nombre réel de tokens, comparé avec un intervalle plutôt qu’estimé dans un tableur.

  • Vos prompts restent chez vous

    Seuls la latence, le nombre de tokens, le coût, les erreurs et le nom du modèle sont envoyés. Prompts, réponses et clés d’API ne quittent jamais vos serveurs. Le déploiement hybride garde même ces données dans votre cloud.

FAQ

Les questions des équipes IA

Avec quels fournisseurs et modèles est-ce compatible ?

Tous. LiftCanary donne à votre code le nom du modèle, le prompt et les paramètres de chaque utilisateur ; votre code fait l’appel avec le SDK de votre choix, modèles auto-hébergés compris.

Voyez-vous nos prompts ou les messages de nos utilisateurs ?

Non. Le SDK envoie l’expérimentation, la variante, le nom du modèle et des chiffres : latence, tokens, coût et échec éventuel de l’appel. Le template du prompt se trouve dans votre flag ; le prompt rempli et la réponse restent sur vos serveurs.

De combien d’utilisateurs avons-nous besoin ?

Tout dépend de l’ampleur de la différence. Une forte régression, comme quatre fois plus d’erreurs, apparaît après quelques centaines d’utilisateurs par variante. Quelques pour cent sur un objectif business demandent des milliers d’utilisateurs ; l’assistant de création d’expérimentation estime la durée nécessaire d’après votre trafic.

Un même utilisateur peut-il recevoir des modèles différents d’une requête à l’autre ?

Non. L’affectation se fait par utilisateur : chacun garde sa variante, et son expérience comme ses retours peuvent être comparés équitablement.

Combien ça coûte ?

Les expérimentations sont facturées au nombre de visiteurs testés par mois, avec une offre gratuite. Les flags, les déploiements progressifs et les AI configs elles-mêmes sont gratuits et illimités.

Votre prochain changement de modèle, mesuré.

Gratuit pour commencer. Votre première expérimentation IA peut tourner dès aujourd’hui.