LLM deneyleri
Yeni model kullanıcılarınız için gerçekten daha mı iyi?
İki modeli, prompt'u ya da ayarı gerçek trafiğin önüne koyun. Her birinin önemsediğiniz sonuca ne yaptığını ve paraya ve zamana neye mal olduğunu görün. Kazananı deploy olmadan panelden yayınlayın.
Her sağlayıcı, her model. Node.js, Python, Go, Java, PHP, Ruby ve .NET. Prompt'lar ve yanıtlar sunucularınızdan hiç çıkmaz.
Destek asistanı · 14 gün · 18.240 kullanıcı
Rakip kazanıyormevcut
large-model · t=0.7
rakip
small-model · t=0.3 · yeni prompt
| Hedef | Mevcut | Rakip | Değişim |
|---|---|---|---|
| İnsansız çözülen talepler | %61,4 | %66,0 | +%7,5 |
| Çağrı başına maliyet | $0,0072 | $0,0011 | −%84,7 |
| Çağrı başına gecikme | 1.204 ms | 742 ms | −%38,4 |
| Yarıda bırakılan yanıtlar | %6,8 | %4,1 | −%39,7 |
| 👍 alan yanıtlar | %30,2 | %31,0 | +%2,6 |
Hata guardrail'i sınırda · örnek veri
Eval'ler yetmez
Eval'ler bir modelin iyi olduğunu söyler. Daha iyi olduğunu yalnızca bir deney söyler.
Eval'lerinizi ve izleme araçlarınızı tutun: yayından önce bozuk yanıtları yakalar, tek tek çağrıları açıklarlar. Deney ise onların cevaplayamadığı soruyu cevaplar: geçiş yaptığınızda kullanıcılarınıza ve faturanıza ne olur?
| LiftCanary | Eval'ler | İzleme | |
|---|---|---|---|
| Yanıtları yayından önce puanlar | |||
| Her çağrıyı izler ve kaydeder | |||
| Sürümleri gerçek kullanıcılarda, rastgele karşılaştırır | |||
| İş hedeflerini ölçer: dönüşümler, çözülen talepler, elde tutma | |||
| Sürüm başına maliyet ve gecikme, aralıklarıyla | |||
| Bir farkın gerçek olduğunu söyler (her zaman geçerli istatistik) | |||
| Kötü bir sürümü kendiliğinden geri alır | |||
| Modeli ya da prompt'u deploy olmadan değiştirir |
Eval'ler: yayından önce puanlanan çevrimdışı test setleri. İzleme: LLM gözlemlenebilirlik araçları. Bunlar ürün değil kategori; birçok ekip üçünü birlikte kullanır.
Neleri test edebilirsiniz
Bir LLM özelliğindeki her değişiklik bir hipotezdir
Daha ucuz ya da daha yeni bir model
Küçük model kullanıcılarınız için yeterli mi? Herkesi geçirmeden önce ne kazandırdığını ve kaliteden neye mal olduğunu öğrenin.
Yeniden yazılmış bir prompt
Daha kısa yanıtlar, farklı bir ton, adım adım talimat. Prompt'lar değişken olduğu için pazarlama ve ürün ekipleri de değiştirebilir.
Parametreler ve getirme (retrieval)
Sıcaklık, maksimum token, kaç doküman getirileceği, bir agent'ın hangi araçları kullanabileceği: params'a verdiğiniz her şey.
Yapay zekâ işe yarıyor mu?
AI özelliğini, AI'sız haline karşı test edin. Bazen sade arama kutusu daha çok dönüştürür.
On satır kod
Zaten çağırdığınız modelle çalışır
- 1
Bir AI config oluşturun
Model, prompt ve params içeren bir flag ve iki varyasyon: Mevcut ve Rakip.
- 2
Çağrınızı sarın
Yapılandırmayı aiConfig ile okuyun, çağrıyı measureLLM ile, akışlı (streaming) bir yanıtı measureLLMStream ile sarın. Sağlayıcıyı yine sizin kodunuz çağırır.
- 3
Deneyi başlatın
Önemli olan hedefi birincil seçin; maliyeti, gecikmeyi ve hataları guardrail olarak ekleyin.
Python'da da: ai_config ve measure_llm; senkron, asenkron ve akışlı.
import { createClient, aiConfig, measureLLM, trackFeedback } from "@liftcanary/node";
const liftcanary = createClient({
sdkKey: process.env.LIFTCANARY_SDK_KEY!,
modelPrices: { "small-model": { input: 0.25, output: 1.25 }, "large-model": { input: 3, output: 15 } },
});
const fallback = { model: "large-model", prompt: "You are a helpful assistant." };
export async function answer(req) {
const user = liftcanary.createUser({ id: req.user.id });
// Bu kullanıcının varyasyonundaki model, prompt ve parametreler
const cfg = aiConfig(user, "support_bot", fallback);
// Sağlayıcıya kendi çağrınız; gecikme, token, maliyet ve hatalar kaydedilir
return measureLLM(user, cfg,
() => llm.chat({ model: cfg.model, system: cfg.prompt, ...cfg.params, messages: req.messages }),
(r) => ({ inputTokens: r.usage.input_tokens, outputTokens: r.usage.output_tokens }));
}
// Kullanıcı bir yanıtı değerlendirdiğinde (beğendi ya da beğenmedi)
export function rate(req, positive) {
const user = liftcanary.createUser({ id: req.user.id });
trackFeedback(user, aiConfig(user, "support_bot", fallback), positive);
}Varsayılan olarak güvenli
Cesur değişiklikleri herkeste değil, birkaç kullanıcıda deneyin
Otomatik geri alma
Hatalar, gecikme, maliyet ya da olumsuz geri bildirim üzerinde guardrail'ler. Rakip anlamlı biçimde daha kötüyse herkes kendiliğinden mevcut sürüme döner.
İstediğiniz zaman bakın
Her zaman geçerli istatistik: kazanan uydurmadan sonuçlara saatte bir bakın. Büyük gerilemeler birkaç yüz kullanıcıdan sonra görünür.
Güvenebileceğiniz maliyet
Kendi fiyat listenizden ve gerçek token sayılarından çağrı başına maliyet; bir tablodaki tahminle değil, bir aralıkla karşılaştırılır.
Prompt'lar sizde kalır
Yalnızca gecikme, token sayıları, maliyet, hatalar ve model adı gönderilir. Prompt'lar, yanıtlar ve API anahtarları sunucularınızdan hiç çıkmaz. Hibrit kurulumda bunlar bile sizin bulutunuzda kalır.
SSS
AI ekiplerinden gelen sorular
Hangi sağlayıcılar ve modellerle çalışır?
Hepsiyle. LiftCanary kodunuza her kullanıcı için model adını, prompt'u ve parametreleri verir; çağrıyı kullandığınız SDK ile, kendi barındırdığınız modeller dahil, kodunuz yapar.
Prompt'larımızı ya da kullanıcı mesajlarını görüyor musunuz?
Hayır. SDK deneyi, varyasyonu, model adını ve sayıları gönderir: gecikme, token, maliyet ve çağrının başarısız olup olmadığı. Prompt şablonu flag'inizde durur; doldurulmuş prompt ve yanıt sunucularınızda kalır.
Kaç kullanıcıya ihtiyacımız var?
Farkın büyüklüğüne bağlı. Hataların dört katına çıkması gibi büyük bir gerileme, varyasyon başına birkaç yüz kullanıcıdan sonra görünür. Bir iş hedefinde birkaç yüzdelik fark binlerce kullanıcı ister; deney sihirbazı trafiğinize göre ne kadar süreceğini tahmin eder.
Aynı kullanıcı farklı isteklerde farklı modeller alabilir mi?
Hayır. Atama kullanıcı bazındadır; her kişi kendi varyasyonunda kalır, deneyimi ve geri bildirimi adil biçimde karşılaştırılabilir.
Ne kadar tutar?
Deneyler, ücretsiz planla birlikte, aylık test edilen ziyaretçiye göre fiyatlanır. Flag'ler, kademeli yayınlar ve AI config'lerin kendisi ücretsiz ve sınırsızdır.
Bir sonraki model geçişiniz, ölçülmüş olarak.
Başlamak ücretsiz. İlk AI deneyiniz bugün çalışabilir.