YeniLLM modellerini ve prompt'ları gerçek kullanıcılarla A/B test edin

Pazarlamacının başlattığı A/B testleri. Geliştiricinin güvendiği feature flag'ler.

Tüm ekip için tek araç: pazarlamaya görsel editör, mühendisliğe web, mobil ve sunucu SDK'ları. Sonuçlara her gün bakın, yanılmayın; geliri düşüren bir testi guardrail'ler durdursun. Hepsi kendi alan adınızdan çalışır, reklam engelleyiciler verinizi bozmaz.

  • Ayda 25 bin test edilen ziyaretçiye kadar ücretsiz
  • Ücretli planlar aylık $49'dan başlar
  • Kredi kartı gerekmez
  • Alan adınız, veriniz
app.liftcanary.com/experiments/one-page-checkout

Experiment · Production

One-page checkout

Running · day 14

One page wins on Purchases: +12.1% conversion, 99.2% significance.

LiftAlways-valid intervalday 1 → 14
+20%+10%0%+12.1%
VariationVisitorsConversionLift
Baseline24,8124.12%—
One page24,7904.62%+12.1%
Checkout errors holdingPage load time holding

Yayına aldığınız her yer için tek platform

  • Her web sitesi
  • React ve Next.js
  • Mobil uygulamalar
  • Sunucular
  • E-ticaret siteleri
  • LLM uygulamaları

Ürün

Güvenle yayına çıkmak için gereken her şey

Kademeli açın, her fikri test edin ve rakamları gerçekte neyin değiştirdiğini günler içinde öğrenin. Pazarlamacılar ve mühendisler için tek SDK, tek panel.

Feature flag'ler ve kademeli yayın

Bir özelliği kullanıcıların %5'ine, tek bir ülkeye ya da beta testçilerinize açın. Tek tıkla geri alın: sunucularınıza bir saniye içinde ulaşır, deploy gerekmez.

new_checkoutAçık
  • Ekip içi100%
  • Beta kullanıcıları100%
  • Türkiye25%
  • Herkes0%

A/B, çok değişkenli ve split URL testleri

Varyasyonları kodda test edin, sayfanın birkaç parçasını aynı anda deneyip her parçanın kendi sonucunu görün ya da ziyaretçilerin yarısını yeniden tasarlanmış bir sayfaya gönderin.

shop.com/checkout

  • /checkout50%
  • /checkout-v250%

Kodsuz hedefler

Sayfa ziyaretlerini, tıklamaları, form gönderimlerini ve kaydırma derinliğini panelden sayın. Özel olaylar tek satır kod.

  • Sayfa ziyareti/checkout/success
  • Tıklama#add-to-cart
  • Kaydırma derinliği/blog/* sayfalarının %50'si

Kötü sürümleri durduran guardrail'ler

Asla kötüleşmemesi gerekeni seçin: hatalar, yüklenme süresi, maliyet, gelir. Bir varyasyon bunlardan birini anlamlı biçimde kötüleştirirse LiftCanary sizi uyarır ya da testi durdurup herkesi güvenli sürümde tutar.

Sayfa yüklenme süresi

−4.2%

Sınırda

Ödeme hataları

+212%

Otomatik durduruldu · orijinal geri geldi

İstediğiniz an bakabileceğiniz sonuçlar

Her zaman geçerli istatistikler sayesinde saatte bir bakın, kendinizi kandırmazsınız; ya da süreyi baştan belirleyin, yaklaşık %40 daha az ziyaretçi yetsin. Hız için yüzdelikler, gelir için uç değer sınırı, trafik dağılımı kontrolü dahil.

  • Satın almalar+12.1%
  • Sepete ekleme+4.3%
  • Ziyaretçi başına gelir+9.4%

40 kez bakıldıHâlâ geçerli

Engellenmek için değil, görülmek için

SDK'yı ve olayları kendi alan adınızdan sunun. Reklam engelleyiciler testlerinizi sitenizden ayırt edemez, veriniz eksiksiz kalır.

  • cdn.testing-tool.com/sdk.jsEngellendi
  • shop.com/_sk/sdk/v1/liftcanary.jsYüklendi

Trafiği kazanana yönlendiren bandit'ler

Test sürerken trafik kazanan varyasyona kayar, kaybeden versiyonu daha az ziyaretçi görür. Her varyasyon en az %5 alır, ziyaretçiler ilk gördükleri versiyonda kalır.

Şu anki trafikEn iyi olma olasılığı

  • Gri buton9%4%
  • Yeşil, büyük86%95%
  • Yapışkan çubuk5%1%

Hepsini toplayan holdout'lar

Ziyaretçilerin küçük bir kısmını tüm testlerin ve yayına aldığınız her kazananın dışında tutun; deneylerinizin toplamda neye değdiğini görün.

Satın almalar

  • Dışarıda · %54.5%
  • Diğer herkes5.6%

+24% yayına aldığınız her şeyden

Kodsuz

Sayfalarınızı geliştirici beklemeden değiştirin

Canlı sitenizde tıklayın ve düzenleyin. Değişikliği orijinale karşı test edin ya da bir kitleye kişiselleştirme olarak gösterin. Geliştiriciler etiketi bir kez ekler.

  • Görsel editör

    Herhangi bir öğeye tıklayıp metnini, renklerini, linkini ya da görselini değiştirin, taşıyın, gizleyin veya bant ekleyin.

  • Çok değişkenli, split URL, çok sayfalı ve A/A testleri

    Başlığı, görseli ve butonu birlikte test edin, ziyaretçileri yeniden tasarlanmış bir sayfaya gönderin, tüm ödeme akışını test edin ya da kurulumunuzu doğrulayın.

  • Kişiselleştirmeler ve kampanyalar

    Bir değişikliği tek bir kitleye gösterin; kendiliğinden başlasın ve bitsin.

  • Shopify uygulaması

    Tema koduna dokunmadan kurulur; sepeti, ödemeyi ve satın almaları hedef olarak sayar.

  • Titreme yok

    Ziyaretçiler orijinal sayfanın varyasyona dönüştüğünü hiç görmez: snippet, değişiklik uygulanana kadar sayfayı gizli tutar, en fazla 1,5 saniye.

Editörün neler yapabildiğini görün

Gelir hedefleri

Kazananı, hesabınıza gerçekten geçen paraya göre seçin.

Stripe, Paddle ya da Chargebee'yi veya ikas ya da WooCommerce mağazanızı bağlayın. Denemeler, abonelikler, ödemeler, iptaller ve ödenen siparişler, ödemeyi alan sistemden sunucudan sunucuya gelir ve testinizi gören ziyaretçi için hedef olarak sayılır: gerekirse haftalar sonra, iadeler düşülerek. Teşekkür sayfasından tahmin yürütülmez.

Abonelikler

Faturalandırma sisteminizden

Hedefler

  • Deneme başladı(kazanan bunu artırır)
  • Ücretli aboneye dönüştü(kazanan bunu artırır)
  • Abonelik geliri(kazanan bunu artırır)
  • Abonelik iptali(kazanan bunu azaltır)

Bir ziyaretçi, Stripe'tan

  1. Stripe Checkout

    Ziyaretçi bulundu

    0. gün
  2. Deneme başladı

    billing.trial_started

    0. gün
  3. Ücretli aboneye dönüştü

    billing.subscribed

    14. gün
  4. Ödeme · +$49,00

    billing.revenue

    14. gün

Test bittikten sonra mı ödedi? Yine sayılır, geç dönüşüm olarak.

Mağaza siparişleri

Mağazanızdan

Hedefler

  • Ödenen sipariş(kazanan bunu artırır)
  • Mağaza geliri(kazanan bunu artırır)
  • İptal ya da iade edilen sipariş(kazanan bunu azaltır)

Havaleyle ödenen bir sipariş

  1. Sipariş verildi

    Henüz ödenmedi, sayılmaz

    0. gün
  2. Ödenen sipariş

    store.order_paid

    2. gün
  3. Sipariş tutarı · +₺1.899,00

    store.revenue

    2. gün
  4. Kısmi iade · −₺600,00

    store.revenue

    9. gün

Bu ziyaretçi için sayılan gelir: ₺1.299,00. Teşekkür sayfası ₺1.899,00 demişti.

Teşekkür sayfasının bilemedikleri

Bir sayfa sipariş onayını görür, sonrasını görmez. Ödemeyi alan sistem ise paraya ne olduğunu bilir.

Ne olduSayfada sayılanFaturalandırma sisteminizin ya da mağazanızın gönderdiği
Hiç ödenmeyen bir havaleSatışSayılmaz
Kapıda teslim alınmayan kapıda ödemeli siparişSatışİptal edilen sipariş
Bir hafta sonra iade edilen siparişTam gelirİade düşülür
İki hafta sonra ücretliye dönen denemeHiç görülmezÜcretli abone

Satın alma gibi sayfa hedefleri sayfada olanı saymaya devam eder. Bu hedefler ise paraya ne olduğunu sayar.

  • Az kodla ya da hiç kodsuz

    Snippet, ziyaretçinin kimliğini Stripe Payment Link'lerine, fiyat tablolarına ve satın alma butonlarına, Paddle.js ve Chargebee.js'e kendisi iletir. ikas özel bir uygulamayla, WooCommerce WordPress eklentimizle bağlanır.

  • Sayfadan sahte ödeme eklenemez

    Bu hedefleri yalnızca faturalandırma sisteminizin ya da mağazanızın gizli anahtarıyla doğrulanan çağrılar gönderebilir. Sayfalarınızdaki SDK anahtarı gönderemez; kimse olmamış bir ödemeyi ekleyemez.

  • Ziyaretten yenilemeye tek kişi

    Ödemeler, üyelik ve cihaz değişse de ziyaretçiyi bulur; aylar sonraki yenilemeler ve iadeler dahil. Ad, e-posta ve kart bilgisi asla saklanmaz.

Gelir hedefleri tüm ücretli planlarda var.Fiyatlara bakın

Ödemeler ziyaretçiyi nasıl bulur (İngilizce)
AI deneyleri

Eval'ler bir modelin iyi olduğunu söyler. Deneyler ise kullanıcılarınız için daha iyi olduğunu.

Çevrimdışı eval'ler yeni bir modelin, prompt'un ya da sıcaklık ayarının müşterileri daha mutlu edip etmediğini, daha çok dönüştürüp dönüştürmediğini ya da daha ucuza gelip gelmediğini söyleyemez. İki yapılandırmayı gerçek kullanıcıların önüne koyun; kaliteyi, hızı, maliyeti ve iş etkisini yan yana ölçün, kazananı güvenle yayınlayın.

Her model sağlayıcısıyla çalışır: LiftCanary yapılandırmayı verir ve sonuçları kaydeder.

Mevcut50%

model
"gpt-large"
temperature
0.7
prompt
{{brand}} için bir destek temsilcisisin. {{language}} dilinde yanıtla…

Rakip50%

model
"gpt-small"
temperature
0.3
prompt
{{language}} dilinde en fazla 3 cümleyle yanıtla. Yardım makalesine link ver…

Destek botu · 14 gün · 18.240 kullanıcı

Rakip kazanıyor
MetrikMevcutRakipDeğişim
Çağrı başına gecikme1.204 ms800 ms−%33,6
Çağrı başına maliyet$0,0072$0,0006−%91,7
👍 alan yanıtlar%30,2%33,9+%12,3
Hata alan kullanıcılar%9,1%9,4+%3

Hata guardrail'i sınırda: anlamlı bir değişim yok

  • Deploy olmadan model değiştirin

    Model, prompt ve parametreler LiftCanary'de bir AI config olarak durur. Değiştirin, %10'a açın, tek tıkla geri alın.

  • Çağrı başına maliyet ve gecikme

    Her çağrı gecikmeyi, token'ları ve maliyeti kaydeder. Daha ucuz bir modelin gerçekte ne kazandırdığını ve kaliteden neye mal olduğunu görün.

  • Kullanıcının hissettiğini ölçün

    Beğeni ve beğenmeme, tekrar denemeler, insana aktarma: her kullanıcı sinyali iş metriklerinizin yanında bir hedef olur.

  • Varsayılan olarak güvenli

    Hatalar ve geri bildirim üzerindeki guardrail'ler, rakip model zarar vermeye başladığı an herkesi mevcut modele geri döndürür.

Nasıl çalışır

Fikirden kanıtlanmış sonuca üç adımda

  1. 1

    Tek etiket ekleyin

    Bir script etiketi yapıştırın ya da React, React Native veya Node SDK'sını kurun. Birkaç dakikada kendi alan adınızdan sunun.

    <script src="/_sk/sdk/v1/liftcanary.js"
      data-sdk-key="pk_…"></script>
  2. 2

    Bir flag ya da test oluşturun

    Kitleyi seçin, trafiği bölün, kazananı belirleyecek hedefi ve korunması gereken guardrail'leri seçin.

    Kitle
    Türkiye · mobil
    Trafik
    50 / 50
    Hedef
    Satın almalar
    Guardrail
    Ödeme hataları
  3. 3

    Kazananı yayınlayın

    Sonuçları canlı izleyin. Bir varyasyon kazanınca tek tıkla herkese açın. Zarar veriyorsa sizin yerinize durdurulur.

    Tek sayfa+%12,1 · kazanan

    %100'e yayınla

Ürün turunda adım adım gezin

Geliştiriciler için

Birkaç satır kod. Titreme yok.

Flag'ler cihazda mikrosaniyeler içinde, flag başına ağ isteği olmadan karar verilir. Web sitelerinde sayfa yalnızca ilk kararı bekler, en fazla 1,5 saniye; bizim tarafımızdaki bir kesinti uygulamanızı asla çökertmez.

  • Kararlar önbellekteki datafile'dan yerelde verilir: flag başına ağ isteği yok
  • Kill switch'ler canlı güncellemelerle sunucularınıza (Node.js, Python, Go, Java, Ruby, .NET) yaklaşık bir saniyede ulaşır
  • Web, mobil ve sunucuda aynı dağıtım: kullanıcı her yerde aynı varyasyonu görür
  • Tipli SDK'lar, her değişikliğin denetim kaydı ve rol bazlı erişim
  • Mobilde çevrimdışı çalışır; olaylar toplu gönderilir ve yeniden denenir
Dokümanları okuyun (İngilizce)
1<!-- One tag. Flags, tests and auto-tracked goals. -->
2<script src="https://your-domain.com/_sk/sdk/v1/liftcanary.js"
3 data-sdk-key="pk_live_…"></script>
4
5// Anywhere in your code
6if (liftcanary.isEnabled("new_checkout")) {
7 showOnePageCheckout();
8}
9liftcanary.track("purchase", { value: 129.90 });

Güvenebileceğiniz istatistik

Sonuçlarınıza istediğiniz sıklıkta bakın

Çoğu araç sonuca bir kez, en sonda bakacağınızı varsayar. Kimse öyle yapmaz. LiftCanary, birden çok varyasyon için düzeltilmiş, her zaman geçerli ardışık (sequential) istatistik kullanır; her gün bakmak gürültüyü sahte bir kazanana çevirmez. CUPED da ziyaretçilerin beraberinde getirdiği gürültüyü ayıklar, kararınıza daha erken ulaşırsınız. Testin süresini baştan belirleyebiliyor musunuz? O zaman planlı bir test yaklaşık %40 daha az ziyaretçiyle yetinir ve net bir kazananı yine erkenden ilan eder.

sonuçlara 40 kez bakıldığında sahte kazanan oranı

%0,9

sonuçlara 40 kez bakıldığında sahte kazanan oranı

Aynı sıklıkta bakılan klasik bir test, vakaların yaklaşık %30'unda sahte kazanan ilan eder.

hatalardaki 4 katlık artışı yakalamak için varyasyon başına kullanıcı

~300

hatalardaki 4 katlık artışı yakalamak için varyasyon başına kullanıcı

Guardrail'ler büyük gerilemeleri haftalar değil saatler içinde yakalar.

CUPED ile ziyaretçi başına gelirdeki gürültü azalması

%80

CUPED ile ziyaretçi başına gelirdeki gürültü azalması

Ziyaretçilerin testten önceki 14 gündeki davranışı, test sırasındakini kısmen açıklar; aynı trafik daha net bir cevap verir. Yeni ziyaretçilerde kazanç daha azdır.

Simülasyon: her biri 40 kez bakılan 1.000 A/A testi; %10 temel hata oranıyla 300 çalıştırma; %30'u geri dönen alıcı olan ziyaretçi başına gelirle 300 çalıştırma. Yöntemler: mSPRT (Johari, Pekelis & Walsh, 2017) ve CUPED (Deng, Xu, Kohavi & Walker, 2013).

Testiniz ne kadar sürer? Hesaplayıcıyla bulun

Veriniz

Ziyaretçilerinizin verisi sizin kalır

KVKK ve GDPR'a uyması gereken ekipler için: kendi alan adınızda test edin, gerekirse olayları kendi altyapınızda tutun; yalnızca gerekeni, gerektiği kadar saklayın.

  • Kendi alan adınız

    Snippet ve olaylar kendi sitenizdeki bir yoldan geçer. Ziyaretçilerin tarayıcısı birinci taraf istekleri görür, reklam engelleyiciler testlerinize dokunmaz.

  • İsterseniz kendi altyapınız

    Hibrit kurulumda olaylar sizin çalıştırdığınız veri katmanında kalır; LiftCanary yalnızca varyasyon başına toplamları alır. Enterprise planında LiftCanary'nin tamamını kendiniz de çalıştırabilirsiniz.

  • Onay ve talepler hazır

    Etikete tek bir öznitelik ekleyerek onayı bekleyin. Üçüncü taraf çerez yok, olaylarla IP adresi saklanmaz, bir ziyaretçinin verisi talep üzerine silinir.

  • Ham veriden uzun ömürlü sonuçlar

    Ham olaylar 400 gün sonra silinir. Biten bir deney sonuçlarını toplamlar olarak saklar: kesin, değişmez ve yıllar sonra bile orada.

SSS

Sık sorulan sorular

Başka bir sorunuz mu var? Bize yazın.

Reklam engelleyiciler testlerimi bozar mı?

LiftCanary'yi kendi alan adınızdan sunduğunuzda bozmaz. SDK ve olaylar sitenizdeki bir yoldan geçer, engelleyiciler bunu birinci taraf trafik olarak görür. Kurulum rehberi birkaç dakika sürer.

Varyasyon yüklenirken sayfam titrer mi?

Hayır. Flag'ler cihazda, karar başına ağ isteği olmadan verilir. Web sitelerinde snippet'in titreme önleme seçeneği, varyasyon uygulanana kadar sayfayı gizli tutar (script engellense bile en fazla 1,5 saniye); ziyaretçiler orijinalin varyasyona dönüştüğünü hiç görmez.

Pazarlamacılar geliştirici olmadan kullanabilir mi?

Evet. Etiket bir kez eklendikten sonra sayfaları görsel editörde değiştirin, split URL testleri çalıştırın, kişiselleştirmeleri zamanlayarak bir kitleye gösterin; sayfa ziyaretlerini, tıklamaları, form gönderimlerini ve kaydırma derinliğini hedef olarak sayın, hepsi panelden. Stripe, Paddle ya da Chargebee'yi veya ikas ya da WooCommerce mağazanızı bağlayın; ödemeler ve siparişler de hedef olarak sayılsın. Shopify'da etiketi uygulama sizin yerinize ekler.

Şu an kullandığım test aracından geçebilir miyim?

Evet, üstelik her şeyi bir anda taşımanız gerekmez. LiftCanary etiketini mevcut aracınızınkinin yanına ekleyin, sıradaki testlerinizi görsel editörde ya da flag olarak kurun, eski aracın son testi bitince onun snippet'ini kaldırın. Yalnızca aynı sayfayı iki araçla aynı anda test etmeyin; birbirlerinin sonuçlarını bozarlar. Otomatik içe aktarma henüz yok: taşınacak çok testiniz varsa bize yazın, yardımcı olalım.

Bir sonucun gerçek olduğunu nasıl anlarım?

Her hedef, iyileşmeyi, güven aralığını ve seçtiğiniz güven düzeyine göre anlamlılığını gösterir. İstatistikler ne sıklıkta bakarsanız bakın geçerli kalır; trafik dağılımı kontrolü, verilere güvenilemediğinde sizi uyarır.

Bir test metriklerime zarar verirse ne olur?

Hatalar, yüklenme süresi ya da gelir gibi guardrail'ler ekleyin. Bir varyasyon bunlardan birini anlamlı biçimde kötüleştirirse, seçiminize göre LiftCanary sizi uyarır ya da testi durdurup herkese orijinali gösterir.

LLM'imi çağırma şeklimi değiştirmem gerekir mi?

Neredeyse hiç. Model, prompt ve parametreleri deneyden aiConfig ile okuyun; gecikme, token, maliyet ve hataları kaydetmek için çağrıyı measureLLM ile sarın, Node.js ya da Python'da. Çağrıyı yine sizin kodunuz yaptığı için her sağlayıcıyla çalışır.

Mobil uygulamalarda çalışır mı?

Evet. React Native SDK'sı datafile'ı cihazda önbelleğe alır ve çevrimdışı çalışır; bir kullanıcı web, mobil ve sunucuda aynı varyasyonu görür.

Ziyaretçilerimin verisi nerede saklanıyor?

LiftCanary Cloud'da, Almanya'daki (AB) sunucularımızda bulunan analitik veritabanımızda; toplandıktan 400 gün sonra silinir, biten deneyler sonuçlarını toplamlar olarak saklar. Hibrit kurulumda olaylar sizin çalıştırdığınız veri katmanında kalır, biz yalnızca toplamları alırız. Hibrit kurulum ve LiftCanary'nin tamamını kendiniz çalıştırmak Enterprise planındadır.

Bir sonraki sürümünüz en iyisi olabilir. Kanıtlayın.

Ücretsiz başlayın, tek etiket ekleyin, ilk deneyinizi bugün çalıştırın.