NuevoHaz pruebas A/B de modelos LLM y prompts con usuarios reales

Pruebas A/B que tu equipo de marketing puede lanzar. Flags en los que confían tus ingenieros.

Una sola herramienta para todo el equipo: un editor visual para marketing y SDKs para web, móvil y servidores para ingeniería. Consulta los resultados cada día sin dejarte engañar, deja que los guardrails (métricas de protección) detengan una prueba que perjudica tus ingresos y sírvelo todo desde tu propio dominio, para que los bloqueadores de anuncios no distorsionen tus datos.

  • Gratis hasta 25 mil visitantes en experimentos al mes
  • Planes de pago desde $49 al mes
  • Sin tarjeta de crédito
  • Tu dominio, tus datos
app.liftcanary.com/experiments/one-page-checkout

Experiment · Production

One-page checkout

Running · day 14

One page wins on Purchases: +12.1% conversion, 99.2% significance.

LiftAlways-valid intervalday 1 → 14
+20%+10%0%+12.1%
VariationVisitorsConversionLift
Baseline24,8124.12%—
One page24,7904.62%+12.1%
Checkout errors holdingPage load time holding

Una sola plataforma para todo lo que lanzas

  • Cualquier sitio web
  • React y Next.js
  • Apps móviles
  • Servidores
  • Tiendas online
  • Apps con LLM

Producto

Todo lo que necesitas para lanzar con confianza

Lanza de forma gradual, prueba cada idea y descubre en pocos días qué movió de verdad tus números. Un solo SDK y un solo panel, para marketing e ingeniería por igual.

Feature flags y lanzamientos graduales

Activa funciones para el 5 % de los usuarios, un solo país o tus beta testers. Revierte con un clic: tus servidores lo reciben en menos de un segundo, sin deploy.

new_checkoutActivo
  • Interno100%
  • Usuarios beta100%
  • España25%
  • Todos0%

Pruebas A/B, multivariantes y split URL

Prueba variaciones en el código, varias partes de una página a la vez con el resultado de cada parte, o envía a la mitad de tus visitantes a una página rediseñada.

shop.com/checkout

  • /checkout50%
  • /checkout-v250%

Objetivos sin código

Mide visitas a páginas, clics, envíos de formularios y profundidad de scroll desde el panel. Un evento personalizado es una sola línea.

  • Visita a página/checkout/success
  • Clic#add-to-cart
  • Profundidad de scroll50 % de /blog/*

Guardrails que frenan los lanzamientos fallidos

Elige lo que nunca debe empeorar: errores, tiempo de carga, costo, ingresos. Si una variación empeora alguno de forma significativa, LiftCanary te avisa, o detiene la prueba y deja a todos en la versión segura.

Tiempo de carga de la página

−4.2%

Dentro del límite

Errores en el pago

+212%

Detenida automáticamente · original restaurado

Resultados que puedes consultar cuando quieras

Con estadística siempre válida puedes mirar cada hora sin engañarte, o fijar la duración de antemano y necesitar un 40 % menos de visitantes. Percentiles para la velocidad, límites de valores atípicos para los ingresos y control del reparto de tráfico incluido.

  • Compras+12.1%
  • Añadir al carrito+4.3%
  • Ingresos por visitante+9.4%

Consultado 40 vecesSigue siendo válido

Hecho para verse, no para bloquearse

Sirve el SDK y los eventos desde tu propio dominio. Los bloqueadores de anuncios no pueden distinguir tus pruebas del resto de tu sitio, así que tus datos llegan completos.

  • cdn.testing-tool.com/sdk.jsBloqueado
  • shop.com/_sk/sdk/v1/liftcanary.jsCargado

Bandits que llevan el tráfico al ganador

Mientras la prueba corre, el tráfico se desplaza hacia la variación que va ganando, así menos visitantes ven una perdedora. Cada variación conserva al menos un 5 % y cada visitante mantiene la versión que vio primero.

Tráfico ahoraProbabilidad de ser la mejor

  • Botón gris9%4%
  • Verde, más grande86%95%
  • Barra fija5%1%

Holdouts que lo suman todo

Deja una pequeña parte de los visitantes fuera de todas las pruebas y de cada ganador que lances, y descubre cuánto valen todos tus experimentos juntos.

Compras

  • Excluidos · 5 %4.5%
  • Todos los demás5.6%

+24% de todo lo que lanzaste

Sin código

Cambia tus páginas sin esperar a un desarrollador

Apunta, haz clic y edita tu sitio en vivo. Prueba el cambio frente al original o muéstraselo a una audiencia como personalización. Los desarrolladores solo tienen que añadir la etiqueta una vez.

  • Editor visual

    Haz clic en cualquier elemento para cambiar su texto, colores, enlaces o imágenes, moverlo u ocultarlo, o añade un banner.

  • Pruebas multivariantes, split URL, multipágina y A/A

    Prueba juntos el titular, la imagen y el botón, envía a los visitantes a una página rediseñada, prueba todo el proceso de compra o verifica tu configuración.

  • Personalizaciones y campañas

    Muestra un cambio a una audiencia y deja que empiece y termine solo.

  • App de Shopify

    Se instala sin tocar el código del tema y cuenta el carrito, el pago y las compras como objetivos.

  • Sin parpadeo

    Los visitantes nunca ven cómo la página original cambia a la variación: el snippet mantiene la página oculta hasta que se aplica el cambio, 1,5 s como máximo.

Descubre todo lo que puede hacer el editor

Objetivos de ingresos

Elige ganadores por el dinero que de verdad entró.

Conecta Stripe, Paddle o Chargebee, o tu tienda ikas o WooCommerce. Las pruebas gratuitas, las suscripciones, los pagos, las cancelaciones y los pedidos pagados llegan directamente del sistema que cobró, de servidor a servidor, y cuentan como objetivos para el visitante que vio tu prueba: semanas después si hace falta, y descontando los reembolsos. Nada de suposiciones desde una página de agradecimiento.

Suscripciones

Desde tu sistema de facturación

Objetivos

  • Prueba gratuita iniciada(un ganador lo sube)
  • Pasó a suscriptor de pago(un ganador lo sube)
  • Ingresos por suscripción(un ganador lo sube)
  • Suscripción cancelada(un ganador lo baja)

Un visitante, desde Stripe

  1. Stripe Checkout

    Visitante encontrado

    Día 0
  2. Prueba gratuita iniciada

    billing.trial_started

    Día 0
  3. Pasó a suscriptor de pago

    billing.subscribed

    Día 14
  4. Pago · +49,00 $

    billing.revenue

    Día 14

¿Pagó cuando la prueba A/B ya había terminado? Cuenta igual, como conversión tardía.

Pedidos de la tienda

Desde tu tienda

Objetivos

  • Pedido pagado(un ganador lo sube)
  • Ingresos de la tienda(un ganador lo sube)
  • Pedido cancelado o reembolsado(un ganador lo baja)

Un pedido pagado por transferencia

  1. Pedido realizado

    Aún sin pagar, así que no cuenta

    Día 0
  2. Pedido pagado

    store.order_paid

    Día 2
  3. Total del pedido · +120,00 €

    store.revenue

    Día 2
  4. Reembolso parcial · −40,00 €

    store.revenue

    Día 9

Ingresos contados para este visitante: 80,00 €. La página de agradecimiento decía 120,00 €.

Lo que una página de agradecimiento no puede saber

Una página ve la confirmación del pedido y nada más. El sistema que cobró sabe qué pasó con el dinero.

Qué pasóContado en la páginaEnviado por tu sistema de facturación o tu tienda
Una transferencia que nunca se pagaUna ventaNo cuenta
Un pedido contra reembolso rechazado en la puertaUna ventaUn pedido cancelado
Un pedido reembolsado una semana despuésIngresos completosReembolso descontado
Una prueba gratuita que pasa a pago dos semanas despuésNunca se veUn suscriptor de pago

Los objetivos de página, como las compras, siguen contando lo que pasa en la página. Estos cuentan lo que pasa con el dinero.

  • Poco o ningún código

    El snippet pasa el id del visitante a los Payment Links, tablas de precios y botones de compra de Stripe, a Paddle.js y a Chargebee.js. ikas se conecta con una app privada, WooCommerce con nuestro plugin de WordPress.

  • Imposible de falsear desde una página

    Solo las llamadas verificadas con el secreto de tu sistema de facturación o tu tienda pueden enviar estos objetivos. La clave del SDK de tus páginas no puede, así que nadie puede añadir un pago que nunca ocurrió.

  • Una sola persona, de la visita a la renovación

    Los pagos encuentran al visitante aunque se registre o cambie de dispositivo, incluidas renovaciones y reembolsos meses después. Nunca se guardan nombres, emails ni datos de tarjeta.

Los objetivos de ingresos vienen con todos los planes de pago.Ver precios

Cómo los pagos encuentran al visitante (en inglés)
Experimentos con IA

Las evals te dicen que un modelo es bueno. Los experimentos, que es mejor para tus usuarios.

Las evals offline no pueden decirte si un nuevo modelo, prompt o temperatura hace más felices a tus clientes, convierte mejor o cuesta menos. Pon dos configuraciones frente a usuarios reales, mide calidad, velocidad, costo e impacto en el negocio lado a lado, y lanza la ganadora con confianza.

Funciona con cualquier proveedor de modelos: LiftCanary te da la configuración y registra los resultados.

Actual50%

model
"gpt-large"
temperature
0.7
prompt
Eres un agente de soporte de {{brand}}. Responde en {{language}}…

Retador50%

model
"gpt-small"
temperature
0.3
prompt
Responde en {{language}} en 3 frases como máximo. Enlaza el artículo de ayuda…

Bot de soporte · 14 días · 18.240 usuarios

Gana el retador
MétricaActualRetadorCambio
Latencia por llamada1.204 ms800 ms−33,6 %
Costo por llamada$0,0072$0,0006−91,7 %
Respuestas valoradas con 👍30,2 %33,9 %+12,3 %
Usuarios con algún error9,1 %9,4 %+3 %

Guardrail de errores dentro del límite: sin cambios significativos

  • Cambia de modelo sin deploy

    El modelo, el prompt y los parámetros viven en LiftCanary como una AI config. Cámbialos, lánzalos al 10 % y revierte con un clic.

  • Costo y latencia, por llamada

    Cada llamada registra latencia, tokens y costo. Descubre cuánto ahorra de verdad un modelo más barato y cuánto te cuesta en calidad.

  • Mide lo que sienten los usuarios

    Pulgar arriba o abajo, reintentos, derivaciones a una persona: cualquier señal de los usuarios se convierte en un objetivo junto a tus métricas de negocio.

  • Seguro por defecto

    Los guardrails sobre errores y valoraciones devuelven a todos al modelo actual en cuanto un retador empieza a hacer daño.

Cómo funciona

De la idea al resultado probado en tres pasos

  1. 1

    Añade una etiqueta

    Pega una etiqueta de script o instala el SDK para React, React Native o Node. Sírvelo desde tu propio dominio en pocos minutos.

    <script src="/_sk/sdk/v1/liftcanary.js"
      data-sdk-key="pk_…"></script>
  2. 2

    Crea un flag o una prueba

    Elige una audiencia, reparte el tráfico, escoge el objetivo que decide la ganadora y los guardrails que deben mantenerse.

    Audiencia
    España · móvil
    Tráfico
    50 / 50
    Objetivo
    Compras
    Guardrail
    Errores en el pago
  3. 3

    Lanza la ganadora

    Sigue los resultados en vivo. Cuando una variación gane, lánzala para todos con un clic. Si perjudica, se detiene sola.

    Página única+12,1 % · ganadora

    Lanzar al 100 %

Recórrelo paso a paso en el recorrido del producto

Para desarrolladores

Unas pocas líneas de código. Sin parpadeos.

Los flags se evalúan en el dispositivo en microsegundos, sin una llamada de red por flag. En los sitios web, la página solo espera a la primera decisión, 1,5 s como máximo, y una caída de nuestro lado nunca tumba tu app.

  • Las decisiones se toman en local a partir de un datafile en caché: sin llamadas de red por flag
  • Los kill switches llegan a tus servidores (Node.js, Python, Go, Java, Ruby, .NET) en un segundo aproximadamente, con actualizaciones en vivo
  • La misma asignación en web, móvil y servidor: cada usuario ve una sola variación en todas partes
  • SDKs tipados, registro de auditoría de cada cambio y acceso basado en roles
  • Funciona sin conexión en móvil; los eventos se envían en lotes y se reintentan
Lee la documentación (en inglés)
1<!-- One tag. Flags, tests and auto-tracked goals. -->
2<script src="https://your-domain.com/_sk/sdk/v1/liftcanary.js"
3 data-sdk-key="pk_live_…"></script>
4
5// Anywhere in your code
6if (liftcanary.isEnabled("new_checkout")) {
7 showOnePageCheckout();
8}
9liftcanary.track("purchase", { value: 129.90 });

Estadística en la que puedes confiar

Mira tus resultados tantas veces como quieras

La mayoría de las herramientas dan por hecho que miras el resultado una sola vez, al final. Nadie lo hace. LiftCanary usa estadística secuencial siempre válida, corregida para varias variaciones, así que consultarla a diario nunca convierte el ruido en un falso ganador. Y CUPED elimina el ruido que traen consigo los visitantes, para que llegues antes a una decisión. ¿Puedes fijar la duración de antemano? Entonces una prueba planificada necesita alrededor de un 40 % menos de visitantes y aun así declara pronto a un ganador claro.

de falsos ganadores tras consultar los resultados 40 veces

0,9 %

de falsos ganadores tras consultar los resultados 40 veces

Una prueba clásica consultada con la misma frecuencia declara un falso ganador en torno al 30 % de las veces.

usuarios por variación para detectar que los errores se cuadruplican

~300

usuarios por variación para detectar que los errores se cuadruplican

Los guardrails detectan las regresiones grandes en horas, no en semanas.

menos ruido en los ingresos por visitante con CUPED

80 %

menos ruido en los ingresos por visitante con CUPED

Lo que hicieron los visitantes en los 14 días previos a la prueba explica en parte lo que hacen durante ella, así que el mismo tráfico da una respuesta más clara. Con visitantes nuevos, la mejora es menor.

Simulación: 1.000 pruebas A/A con 40 consultas cada una; 300 ejecuciones con una tasa de error base del 10 %; 300 ejecuciones de ingresos por visitante con un 30 % de compradores recurrentes. Métodos: mSPRT (Johari, Pekelis y Walsh, 2017) y CUPED (Deng, Xu, Kohavi y Walker, 2013).

¿Cuánto durará tu prueba? Calcúlalo con la calculadora

Tus datos

Los datos de tus visitantes siguen siendo tuyos

Para equipos que deben cumplir el RGPD o la KVKK: prueba en tu propio dominio, guarda los eventos en tu propia infraestructura si lo necesitas y conserva solo lo imprescindible, durante el tiempo imprescindible.

  • Tu dominio

    El snippet y los eventos pasan por una ruta de tu propio sitio. Los navegadores de tus visitantes ven peticiones propias (first-party) y los bloqueadores de anuncios dejan en paz tus pruebas.

  • Tu infraestructura, si quieres

    Con el despliegue híbrido, los eventos se quedan en un plano de datos que gestionas tú y LiftCanary solo recibe totales por variación. En Enterprise, también puedes ejecutar todo LiftCanary por tu cuenta.

  • Consentimiento y solicitudes, integrados

    Espera al consentimiento con un solo atributo en la etiqueta. Sin cookies de terceros, sin direcciones IP guardadas con los eventos, y los datos de un visitante se eliminan cuando lo solicita.

  • Resultados que sobreviven a los datos brutos

    Los eventos brutos se eliminan a los 400 días. Un experimento terminado conserva sus resultados como totales: definitivos, inalterados y disponibles años después.

Preguntas frecuentes

Resolvemos tus dudas

¿Tienes otra pregunta? Escríbenos.

¿Los bloqueadores de anuncios estropean mis pruebas?

No si sirves LiftCanary desde tu propio dominio. El SDK y los eventos pasan por una ruta de tu sitio, así que los bloqueadores lo ven como tráfico propio. Con la guía de configuración (en inglés) lo tienes en pocos minutos.

¿Mis páginas parpadean mientras carga una variación?

No. Los flags se evalúan en el dispositivo, sin una llamada de red por decisión. En los sitios web, la opción antiparpadeo del snippet mantiene la página oculta hasta que se aplica la variación (1,5 s como máximo, aunque se bloquee el script), así que los visitantes nunca ven cómo el original cambia a la variación.

¿Puede usarlo el equipo de marketing sin un desarrollador?

Sí. Tras añadir la etiqueta una sola vez, cambia páginas en el editor visual, lanza pruebas split URL, muestra personalizaciones programadas a una audiencia y mide como objetivos las visitas a páginas, los clics, los envíos de formularios y la profundidad de scroll, todo desde el panel. Conecta Stripe, Paddle o Chargebee, o tu tienda ikas o WooCommerce, y los pagos y los pedidos también cuentan como objetivos. En Shopify, la app añade la etiqueta por ti.

¿Puedo cambiarme desde la herramienta de testing que uso hoy?

Sí, y no tienes que migrarlo todo de golpe. Añade la etiqueta de LiftCanary junto a la de tu herramienta actual, crea tus próximas pruebas en el editor visual o como flags y quita el snippet antiguo cuando termine su última prueba. Eso sí, no pruebes la misma página con las dos herramientas a la vez, o cada una sesgará los resultados de la otra. Todavía no hay importación automática: si tienes muchas pruebas que migrar, escríbenos y te ayudamos.

¿Cómo sé si un resultado es real?

Cada objetivo muestra la mejora, su intervalo de confianza y su significancia frente al nivel de confianza que elijas. La estadística sigue siendo válida por más veces que la consultes, y un control del reparto de tráfico te avisa cuando no se puede confiar en los datos.

¿Qué pasa si una prueba perjudica mis métricas?

Añade guardrails como errores, tiempo de carga o ingresos. Si una variación empeora alguno de forma significativa, LiftCanary te avisa o detiene la prueba y muestra a todos la versión original, según lo que hayas elegido.

¿Tengo que cambiar cómo llamo a mi LLM?

Apenas. Lee el modelo, el prompt y los parámetros del experimento con aiConfig y envuelve la llamada en measureLLM para registrar latencia, tokens, costo y errores, en Node.js o Python. Funciona con cualquier proveedor, porque la llamada la sigue haciendo tu código.

¿Funciona en apps móviles?

Sí. El SDK de React Native guarda el datafile en caché en el dispositivo y funciona sin conexión, y cada usuario ve la misma variación en web, móvil y servidor.

¿Dónde se guardan los datos de mis visitantes?

En LiftCanary Cloud, en nuestra base de datos analítica, en servidores en Alemania (UE), y se eliminan 400 días después de recopilarse; los experimentos terminados conservan sus resultados como totales. Con el despliegue híbrido, los eventos se quedan en un plano de datos que gestionas tú y nosotros solo recibimos totales. Tanto el despliegue híbrido como ejecutar todo LiftCanary por tu cuenta están disponibles en Enterprise.

Tu próximo lanzamiento puede ser el mejor. Demuéstralo.

Empieza gratis, añade una etiqueta y lanza tu primer experimento hoy mismo.