Experimentos con LLM
¿El nuevo modelo es mejor para tus usuarios?
Pon dos modelos, prompts o configuraciones frente a tráfico real. Mira qué efecto tiene cada uno en el resultado que te importa y cuánto cuesta en dinero y en tiempo. Lanza el ganador desde el panel, sin deploy.
Cualquier proveedor, cualquier modelo. Node.js, Python, Go, Java, PHP, Ruby y .NET. Los prompts y las respuestas nunca salen de tus servidores.
Asistente de soporte · 14 días · 18.240 usuarios
Gana el retadoractual
large-model · t=0.7
retador
small-model · t=0.3 · nuevo prompt
| Objetivo | Actual | Retador | Cambio |
|---|---|---|---|
| Tickets resueltos sin intervención humana | 61,4 % | 66,0 % | +7,5 % |
| Costo por llamada | $0,0072 | $0,0011 | −84,7 % |
| Latencia por llamada | 1.204 ms | 742 ms | −38,4 % |
| Respuestas que quedan a medias | 6,8 % | 4,1 % | −39,7 % |
| Respuestas valoradas con 👍 | 30,2 % | 31,0 % | +2,6 % |
Guardrail de errores dentro del límite · datos de ejemplo
Las evals no bastan
Las evals dicen que un modelo es bueno. Solo un experimento dice que es mejor.
Conserva tus evals y tu tracing: detectan respuestas rotas antes del lanzamiento y explican llamadas concretas. Un experimento responde a la pregunta que esas herramientas no pueden responder: qué les pasa a tus usuarios, y a tu factura, cuando cambias.
| LiftCanary | Evals | Tracing | |
|---|---|---|---|
| Puntúa las respuestas antes del lanzamiento | |||
| Traza y registra cada llamada | |||
| Compara versiones con usuarios reales, de forma aleatoria | |||
| Mide objetivos de negocio: conversiones, tickets resueltos, retención | |||
| Costo y latencia por versión, con intervalos | |||
| Te dice cuándo una diferencia es real (estadística siempre válida) | |||
| Revierte sola una versión que funciona mal | |||
| Cambia el modelo o el prompt sin deploy |
Evals: conjuntos de prueba offline que se puntúan antes del lanzamiento. Tracing: herramientas de observabilidad de LLM. Son categorías, no productos: muchos equipos usan las tres a la vez.
Qué puedes probar
Cada cambio en una función con LLM es una hipótesis
Un modelo más barato o más nuevo
¿Está el modelo pequeño a la altura para tus usuarios? Descubre cuánto ahorra y cuánto te cuesta en calidad antes de pasar a todo el mundo.
Un prompt reescrito
Respuestas más cortas, otro tono, instrucciones paso a paso. Los prompts son variables, así que marketing y producto también pueden cambiarlos.
Parámetros y recuperación (retrieval)
Temperatura, máximo de tokens, cuántos documentos recuperar, qué herramientas puede usar un agente: cualquier cosa que pases en params.
¿Ayuda de verdad la IA?
Prueba la función con IA frente a no tener IA. A veces, un simple cuadro de búsqueda convierte mejor.
Diez líneas de código
Funciona con el modelo al que ya llamas
- 1
Crea una AI config
Un flag con modelo, prompt y params, y dos variaciones: Actual y Retador.
- 2
Envuelve tu llamada
Lee la configuración con aiConfig y envuelve la llamada en measureLLM, o una respuesta en streaming en measureLLMStream. Tu código sigue llamando al proveedor.
- 3
Inicia el experimento
Elige como principal el objetivo que importa y añade costo, latencia y errores como guardrails.
También en Python: ai_config y measure_llm, en código síncrono, asíncrono y con streaming.
import { createClient, aiConfig, measureLLM, trackFeedback } from "@liftcanary/node";
const liftcanary = createClient({
sdkKey: process.env.LIFTCANARY_SDK_KEY!,
modelPrices: { "small-model": { input: 0.25, output: 1.25 }, "large-model": { input: 3, output: 15 } },
});
const fallback = { model: "large-model", prompt: "You are a helpful assistant." };
export async function answer(req) {
const user = liftcanary.createUser({ id: req.user.id });
// Modelo, prompt y params de la variación de este usuario
const cfg = aiConfig(user, "support_bot", fallback);
// Tu propia llamada al proveedor; se registran latencia, tokens, costo y errores
return measureLLM(user, cfg,
() => llm.chat({ model: cfg.model, system: cfg.prompt, ...cfg.params, messages: req.messages }),
(r) => ({ inputTokens: r.usage.input_tokens, outputTokens: r.usage.output_tokens }));
}
// Cuando el usuario valora una respuesta (pulgar arriba o abajo)
export function rate(req, positive) {
const user = liftcanary.createUser({ id: req.user.id });
trackFeedback(user, aiConfig(user, "support_bot", fallback), positive);
}Seguro por defecto
Prueba cambios atrevidos con unos pocos usuarios, no con todos
Reversión automática
Guardrails sobre errores, latencia, costo o valoraciones negativas. Si el retador es significativamente peor, todos vuelven solos a la versión actual.
Consulta cuando quieras
Estadística siempre válida: revisa los resultados cada hora sin inventarte ganadores. Las regresiones grandes aparecen tras unos cientos de usuarios.
Costos en los que puedes confiar
El costo por llamada sale de tu propia lista de precios y del recuento real de tokens, y se compara con un intervalo, no con una estimación en una hoja de cálculo.
Los prompts se quedan contigo
Solo se envían la latencia, el recuento de tokens, el costo, los errores y el nombre del modelo. Los prompts, las respuestas y las claves de API nunca salen de tus servidores. Con el despliegue híbrido, incluso eso se queda en tu nube.
Preguntas frecuentes
Preguntas de equipos de IA
¿Con qué proveedores y modelos funciona?
Con todos. LiftCanary le da a tu código el nombre del modelo, el prompt y los parámetros de cada usuario; tu código hace la llamada con el SDK que uses, incluidos los modelos autoalojados.
¿LiftCanary ve nuestros prompts o los mensajes de los usuarios?
No. El SDK envía el experimento, la variación, el nombre del modelo y cifras: latencia, tokens, costo y si la llamada falló. La plantilla del prompt vive en tu flag; el prompt completo y la respuesta se quedan en tus servidores.
¿Cuántos usuarios necesitamos?
Depende de lo grande que sea la diferencia. Una regresión grande, como cuatro veces más errores, se ve tras unos cientos de usuarios por variación. Una diferencia de un pequeño porcentaje en un objetivo de negocio necesita miles; el asistente de experimentos estima cuánto tardará según tu tráfico.
¿Puede un mismo usuario recibir modelos distintos en peticiones distintas?
No. La asignación es por usuario, así que cada persona conserva su variación, y su experiencia y sus valoraciones se pueden comparar de forma justa.
¿Cuánto cuesta?
El precio de los experimentos depende de cuántos visitantes entran en ellos cada mes, y hay un plan gratuito. Los flags, los lanzamientos graduales y las propias AI configs son gratis e ilimitados.
Tu próximo cambio de modelo, medido.
Empezar es gratis. Tu primer experimento con IA puede estar en marcha hoy.