Cianplan

Nivel 5: Sistemas de IA / LLM · L5.4 LLM gateways, caché y control de costos

Ruteo, fallbacks y presupuestos

Diseñar cascadas de modelos, fallback entre proveedores y presupuestos de tokens por tenant.

12 min · Pro

Lo que te llevas

  • Una cascada solo ahorra dinero mientras la tasa de escalamiento se mantenga baja, y cada petición escalada paga las dos llamadas, tanto en latencia como en costo.

Y 3 ideas más dentro de la clase, en Pro.

Cómo está armada la clase

  1. El problema
  2. Auxiliar, segundo número, presupuesto por departamento
  3. Cascadas: primero lo barato, pero cuenta los escalamientos
  4. Fallback: un camino sin probar que solo corre en tu peor día
  5. Presupuestos: tokens, reservados y conciliados
  6. Todo el módulo en una sola factura
  7. El gateway
  8. Caché de prompts
  9. Caché semántica
  10. Ruteo y fallback
  11. Presupuestos
  12. Comprueba lo que entendiste