Nivel 5: Sistemas de IA / LLM · L5.4 LLM gateways, caché y control de costos
Ruteo, fallbacks y presupuestos
Diseñar cascadas de modelos, fallback entre proveedores y presupuestos de tokens por tenant.
12 min · Pro
Lo que te llevas
- Una cascada solo ahorra dinero mientras la tasa de escalamiento se mantenga baja, y cada petición escalada paga las dos llamadas, tanto en latencia como en costo.
Y 3 ideas más dentro de la clase, en Pro.
Cómo está armada la clase
- El problema
- Auxiliar, segundo número, presupuesto por departamento
- Cascadas: primero lo barato, pero cuenta los escalamientos
- Fallback: un camino sin probar que solo corre en tu peor día
- Presupuestos: tokens, reservados y conciliados
- Todo el módulo en una sola factura
- El gateway
- Caché de prompts
- Caché semántica
- Ruteo y fallback
- Presupuestos
- Comprueba lo que entendiste