Nivel 5: Sistemas de IA / LLM · L5.4 LLM gateways, caché y control de costos
Por qué un LLM gateway
Enumerar lo que un gateway centraliza: llaves, ruteo, límites y registro.
11 min · Pro
Lo que te llevas
- Un gateway es el único lugar donde existen juntas las credenciales del proveedor, la elección del modelo, los límites, la caché y el registro de uso de cada llamada.
Y 3 ideas más dentro de la clase, en Pro.
Cómo está armada la clase
- El problema
- La recepción de la escuela
- Las cinco cosas que solo pueden vivir en un lugar
- Librería, autoalojado o administrado
- Comprueba lo que entendiste