Cianplan

Nivel 5: Sistemas de IA / LLM · L5.4 LLM gateways, caché y control de costos

Por qué un LLM gateway

Enumerar lo que un gateway centraliza: llaves, ruteo, límites y registro.

11 min · Pro

Lo que te llevas

  • Un gateway es el único lugar donde existen juntas las credenciales del proveedor, la elección del modelo, los límites, la caché y el registro de uso de cada llamada.

Y 3 ideas más dentro de la clase, en Pro.

Cómo está armada la clase

  1. El problema
  2. La recepción de la escuela
  3. Las cinco cosas que solo pueden vivir en un lugar
  4. Librería, autoalojado o administrado
  5. Comprueba lo que entendiste