Cianplan

Nivel 5: Sistemas de IA / LLM · L5.3 Serving de inferencia de LLMs y capacidad de GPU

Dimensionar una flota de GPUs; hospedar tú mismo vs API

Dimensionar GPUs para una carga objetivo y compararlo con el costo de una API (y de una Mac local).

14 min · Pro

Lo que te llevas

  • Dimensiona en dos pasadas: los tokens por segundo deciden el número de GPUs, y la memoria de la KV cache normalmente lo corrige.

Y 3 ideas más dentro de la clase, en Pro.

Cómo está armada la clase

  1. El problema
  2. Dos pasadas, y la segunda normalmente gana
  3. El punto de cruce
  4. El límite de memoria
  5. KV cache
  6. Batching
  7. Optimizaciones
  8. Dimensionamiento
  9. Comprueba lo que entendiste