Cianplan

Nivel 5: Sistemas de IA / LLM · L5.3 Serving de inferencia de LLMs y capacidad de GPU

Por qué el decode está limitado por memoria

Estimar los tokens/s a partir del ancho de banda de memoria y el tamaño del modelo.

12 min · Pro

Lo que te llevas

  • Cada paso de decode lee el modelo completo de la memoria para producir un token, así que los tokens/s de un solo flujo ≈ ancho de banda de memoria ÷ bytes del modelo.

Y 3 ideas más dentro de la clase, en Pro.

Cómo está armada la clase

  1. El problema
  2. La fórmula de servilleta
  3. Por qué “limitado por memoria” es preciso, no una forma de hablar
  4. Comprueba lo que entendiste