Cianplan

Nivel 5: Sistemas de IA / LLM · L5.3 Serving de inferencia de LLMs y capacidad de GPU

Batching: throughput contra latencia

Explicar el batching continuo y su trade-off de latencia.

12 min · Pro

Lo que te llevas

  • El batching estático hace que cada petición espere a la más lenta de su lote; el batching continuo admite una nueva cada vez que cualquier secuencia termina un paso.

Y 3 ideas más dentro de la clase, en Pro.

Cómo está armada la clase

  1. El problema
  2. Estático, y luego continuo
  3. El prefill estorba
  4. Según qué escalar
  5. Comprueba lo que entendiste