Latencia y costo de una llamada al modelo

Lo que te llevas

• Una llamada son dos máquinas distintas: el prefill lee el prompt en paralelo y está limitado por cómputo; el decode emite un token a la vez y está limitado por el ancho de banda de memoria.

Y 3 ideas más dentro de la clase, en Pro.

Cómo está armada la clase

1. El problema
2. Dos máquinas en una llamada
3. Por qué el batching cambia la economía
4. Comprueba lo que entendiste