Nivel 5: Sistemas de IA / LLM · L5.3 Serving de inferencia de LLMs y capacidad de GPU
La KV cache y PagedAttention
Calcular el tamaño de la KV cache y explicar la paginación.
13 min · Pro
Lo que te llevas
- Bytes de KV por token = 2 × capas × KV heads × dimensión de cabeza × bytes por elemento; es la memoria que crece con el tráfico.
Y 3 ideas más dentro de la clase, en Pro.
Cómo está armada la clase
- El problema
- Dimensionar la caché
- Paginación, tomada de los sistemas operativos
- Comprueba lo que entendiste