Nivel 5: Sistemas de IA / LLM · L5.3 Serving de inferencia de LLMs y capacidad de GPU
Cuantización, decodificación especulativa y caché de prefijos
Elegir optimizaciones y conocer sus riesgos de calidad.
13 min · Pro
Lo que te llevas
- Las tres atacan el mismo cuello de botella de formas distintas: leer menos bytes, gastar menos pasadas secuenciales, o saltarse trabajo que ya se hizo.
Y 3 ideas más dentro de la clase, en Pro.
Cómo está armada la clase
- El problema
- Tres formas de rodear el mismo muro
- Cómo elegir, y la advertencia honesta
- Comprueba lo que entendiste