Nivel 5: Sistemas de IA / LLM · L5.4 LLM gateways, caché y control de costos
La caché de prompts como arquitectura
Estructurar los prompts con un prefijo estable para reutilizar el cómputo cacheado.
12 min · Pro
Lo que te llevas
- La caché de prompts reutiliza el cómputo del prefill para un prefijo idéntico byte por byte; nunca reutiliza la respuesta, así que no puede hacer que una respuesta salga mal.
Y 3 ideas más dentro de la clase, en Pro.
Cómo está armada la clase
- El problema
- Un separador en el reglamento
- Por qué no tiene riesgo, y por qué no es gratis
- Comprueba lo que entendiste