Cianplan

Nivel 5: Sistemas de IA / LLM · L5.4 LLM gateways, caché y control de costos

Caché semántica

Decidir cuándo es seguro cachear por significado.

11 min · Pro

Lo que te llevas

  • La caché semántica reutiliza una respuesta guardada cuando una pregunta nueva está lo bastante cerca en el espacio de embeddings, así que, a diferencia de la caché de prompts, sí puede equivocarse.

Y 3 ideas más dentro de la clase, en Pro.

Cómo está armada la clase

  1. El problema
  2. La hoja de preguntas frecuentes en la recepción
  3. La frase que separa a las dos cachés
  4. Lo que vale y lo que cuesta
  5. Comprueba lo que entendiste