Cianplan

Nivel 5: Sistemas de IA / LLM · L5.1 Fundamentos de LLMs para arquitectos

Transformers para arquitectos

Explicar la atención y las ventanas de contexto al nivel que necesita un arquitecto.

15 min · Pro

Lo que te llevas

  • La atención deja que cada token mire a todos los demás tokens: eso hace bueno al modelo y eso hace caros los prompts largos.

Y 3 ideas más dentro de la clase, en Pro.

Cómo está armada la clase

  1. El problema
  2. Lo que de verdad cuesta la atención
  3. La ventana de contexto es memoria de trabajo
  4. Lo que no necesitas
  5. Comprueba lo que entendiste