Cianplan

Nivel 5: Sistemas de IA / LLM · L5.8 IA generativa en AWS: Bedrock en la práctica (AIP-C01)

Equidad y deriva en apps con modelos fundacionales: evaluaciones, guardrails, logs y pruebas A/B

Medir estereotipos y daño en una aplicación con modelos fundacionales mediante jobs de evaluación, mantener los guardrails (control en ejecución) y las evaluaciones (medición) en sus papeles, detectar la deriva con los logs de invocación y evaluaciones programadas, y comparar versiones de prompts o flows con pruebas A/B controladas.

13 min · Pro

Lo que te llevas

  • AWS plantea los guardrails como protección continua en ejecución y las evaluaciones como medición; un guardrail bloquea, no te dice qué tan sesgadas son las salidas.

Y 3 ideas más dentro de la clase, en Pro.

Cómo está armada la clase

  1. El problema
  2. La cata, el cadenero y la cámara
  3. Mide con evaluaciones, controla con guardrails
  4. Deriva sin que cambie un solo peso
  5. Pruebas A/B y el rastro de evidencia
  6. Comprueba lo que entendiste