Cianplan

Nivel 5: Sistemas de IA / LLM · L5.6 Evals y guardrails

LLM-as-judge bien hecho

Construir un juez y validarlo contra etiquetas humanas.

12 min · Pro

Lo que te llevas

  • Recurre a un juez solo después de que las aserciones y las métricas deterministas no alcanzaron a cubrir el criterio: son más baratas, más rápidas y exactamente repetibles.

Y 3 ideas más dentro de la clase, en Pro.

Cómo está armada la clase

  1. El problema
  2. Un examinador nuevo primero califica los mismos exámenes
  3. Usa la revisión más barata que funcione
  4. Comprueba lo que entendiste