APIIntermedioClaude API
Evals: código para lo objetivo, juez para lo interpretativo
Validar formato o datos contra una fuente se resuelve con checks automáticos; tono o calidad de razonamiento necesitan un juez basado en modelo.
Armá el eval antes del código de producción: definí la tarea y el criterio de éxito, un dataset dorado con casos borde, checks automáticos para lo inequívoco (JSON válido contra el schema) y un juez para lo interpretativo. Mirá también el desglose por categoría: un promedio que sube puede esconder una caída en casos borde.
Ejemplo
Ejemplos de reparto: - Código: ¿la salida es JSON válido según el schema? - Código: ¿el monto coincide con la base de datos? - Juez: ¿el tono respeta la guía de estilo? - Juez: ¿el razonamiento es consistente con la evidencia?