Агент написал «готово». Но изменился ли нужный файл, появилась ли бронь в базе и выполнены ли условия задачи? Красивый ответ ещё не означает, что работа сделана. А низкий балл иногда говорит о сломанной проверке, а не о слабом агенте.

В этом выпуске разбираем руководство Anthropic «Demystifying evals for AI agents» и продолжаем серию об обвязках агентов. После разговора об их устройстве переходим к вопросу: как доказать, что система работает и очередная правка действительно её улучшила?

Обсудим:

• Чем итог работы отличается от траектории: что агент оставил в среде и как к этому пришёл.
• Почему оценивается модель вместе с обвязкой, инструментами и настройками среды.
• Как устроены набор задач, отдельная задача и повторные попытки — и почему у процентов успеха бывают разные знаменатели.
• Когда подходят программные проверки, модельные судьи и оценка человека; как проверять самих проверяющих.
• Чем pass@k отличается от pass^k: хотя бы один успех и стабильный успех во всех попытках отвечают на разные вопросы.
• Зачем изолировать прогоны, читать траектории и превращать реальные сбои в тестовые задачи.

Отдельно поговорим о доверии к оценкам: как отличить регрессию от случайного разброса, заметить неверные критерии и не принять рост балла за улучшение продукта. В эпилоге обратимся к более поздним материалам Anthropic — Petri v2, измерению автономности агентов и разбору апрельских регрессий.

Это практическое руководство, основанное на опыте команды и клиентов Anthropic. Разделим рекомендации авторов, результаты отдельных работ и наши выводы для разработки собственных агентов.

Эфир для разработчиков, технических руководителей и всех, кто хочет проверять AI-агентов на реальных задачах. Приходите с примерами: что в вашей системе считается доказательством успеха?