Q: How do I evaluate sessions with human handoffs? – Hamel’s Blog - Hamel Husain
Статья объясняет, как правильно оценивать сессии с передачей управления от ИИ к человеку. Рекомендуется фиксировать полный путь пользователя в трейсах, включая момент передачи, её причину, переданный контекст, время ожидания, действия оператора и итоговое решение. Передачи следует рассматривать как потенциальные точки отказа при анализе ошибок: ИИ может передавать слишком рано, слишком поздно или без достаточного контекста. Иногда лучшее улучшение — сокращение числа передач, а не повышение их качества.
Capture the complete user journey in your traces, including human handoffs. The trace continues until the user’s need is resolved or the session ends, not when AI hands off to a human. Log the handoff decision, why it occurred, context transferred, wait time, human actions, final resolution, and whether the human had sufficient context. Many failures occur at handoff boundaries where AI hands off too early, too late, or without proper context.
Фиксируйте полный путь пользователя в трейсах, включая передачи живому оператору. Трейс продолжается до тех пор, пока потребность пользователя не решена или сессия не завершена, а не в момент, когда ИИ передаёт управление человеку. Логируйте само решение о передаче, причину, переданный контекст, время ожидания, действия оператора, итоговое решение и то, получил ли оператор достаточный контекст. Многие сбои происходят именно на границах передачи — когда ИИ передаёт слишком рано, слишком поздно или без надлежащего контекста.
Evaluate handoffs as potential failure modes during error analysis. Ask: Was the handoff necessary? Did the AI provide adequate context? Track both handoff quality and handoff rate. Sometimes the best improvement reduces handoffs entirely rather than improving handoff execution.
Оценивайте передачи как потенциальные точки отказа в ходе анализа ошибок. Задайте вопросы: была ли передача необходима? Предоставил ли ИИ достаточный контекст? Отслеживайте как качество передач, так и их частоту. Иногда лучшее улучшение — полностью сократить число передач, а не повышать качество их выполнения.
This article is part of our AI Evals FAQ, a collection of common questions (and answers) about LLM evaluation. View all FAQs or return to the homepage.
Эта статья — часть нашего FAQ по оценке ИИ, сборника частых вопросов (и ответов) об оценке LLM. Смотреть все вопросы FAQ или вернуться на главную.