Q: How do I evaluate sessions with human handoffs? – Hamel’s Blog - Hamel Husain
Статья объясняет, как правильно оценивать сессии с передачей управления от ИИ к человеку. Рекомендуется фиксировать полный путь пользователя в трейсах, включая момент передачи, её причину, переданный контекст, время ожидания, действия оператора и итоговое решение. Передачи следует рассматривать как потенциальные точки отказа при анализе ошибок: ИИ может передавать слишком рано, слишком поздно или без достаточного контекста. Иногда лучшее улучшение — сокращение числа передач, а не повышение их качества.
Capture the complete user journey in your traces, including human handoffs. The trace continues until the user’s need is resolved or the session ends, not when AI hands off to a human. Log the handoff decision, why it occurred, context transferred, wait time, human actions, final resolution, and whether the human had sufficient context. Many failures occur at handoff boundaries where AI hands off too early, too late, or without proper context.
Evaluate handoffs as potential failure modes during error analysis. Ask: Was the handoff necessary? Did the AI provide adequate context? Track both handoff quality and handoff rate. Sometimes the best improvement reduces handoffs entirely rather than improving handoff execution.
This article is part of our AI Evals FAQ, a collection of common questions (and answers) about LLM evaluation. View all FAQs or return to the homepage.