Q: How do I evaluate sessions with human handoffs? – Hamel’s Blog - Hamel Husain
Статья объясняет, как правильно оценивать сессии с передачей управления от ИИ к человеку. Рекомендуется фиксировать полный путь пользователя в трейсах, включая момент передачи, её причину, переданный контекст, время ожидания, действия оператора и итоговое решение. Передачи следует рассматривать как потенциальные точки отказа при анализе ошибок: ИИ может передавать слишком рано, слишком поздно или без достаточного контекста. Иногда лучшее улучшение — сокращение числа передач, а не повышение их качества.
Фиксируйте полный путь пользователя в трейсах, включая передачи живому оператору. Трейс продолжается до тех пор, пока потребность пользователя не решена или сессия не завершена, а не в момент, когда ИИ передаёт управление человеку. Логируйте само решение о передаче, причину, переданный контекст, время ожидания, действия оператора, итоговое решение и то, получил ли оператор достаточный контекст. Многие сбои происходят именно на границах передачи — когда ИИ передаёт слишком рано, слишком поздно или без надлежащего контекста.
Оценивайте передачи как потенциальные точки отказа в ходе анализа ошибок. Задайте вопросы: была ли передача необходима? Предоставил ли ИИ достаточный контекст? Отслеживайте как качество передач, так и их частоту. Иногда лучшее улучшение — полностью сократить число передач, а не повышать качество их выполнения.
Эта статья — часть нашего FAQ по оценке ИИ, сборника частых вопросов (и ответов) об оценке LLM. Смотреть все вопросы FAQ или вернуться на главную.