What really matters when evaluating AI Agents for customer service?

При рассмотрении вариантов AI-агентов некоторые команды не фокусируются на правильных критериях оценки. Не потому, что они недостаточно тщательны — большинство как раз тщательны, — а потому, что они тщательны только в отношении части критериев.

За последние несколько лет я много общался с нашими клиентами и потенциальными клиентами, которые проводили «proof of concept» (POC) для оценки AI-агента для клиентской поддержки. Понятно, что многие тратят большую часть времени оценки на производительность, уделяя пристальное внимание показателям точности, resolution rate и бенчмарк-тестам на отобранных датасетах. Но одни лишь индикаторы производительности не гарантируют успех за пределами оценки.

Если ваш POC доказывает только то, что AI «работает», вы упускаете более широкую картину. Вот что ещё стоит проверять, чтобы принять наилучшее долгосрочное решение.

Как агент справляется с вашей реальной средой?

Производительность важна. Никто с этим не спорит. Но производительность в POC должна отражать реальный хаос, типичный для большинства сред поддержки.

Дать правильный ответ — критически важно, но лучшие агенты также продемонстрируют сложное поведение, доказывая, что они способны взаимодействовать с настоящими живыми клиентами, а не только с отобранными датасетами. Обратите внимание, как агент ведёт себя, когда не знает ответа: восстанавливается ли он или уходит в штопор? Удерживает ли курс при обработке сложного запроса с несколькими шагами? Как он передаёт диалог вашим живым операторам?

При построении тестовых сценариев будьте дотошны. Включите различные типы запросов, чтобы по-настоящему проверить агента на прочность:

Многоходовые запросы, требующие, чтобы агент удерживал контекст на протяжении всего диалога, а не отвечал только на изолированные вопросы. Расплывчатые или обрывочные вводы — опечатки, грамматические ошибки и неполные вопросы, ведь именно так клиенты на самом деле пишут. Edge cases и чувствительные сценарии: споры по биллингу, раздражённые клиенты, вопросы на границе того, на чём агент обучен. Разные формулировки одного и того же вопроса. Агент, который хорошо отвечает на одну версию, но проваливается на перефразировке, имеет проблему со знаниями, а не с производительностью. Запросы, требующие подтягивания из нескольких источников знаний. Реальные проблемы редко решаются одной статьёй из базы знаний, и агент, способный работать только с одним источником, быстро упрётся в потолок. Мультиязычные диалоги, если этого требует ваша клиентская база. Производительность может существенно отличаться от языка к языку, и лучше обнаружить это на тестах, а не в продакшене.

На такую подготовку стоит потратить время. Любой агент может выглядеть впечатляюще в демо-окружении. Но что действительно имеет значение — это как он держится как часть вашей команды, обслуживая ваших клиентов.

Каково это — общаться с агентом?

Два AI-агента могут показывать одинаковые количественные метрики (resolution rate, containment rate и т. д.) и обеспечивать совершенно разный опыт. Да, resolution rate показывает, как часто агент завершает диалог, что и является конечной целью, но он ничего не говорит о том, что чувствовал клиент во время разговора.

Ищите признаки того, что взаимодействие с AI-агентом приятно:

Естественен ли тон и соответствует ли он бренду, или он кажется роботизированным и шаблонным? Создаёт ли агент доверие в начале диалога или порождает трение, заставляющее клиентов сразу просить живого оператора? Когда он не знает ответа, справляется ли он с этим элегантно? Когда он передаёт диалог человеку, является ли этот переход бесшовным, или клиент чувствует, что его бросили?

Как сказал Джордж Дилти из Clay, оценивая их AI-настройку: «Держите то, что важно для вашего бизнеса, на переднем плане и в центре. Для нас это были прозрачность и контроль над клиентским опытом».

Эта формулировка абсолютно верна. Агент представляет ваш бренд в каждом диалоге. Клиенты не воспринимают «точность» — они воспринимают разговоры. Технически точный, но не попадающий в тон бренда агент со временем подорвёт доверие клиентов.

Оценивайте измерение опыта явно. Пусть люди из вашей команды (а в идеале и реальные клиенты, если есть группа, на которой можно тестировать) пообщаются с агентом в условиях, отражающих вашу реальную среду поддержки. Спрашивайте их, как это ощущалось, а не только сработало ли это.

Сможете ли вы продолжать улучшать его после запуска?

Это измерение, которое большинство команд вообще не оценивают, и оно, возможно, самое важное.

Выбор агента, который работает сегодня и гарантирует возможность непрерывно улучшать клиентский опыт в долгосрочной перспективе, требует смотреть дальше того, что прямо перед вами. Да, нужно убедиться, что технология работает, но также нужно быть уверенным, что вы покупаете систему, которая становится лучше со временем.

Это значит — оценить три вещи, прежде чем принять решение:

Петля обратной связи

Может ли ваша команда легко просматривать диалоги и выявлять, где агент недорабатывает? Можете ли вы точно определить конкретные пробелы (отсутствующие знания, неверный тон, плохие решения о передаче) и быстро на них реагировать? Чем быстрее петля между «что-то не работает» и «мы это исправили», тем сильнее со временем накапливается ценность.

Скорость итераций

Когда вы обнаруживаете пробел, как быстро вы можете его закрыть? Это отчасти вопрос инструментария (насколько легко обновлять знания, уточнять guidance, корректировать поведение?), а отчасти — вопрос возможностей команды. Команды, получающие максимум от AI, — это те, кто изменил способ работы и сделал непрерывное улучшение частью повседневной деятельности. Они взяли на себя обязательство играть вдолгую, а не только первые несколько недель после запуска AI-агента.

Партнёрство с вендором

Вендор, стоящий за агентом, имеет такое же значение, как и само решение. Вы выбираете партнёра по трансформации, который поможет вам изменить то, как ваш бизнес обеспечивает клиентский опыт. Спрашивайте:

Как обратная связь от клиентов влияет на product roadmap, и могут ли они показать примеры? Если у вас есть отзывы об ограничениях или слабых сторонах, они реагируют прозрачно или начинают защищаться? Какую поддержку вы получите после запуска? Они формируют направление, куда движется AI в клиентском опыте, или реагируют на то, что строят другие?

То, как вендор отвечает на эти вопросы, говорит о долгосрочных отношениях больше, чем любой результат бенчмарка.

Что доказывает хороший POC

Если ваш POC доказывает только то, что «AI работает», вы сделали недостаточно.

Сильный proof of concept тестирует производительность в реалистичных условиях, оценивает опыт с точки зрения клиента и валидирует систему, которая будет поддерживать непрерывное улучшение после запуска. Он показывает, что вы выбрали то, что обеспечит вам долгосрочный операционный успех.