What really matters when evaluating AI Agents for customer service?

When considering AI Agent options, some teams don’t focus on the right evaluation criteria. Not because they aren’t rigorous – most are – but because they are only rigorous about a subset of the criteria.

При рассмотрении вариантов AI-агентов некоторые команды не фокусируются на правильных критериях оценки. Не потому, что они недостаточно тщательны — большинство как раз тщательны, — а потому, что они тщательны только в отношении части критериев.

I’ve had a lot of exposure to our customers and prospects running a “proof of concept” (POC) to evaluate an AI Agent for customer service over the past few years. It’s understandable that many spend the majority of their evaluation time on performance, paying close attention to accuracy scores, resolution rates, and benchmark tests on curated datasets. But performance indicators alone aren’t enough to guarantee success outside of the evaluation.

За последние несколько лет я много общался с нашими клиентами и потенциальными клиентами, которые проводили «proof of concept» (POC) для оценки AI-агента для клиентской поддержки. Понятно, что многие тратят большую часть времени оценки на производительность, уделяя пристальное внимание показателям точности, resolution rate и бенчмарк-тестам на отобранных датасетах. Но одни лишь индикаторы производительности не гарантируют успех за пределами оценки.

If your POC only proves that the AI “works,” you’re missing the bigger picture. Here’s what else you should look for to ensure you’re making the best long-term decision.

Если ваш POC доказывает только то, что AI «работает», вы упускаете более широкую картину. Вот что ещё стоит проверять, чтобы принять наилучшее долгосрочное решение.

How does it handle your real-world setup?

Как агент справляется с вашей реальной средой?

Performance is important. No one is disputing that. But performance in a POC should reflect the reality of the messiness that is typical in most support environments.

Производительность важна. Никто с этим не спорит. Но производительность в POC должна отражать реальный хаос, типичный для большинства сред поддержки.

Getting an answer right is crucial, but the best performing Agents will also demonstrate sophisticated behavior, proving they’re capable of interacting with real human customers, not just curated datasets. Pay attention to how it behaves when it doesn’t know an answer – does it recover or does it spiral? Does it stay on track when navigating a complicated request with multiple steps? How does it handle handing over to your human agents?

Дать правильный ответ — критически важно, но лучшие агенты также продемонстрируют сложное поведение, доказывая, что они способны взаимодействовать с настоящими живыми клиентами, а не только с отобранными датасетами. Обратите внимание, как агент ведёт себя, когда не знает ответа: восстанавливается ли он или уходит в штопор? Удерживает ли курс при обработке сложного запроса с несколькими шагами? Как он передаёт диалог вашим живым операторам?

When building test scenarios, be thorough. Include a variety of query types to really put the Agent through its paces:

При построении тестовых сценариев будьте дотошны. Включите различные типы запросов, чтобы по-настоящему проверить агента на прочность:

Многоходовые запросы, требующие, чтобы агент удерживал контекст на протяжении всего диалога, а не отвечал только на изолированные вопросы. Расплывчатые или обрывочные вводы — опечатки, грамматические ошибки и неполные вопросы, ведь именно так клиенты на самом деле пишут. Edge cases и чувствительные сценарии: споры по биллингу, раздражённые клиенты, вопросы на границе того, на чём агент обучен. Разные формулировки одного и того же вопроса. Агент, который хорошо отвечает на одну версию, но проваливается на перефразировке, имеет проблему со знаниями, а не с производительностью. Запросы, требующие подтягивания из нескольких источников знаний. Реальные проблемы редко решаются одной статьёй из базы знаний, и агент, способный работать только с одним источником, быстро упрётся в потолок. Мультиязычные диалоги, если этого требует ваша клиентская база. Производительность может существенно отличаться от языка к языку, и лучше обнаружить это на тестах, а не в продакшене.

It’s worth spending time on this preparation. Any Agent can look impressive in a demo environment. But what really counts is how it holds up as part of your team, serving your customers.

На такую подготовку стоит потратить время. Любой агент может выглядеть впечатляюще в демо-окружении. Но что действительно имеет значение — это как он держится как часть вашей команды, обслуживая ваших клиентов.

What does it feel like to interact with the Agent?

Каково это — общаться с агентом?

Two AI Agents can achieve the same quantitative scores (resolution rates, containment rate, etc.) and deliver completely different experiences. Yes, resolution rate tells you how often the Agent finishes a conversation, which is the end goal, but it tells you nothing about how the customer felt during it.

Два AI-агента могут показывать одинаковые количественные метрики (resolution rate, containment rate и т. д.) и обеспечивать совершенно разный опыт. Да, resolution rate показывает, как часто агент завершает диалог, что и является конечной целью, но он ничего не говорит о том, что чувствовал клиент во время разговора.

Look for indicators that the AI Agent is enjoyable to interact with:

Ищите признаки того, что взаимодействие с AI-агентом приятно:

Естественен ли тон и соответствует ли он бренду, или он кажется роботизированным и шаблонным? Создаёт ли агент доверие в начале диалога или порождает трение, заставляющее клиентов сразу просить живого оператора? Когда он не знает ответа, справляется ли он с этим элегантно? Когда он передаёт диалог человеку, является ли этот переход бесшовным, или клиент чувствует, что его бросили?

As George Dilthey at Clay put it when evaluating their AI setup: “Keep what’s important to your business up front and center. For us, that was transparency and control over the customer experience.”

Как сказал Джордж Дилти из Clay, оценивая их AI-настройку: «Держите то, что важно для вашего бизнеса, на переднем плане и в центре. Для нас это были прозрачность и контроль над клиентским опытом».

That framing is exactly right. The Agent represents your brand in every conversation. Customers don’t experience “accuracy,” they experience conversations. An Agent that’s technically accurate but tonally off-brand will erode customer trust over time.

Эта формулировка абсолютно верна. Агент представляет ваш бренд в каждом диалоге. Клиенты не воспринимают «точность» — они воспринимают разговоры. Технически точный, но не попадающий в тон бренда агент со временем подорвёт доверие клиентов.

Assess the experience dimension explicitly. Have people on your team (and ideally real customers if you have a group you can test with) interact with the Agent under conditions that reflect your actual support environment. Ask them how it felt, not just whether it worked.

Оценивайте измерение опыта явно. Пусть люди из вашей команды (а в идеале и реальные клиенты, если есть группа, на которой можно тестировать) пообщаются с агентом в условиях, отражающих вашу реальную среду поддержки. Спрашивайте их, как это ощущалось, а не только сработало ли это.

Can you keep improving it after launch?

Сможете ли вы продолжать улучшать его после запуска?

This is the dimension most teams don’t evaluate at all, and it’s possibly the most important one.

Это измерение, которое большинство команд вообще не оценивают, и оно, возможно, самое важное.

Choosing an Agent that works today and guarantees that you’ll be able to continuously improve your customers’ experience in the long term requires looking at more than what’s right in front of you. Yes, you need to know that the technology works, but you also need to be confident that you’re buying a system that gets better over time.

Выбор агента, который работает сегодня и гарантирует возможность непрерывно улучшать клиентский опыт в долгосрочной перспективе, требует смотреть дальше того, что прямо перед вами. Да, нужно убедиться, что технология работает, но также нужно быть уверенным, что вы покупаете систему, которая становится лучше со временем.

That means evaluating three things before you commit:

Это значит — оценить три вещи, прежде чем принять решение:

The feedback loop

Петля обратной связи

Can your team easily review conversations and identify where the Agent is underperforming? Can you pinpoint specific gaps (missing knowledge, incorrect tone, poor handoff decisions) and act on them quickly? The faster the loop between “something isn’t working” and “we’ve fixed it,” the more value compounds over time.

Может ли ваша команда легко просматривать диалоги и выявлять, где агент недорабатывает? Можете ли вы точно определить конкретные пробелы (отсутствующие знания, неверный тон, плохие решения о передаче) и быстро на них реагировать? Чем быстрее петля между «что-то не работает» и «мы это исправили», тем сильнее со временем накапливается ценность.

The speed of iteration

Скорость итераций

When you identify a gap, how quickly can you address it? This is partly a question of tooling (how easy is it to update knowledge, refine guidance, adjust behavior?) and partly a question of team capability. The teams getting the most out of AI are the ones that have changed how they operate and made continuous improvement a part of their everyday work. They’ve committed to going all-in for the long term, not just the first few weeks when launching their AI Agent.

Когда вы обнаруживаете пробел, как быстро вы можете его закрыть? Это отчасти вопрос инструментария (насколько легко обновлять знания, уточнять guidance, корректировать поведение?), а отчасти — вопрос возможностей команды. Команды, получающие максимум от AI, — это те, кто изменил способ работы и сделал непрерывное улучшение частью повседневной деятельности. Они взяли на себя обязательство играть вдолгую, а не только первые несколько недель после запуска AI-агента.

The vendor partnership

Партнёрство с вендором

The vendor behind the Agent matters just as much as the solution itself. You’re choosing a partner for transformation that will help you evolve how your business delivers customer experience. Ask:

Вендор, стоящий за агентом, имеет такое же значение, как и само решение. Вы выбираете партнёра по трансформации, который поможет вам изменить то, как ваш бизнес обеспечивает клиентский опыт. Спрашивайте:

Как обратная связь от клиентов влияет на product roadmap, и могут ли они показать примеры? Если у вас есть отзывы об ограничениях или слабых сторонах, они реагируют прозрачно или начинают защищаться? Какую поддержку вы получите после запуска? Они формируют направление, куда движется AI в клиентском опыте, или реагируют на то, что строят другие?

How a vendor responds to those questions tells you more about the long-term relationship than any benchmark result.

То, как вендор отвечает на эти вопросы, говорит о долгосрочных отношениях больше, чем любой результат бенчмарка.

What a good POC proves

Что доказывает хороший POC

If your POC only proves “the AI works,” you haven’t done enough.

Если ваш POC доказывает только то, что «AI работает», вы сделали недостаточно.

A strong proof of concept tests performance in realistic conditions, evaluates the experience from the customer’s perspective, and validates the system that will support continuous improvement after launch. It shows you that you’ve chosen something that will set you up for long-term operational success.

Сильный proof of concept тестирует производительность в реалистичных условиях, оценивает опыт с точки зрения клиента и валидирует систему, которая будет поддерживать непрерывное улучшение после запуска. Он показывает, что вы выбрали то, что обеспечит вам долгосрочный операционный успех.