Announcing Monitors: Opening the AI black box

На Fin Labs Paris мы анонсировали Monitors — новую продуктовую область Fin, которая встаёт рядом с Insights и Recommendations и даёт полноценный набор инструментов наблюдаемости и уверенность в том, что делает Fin.

С Monitors вы сами определяете, какие разговоры — и Fin, и человеческие — попадают на ревью, и задаёте критерии оценки через Custom Scorecards. Это гарантирует, что вы отслеживаете метрики, важные именно для вашего бизнеса, и полностью контролируете качество поддержки.

Вместе с Insights и Recommendations у вас есть всё, чтобы видеть, что происходит во всей вашей операции поддержки, держать каждый разговор на нужном уровне и непрерывно двигаться к идеальному клиентскому опыту.

По мере того как агенты становятся мощнее, прозрачность и контроль становятся критически важны

AI становится способнее, и быстро. Все, кто работает в этой индустрии, это чувствуют.

Теперь у нас есть агенты, выполняющие сложные задачи — например, ведущие реальные разговоры с клиентами и с реальными последствиями. У Fin почти 8000 клиентов, средний resolution rate 67%, и каждую неделю он закрывает почти 2 миллиона клиентских запросов, включая очень сложные обращения в регулируемых индустриях.

Когда агенты берут на себя более глубокую работу в таком масштабе, наблюдаемость становится обязательной. Сегодня большинство руководителей поддержки не могут уверенно ответить на базовые вопросы о том, что их агент на самом деле делает: даёт ли он хороший опыт, полностью ли закрывает сложные кейсы, представляет ли он бренд так, как сделал бы человек, и делает ли это надёжно от разговора к разговору. Старая инфраструктура здесь не помогает: CSAT и QA-выборки всегда были ограничены по охвату и плохо масштабируются.

В итоге получается чёрный ящик.

Больше всего командам сейчас нужна уверенность. Именно поэтому мы спроектировали Fin вокруг прозрачности. Потому что команды должны иметь возможность сами понимать его и сами его оптимизировать.

В Intercom это называется Fin Flywheel: Train, Test, Deploy, Analyze.

Analyze — это шаг, на котором вы выясняете, что на самом деле происходит, и именно с него начинается улучшение.

Мы считаем, что для уверенности в работе вашего AI нужны три вещи:

Полное понимание того, о чём говорят Fin, ваша команда и ваши клиенты. Способ мониторить и оценивать разговоры по критериям, важным именно для вашего бизнеса. AI-рекомендации, благодаря которым легко действовать по итогам того, что вы нашли.

Чтобы закрыть эти задачи, в прошлом году мы запустили Insights и Recommendations. Теперь мы анонсируем Monitors — финальный элемент системы полной наблюдаемости и ключ, открывающий чёрный ящик.

Monitors: убедитесь, что каждый разговор соответствует вашим стандартам

Знать, как клиент почувствовал себя после разговора, — это не то же самое, что знать, был ли разговор обработан правильно; оба аспекта важны для качества сервиса.

Monitors — это новая QA-возможность, которая даёт структурированный и повторяемый способ определять, какие разговоры идут на ревью, и оценивать их по заданным вами критериям качества. Это замена случайной выборке и QA в таблицах системой, которая масштабируется вместе с вашим объёмом.

Два компонента работают вместе: Monitors определяют, что попадает на ревью, а Custom Scorecards — как каждый разговор оценивается.

Нужные разговоры и нужный охват

Случайная выборка всегда была грубым инструментом. Когда AI ведёт тысячи разговоров в неделю, маленький произвольный срез не сможет надёжно поймать ваши самые рискованные граничные случаи, самые сложные эскалации или места, где качество начинает деградировать.

С Monitors вы определяете, как отбираются и оцениваются разговоры. Это может означать таргетирование конкретных сигналов риска или провала — например, «клиент проявил признаки финансовой уязвимости» или «Fin зациклился на одном и том же ответе, не решив проблему». А может означать создание постоянных, повторяемых общих выборок, чтобы бенчмаркить качество во времени. Вы задаёте критерии из имеющегося набора фильтров — по данным клиента, каналу или метрикам Fin — или описываете нужные случаи естественным языком с большей нюансированностью.

Эти подходы можно комбинировать: фокусироваться на самых важных разговорах и одновременно поддерживать стабильную, структурированную еженедельную QA-выборку.

Custom Scorecards: соблюдайте свои стандарты последовательно

Каждый бизнес работает по-своему, поэтому единый «универсальный» чек-лист качества не отразит ваши приоритеты, ваши компромиссы или то, что реально важно вашим клиентам.

Custom Scorecards позволяют вам определить, что значит «хорошо» именно для вашего бизнеса, и превратить это в кастомный показатель качества для каждого разговора.

Вы определяете значимые критерии, как каждый из них измерять и насколько он важен. Часть критериев может оцениваться автоматически через AI, часть — человеком, или сразу оба варианта — всё в рамках одной карточки. Это значит, что вам не нужно выбирать между масштабом и человеческим суждением: вы получаете и то, и другое в одной системе.

Затем каждый разговор оценивается по этим критериям, и система рассчитывает общий показатель качества на основе вашей конфигурации. Вы можете задавать веса наиболее важным пунктам или помечать отдельные критерии как критичные — тогда один провал может означать провал всей оценки, если это требуется.

В итоге получается единый, последовательный показатель качества, который отражает именно ваши стандарты — а не обобщённую метрику и не набор разрозненных проверок. Именно это делает качество измеримым во времени. Вы можете отслеживать, как ваш AI и ваши люди работают относительно одного и того же определения «хорошо», и видеть, где идёт улучшение, а где деградация.

Здесь есть важное различие: CX Score говорит вам о том, как клиенты ощутили разговор. Custom Scorecards говорят, соответствовал ли он вашим стандартам. Нужны оба.

Review Queue: превращайте флаги в исправления

Когда разговоры помечаются как требующие человеческого ревью по вашим критериям, они попадают в Review Queue. Здесь каждый разговор, пойманный Monitor, автоматически назначается нужному ревьюеру с прикреплённой карточкой оценки и статусом ревью:

Not reviewed. Reviewed. Needs a fix. Fix complete.

Ревьюеры работают с разговорами прямо внутри Intercom, заполняя критерии карточки по ходу дела.

Если разговор провалил оценку, ревьюер помечает это, оставляет заметку о том, что пошло не так, и может предложить возможные решения — например, обновить документацию. Такие разговоры затем уходят на дальнейшую обработку, где команда может применить исправления.

Это значит, что ничто не теряется в таблице или в Slack-треде, и QA перестаёт быть циклом, который заканчивается на оценке, и становится циклом, который заканчивается на улучшении.

Reporting: используйте QA как непрерывный сигнал

Reporting — это место, где ваши оценки качества связываются со всем остальным. Вы можете отслеживать оценки ревью во времени, по разным Monitors и Scorecards, и напрямую сравнивать их с CX Score, resolution rate и другими метриками эффективности.

Ранее невидимые закономерности становятся очевидными: конкретная тема стабильно проседает, падение качества коррелирует с недавним изменением в базе знаний, у одной команды показатели растут неделя за неделей. QA-данные превращаются в непрерывный сигнал того, как операция улучшается, а не в разовое упражнение в отдельном инструменте.

Что дальше

Monitors для разговоров Fin уже доступны, и мы уже строим то, что будет дальше.

QA для людей-операторов принесёт ту же структурированную оценку и в разговоры вашей человеческой команды, давая единую систему качества для всей операции поддержки. Алерты в реальном времени уведомят вас в тот момент, когда разговор пересечёт заданный вами порог — до того, как проблема дойдёт до других клиентов. Оценка по базе знаний свяжет AI-скоринг напрямую с вашим контентом, чтобы разговоры оценивались по самым свежим политикам и документации, выявляя неточные или устаревшие ответы и давая понятное обоснование со ссылкой на нужный источник.

Откройте чёрный ящик

Создание идеального клиентского опыта с помощью AI требует прозрачности. Чтобы поддерживать и улучшать качество во времени, нужно понимать, как работает система. С Insights, Monitors и Recommendations это теперь возможно. Это полноценный аналитический набор, который позволяет видеть, что происходит в каждом разговоре, проверять соответствие вашим стандартам и находить возможности для улучшения тогда, когда они нужны.

Всё в шаге Analyze у Flywheel создавалось в тесном партнёрстве с нашими клиентами — на основе ваших кейсов, вашей обратной связи и честных разговоров о том, что не работало. Именно это партнёрство — причина того, что Fin сегодня самый эффективный агент на рынке. И мы не сбавляем темп.