Announcing Monitors: Opening the AI black box

At Fin Labs Paris, we announced Monitors, a new product area for Fin that sits alongside Insights and Recommendations to give you a full observability suite – and confidence in what Fin is doing.

На Fin Labs Paris мы анонсировали Monitors — новую продуктовую область Fin, которая встаёт рядом с Insights и Recommendations и даёт полноценный набор инструментов наблюдаемости и уверенность в том, что делает Fin.

With Monitors, you define what conversations get reviewed, both Fin and human, and set evaluation criteria using Custom Scorecards. This ensures you’re monitoring metrics that matter the most to your business, giving you complete control over support quality.

С Monitors вы сами определяете, какие разговоры — и Fin, и человеческие — попадают на ревью, и задаёте критерии оценки через Custom Scorecards. Это гарантирует, что вы отслеживаете метрики, важные именно для вашего бизнеса, и полностью контролируете качество поддержки.

When used alongside Insights and Recommendations, you have everything you need to see what’s happening across your support operation, hold every conversation to your bar, and continuously drive toward perfect customer experiences.

Вместе с Insights и Recommendations у вас есть всё, чтобы видеть, что происходит во всей вашей операции поддержки, держать каждый разговор на нужном уровне и непрерывно двигаться к идеальному клиентскому опыту.

As Agents become more powerful, transparency and control become critical

По мере того как агенты становятся мощнее, прозрачность и контроль становятся критически важны

AI is getting more capable, fast. Everyone working in this industry feels it.

AI становится способнее, и быстро. Все, кто работает в этой индустрии, это чувствуют.

We now have Agents executing complex tasks, like handling real customer conversations with real consequences. Fin has almost 8,000 customers, averages a 67% resolution rate, and resolves close to 2 million customer queries every single week, including highly complex queries in regulated industries.

Теперь у нас есть агенты, выполняющие сложные задачи — например, ведущие реальные разговоры с клиентами и с реальными последствиями. У Fin почти 8000 клиентов, средний resolution rate 67%, и каждую неделю он закрывает почти 2 миллиона клиентских запросов, включая очень сложные обращения в регулируемых индустриях.

As Agents take on deeper work at that scale, observability is essential. Most support leaders today can’t confidently answer basic questions about what their Agent is actually doing: whether it’s delivering good experiences, resolving complex issues completely, representing their brand the way a human would, and doing all of it reliably, conversation after conversation. The old infrastructure can’t help them, CSAT scores and QA samples have always been limited in scope, they don’t scale effectively.

Когда агенты берут на себя более глубокую работу в таком масштабе, наблюдаемость становится обязательной. Сегодня большинство руководителей поддержки не могут уверенно ответить на базовые вопросы о том, что их агент на самом деле делает: даёт ли он хороший опыт, полностью ли закрывает сложные кейсы, представляет ли он бренд так, как сделал бы человек, и делает ли это надёжно от разговора к разговору. Старая инфраструктура здесь не помогает: CSAT и QA-выборки всегда были ограничены по охвату и плохо масштабируются.

The result is a black box.

В итоге получается чёрный ящик.

What teams need most right now is confidence. That’s why we designed Fin with transparency at its center. Because teams should feel empowered to understand and optimize it on their own.

Больше всего командам сейчас нужна уверенность. Именно поэтому мы спроектировали Fin вокруг прозрачности. Потому что команды должны иметь возможность сами понимать его и сами его оптимизировать.

At Intercom, this is called the Fin Flywheel: Train, Test, Deploy, Analyze.

В Intercom это называется Fin Flywheel: Train, Test, Deploy, Analyze.

Analyze is the step where you find out what’s actually happening and it’s where improvement begins.

Analyze — это шаг, на котором вы выясняете, что на самом деле происходит, и именно с него начинается улучшение.

We believe that having confidence in your AI operation requires three things:

Мы считаем, что для уверенности в работе вашего AI нужны три вещи:

Полное понимание того, о чём говорят Fin, ваша команда и ваши клиенты. Способ мониторить и оценивать разговоры по критериям, важным именно для вашего бизнеса. AI-рекомендации, благодаря которым легко действовать по итогам того, что вы нашли.

To address these, last year we launched Insights and Recommendations. Now, we’re announcing Monitors – completing a system for full observability, and the key to opening the black box.

Чтобы закрыть эти задачи, в прошлом году мы запустили Insights и Recommendations. Теперь мы анонсируем Monitors — финальный элемент системы полной наблюдаемости и ключ, открывающий чёрный ящик.

Monitors: Know whether every conversation met your standards

Monitors: убедитесь, что каждый разговор соответствует вашим стандартам

Knowing how a customer felt about a conversation is different from knowing whether it was handled correctly; both are important to service quality.

Знать, как клиент почувствовал себя после разговора, — это не то же самое, что знать, был ли разговор обработан правильно; оба аспекта важны для качества сервиса.

Monitors is a new QA capability that delivers a structured, repeatable way to define which conversations get reviewed — and evaluate them against quality criteria you set. It replaces ad-hoc sampling and spreadsheet-driven QA with a system that scales as your volume grows.

Monitors — это новая QA-возможность, которая даёт структурированный и повторяемый способ определять, какие разговоры идут на ревью, и оценивать их по заданным вами критериям качества. Это замена случайной выборке и QA в таблицах системой, которая масштабируется вместе с вашим объёмом.

Two components work together: Monitors define what gets reviewed and Custom Scorecards define how each conversation is evaluated.

Два компонента работают вместе: Monitors определяют, что попадает на ревью, а Custom Scorecards — как каждый разговор оценивается.

The right conversations, and the right coverage

Нужные разговоры и нужный охват

Random sampling was always a blunt tool. When AI is handling thousands of conversations a week, a small, arbitrary slice won’t reliably capture your highest-risk edge cases, your most complex escalations, or where quality is starting to drift.

Случайная выборка всегда была грубым инструментом. Когда AI ведёт тысячи разговоров в неделю, маленький произвольный срез не сможет надёжно поймать ваши самые рискованные граничные случаи, самые сложные эскалации или места, где качество начинает деградировать.

With Monitors, you define how conversations are selected and evaluated. That can mean targeting specific signals of risk or failure, like “the customer showed signs of financial vulnerability” or “Fin looped around with the same answer without resolving the issue.” Or it can mean creating consistent, repeatable generic samples to benchmark quality over time. You set this criteria from an existing list of filters, based on customer data, channel, or Fin-specific metrics, or use natural language to describe instances with more nuance.

С Monitors вы определяете, как отбираются и оцениваются разговоры. Это может означать таргетирование конкретных сигналов риска или провала — например, «клиент проявил признаки финансовой уязвимости» или «Fin зациклился на одном и том же ответе, не решив проблему». А может означать создание постоянных, повторяемых общих выборок, чтобы бенчмаркить качество во времени. Вы задаёте критерии из имеющегося набора фильтров — по данным клиента, каналу или метрикам Fin — или описываете нужные случаи естественным языком с большей нюансированностью.

You can combine both approaches: hone in on the conversations that matter most and maintain a steady, structured QA sample each week.

Эти подходы можно комбинировать: фокусироваться на самых важных разговорах и одновременно поддерживать стабильную, структурированную еженедельную QA-выборку.

Custom Scorecards: Enforce your standards, consistently

Custom Scorecards: соблюдайте свои стандарты последовательно

Every business operates differently, so a one-size-fits-all quality rubric won’t reflect your priorities, your trade-offs, or what your customers actually care about.

Каждый бизнес работает по-своему, поэтому единый «универсальный» чек-лист качества не отразит ваши приоритеты, ваши компромиссы или то, что реально важно вашим клиентам.

Custom Scorecards let you define what “good” looks like for your business and turn that into a custom quality score for every conversation.

Custom Scorecards позволяют вам определить, что значит «хорошо» именно для вашего бизнеса, и превратить это в кастомный показатель качества для каждого разговора.

You define the criteria that matters, how each should be measured, and how important each one is. Some criteria can be scored automatically by AI, others reviewed by a human, or both — all within the same scorecard. This means you’re not choosing between scale and judgment; you get both in one system.

Вы определяете значимые критерии, как каждый из них измерять и насколько он важен. Часть критериев может оцениваться автоматически через AI, часть — человеком, или сразу оба варианта — всё в рамках одной карточки. Это значит, что вам не нужно выбирать между масштабом и человеческим суждением: вы получаете и то, и другое в одной системе.

Each conversation is then evaluated against these criteria, and the system calculates an overall quality score based on your configuration. You can weigh what matters most, or mark certain criteria as critical, so a single failure can fail the entire evaluation when needed.

Затем каждый разговор оценивается по этим критериям, и система рассчитывает общий показатель качества на основе вашей конфигурации. Вы можете задавать веса наиболее важным пунктам или помечать отдельные критерии как критичные — тогда один провал может означать провал всей оценки, если это требуется.

The result is a single, consistent quality score that reflects your standards — not a generic metric, and not a collection of disconnected checks. This is what makes quality measurable over time. You can track how your AI and human support are performing against the same definition of “good,” and see where things are improving or breaking down.

В итоге получается единый, последовательный показатель качества, который отражает именно ваши стандарты — а не обобщённую метрику и не набор разрозненных проверок. Именно это делает качество измеримым во времени. Вы можете отслеживать, как ваш AI и ваши люди работают относительно одного и того же определения «хорошо», и видеть, где идёт улучшение, а где деградация.

There’s an important distinction here: CX Score tells you how customers felt about a conversation. Custom Scorecards tell you whether it met your standards. You need both.

Здесь есть важное различие: CX Score говорит вам о том, как клиенты ощутили разговор. Custom Scorecards говорят, соответствовал ли он вашим стандартам. Нужны оба.

Review Queue: Turn flags into fixes

Review Queue: превращайте флаги в исправления

When conversations are flagged as needing a human review, based on your criteria, they are placed in the Review Queue. Here, every conversation matched by a Monitor is automatically assigned to the right reviewer, with its scorecard attached and review status tracked:

Когда разговоры помечаются как требующие человеческого ревью по вашим критериям, они попадают в Review Queue. Здесь каждый разговор, пойманный Monitor, автоматически назначается нужному ревьюеру с прикреплённой карточкой оценки и статусом ревью:

Not reviewed. Reviewed. Needs a fix. Fix complete.

Reviewers work through conversations directly inside Intercom, filling in scorecard criteria as they go.

Ревьюеры работают с разговорами прямо внутри Intercom, заполняя критерии карточки по ходу дела.

When a conversation fails, they mark it, add a note on what went wrong, and can suggest potential solutions such as updating documentation. These conversations then move to follow-up, where the team can apply fixes.

Если разговор провалил оценку, ревьюер помечает это, оставляет заметку о том, что пошло не так, и может предложить возможные решения — например, обновить документацию. Такие разговоры затем уходят на дальнейшую обработку, где команда может применить исправления.

This means that nothing gets lost in a spreadsheet or a Slack thread, and QA stops being a loop that ends at a score and becomes one that ends at an improvement.

Это значит, что ничто не теряется в таблице или в Slack-треде, и QA перестаёт быть циклом, который заканчивается на оценке, и становится циклом, который заканчивается на улучшении.

Reporting: Use QA as a continuous signal

Reporting: используйте QA как непрерывный сигнал

Reporting is where your quality scores connect to everything else. You can track review scores over time, across Monitors and Scorecards, and compare them directly against CX Score, resolution rate, and other performance metrics.

Reporting — это место, где ваши оценки качества связываются со всем остальным. Вы можете отслеживать оценки ревью во времени, по разным Monitors и Scorecards, и напрямую сравнивать их с CX Score, resolution rate и другими метриками эффективности.

Patterns that were previously invisible become clear: a specific topic consistently underperforming, a quality dip that correlates with a recent knowledge base change, a team whose scores are improving week on week. QA data becomes a continuous signal for how the operation is improving, not a one-off exercise that lives in a separate tool.

Ранее невидимые закономерности становятся очевидными: конкретная тема стабильно проседает, падение качества коррелирует с недавним изменением в базе знаний, у одной команды показатели растут неделя за неделей. QA-данные превращаются в непрерывный сигнал того, как операция улучшается, а не в разовое упражнение в отдельном инструменте.

What’s coming next

Что дальше

Monitors for Fin conversations is live today, and we’re already building what comes next.

Monitors для разговоров Fin уже доступны, и мы уже строим то, что будет дальше.

QA для людей-операторов принесёт ту же структурированную оценку и в разговоры вашей человеческой команды, давая единую систему качества для всей операции поддержки. Алерты в реальном времени уведомят вас в тот момент, когда разговор пересечёт заданный вами порог — до того, как проблема дойдёт до других клиентов. Оценка по базе знаний свяжет AI-скоринг напрямую с вашим контентом, чтобы разговоры оценивались по самым свежим политикам и документации, выявляя неточные или устаревшие ответы и давая понятное обоснование со ссылкой на нужный источник.

Open the black box

Откройте чёрный ящик

Creating perfect customer experience with AI requires transparency. You need to understand how the system is performing if you want to maintain and improve quality over time. With Insights, Monitors, and Recommendations, this is now possible. It’s a complete analysis suite that allows you to see what’s happening across every conversation, ensure it’s meeting your standards, and identify improvement opportunities when you need them.

Создание идеального клиентского опыта с помощью AI требует прозрачности. Чтобы поддерживать и улучшать качество во времени, нужно понимать, как работает система. С Insights, Monitors и Recommendations это теперь возможно. Это полноценный аналитический набор, который позволяет видеть, что происходит в каждом разговоре, проверять соответствие вашим стандартам и находить возможности для улучшения тогда, когда они нужны.

Everything in Analyze step of the Flywheel was built in close partnership with our customers – your use cases, your feedback, your honest conversations about what wasn’t working. That partnership is why Fin is the highest-performing Agent in the market. And we’re not slowing down.

Всё в шаге Analyze у Flywheel создавалось в тесном партнёрстве с нашими клиентами — на основе ваших кейсов, вашей обратной связи и честных разговоров о том, что не работало. Именно это партнёрство — причина того, что Fin сегодня самый эффективный агент на рынке. И мы не сбавляем темп.