From swarms to product: Turning customer signals into scalable features
Статья описывает трёхуровневую модель Intercom, которая превращает индивидуальную работу с клиентами в масштабируемые продуктовые функции для AI-агента Fin. На первом уровне кросс-функциональные «swarms» из инженеров, data scientists и продакт-менеджеров погружаются в проблемы конкретных клиентов: например, для одного клиента была предсказана автоматизация 70%, и этот прогноз сбылся. На втором уровне успешные паттерны кодируются во внутренний инструмент Cockpit, позволяя CSM и Sales масштабировать инсайты без участия data science. На третьем уровне проверенные паттерны попадают в сам продукт — так появились automation taxonomy в Insights и CX Score, метрика качества разговоров. Главный критерий перехода в продукт — способность функции работать для всех клиентов без настройки, обеспечивая непрерывный рост уровня автоматизации.
The best signal often comes from the least scalable work.
Лучший сигнал часто приходит из наименее масштабируемой работы.
At Intercom, that is at the heart of how we operate on “swarms.” Swarms are cross-functional teams of Fin experts focused on ensuring customers succeed when trialing Fin. Each team consists of engineers, data scientists, and a product manager, all focused on optimizing Fin for our customers.
В Intercom это лежит в основе того, как мы работаем через «swarms» (рои). Swarms — это кросс-функциональные команды экспертов по Fin, которые помогают клиентам добиться успеха во время пробного использования Fin. Каждая команда состоит из инженеров, data scientists и продакт-менеджера, и все они сосредоточены на оптимизации Fin для наших клиентов.
Working in these teams gives us deep insights into the needs of individual customers, but they can also form the foundation of new Fin features. Let me explain.
Работа в таких командах даёт нам глубокое понимание потребностей отдельных клиентов, но она также может стать основой для новых функций Fin. Сейчас объясню.
Level 1: Swarms – where the signal comes from
Уровень 1: Swarms — откуда приходит сигнал
The goal is simple: help Fin resolve more conversations and help customers understand and use the product.
Цель проста: помочь Fin закрывать больше обращений и помочь клиентам понять и использовать продукт.
Swarms partner with customers to define their goals and how Fin fits into their workflows. We map out an automation roadmap by analyzing their conversations, determining the APIs and Procedures they need, and the level of automation they can achieve. We then support them in implementing it and reaching that outcome. This involves ongoing analysis to identify optimizations to their configuration and the next best actions for increasing automation levels, such as improving knowledge base content or deploying new APIs.
Swarms сотрудничают с клиентами, чтобы определить их цели и то, как Fin вписывается в их рабочие процессы. Мы выстраиваем дорожную карту автоматизации, анализируя их разговоры, определяя нужные API и процедуры, а также уровень автоматизации, которого они могут достичь. Затем мы поддерживаем их во внедрении и достижении этого результата. Это включает в себя постоянный анализ для выявления оптимизаций конфигурации и следующих шагов для повышения уровня автоматизации — например, улучшения контента базы знаний или развёртывания новых API.
During a swarm, the feedback loop is fast. We test something, ship something, and quickly see whether the metric moves. That speed and depth is what makes swarms so valuable. It’s also what makes them hard to scale.
Во время swarm цикл обратной связи быстрый. Мы тестируем что-то, выкатываем что-то и быстро видим, сдвинулась ли метрика. Именно эта скорость и глубина делают swarms такими ценными. И именно поэтому их сложно масштабировать.
For example, we developed an automation taxonomy to predict the level of automation a customer can achieve. Initially, this analysis was manual and took more than half a day to run, with time required to prep and visualize the data. But the effort was worthwhile. For one customer, we predicted an automation rate of 70% and they achieved exactly that.
Например, мы разработали таксономию автоматизации, чтобы прогнозировать уровень автоматизации, которого может достичь клиент. Изначально этот анализ был ручным и занимал больше половины дня — с учётом времени на подготовку и визуализацию данных. Но усилия того стоили. Для одного клиента мы спрогнозировали уровень автоматизации 70%, и они достигли ровно этого показателя.
By working closely with customers, we learn what drives success, but this work is inherently hands-on and doesn’t scale on its own. So the real challenge is figuring out how to turn what we learn in those high-touch engagements into systems, tools, and product changes that benefit far more customers.
Тесно работая с клиентами, мы узнаём, что приводит к успеху, но эта работа по своей природе hands-on и сама по себе не масштабируется. Поэтому настоящая задача — понять, как превратить то, что мы узнаём в этих высококонтактных взаимодействиях, в системы, инструменты и продуктовые изменения, которые приносят пользу гораздо большему числу клиентов.
Level 2: Cockpit – where the signal starts to scale
Уровень 2: Cockpit — где сигнал начинает масштабироваться
Not every customer should need swarm-level attention. The way we bridge that gap is by making the swarm analyses repeatable and shareable. Once we can run the same analysis across customers, we can start turning bespoke swarm learnings into reusable signals.
Не каждому клиенту должно требоваться внимание уровня swarm. Мы преодолеваем этот разрыв, делая анализы swarm повторяемыми и переиспользуемыми. Как только мы можем запускать один и тот же анализ для разных клиентов, мы можем начать превращать индивидуальные находки swarm в переиспользуемые сигналы.
We take patterns learned in swarms and encode them into internal tooling inside our insights web app, Cockpit. Instead of analysis being a bespoke project, it becomes a workflow. For example, we scaled the automation taxonomy and this has enabled us to quickly understand automation potential for all customers.
Мы берём паттерны, выявленные в swarms, и кодируем их во внутреннюю оснастку нашего веб-приложения для инсайтов — Cockpit. Вместо того чтобы анализ оставался разовым проектом, он становится workflow. Например, мы масштабировали таксономию автоматизации, и это позволило нам быстро понимать потенциал автоматизации для всех клиентов.
Example: Cockpit view of the taxonomy breakdown for an account. This allows us to understand the automation potential for our customers.
Пример: представление в Cockpit с разбивкой по таксономии для одного аккаунта. Это позволяет нам понимать потенциал автоматизации наших клиентов.
Now, a customer success manager (CSM) can pick a customer, see their automation potential and current performance, understand the biggest issues, and propose next actions.
Теперь customer success manager (CSM) может выбрать клиента, увидеть его потенциал автоматизации и текущую производительность, понять главные проблемы и предложить следующие шаги.
This is how we scale the impact of swarm learnings through CSMs and Sales. It allows far more customers to benefit from the same patterns we see in high-touch work, without requiring direct data science involvement every time.
Так мы масштабируем эффект от находок swarm через CSM и Sales. Это позволяет гораздо большему числу клиентов получать пользу от тех же паттернов, которые мы видим в высококонтактной работе, без обязательного участия data science каждый раз.
Cockpit also functions as a valuable proving ground. It gives us a way to test ideas across a much broader set of customers and see what generalizes before we consider taking anything further.
Cockpit также служит ценным полигоном. Он даёт нам возможность тестировать идеи на гораздо более широком наборе клиентов и видеть, что обобщается, прежде чем рассматривать дальнейшее развитие.
Level 3: Product – where the signal reaches maximum leverage
Уровень 3: Продукт — где сигнал достигает максимального рычага
The real payoff comes when the patterns we have validated internally become part of the product itself. Instead of helping one customer directly, or helping many customers through internal teams, we deliver a feature directly to customers so they can improve Fin’s performance on their own.
Настоящая отдача наступает, когда паттерны, которые мы внутренне валидировали, становятся частью самого продукта. Вместо того чтобы помогать одному клиенту напрямую или многим клиентам через внутренние команды, мы выпускаем функцию непосредственно для клиентов, чтобы они могли улучшать производительность Fin самостоятельно.
Today, the automation taxonomy is a part of Insights and accessible to customers who have this feature.
Сегодня таксономия автоматизации является частью Insights и доступна клиентам, у которых есть эта функция.
Another example is CX Score. It started with close work alongside Intercom’s Customer Support team to understand performance with Fin, initially through predicted CSAT and resolution. Over time, this work evolved into CX Score: a scalable way to measure conversation quality across all customers.
Другой пример — CX Score. Всё началось с тесной работы вместе с командой поддержки клиентов Intercom для понимания производительности Fin — изначально через предсказанные CSAT и resolution. Со временем эта работа превратилась в CX Score: масштабируемый способ измерять качество разговоров у всех клиентов.
The product stage is fundamentally different from Cockpit because of the constraints. Cockpit provides a platform for our customer analyses/tools but it doesn’t need to scale as far as product. What moves into product has to work for every customer, without configuration, at scale, so it has to generalize.
Продуктовая стадия принципиально отличается от Cockpit из-за ограничений. Cockpit предоставляет платформу для наших клиентских анализов и инструментов, но ему не нужно масштабироваться так далеко, как продукту. То, что переходит в продукт, должно работать для каждого клиента, без настройки, в масштабе, — поэтому оно должно обобщаться.
That’s why the move from Cockpit to product isn’t automatic. We’re not just asking whether something is useful, but whether it’s broadly useful, robust, and scalable enough to run across the entire customer base.
Вот почему переход от Cockpit к продукту не происходит автоматически. Мы спрашиваем не просто, полезно ли что-то, а достаточно ли это широко полезно, надёжно и масштабируемо, чтобы работать по всей клиентской базе.
The loop
Цикл
The model is simple. Swarms generate the best signal, grounded in real customer problems. Cockpit operationalizes that signal so CSMs and Sales can use it across many customers. Product takes the patterns that truly generalize and turn them into scalable features that enhance every customer’s experience.
Модель проста. Swarms генерируют лучший сигнал, основанный на реальных проблемах клиентов. Cockpit операционализирует этот сигнал, чтобы CSM и Sales могли использовать его для многих клиентов. Продукт берёт паттерны, которые действительно обобщаются, и превращает их в масштабируемые функции, улучшающие опыт каждого клиента.
This loop allows a small swarm data science function to have impact beyond a small set of high-touch accounts, resulting in a stream of continuous improvements across all three levels and an ever-increasing level of automation for our customers.
Этот цикл позволяет небольшой data science-функции swarm оказывать влияние далеко за пределами узкого круга высококонтактных аккаунтов, обеспечивая поток непрерывных улучшений на всех трёх уровнях и постоянно растущий уровень автоматизации для наших клиентов.