From swarms to product: Turning customer signals into scalable features
Статья описывает трёхуровневую модель Intercom, которая превращает индивидуальную работу с клиентами в масштабируемые продуктовые функции для AI-агента Fin. На первом уровне кросс-функциональные «swarms» из инженеров, data scientists и продакт-менеджеров погружаются в проблемы конкретных клиентов: например, для одного клиента была предсказана автоматизация 70%, и этот прогноз сбылся. На втором уровне успешные паттерны кодируются во внутренний инструмент Cockpit, позволяя CSM и Sales масштабировать инсайты без участия data science. На третьем уровне проверенные паттерны попадают в сам продукт — так появились automation taxonomy в Insights и CX Score, метрика качества разговоров. Главный критерий перехода в продукт — способность функции работать для всех клиентов без настройки, обеспечивая непрерывный рост уровня автоматизации.
Лучший сигнал часто приходит из наименее масштабируемой работы.
В Intercom это лежит в основе того, как мы работаем через «swarms» (рои). Swarms — это кросс-функциональные команды экспертов по Fin, которые помогают клиентам добиться успеха во время пробного использования Fin. Каждая команда состоит из инженеров, data scientists и продакт-менеджера, и все они сосредоточены на оптимизации Fin для наших клиентов.
Работа в таких командах даёт нам глубокое понимание потребностей отдельных клиентов, но она также может стать основой для новых функций Fin. Сейчас объясню.
Уровень 1: Swarms — откуда приходит сигнал
Цель проста: помочь Fin закрывать больше обращений и помочь клиентам понять и использовать продукт.
Swarms сотрудничают с клиентами, чтобы определить их цели и то, как Fin вписывается в их рабочие процессы. Мы выстраиваем дорожную карту автоматизации, анализируя их разговоры, определяя нужные API и процедуры, а также уровень автоматизации, которого они могут достичь. Затем мы поддерживаем их во внедрении и достижении этого результата. Это включает в себя постоянный анализ для выявления оптимизаций конфигурации и следующих шагов для повышения уровня автоматизации — например, улучшения контента базы знаний или развёртывания новых API.
Во время swarm цикл обратной связи быстрый. Мы тестируем что-то, выкатываем что-то и быстро видим, сдвинулась ли метрика. Именно эта скорость и глубина делают swarms такими ценными. И именно поэтому их сложно масштабировать.
Например, мы разработали таксономию автоматизации, чтобы прогнозировать уровень автоматизации, которого может достичь клиент. Изначально этот анализ был ручным и занимал больше половины дня — с учётом времени на подготовку и визуализацию данных. Но усилия того стоили. Для одного клиента мы спрогнозировали уровень автоматизации 70%, и они достигли ровно этого показателя.
Тесно работая с клиентами, мы узнаём, что приводит к успеху, но эта работа по своей природе hands-on и сама по себе не масштабируется. Поэтому настоящая задача — понять, как превратить то, что мы узнаём в этих высококонтактных взаимодействиях, в системы, инструменты и продуктовые изменения, которые приносят пользу гораздо большему числу клиентов.
Уровень 2: Cockpit — где сигнал начинает масштабироваться
Не каждому клиенту должно требоваться внимание уровня swarm. Мы преодолеваем этот разрыв, делая анализы swarm повторяемыми и переиспользуемыми. Как только мы можем запускать один и тот же анализ для разных клиентов, мы можем начать превращать индивидуальные находки swarm в переиспользуемые сигналы.
Именно здесь на сцену выходит Cockpit.
Мы берём паттерны, выявленные в swarms, и кодируем их во внутреннюю оснастку нашего веб-приложения для инсайтов — Cockpit. Вместо того чтобы анализ оставался разовым проектом, он становится workflow. Например, мы масштабировали таксономию автоматизации, и это позволило нам быстро понимать потенциал автоматизации для всех клиентов.
Пример: представление в Cockpit с разбивкой по таксономии для одного аккаунта. Это позволяет нам понимать потенциал автоматизации наших клиентов.
Теперь customer success manager (CSM) может выбрать клиента, увидеть его потенциал автоматизации и текущую производительность, понять главные проблемы и предложить следующие шаги.
Так мы масштабируем эффект от находок swarm через CSM и Sales. Это позволяет гораздо большему числу клиентов получать пользу от тех же паттернов, которые мы видим в высококонтактной работе, без обязательного участия data science каждый раз.
Cockpit также служит ценным полигоном. Он даёт нам возможность тестировать идеи на гораздо более широком наборе клиентов и видеть, что обобщается, прежде чем рассматривать дальнейшее развитие.
Уровень 3: Продукт — где сигнал достигает максимального рычага
Настоящая отдача наступает, когда паттерны, которые мы внутренне валидировали, становятся частью самого продукта. Вместо того чтобы помогать одному клиенту напрямую или многим клиентам через внутренние команды, мы выпускаем функцию непосредственно для клиентов, чтобы они могли улучшать производительность Fin самостоятельно.
Сегодня таксономия автоматизации является частью Insights и доступна клиентам, у которых есть эта функция.
Другой пример — CX Score. Всё началось с тесной работы вместе с командой поддержки клиентов Intercom для понимания производительности Fin — изначально через предсказанные CSAT и resolution. Со временем эта работа превратилась в CX Score: масштабируемый способ измерять качество разговоров у всех клиентов.
Продуктовая стадия принципиально отличается от Cockpit из-за ограничений. Cockpit предоставляет платформу для наших клиентских анализов и инструментов, но ему не нужно масштабироваться так далеко, как продукту. То, что переходит в продукт, должно работать для каждого клиента, без настройки, в масштабе, — поэтому оно должно обобщаться.
Вот почему переход от Cockpit к продукту не происходит автоматически. Мы спрашиваем не просто, полезно ли что-то, а достаточно ли это широко полезно, надёжно и масштабируемо, чтобы работать по всей клиентской базе.
Цикл
Модель проста. Swarms генерируют лучший сигнал, основанный на реальных проблемах клиентов. Cockpit операционализирует этот сигнал, чтобы CSM и Sales могли использовать его для многих клиентов. Продукт берёт паттерны, которые действительно обобщаются, и превращает их в масштабируемые функции, улучшающие опыт каждого клиента.
Этот цикл позволяет небольшой data science-функции swarm оказывать влияние далеко за пределами узкого круга высококонтактных аккаунтов, обеспечивая поток непрерывных улучшений на всех трёх уровнях и постоянно растущий уровень автоматизации для наших клиентов.