CX Score: How we built a metric support leaders can defend
Intercom рассказывает, как создавался CX Score — метрика оценки клиентского опыта по каждому разговору с поддержкой, которой руководители поддержки могут доверять. Авторы выделяют пять принципов: метрика основана на том, как опытные специалисты поддержки определяют качество; согласована с человеческими оценками на наборе из тысяч реальных разговоров с двойной проверкой; разработана командой AI Group компании Intercom как полноценная производственная система с тонкой настройкой и многоэтапной оценкой; статистически валидирована по метрикам Precision, Recall и F1 с явной планкой F1 выше 0,8; и проверена в полевых условиях на реальных клиентах через многофазное тестирование. Особое внимание уделялось негативным разговорам, поскольку ложноотрицательный результат скрывает реальную проблему. Главный вывод: CX Score создан как прозрачная метрика, которую можно проверить и отстоять перед руководством, а не как непрозрачный вывод «чёрного ящика».
«Мы относились к доверию как к принципу проектирования с самого первого дня»
Недавно мы рассказали, как переработали CX Score, чтобы давать более глубокие и применимые на практике инсайты по каждому разговору. Самым частым вопросом от руководителей поддержки был тот, который имеет наибольшее значение: «Могу ли я этому доверять?»
Это правильный вопрос.
Команды CS — это эксперты в области клиентского опыта. Они понимают нюансы того, что чувствуют клиенты, контекст за каждым взаимодействием, разницу между технически решённой проблемой и по-настоящему довольным клиентом. До сих пор не существовало метрики, которая могла бы надёжно соответствовать этой экспертизе в масштабе.
Мы создали CX Score, чтобы дать командам поддержки полную картину клиентского опыта по каждому разговору. Он показывает, что работает, что нет и почему — чтобы руководители могли ясно доносить результат и стимулировать изменения в поддержке, продукте и бизнесе в целом.
Пять шагов к созданию метрики, которой можно доверять
Мы относились к доверию как к принципу проектирования с самого первого дня — начав с того, как специалисты поддержки на самом деле оценивают разговоры, проверяя каждое решение на соответствие человеческому суждению и создавая систему, достаточно прозрачную, чтобы её можно было проверить и отстоять.
1. Она основана на том, как команды поддержки определяют качество
Мы начали с того, как опытные специалисты поддержки на самом деле оценивают разговоры — собирая реальные примеры удачных, неоднозначных и неудачных взаимодействий в разных отраслях, выявляя конкретные факторы, формирующие общий опыт, и записывая для каждого правила простым, понятным языком.
Результат: CX Score применяет те же критерии, которые использовал бы обученный специалист поддержки, а не общие предположения LLM.
2. Она согласована с человеческим суждением
Мы создали набор данных из тысяч реальных клиентских разговоров, охватывающих множество отраслей, языков, каналов и типов агентов. Каждый разговор вручную проверялся опытными специалистами поддержки — по возможности двумя проверяющими на разговор, с разрешением разногласий для получения устойчивых консенсусных меток.
Результат: CX Score обучен и протестирован так, чтобы вести себя как эксперт-проверяющий, а не как языковая модель, делающая приблизительные догадки.
3. Она разработана специалистами по ИИ
CX Score — это больше, чем один промпт. Это производственная система со специализированным промпт-инжинирингом, инфраструктурой для масштаба и строгим конвейером оценки. Её создаёт и поддерживает AI Group компании Intercom.
Конфигурация модели системы тонко настроена под язык поддержки и тонкие оттенки настроения, и она была тщательно протестирована на множестве разных LLM-моделей. Она использует специализированный промпт-инжиниринг, чтобы консервативно оценивать отдельные сигналы качества, по умолчанию относя их к нейтральным, когда свидетельства неоднозначны, и подвергает каждую ревизию модели многоэтапному процессу оценки, измеряющему precision, recall и согласованность с человеческим суждением перед выпуском.
Результат: метрика, созданная командой, которая понимает поведение LLM в производственных средах поддержки, где точность и согласованность имеют наибольшее значение.
4. Она проверена статистически и качественно
Доверие требует измерений, а не ощущений.
Мы протестировали CX Score по стандартным ML-метрикам: Precision (когда модель помечает негативный опыт, как часто с этим соглашаются люди?), recall (сколько из выявленных людьми проблем он улавливает?) и F1-мера (баланс между обоими показателями).
Мы установили явную планку: F1 выше 0,8, что отражает высокую согласованность с человеческим суждением. Мы повторно прогоняли эти оценки на каждой ревизии, проверяя на регрессии и смещения. И особое внимание мы уделяли негативному опыту, потому что ложноотрицательный результат скрывает реальную проблему.
Результат: CX Score соответствует измеримому стандарту перед выпуском — не интуитивная проверка, а статистическое требование.
5. Она прошла боевую проверку на реальных клиентах
Лабораторной точности недостаточно. Среды клиентов хаотичны: разнообразные типы обращений, смешанные языки, непредсказуемые крайние случаи.
Перед выпуском мы провели многофазное полевое тестирование — теневую оценку разговоров одновременно старой и новой моделями, проверку разумности поведения для разных типов агентов и длины разговоров, а затем выкатку на контролируемую группу клиентов, которые подтвердили, что оценки ощущаются верными, причины ясны, а инсайты применимы на практике.
Результат: CX Score был выпущен потому, что реальные команды сказали нам, что он имеет смысл на практике, а не потому, что прошёл внутренние тесты.
Главный вывод
Руководители поддержки задали правильный вопрос: «Могу ли я этому доверять?» CX Score спроектирован так, чтобы заслужить это доверие — потому что он создан и проверен как метрика, которую можно изучить и отстоять, а не как вывод модели — «чёрного ящика».
Он основан на том, как команды поддержки определяют качество, согласован с экспертной человеческой проверкой, инженерно выстроен ради согласованности в продакшене, удерживается у чёткой планки оценки и прошёл боевую проверку на реальных клиентах. Если вам когда-либо приходилось обосновывать метрики CS перед руководством, CX Score задуман как единый источник истины, за которым вы можете уверенно стоять.
Хотите увидеть CX Score в своём рабочем пространстве? Начать →
Это второй пост в нашей серии о CX Score. Пропустили первый? Прочитайте, как CX Score эволюционировал, чтобы давать более глубокие и применимые на практике инсайты →