CX Score: How we built a metric support leaders can defend

“We treated trust as a design principle from day one”

«Мы относились к доверию как к принципу проектирования с самого первого дня»

We recently shared how we redesigned CX Score to deliver deeper, more actionable insights across every conversation. The most common follow-up from support leaders was the one that matters most: “Can I trust it?”

Недавно мы рассказали, как переработали CX Score, чтобы давать более глубокие и применимые на практике инсайты по каждому разговору. Самым частым вопросом от руководителей поддержки был тот, который имеет наибольшее значение: «Могу ли я этому доверять?»

It’s the right question.

Это правильный вопрос.

CS teams are the subject matter experts on customer experience. They understand the nuance of what customers feel, the context behind every interaction, the difference between a technically resolved issue and a genuinely satisfied customer. Until now, there hasn’t been a metric that could reliably match that expertise at scale.

Команды CS — это эксперты в области клиентского опыта. Они понимают нюансы того, что чувствуют клиенты, контекст за каждым взаимодействием, разницу между технически решённой проблемой и по-настоящему довольным клиентом. До сих пор не существовало метрики, которая могла бы надёжно соответствовать этой экспертизе в масштабе.

We built CX Score to give support teams a complete view of the customer experience across every conversation. It surfaces what’s working, what’s not, and why—so leaders can communicate impact clearly and drive change across support, product, and the wider business.

Мы создали CX Score, чтобы дать командам поддержки полную картину клиентского опыта по каждому разговору. Он показывает, что работает, что нет и почему — чтобы руководители могли ясно доносить результат и стимулировать изменения в поддержке, продукте и бизнесе в целом.

Five steps to building a trustworthy metric

Пять шагов к созданию метрики, которой можно доверять

We treated trust as a design principle from day one—starting with how support professionals actually evaluate conversations, validating every decision against human judgment, and creating a system transparent enough to inspect and defend.

Мы относились к доверию как к принципу проектирования с самого первого дня — начав с того, как специалисты поддержки на самом деле оценивают разговоры, проверяя каждое решение на соответствие человеческому суждению и создавая систему, достаточно прозрачную, чтобы её можно было проверить и отстоять.

1. It’s grounded in how support teams define quality

1. Она основана на том, как команды поддержки определяют качество

We started with how experienced support professionals actually evaluate conversations—collecting real examples of strong, mixed, and poor interactions across industries, identifying the specific factors that shape overall experience, and writing plain-English rules for each.

Мы начали с того, как опытные специалисты поддержки на самом деле оценивают разговоры — собирая реальные примеры удачных, неоднозначных и неудачных взаимодействий в разных отраслях, выявляя конкретные факторы, формирующие общий опыт, и записывая для каждого правила простым, понятным языком.

The result: CX Score applies the same criteria a trained support professional would use, not generic LLM assumptions.

Результат: CX Score применяет те же критерии, которые использовал бы обученный специалист поддержки, а не общие предположения LLM.

2. It’s aligned with human judgment

2. Она согласована с человеческим суждением

We created a dataset of thousands of real customer conversations spanning multiple industries, languages, channels, and agent types. Each was manually reviewed by experienced support professionals—with two reviewers per conversation where possible and disagreement resolution to create stable consensus labels.

Мы создали набор данных из тысяч реальных клиентских разговоров, охватывающих множество отраслей, языков, каналов и типов агентов. Каждый разговор вручную проверялся опытными специалистами поддержки — по возможности двумя проверяющими на разговор, с разрешением разногласий для получения устойчивых консенсусных меток.

The result: CX Score is trained and tested to behave like an expert reviewer, not a language model making broad guesses.

Результат: CX Score обучен и протестирован так, чтобы вести себя как эксперт-проверяющий, а не как языковая модель, делающая приблизительные догадки.

3. It’s engineered by AI specialists

3. Она разработана специалистами по ИИ

CX Score is more than a single prompt. It’s a production system with specialized prompt engineering, infrastructure for scale, and a rigorous evaluation pipeline. It’s built and maintained by Intercom’s AI Group.

CX Score — это больше, чем один промпт. Это производственная система со специализированным промпт-инжинирингом, инфраструктурой для масштаба и строгим конвейером оценки. Её создаёт и поддерживает AI Group компании Intercom.

The systems model configuration is fine-tuned for support language and subtle sentiment, and it was rigorously tested across many different LLM models. It uses specialized prompt engineering to conservatively evaluate individual quality signals, defaulting them to neutral when evidence is ambiguous, and subjects every model revision to a multi-stage evaluation process that measures precision, recall, and agreement with human judgment before release. 

Конфигурация модели системы тонко настроена под язык поддержки и тонкие оттенки настроения, и она была тщательно протестирована на множестве разных LLM-моделей. Она использует специализированный промпт-инжиниринг, чтобы консервативно оценивать отдельные сигналы качества, по умолчанию относя их к нейтральным, когда свидетельства неоднозначны, и подвергает каждую ревизию модели многоэтапному процессу оценки, измеряющему precision, recall и согласованность с человеческим суждением перед выпуском.

The result: A metric built by a team that understands LLM behavior in production support environments, where accuracy and consistency matter most.

Результат: метрика, созданная командой, которая понимает поведение LLM в производственных средах поддержки, где точность и согласованность имеют наибольшее значение.

4. It’s validated statistically and qualitatively

4. Она проверена статистически и качественно

Trust requires measurement, not vibes.

Доверие требует измерений, а не ощущений.

We tested CX Score across standard ML metrics: Precision (when the model flags a negative experience, how often do humans agree?), recall (how many human-identified issues does it catch?), and F1 score (the balance between both).

Мы протестировали CX Score по стандартным ML-метрикам: Precision (когда модель помечает негативный опыт, как часто с этим соглашаются люди?), recall (сколько из выявленных людьми проблем он улавливает?) и F1-мера (баланс между обоими показателями).

We set an explicit bar: F1 above 0.8, representing high agreement with human judgment. We reran these evaluations through every revision, checking for regressions or biases. And we focused especially on negative experiences, because a false negative hides a real problem.

Мы установили явную планку: F1 выше 0,8, что отражает высокую согласованность с человеческим суждением. Мы повторно прогоняли эти оценки на каждой ревизии, проверяя на регрессии и смещения. И особое внимание мы уделяли негативному опыту, потому что ложноотрицательный результат скрывает реальную проблему.

The result: CX Score meets a measurable standard before it ships—not a gut check, a statistical requirement.

Результат: CX Score соответствует измеримому стандарту перед выпуском — не интуитивная проверка, а статистическое требование.

5. It was battle-tested with real customers

5. Она прошла боевую проверку на реальных клиентах

Lab accuracy isn’t enough. Customer environments are messy: Varied ticket types, mixed languages, unpredictable edge cases.

Лабораторной точности недостаточно. Среды клиентов хаотичны: разнообразные типы обращений, смешанные языки, непредсказуемые крайние случаи.

Before release, we ran a multi-phase field test—shadow-scoring conversations with both old and new models, validating sensible behavior across agent type and conversation length, then rolling out to a controlled customer group who confirmed the scores felt right, reasons were clear, and insights were actionable.

Перед выпуском мы провели многофазное полевое тестирование — теневую оценку разговоров одновременно старой и новой моделями, проверку разумности поведения для разных типов агентов и длины разговоров, а затем выкатку на контролируемую группу клиентов, которые подтвердили, что оценки ощущаются верными, причины ясны, а инсайты применимы на практике.

The result: CX Score shipped because real teams told us it made sense in practice, not because it passed internal tests.

Результат: CX Score был выпущен потому, что реальные команды сказали нам, что он имеет смысл на практике, а не потому, что прошёл внутренние тесты.

The takeaway

Главный вывод

Support leaders asked the right question: “Can I trust it?” CX Score is designed to earn that trust — because it was built and validated as a metric you can inspect and defend, not a black-box model output.

Руководители поддержки задали правильный вопрос: «Могу ли я этому доверять?» CX Score спроектирован так, чтобы заслужить это доверие — потому что он создан и проверен как метрика, которую можно изучить и отстоять, а не как вывод модели — «чёрного ящика».

It’s grounded in how support teams define quality, aligned to expert human review, engineered for consistency in production, held to a clear evaluation bar, and battle-tested with real customers. If you’ve ever had to justify CS metrics to your exec team, CX Score is designed to be the single source of truth you can stand behind.

Он основан на том, как команды поддержки определяют качество, согласован с экспертной человеческой проверкой, инженерно выстроен ради согласованности в продакшене, удерживается у чёткой планки оценки и прошёл боевую проверку на реальных клиентах. Если вам когда-либо приходилось обосновывать метрики CS перед руководством, CX Score задуман как единый источник истины, за которым вы можете уверенно стоять.

Want to see CX Score in your workspace? Get started →

Хотите увидеть CX Score в своём рабочем пространстве? Начать →

This is the second post in our CX Score series. Missed the first one? Read how CX Score evolved to provide deeper, more actionable insights →

Это второй пост в нашей серии о CX Score. Пропустили первый? Прочитайте, как CX Score эволюционировал, чтобы давать более глубокие и применимые на практике инсайты →