Quit Guessing: Your Guide to Running Better Experiments

Quit Guessing: Your Guide to Running Better Experiments

Хватит гадать: ваше руководство по проведению лучших экспериментов

What if a cold email campaign getting a 6% reply rate is actually worse than a campaign getting a 4% reply rate? Here’s two cold email campaigns:

Что, если кампания cold email с 6% откликов на самом деле хуже, чем кампания с 4%? Вот две кампании cold email:

Campaign 1 is “good”. Initial reply rates were 6%.

Кампания 1 — «хорошая». Начальный процент откликов был 6%.

Campaign 2 is “great”. But, initial reply rates were only 4%.

Кампания 2 — «отличная». Но начальный процент откликов был всего 4%.

If the “good” campaign worked better, how can the other campaign be great?

In this blog, we’re going to cover:
‍
- The right mindset for running experiments

- Rules for an effective test

- Things you can test in your next campaign

- Building a "testing" culture

Если «хорошая» кампания сработала лучше, как другая может быть отличной? В этой статье мы рассмотрим:‍- Правильный настрой для проведения экспериментов- Правила эффективного теста- Что можно протестировать в следующей кампании- Построение культуры тестирования

Now, let’s dig deeper on this hypothetical.

The “good” campaign ran a single variant of messaging to the same persona. It got a 6% reply rate. Pretty solid to get 6 replies per every 100 people contacted.

But, the “great” campaign ran multiple variants of messaging to the same persona. So while the overall reply rates were 4%:

Segment A of testing saw a 1.5% reply rate

А теперь давайте копнём глубже в эту гипотетическую ситуацию. «Хорошая» кампания запускала один вариант сообщения на одну и ту же персону. Она получила 6% откликов. Довольно неплохо — 6 ответов на каждые 100 контактов. Но «отличная» кампания запускала несколько вариантов сообщений на одну и ту же персону. И хотя общий процент откликов составлял 4%: Сегмент A в тестировании показал 1,5% откликов

Segment B saw a 3.5% reply rate

Сегмент B показал 3,5% откликов

Segment C saw a 7% reply rate

Сегмент C показал 7% откликов

From those first two segments? You learned what to avoid.

Из первых двух сегментов? Вы узнали, чего избегать.

From the 3rd you learned something new to iterate on.

Or.. maybe you take a new approach to Segment B.

Из третьего вы узнали что-то новое, на чём можно итерировать. Или... возможно, вы попробуете новый подход для Сегмента B.

The problem is that most teams lack a foundation for running experiments, so they might get a 6% reply rate. But, when results start to fade, they’re back to guess work to crack the next high performing campaign.

Проблема в том, что у большинства команд нет фундамента для проведения экспериментов, поэтому они могут получить 6% откликов. Но когда результаты начинают угасать, они снова возвращаются к гаданию, пытаясь найти следующую высокоэффективную кампанию.

The “Mindset” for running effective tests

«Настрой» для проведения эффективных тестов

Here's the simple things that should guide your next test:

Вот простые принципы, которые должны направлять ваш следующий тест:

1. You should always be looking to learn something.

1. Вы всегда должны стремиться чему-то научиться.

2. You should always know (directionally) your next experiment based on the results

2. Вы всегда должны знать (хотя бы примерно), каким будет ваш следующий эксперимент на основе результатов

That "good" campaign is only as good as the folks that respond to "that" blast. But, all you know is the other 94% didn't respond to it. There’s nothing to compare your campaign against.

Eventually? Results will fall off and you’ll be back to guessing and hoping you can get lucky again.

Эта «хорошая» кампания хороша ровно настолько, насколько хороши те, кто откликнулся на «эту» рассылку. Но всё, что вы знаете, — это то, что остальные 94% не ответили. Не с чем сравнить вашу кампанию. В итоге? Результаты упадут, и вы снова будете гадать и надеяться, что вам опять повезёт.

If you follow this mindset, you’re better off than 99.99% of sales teams. But, let’s break down some more rules.

Если вы следуете этому настрою, вы уже впереди 99,99% sales-команд. Но давайте разберём ещё несколько правил.

More Rules for Running a Great Experiment

Больше правил для проведения отличного эксперимента

Rule 1: Only test one thing at a time

Правило 1: Тестируйте только одну вещь за раз

A good heuristic:

Хорошая эвристика:

You can change the words, but only change one idea.

A truly effective test is one where you’re only testing a single element. Going back to middle school science, an effective test requires a hypothesis, a variable you’re testing, and a control. If you are testing multiple variables you lose control of understanding which variable created the change in results.

Можно менять слова, но менять только одну идею. По-настоящему эффективный тест — это тот, в котором вы тестируете один элемент. Возвращаясь к школьной науке: эффективный тест требует гипотезы, тестируемой переменной и контроля. Если вы тестируете несколько переменных, вы теряете контроль над пониманием того, какая переменная вызвала изменение результатов.

This rule can be flexible. Don’t let rigid thinking leaving you feeling like you can only change one word at a time.

Это правило можно применять гибко. Не позволяйте жёсткому мышлению создавать ощущение, что вы можете менять только одно слово за раз.

Ex. I can test two value propositions. The wording might be “different”, but I know what I’m testing in the message.

This can expand to changing an entire paragraph or even the flow of information.

Например: я могу тестировать два value proposition. Формулировки могут «отличаться», но я знаю, что именно тестирую в сообщении. Это может расширяться до изменения целого абзаца или даже потока информации.

Rule 2: Get enough data to have a conclusive result

Правило 2: Соберите достаточно данных для убедительного результата

I’m going to go out on a limb and guess that you didn’t get into sales to test your math skills. But, it’s really easy to look at a small data set and think you have the answer.

At Lavender, we don’t start shaping recommendations in our email coach until we’ve seen 100 replies with a variable.

Рискну предположить, что вы пришли в продажи не для того, чтобы проверять свои математические навыки. Но очень легко посмотреть на небольшой набор данных и подумать, что у вас есть ответ. В Lavender мы не начинаем формировать рекомендации в нашем email-коуче, пока не увидим 100 откликов с переменной.

You don’t have to follow this much rigidity, But, don’t send 100 emails and think the results are conclusive. The results are directional - and that’s okay if you’re going to continue experimenting.

Вам не обязательно следовать такой строгости. Но не отправляйте 100 писем и не считайте результаты окончательными. Результаты — направляющие, и это нормально, если вы продолжаете экспериментировать.

Don’t get discouraged by bad results

Не расстраивайтесь из-за плохих результатов

Most teams will look at a bad outcome and think “failure”. You didn’t waste time. You learned what to avoid going forward.

Every test is a step closer to finding the optimal.

Большинство команд смотрят на плохой результат и думают «провал». Вы не зря потратили время. Вы узнали, чего избегать в будущем. Каждый тест — это шаг ближе к нахождению оптимального решения.

Things you can test in your next campaign

Что можно протестировать в следующей кампании

Targeting

Таргетинг

You can test the same pain point and framework to different persona to understand who feels the pain more.

Можно протестировать одну и ту же боль и фреймворк на разные персоны, чтобы понять, кто ощущает боль сильнее.

Personalization

Персонализация

You can test different personalization elements to understand which situations for the prospect are more likely to tell you it’s a good time to reach out.

Try different triggers:

Можно тестировать разные элементы персонализации, чтобы понять, какие ситуации у потенциального клиента с большей вероятностью сигнализируют, что сейчас удачное время для контакта. Попробуйте разные триггеры:

Финансирование, найм, технологические изменения, недавний контент, цитаты руководителей, поведение конкурентов

Value Proposition

Value Proposition

You can test different ways to position the problems faced and different ways that you provide value against those problems.

Можно тестировать разные способы позиционирования проблем, с которыми сталкивается клиент, и разные способы предоставления ценности в ответ на эти проблемы.

Test:

Тестируйте:

Value prop, ориентированное на проблему; value prop, основанное на доказательствах; value prop, основанное на любопытстве; value prop, основанное на инсайте

Call to Action

Call to Action

You can test different asks in your email. You can test the number of asks you make. Testing things like an “offer” (something in return for responding) can be a great way to see if there’s a lower friction opportunity to start a conversation.

Test:

Можно тестировать разные просьбы в письме. Можно тестировать количество просьб. Тестирование таких вещей, как «оффер» (что-то взамен за ответ), может быть отличным способом проверить, есть ли более низкобарьерная возможность начать разговор. Тестируйте:

Вопрос, мягкая просьба, микро-просьба, оффер («Я пришлю результаты, как только исследование будет завершено…»), CTA, основанный на одолжении

Framework

Фреймворк

You can try different ways of framing the information. There’s countless ways to say the same thing. Maybe you start with the ask. Maybe you finish with your personalization. Maybe you slide the problem statement to the front, follow it up with the personalization that made you think it was a problem and finish with an offer.

Try versions like:

Можно пробовать разные способы подачи информации. Существует бесчисленное множество способов сказать одно и то же. Может быть, вы начнёте с просьбы. Может быть, закончите персонализацией. Может быть, выдвинете формулировку проблемы вперёд, дополните её персонализацией, которая навела вас на мысль, что это проблема, и закончите оффером. Попробуйте варианты вроде:

Персонализация → Проблема → POV → CTA; Проблема → Персонализация → Инсайт → CTA; Слом шаблона → POV → CTA; CTA → Проблема → Доказательство → CTA

You can get some inspiration here.

Можно найти вдохновение здесь.

Other Surrounding Steps

Другие сопутствующие шаги

A campaign shouldn’t just be one email. Maybe you experiment with sending a few more emails. Maybe you space out the emails at a different time interval. Maybe you try a totally different type of follow up email. Maybe you try to stack some other channel interactions around your emails.

The only thing to be careful with here? If you’re testing surrounding steps alongside an experiment, you might taint your learnings. It’s not to say you shouldn’t do this. But, as long as your aware, the results can guide your next experiment.

Кампания не должна быть просто одним письмом. Может быть, вы поэкспериментируете с отправкой ещё нескольких писем. Может быть, разнесёте письма по другому временному интервалу. Может быть, попробуете совершенно другой тип follow-up письма. Может быть, попытаетесь добавить взаимодействия через другие каналы вокруг ваших писем. С чем здесь нужно быть осторожным? Если вы тестируете сопутствующие шаги одновременно с экспериментом, вы можете исказить свои выводы. Это не значит, что так делать нельзя. Но если вы это осознаёте, результаты могут направлять ваш следующий эксперимент.

Building a culture of testing

Построение культуры тестирования

Having worked with thousands of sales organizations, I know that testing and experimentation are not the norm.

At an org-level important to establish a “quarterback” behind these experiments who knows what tests are running, what learnings are being created and what next steps will be. Ensure they keep a running document of what’s working.

Работая с тысячами sales-организаций, я знаю, что тестирование и экспериментирование — это не норма. На уровне организации важно назначить «квотербека» за этими экспериментами, который знает, какие тесты запущены, какие выводы создаются и какими будут следующие шаги. Убедитесь, что они ведут актуальный документ о том, что работает.

Individuals adopting testing can be a great start. It can also be a great way to bring about organizational change.The only risk organizationally is if this becomes widespread, you can find your team inefficiently testing things that have already been proven to fail.

Внедрение тестирования отдельными людьми может быть отличным началом. Это также может стать отличным способом запустить организационные изменения. Единственный риск на организационном уровне — если это распространится широко, ваша команда может неэффективно тестировать вещи, которые уже доказанно не работают.

If you’re in disagreement with your team about the way it’s “always been done” don’t put yourself in a position to be fired. Instead, run an experiment alongside your current work.

Build the case for change with results.

Если вы не согласны с командой в вопросе того, «как всегда делалось», не ставьте себя в положение, когда вас могут уволить. Вместо этого проведите эксперимент параллельно с вашей текущей работой. Стройте аргумент для изменений на результатах.

Don’t be an organization that doesn’t test

Не будьте организацией, которая не тестирует

Most teams are doing cold email like this:

Большинство команд занимаются cold email так:

Guess → Blast → Hope → Guess Again

Угадать → Рассылка → Надеяться → Угадать снова

That’s not a process.
That’s not scalable.
And it’s definitely not repeatable.

Это не процесс. Это не масштабируемо. И это точно не повторяемо.

Great teams do this instead:

Отличные команды делают вот так:

Hypothesis → Test → Learn → Improve → Compound → Win

Гипотеза → Тест → Обучение → Улучшение → Накопление → Победа

Iteration beats brilliance. Every time.

Итерация побеждает гениальность. Каждый раз.

If you follow this process, you won’t just run better campaigns — you’ll build a system that improves every single week.

Если вы следуете этому процессу, вы не просто будете запускать лучшие кампании — вы построите систему, которая улучшается каждую неделю.

And that’s how you separate yourself from the countless teams guessing their way through outbound.

И именно так вы отличите себя от бесчисленных команд, гадающих свой путь через outbound.

And yes, if you want structured testing without triple the effort, Ora can generate controlled variants and track results automatically.

И да, если вы хотите структурированное тестирование без тройных усилий, Ora может генерировать контролируемые варианты и автоматически отслеживать результаты.

About the Author

Об авторе