Conservation of Intent: The hidden reason why A/B tests aren’t as effective as they look at andrewchen
Эндрю Чен формулирует «Закон сохранения намерения»: общее количество намерения у пользователей фиксировано, поэтому A/B-тесты с приростом +10% в воронке редко дают +10% к итоговым метрикам. Тактические улучшения (перенос кнопок, заголовки, упрощение форм) увеличивают долю прохождения низко-намеренных пользователей, которые потом отсеиваются на следующих шагах. Из-за этого результаты A/B-тестов нельзя складывать, а к внешним кейсам вендоров стоит относиться скептически — они часто черри-пикают и метрики, и примеры. Чтобы реально повлиять на bottom line, нужно убирать блокеры для высоко-намеренных пользователей (как в Uber — способы оплаты, качество Android-приложения, восстановление пароля) и тестировать ближе к шагу транзакции, где низко-намеренные уже отсеялись. В роадмап стоит закладывать дисконт-фактор, а для роста намерения у новичков использовать активационные механики (триал, приглашение друзей). Автор отсылает к эссе Дариуса Контрактора из growth-команды Dropbox о том, как «раскачивать» пользователей.
Когда +10% — это вовсе не +10% Окей, вот раздражающий стартап-опыт: вы выкатываете эксперимент, который даёт +10% в воронке конверсии. И тогда ваша выручка/установки/что угодно тоже вырастают на +10%, верно?
А вот и нет :(
Оказывается, обычно они немного подрастают, а то и вовсе не двигаются.
Почему так? Давайте назовём это «Сохранением намерения» (по аналогии с законом сохранения импульса 😊)
Разница между высоко- и низко-намеренными пользователями Среди всех приходящих к вам пользователей только часть из них имеет высокое намерение. Это намерение сложно увеличить, просто упростив пару шагов — так вы лишь нарастите долю низко-намеренных пользователей. Тактические штуки вроде переноса кнопок выше первого экрана, оптимизации заголовков, удаления полей в формах — это всё прекрасно, но прирост напрямую не дойдёт до bottom line.
Другими словами, общее количество намерения в вашей системе фиксировано. Отсюда и закон сохранения намерения!
Вот почему нельзя суммировать результаты A/B-тестов Если вы в компании, где A/B-тестируют всё подряд и потом объявляют о замечательных результатах — это, конечно, здорово, но просто проведите мысленный эксперимент: сложите все эти A/B-тесты вместе. А теперь посмотрите на свои top-line метрики. Они редко сходятся.
Наиболее очевидно это видно, если протестировать что-то в самом верху воронки — например, лендинг, куда попадает новый пользователь, или письмо, которое открывает реактивированный пользователь. Видно, что большой прирост наверху воронки стекает вниз неравномерно. Каждый шаг трения отсекает низко-намеренных пользователей, которые двигаются шаг за шагом.
Скептически относитесь к внутренним результатам, но ещё важнее — к внешним кейсам Если вы в большой компании и другая команда публикует результат теста, убедитесь, что вы сходитесь в том, какую финальную метрику вы реально пытаетесь сдвинуть — выручку, высоко-вовлечённых пользователей или что-то ещё. Всегда это перепроверяйте.
Аналогично — это повод скептически относиться к вендорам и третьим сторонам с кейсами, обещающими увеличить вашу выручку на X только потому, что они повышают конверсию в рекламе (или что-то ещё) на X. В таких вводящих в заблуждение кейсах — часто представляемых на конференциях — вендоры не только могут черри-пикать лучшие примеры, подкрепляющие их позицию, но и саму метрику с наибольшим эффектом! Будьте скептичны и не дайте себя одурачить.
Как разблокировать прирост к bottom line Во-первых, разберитесь, что на самом деле блокирует ваших высоко-намеренных пользователей. Это те, кто хотел бы пройти всю воронку до конца, но не может — по тем или иным причинам. Для Uber это были такие вещи, как способы оплаты, качество приложения (особенно на Android!), флоу восстановления пароля и так далее. Если вы не можете оплатить или не можете вернуться в аккаунт, то даже если вы пользуетесь приложением каждый день, вы можете переключиться на другое, с которым меньше геморроя.
Также вы можете сфокусировать свои эксперименты. Очевидно, реальные чистые инкрементальные приросты конверсии получаются тем выше, чем глубже по воронке вы спускаетесь. К этому моменту низко-намеренные уже отсеялись. Вы ближе к bottom line. Смотрите на шаги прямо вокруг транзакционного флоу — для e-commerce это может быть проверка корзины и ввод данных доставки, для SaaS-продуктов — флоу запроса счёта и так далее. Думайте про сценарии с высоким намерением, например когда пользователь упёрся в paywall или у него закончились кредиты/место на диске/ресурсы и т. д. Всё это можно оптимизировать, и эффект быстро дойдёт до bottom line.
Убедитесь, что ваш роадмап отражает реальность Когда речь идёт о планировании продукта, да, вы можете брейнштормить и выкатывать кучу улучшений по +10%, но в свои таблицы нужно закладывать дисконт-фактор, чтобы отразить реальность. Просто сложить все результаты не получится.
Когда вы фокусируетесь на низко-намеренных пользователях, придётся проявлять креативность, чтобы быстро нарастить их намерение. Такие вещи, как возможность попробовать продукт, наличие друзей в продукте — это «активационные» шаги, которые порождают намерение. Вот отличная отправная точка — очень релевантное эссе о том, как сильнее вовлекать пользователей, написанное в качестве гостевого поста Дариусом Контрактором из growth-команды Dropbox.
Сохранение намерения Многие из вас напрямую сталкивались с «Сохранением намерения», но теперь у этого есть название! Штука хитрая.
По сути это отражение того, что работа над ростом продукта — это микс психологии и data-driven продукта. Нельзя просто смотреть на это в таблице и предполагать, что прирост в одном месте автоматически каскадно прокатится по остальной модели.
[Изначально опубликовано в виде твит-шторма у @andrewchen — подписывайтесь, чтобы не пропустить будущие обновления!]
Я пишу качественную еженедельную рассылку о том, что происходит в Кремниевой долине, с фокусом на стартапы, маркетинг и мобильную сферу.
Взгляды, выраженные в «контенте» (включая посты, подкасты, видео), на который ссылается этот сайт или который размещён в социальных сетях и на других платформах (совместно — «каналы распространения контента»), являются моими личными и не отражают позицию AH Capital Management, L.L.C. («a16z») или её аффилированных лиц. AH Capital Management — инвестиционный консультант, зарегистрированный в Комиссии по ценным бумагам и биржам США. Регистрация в качестве инвестиционного консультанта не подразумевает наличия каких-либо особых навыков или подготовки. Посты не адресованы каким-либо инвесторам или потенциальным инвесторам и не являются предложением о продаже или приглашением сделать предложение о покупке каких-либо ценных бумаг, и не могут использоваться или применяться при оценке достоинств любой инвестиции.
Контент не должен толковаться или использоваться как инвестиционный, юридический, налоговый или иной совет. Вам следует консультироваться со своими собственными советниками по юридическим, бизнес-, налоговым и иным вопросам, связанным с любой инвестицией. Любые прогнозы, оценки, ожидания, цели, перспективы и/или мнения, выраженные в этих материалах, могут быть изменены без уведомления и могут отличаться от мнений, выраженных другими, или противоречить им. Любые приведённые здесь графики предназначены только для информационных целей и не должны использоваться при принятии каких-либо инвестиционных решений. Часть информации, содержащейся здесь, получена из сторонних источников. Несмотря на то что они считаются надёжными, я не проводил независимой проверки такой информации и не делаю заявлений о её точности на длительный срок или о её пригодности для конкретной ситуации. Контент отражает положение дел только на указанную дату.
Ни при каких обстоятельствах любые посты или иная информация, размещённая на этом сайте или в связанных каналах распространения контента, не должны толковаться как предложение о покупке или продаже каких-либо ценных бумаг или долей в каком-либо пуле инвестиций, спонсируемом, обсуждаемом или упомянутом сотрудниками a16z. Также это не должно толковаться как предложение оказывать инвестиционно-консультационные услуги; предложение инвестировать в управляемый a16z пул инвестиций будет сделано отдельно и только посредством конфиденциальных документов о размещении конкретных пулов инвестиций, которые должны быть прочитаны целиком, и только тем, кто, помимо прочих требований, соответствует определённым квалификационным критериям по федеральному законодательству о ценных бумагах. Такие инвесторы, определяемые как аккредитованные инвесторы и квалифицированные покупатели, в целом признаются способными оценить достоинства и риски потенциальных инвестиций и финансовых вопросов. Не может быть никаких гарантий, что инвестиционные цели a16z будут достигнуты, а инвестиционные стратегии окажутся успешными. Любая инвестиция в пул, управляемый a16z, сопряжена с высокой степенью риска, включая риск полной потери вложенных средств. Любые упомянутые, на которые ссылаются или которые описаны инвестиции или портфельные компании не являются представительными для всех инвестиций в пулы, управляемые a16z, и не может быть никаких гарантий, что инвестиции окажутся прибыльными или что будущие инвестиции будут иметь похожие характеристики или результаты. Список инвестиций, сделанных фондами под управлением a16z, доступен по адресу https://a16z.com/investments/. Из этого списка исключены инвестиции, разрешения на публичное раскрытие которых эмитент не предоставил a16z, а также необъявленные инвестиции в публично торгуемые цифровые активы. Прошлые результаты инвестиций Andreessen Horowitz, пулов инвестиций или инвестиционных стратегий не обязательно являются индикатором будущих результатов. См. https://a16z.com/disclosures для дополнительной важной информации.
Об авторе
Andrew Chen — партнёр в Andreessen Horowitz, где он инвестирует в игры, AR/VR, метавселенную и потребительские tech-стартапы. Он автор книги The Cold Start Problem — о запуске и росте новых стартапов через сетевые эффекты. Живёт в Венис, Калифорния (подробнее)