Conservation of Intent: The hidden reason why A/B tests aren’t as effective as they look at andrewchen
Эндрю Чен формулирует «Закон сохранения намерения»: общее количество намерения у пользователей фиксировано, поэтому A/B-тесты с приростом +10% в воронке редко дают +10% к итоговым метрикам. Тактические улучшения (перенос кнопок, заголовки, упрощение форм) увеличивают долю прохождения низко-намеренных пользователей, которые потом отсеиваются на следующих шагах. Из-за этого результаты A/B-тестов нельзя складывать, а к внешним кейсам вендоров стоит относиться скептически — они часто черри-пикают и метрики, и примеры. Чтобы реально повлиять на bottom line, нужно убирать блокеры для высоко-намеренных пользователей (как в Uber — способы оплаты, качество Android-приложения, восстановление пароля) и тестировать ближе к шагу транзакции, где низко-намеренные уже отсеялись. В роадмап стоит закладывать дисконт-фактор, а для роста намерения у новичков использовать активационные механики (триал, приглашение друзей). Автор отсылает к эссе Дариуса Контрактора из growth-команды Dropbox о том, как «раскачивать» пользователей.
Conservation of Intent: The hidden reason why A/B tests aren’t as effective as they look
Сохранение намерения: скрытая причина, по которой A/B-тесты не так эффективны, как кажутся
When a +10% isn’t really a +10%
OK, this is an infuriating startup experience: You ship an experiment that’s +10% in your conversion funnel. Then your revenue/installs/whatever goes up by +10% right?
Когда +10% — это вовсе не +10% Окей, вот раздражающий стартап-опыт: вы выкатываете эксперимент, который даёт +10% в воронке конверсии. И тогда ваша выручка/установки/что угодно тоже вырастают на +10%, верно?
Wrong :(
А вот и нет :(
Turns out usually it goes up a little bit, or maybe not at all.
Оказывается, обычно они немного подрастают, а то и вовсе не двигаются.
Why is that? Let’s call this the “Conservation of Intent” (Inspired by the Law of the Conservation of Momentum 😊)
Почему так? Давайте назовём это «Сохранением намерения» (по аналогии с законом сохранения импульса 😊)
The difference between high- and low-intent users
For all your users coming in, only some of them are high-intent. It’s hard to increase that intent just by making a couple steps easier – that’ll just grow your low-intent users. Doing tactical things like moving buttons above the fold, optimizing headlines, removing form fields – those are great, but the increases won’t directly drop to your bottom line.
Разница между высоко- и низко-намеренными пользователями Среди всех приходящих к вам пользователей только часть из них имеет высокое намерение. Это намерение сложно увеличить, просто упростив пару шагов — так вы лишь нарастите долю низко-намеренных пользователей. Тактические штуки вроде переноса кнопок выше первого экрана, оптимизации заголовков, удаления полей в формах — это всё прекрасно, но прирост напрямую не дойдёт до bottom line.
In other words, the total amount of intent in your system is fixed. Thus the law of the conservation of intent!
Другими словами, общее количество намерения в вашей системе фиксировано. Отсюда и закон сохранения намерения!
This is why you can’t add up your A/B test results
If you’re at a company that A/B tests everything and then announces the great results – that’s wonderful, of course, but just run the thought experiment of summing together all of those A/B tests. And then look at your top-line results. Rarely does it match.
Вот почему нельзя суммировать результаты A/B-тестов Если вы в компании, где A/B-тестируют всё подряд и потом объявляют о замечательных результатах — это, конечно, здорово, но просто проведите мысленный эксперимент: сложите все эти A/B-тесты вместе. А теперь посмотрите на свои top-line метрики. Они редко сходятся.
The most obvious way to see this is to test something high up on a funnel, for example maybe the landing page where a new user hits, or an email that a re-engaged users opens – you can see that a big lift on the top of the funnel flows down unevenly. Each step of friction burns off the low-intent users that are flowing step-by-step.
Наиболее очевидно это видно, если протестировать что-то в самом верху воронки — например, лендинг, куда попадает новый пользователь, или письмо, которое открывает реактивированный пользователь. Видно, что большой прирост наверху воронки стекает вниз неравномерно. Каждый шаг трения отсекает низко-намеренных пользователей, которые двигаются шаг за шагом.
Be skeptical of internal results, but more importantly, external case studies too
If you’re at a big company and another team publishes a test result, make sure you agree on the actual final metric you’re trying to impact – whether that’s revenue, highly engaged users, or something else. Make sure you always review that.
Скептически относитесь к внутренним результатам, но ещё важнее — к внешним кейсам Если вы в большой компании и другая команда публикует результат теста, убедитесь, что вы сходитесь в том, какую финальную метрику вы реально пытаетесь сдвинуть — выручку, высоко-вовлечённых пользователей или что-то ещё. Всегда это перепроверяйте.
Similarly, this is a reason to be skeptical of vendors and 3rd parties who have case studies that’ll increase your revenue by X just because they increase their ad conversion rate (or whatever) by X. In these kinds of misleading case studies – often presented at conferences – not only do vendors have the ability to only cherry pick the best examples that reinforce their case, but also the metric that’s highest impacted! Be skeptical and don’t be fooled.
Аналогично — это повод скептически относиться к вендорам и третьим сторонам с кейсами, обещающими увеличить вашу выручку на X только потому, что они повышают конверсию в рекламе (или что-то ещё) на X. В таких вводящих в заблуждение кейсах — часто представляемых на конференциях — вендоры не только могут черри-пикать лучшие примеры, подкрепляющие их позицию, но и саму метрику с наибольшим эффектом! Будьте скептичны и не дайте себя одурачить.
Unlock increases to the bottom line
First, understand what’s really blocking your high-intent users. Those are the ones who’d like to flow all the way through the funnel, but can’t, for whatever reason. For Uber, that was things like payment methods, app quality (for Android especially!), the forgot password flow, etc. If you can’t pay or can’t get back into your account, then even if you use the app every day, you might switch to a different app that’s less of a pain in the ass.
Как разблокировать прирост к bottom line Во-первых, разберитесь, что на самом деле блокирует ваших высоко-намеренных пользователей. Это те, кто хотел бы пройти всю воронку до конца, но не может — по тем или иным причинам. Для Uber это были такие вещи, как способы оплаты, качество приложения (особенно на Android!), флоу восстановления пароля и так далее. Если вы не можете оплатить или не можете вернуться в аккаунт, то даже если вы пользуетесь приложением каждый день, вы можете переключиться на другое, с которым меньше геморроя.
Also, you can focus your experiments. You obviously get real net incremental increases on conversion the further down the funnel you go. By that point, the low-intent folks have burned off. You’re closer to the bottom line. Look the steps right around your transaction flow – for ecommerce sites that might be the process to review your cart and add your shipping info, or the request invoice flow for SaaS products, etc. Think about high-intent scenarios, for example when you hit a paywall or run out of credits/disk space/resources/etc. All of these can be optimized and it’ll hit the bottom line quickly.
Также вы можете сфокусировать свои эксперименты. Очевидно, реальные чистые инкрементальные приросты конверсии получаются тем выше, чем глубже по воронке вы спускаетесь. К этому моменту низко-намеренные уже отсеялись. Вы ближе к bottom line. Смотрите на шаги прямо вокруг транзакционного флоу — для e-commerce это может быть проверка корзины и ввод данных доставки, для SaaS-продуктов — флоу запроса счёта и так далее. Думайте про сценарии с высоким намерением, например когда пользователь упёрся в paywall или у него закончились кредиты/место на диске/ресурсы и т. д. Всё это можно оптимизировать, и эффект быстро дойдёт до bottom line.
Make sure your roadmap reflects reality
When it comes to your product roadmapping, yes you can definitely brainstorm and ship a bunch of +10% increases, but you need to add a discount factor to your spreadsheets to reflect reality. Can’t just add up all your results.
Убедитесь, что ваш роадмап отражает реальность Когда речь идёт о планировании продукта, да, вы можете брейнштормить и выкатывать кучу улучшений по +10%, но в свои таблицы нужно закладывать дисконт-фактор, чтобы отразить реальность. Просто сложить все результаты не получится.
When you focus on low-intent folks, you’ll have to get creative to build their intent quickly. Things like being able to try out the product, having their friends into the product – these are the “activation” steps that generate intent. Here’s a great place to start – a highly relevant essay on getting users more psych’d, guest written by Darius Contractor from the Dropbox growth team.
Когда вы фокусируетесь на низко-намеренных пользователях, придётся проявлять креативность, чтобы быстро нарастить их намерение. Такие вещи, как возможность попробовать продукт, наличие друзей в продукте — это «активационные» шаги, которые порождают намерение. Вот отличная отправная точка — очень релевантное эссе о том, как сильнее вовлекать пользователей, написанное в качестве гостевого поста Дариусом Контрактором из growth-команды Dropbox.
Conservation of Intent
Many of you have directly experienced the “Conservation of Intent” but now you have a name for it! It’s tricky.
Сохранение намерения Многие из вас напрямую сталкивались с «Сохранением намерения», но теперь у этого есть название! Штука хитрая.
This is really a reflection of how working on product growth is really a combo of psychology and data-driven product. You can’t just look at this stuff in a spreadsheet and assume that a lift in one place automatically cascades into the rest of the model.
По сути это отражение того, что работа над ростом продукта — это микс психологии и data-driven продукта. Нельзя просто смотреть на это в таблице и предполагать, что прирост в одном месте автоматически каскадно прокатится по остальной модели.
[Originally tweetstormed at @andrewchen – follow me for future updates!]
[Изначально опубликовано в виде твит-шторма у @andrewchen — подписывайтесь, чтобы не пропустить будущие обновления!]
I write a high-quality, weekly newsletter covering what's happening in Silicon Valley, focused on startups, marketing, and mobile.
Я пишу качественную еженедельную рассылку о том, что происходит в Кремниевой долине, с фокусом на стартапы, маркетинг и мобильную сферу.
Views expressed in “content” (including posts, podcasts, videos) linked on this website or posted in social media and other platforms (collectively, “content distribution outlets”) are my own and are not the views of AH Capital Management, L.L.C. (“a16z”) or its respective affiliates. AH Capital Management is an investment adviser registered with the Securities and Exchange Commission. Registration as an investment adviser does not imply any special skill or training. The posts are not directed to any investors or potential investors, and do not constitute an offer to sell -- or a solicitation of an offer to buy -- any securities, and may not be used or relied upon in evaluating the merits of any investment.
Взгляды, выраженные в «контенте» (включая посты, подкасты, видео), на который ссылается этот сайт или который размещён в социальных сетях и на других платформах (совместно — «каналы распространения контента»), являются моими личными и не отражают позицию AH Capital Management, L.L.C. («a16z») или её аффилированных лиц. AH Capital Management — инвестиционный консультант, зарегистрированный в Комиссии по ценным бумагам и биржам США. Регистрация в качестве инвестиционного консультанта не подразумевает наличия каких-либо особых навыков или подготовки. Посты не адресованы каким-либо инвесторам или потенциальным инвесторам и не являются предложением о продаже или приглашением сделать предложение о покупке каких-либо ценных бумаг, и не могут использоваться или применяться при оценке достоинств любой инвестиции.
The content should not be construed as or relied upon in any manner as investment, legal, tax, or other advice. You should consult your own advisers as to legal, business, tax, and other related matters concerning any investment. Any projections, estimates, forecasts, targets, prospects and/or opinions expressed in these materials are subject to change without notice and may differ or be contrary to opinions expressed by others. Any charts provided here are for informational purposes only, and should not be relied upon when making any investment decision. Certain information contained in here has been obtained from third-party sources. While taken from sources believed to be reliable, I have not independently verified such information and makes no representations about the enduring accuracy of the information or its appropriateness for a given situation. The content speaks only as of the date indicated.
Контент не должен толковаться или использоваться как инвестиционный, юридический, налоговый или иной совет. Вам следует консультироваться со своими собственными советниками по юридическим, бизнес-, налоговым и иным вопросам, связанным с любой инвестицией. Любые прогнозы, оценки, ожидания, цели, перспективы и/или мнения, выраженные в этих материалах, могут быть изменены без уведомления и могут отличаться от мнений, выраженных другими, или противоречить им. Любые приведённые здесь графики предназначены только для информационных целей и не должны использоваться при принятии каких-либо инвестиционных решений. Часть информации, содержащейся здесь, получена из сторонних источников. Несмотря на то что они считаются надёжными, я не проводил независимой проверки такой информации и не делаю заявлений о её точности на длительный срок или о её пригодности для конкретной ситуации. Контент отражает положение дел только на указанную дату.
Under no circumstances should any posts or other information provided on this website -- or on associated content distribution outlets -- be construed as an offer soliciting the purchase or sale of any security or interest in any pooled investment vehicle sponsored, discussed, or mentioned by a16z personnel. Nor should it be construed as an offer to provide investment advisory services; an offer to invest in an a16z-managed pooled investment vehicle will be made separately and only by means of the confidential offering documents of the specific pooled investment vehicles -- which should be read in their entirety, and only to those who, among other requirements, meet certain qualifications under federal securities laws. Such investors, defined as accredited investors and qualified purchasers, are generally deemed capable of evaluating the merits and risks of prospective investments and financial matters. There can be no assurances that a16z’s investment objectives will be achieved or investment strategies will be successful. Any investment in a vehicle managed by a16z involves a high degree of risk including the risk that the entire amount invested is lost. Any investments or portfolio companies mentioned, referred to, or described are not representative of all investments in vehicles managed by a16z and there can be no assurance that the investments will be profitable or that other investments made in the future will have similar characteristics or results. A list of investments made by funds managed by a16z is available at https://a16z.com/investments/. Excluded from this list are investments for which the issuer has not provided permission for a16z to disclose publicly as well as unannounced investments in publicly traded digital assets. Past results of Andreessen Horowitz’s investments, pooled investment vehicles, or investment strategies are not necessarily indicative of future results. Please see https://a16z.com/disclosures for additional important information.
Ни при каких обстоятельствах любые посты или иная информация, размещённая на этом сайте или в связанных каналах распространения контента, не должны толковаться как предложение о покупке или продаже каких-либо ценных бумаг или долей в каком-либо пуле инвестиций, спонсируемом, обсуждаемом или упомянутом сотрудниками a16z. Также это не должно толковаться как предложение оказывать инвестиционно-консультационные услуги; предложение инвестировать в управляемый a16z пул инвестиций будет сделано отдельно и только посредством конфиденциальных документов о размещении конкретных пулов инвестиций, которые должны быть прочитаны целиком, и только тем, кто, помимо прочих требований, соответствует определённым квалификационным критериям по федеральному законодательству о ценных бумагах. Такие инвесторы, определяемые как аккредитованные инвесторы и квалифицированные покупатели, в целом признаются способными оценить достоинства и риски потенциальных инвестиций и финансовых вопросов. Не может быть никаких гарантий, что инвестиционные цели a16z будут достигнуты, а инвестиционные стратегии окажутся успешными. Любая инвестиция в пул, управляемый a16z, сопряжена с высокой степенью риска, включая риск полной потери вложенных средств. Любые упомянутые, на которые ссылаются или которые описаны инвестиции или портфельные компании не являются представительными для всех инвестиций в пулы, управляемые a16z, и не может быть никаких гарантий, что инвестиции окажутся прибыльными или что будущие инвестиции будут иметь похожие характеристики или результаты. Список инвестиций, сделанных фондами под управлением a16z, доступен по адресу https://a16z.com/investments/. Из этого списка исключены инвестиции, разрешения на публичное раскрытие которых эмитент не предоставил a16z, а также необъявленные инвестиции в публично торгуемые цифровые активы. Прошлые результаты инвестиций Andreessen Horowitz, пулов инвестиций или инвестиционных стратегий не обязательно являются индикатором будущих результатов. См. https://a16z.com/disclosures для дополнительной важной информации.
About
Об авторе
Andrew Chen is a partner at Andreessen Horowitz, where he invests in games, AR/VR, metaverse, and consumer tech startups. He is the author of The Cold Start Problem, a book on starting and growing new startups via network effects. He resides in Venice, California (more)
Andrew Chen — партнёр в Andreessen Horowitz, где он инвестирует в игры, AR/VR, метавселенную и потребительские tech-стартапы. Он автор книги The Cold Start Problem — о запуске и росте новых стартапов через сетевые эффекты. Живёт в Венис, Калифорния (подробнее)