The red flags and magic numbers that investors look for in your startup’s metrics – 80 slide deck included! at andrewchen
Эндрю Чен, ставший General Partner в Andreessen Horowitz, делится 80-слайдовой презентацией со своего интервью в фонд — о том, как применять навыки роста для оценки стартапов. Он критикует поверхностное чтение кривых «вверх и вправо» и предлагает Growth Accounting Framework: разложение чистых MAU на New, Reactivated и Inactive, где приобретение и реактивация — линейные или S-кривые, а отток догоняет и неизбежно сглаживает рост. Главный инструмент анализа — петли (loops): Acquisition Loops (UGC SEO как Yelp/Houzz, платный маркетинг, виральные циклы с коэффициентом вроде 0.6 → +1500 регистраций на базе 1000) и Engagement Loops (соцобратная связь, «посаженные семена» вроде Zillow/Credit Karma). Чен показывает примеры улучшений — рост рейтинга Uber в App Store с 1.7 до 4.7 звёзд, оптимизация верификации телефона, замена «Pin it» на «Save» в Pinterest — и red flags: всплески платного трафика перед раундом, зависимость от платформы (кейс Branchout, рухнувшего с 14M DAU за 4 месяца), низкокачественные каналы. Итог: прогноз делается не по одной цифре, а через качество приобретения и удержания, с учётом TAM, кривых когорт (D365/D730), ARPU и «лестницы вовлечения» по частоте использования.
Рост стартапов и их оценка требуют одних и тех же навыков. В начале этого года я присоединился к Andreessen Horowitz в качестве General Partner, где занимаюсь широким спектром потребительских стартапов: маркетплейсами, развлекательными/медиа- и социальными платформами. Это был большой момент для меня и результат долгих отношений, начавшихся десятилетие назад, когда Horowitz Andreessen Angel Fund инвестировал в стартап (ныне закрытый), который я тогда сооснователь. Одна из причин, почему меня воодушевила роль профессионального инвестора, — возможность применять свои навыки оператора. Те же навыки, что нужны для развития новых продуктов, могут использоваться и для оценки новых стартапов для инвестиций, и — после инвестиции — для помощи им в росте.
Причина в том, что шаги по запуску и масштабированию нового стартапа разделяют многие навыки с инвестированием в новый стартап: 1) Сначала мы стремимся понять текущее состояние роста клиентов — включая growth loops, качество привлечения, вовлечённость, отток и монетизацию. 2) Затем — выявить потенциальный апсайд, опираясь как на инсайты внутри компании, так и на бенчмарки по индустрии. 3) И наконец — расставить приоритеты и принять решения, влияющие на будущее. Конечно, как инвестор вы не можете запускать A/B-тесты или напрямую анализировать результаты, но можете формировать гипотезы, генерировать идеи и применять тот же тип мышления.
В рамках процесса собеседования в a16z я в итоге собрал 80-слайдовую презентацию о том, как применять идеи роста для оценки стартапов. В духе того, что этот взгляд может помочь и другим в экосистеме, и чтобы поделиться своим мышлением, я с радостью публикую эту презентацию ниже.
Дисклеймер: это была всего одна презентация в рамках 10-летних отношений. Но прежде чем поделиться полностью, оговорюсь. Это одна презентация, которую я сделал в рамках серии из десятков встреч и взаимодействий с командой Andreessen Horowitz. Это был лишь один ингредиент. Друзья и знакомые часто спрашивают меня о лучшем пути в венчурный капитал. По моему опыту, это долгий и извилистый путь — другие уже писали о своём опыте.
Мой путь тоже занял время:
10 лет в Bay Area (вёл блог, выстраивал нетворк и т.д.). Десятки ангельских инвестиций и эдвайзерских ролей в SaaS, маркетплейсах и т.д. Когда процесс уже стартовал — 6 месяцев собеседований (ужины, присутствие на питчах, разбор стартапов). 100+ часов интервью и подготовки.
Эта презентация была лишь одним шагом, но шагом, которым я горжусь и который хочу показать вам.
Презентация
Выше: я представил эту презентацию в рамках собеседования при вступлении в Andreessen Horowitz, чтобы продемонстрировать свою экспертизу и «суперсилу», а также то, как её можно применить в инвестиционном контексте.
Поэтому она разделена на три части:
Обо мне и моей суперсиле. Как применять идеи роста пользователей в инвестиционном контексте. Моё дальнейшее лидерство в этой области.
Поехали!
Выше: когда я впервые приехал в Bay Area, если бы вы искали «growth hacking», то получили бы ноль результатов. Это явление ещё не существовало. У некоторых ранних компаний вроде Linkedin и Facebook уже зарождалось понятие «growth-команд», но это ещё не было широко осмысленной идеей в индустрии.
Хотя были люди, думавшие о привлечении пользователей и ad tech, и некоторые ранние потребительские команды (например, IMVU Эрика Риса), которые рассматривали когортные кривые для измерения retention, всё это ещё не было собрано в единую команду, способную систематически работать с этим.
Я начал свой блог, чтобы записывать всё, что узнавал. До этого мой бэкграунд был в привлечении пользователей и ad tech, и я делал разворот в сторону потребительских продуктов. Учиться нужно было многому.
По мере того как я учился у лучших в индустрии — в частности, у «мафии PayPal», использовавшей виральный подход на основе метрик для построения некоторых из своих культовых компаний, — я начал писать о том, что мы сегодня называем growth.
Если посмотреть Google Trends, можно увидеть, что «growth hacking» внезапно стал термином, которым в индустрии интересовались и который искали, начиная с 2012 года.
На это есть причина. Я бы хотел приписать себе часть заслуг :)
Мне повезло с правильным таймингом, правильным контентом и вдохновением от моего друга Sean Ellis — я смог популяризировать терминологию и идеи «growth hacking» в эссе, написанном в 2012 году.
А сегодня это распространилось и превратилось в собственную экосистему.
Команды, фокусирующиеся на росте пользователей, появились в некоторых из лучших компаний экосистемы!
(На начало 2018 года, когда я представлял эту презентацию, вот некоторые из компаний, у которых были growth-должности или формальные growth-команды.)
Конечно, «growth hacking» сильно изменился — теперь это уже не столько про «хаки», сколько про гораздо более широкий зонтик, поскольку он стал более профессиональной и формальной функцией внутри команды.
Одна из эволюций — число книг и конференций, посвящённых росту.
Другая эволюция в экосистеме — то, что люди думают о других вещах: о том, как строить growth-команды, а не просто хаки. Думают о новом пользовательском опыте, метриках вовлечённости и других важных концепциях.
Я продолжаю вносить вклад в эту экосистему, занимаясь письмом, активностью в соцсетях и в прессе.
В рамках этого, когда люди ищут важные концепции вроде «product market fit» и «user growth», мои эссе часто оказываются на первой странице. Это вечнозелёные концепции, которые были актуальны 5 лет назад, актуальны сегодня и будут важны на следующем этапе технологий.
Помимо писательства, я также расширил свои усилия по объединению профессионального нетворка людей, работающих над ростом стартапов. Это затрагивает другую часть моей сети — здесь отношения глубже и сфокусированы на Bay Area, в отличие от моих эссе и соцсетей, которые глобальны.
Для этого я работаю с Brian Balfour (бывший VP growth в Hubspot) над запуском Reforge, который обучил тысячи сотрудников ведущих технологических компаний.
Флагманская программа по росту длится 8 недель и собирает воедино некоторые фундаментальные концепции.
Среди спикеров — руководители, отвечающие за рост и смежные функции в разных компаниях индустрии. (Спасибо всем замечательным людям, причастным к Reforge! Вы потрясающие, и я рад считать вас своими друзьями.)
За последние несколько лет программу прошли более 1500 человек практически из каждой компании в Bay Area и многих корпораций из списка F500. Среди них CEO/основатели, VP, PM, маркетологи, специалисты по data science, инженеры и так далее.
В ближайшие годы я хочу оставаться максимально активным — быть впереди кривой, проводя время с самыми умными людьми в индустрии, объединяя сообщества и продолжая публиковать идеи. На то, чтобы утвердиться в индустрии, у меня ушло десятилетие в Bay Area, и я намерен провести следующие несколько десятилетий в том же темпе!
Теперь сменим тему. После всех этих разговоров о росте стартапов — как же использовать всё это для оценки новых продуктов в инвестиционном контексте?
В следующем разделе я представлю некоторые ключевые идеи в области роста пользователей и то, как с их помощью можно оценить качество роста стартапа, не застревая на vanity-метриках.
Выше: для начала — часто вы встречаете новый стартап, который показывает свою кривую роста, выглядящую примерно так: вверх и вправо! Это здорово. Пора инвестировать, верно?
Проблема в том, что вы не знаете, куда она пойдёт дальше.
В долгосрочной перспективе, на протяжении инвестиции, вы можете обнаружить, что эта кривая пойдёт не в ту сторону, в которую вам хотелось бы — возможно, она выйдет на плато. Возможно, даже обвалится. Или, наоборот, продолжит расти и даже выйдет на «хоккейную клюшку».
Как же предсказать будущее? Работает ли это и сохранится ли? Ускорится ли?
Есть пара распространённых фреймворков, помогающих в этом разобраться, и один из них — Growth Accounting Framework.
Growth Accounting Framework выглядит примерно так: в каждом временном периоде (скажем, неделе или месяце) вы добавляете новых пользователей, реактивируете тех, кто ранее отвалился, и часть пользователей становятся неактивными. Складывая всё это, вы получаете «Net MAU» продукта — разницу между периодами.
Если ваши положительные слагаемые (New+Reactivated) меньше отрицательных (число тех, кто становится Inactive), то рост останавливается, и всё уходит в минус.
Давайте рассмотрим каждое слагаемое по отдельности.
Слагаемое New+Reactivated, как правило, выглядит линейным или как S-кривая. Причина в том, что масштабировать привлечение очень и очень сложно — лишь немногие источники, такие как виральные петли, платный маркетинг и SEO, могут дать вам миллионы или десятки миллионов пользователей. И по мере роста канала привлечения он, как правило, становится менее эффективным. Реклама дорожает, виральные петли насыщают целевой рынок и т.д. Это слагаемое доминирует.
Реактивацией обычно сложно управлять. Если кто-то ушёл из вашего продукта, рассылка ему кучи писем, скорее всего, не поможет. (Но если у вас есть сеть, что-то вроде отметок на фото или @mentions может сработать!) Но у большинства продуктов сети нет, и в результате слагаемое привлечения, как правило, гораздо больше реактивации.
Выше: кривая Inactive также S-образна, но она отстаёт от привлечения. Это легко понять: пока у вас нет базы активных пользователей, отток в принципе невозможен. Когда у вас ноль пользователей, отваливаться некому. Поэтому он растёт со временем. Обычно кривая привлечения тянет вас вверх, а затем подключается отток.
В тот момент, когда ваши New+Reactivated сравниваются с Inactive в каждом периоде, вы достигаете пика MAU. Это и есть то, за чем нужно следить, потому что после этого всё идёт ровно или вниз.
В этом примере я использую MAU, но можно использовать и активных подписчиков, или пользователей, что-то купивших за последние 30 дней, или другое определение. Базовая физика одна и та же.
Если вы всё это поняли — это уже довольно глубокий инсайт. Мы перешли от рассмотрения одной кривой, которая росла, к её разложению на составляющие и показали, почему кривая, идущая вверх и вправо какое-то время, может выйти в плато в следующем месяце. И почему. Это важно.
Но есть проблема.
Проблема в том, что Growth Accounting Framework даёт запаздывающие (lagging) метрики. По нему сложно предсказывать будущее. Это эквивалент изучения P&L компании за текущий год и его составляющих — полезно, но недостаточно. Сложно быть прогнозным. Также сложно делать его actionable для продуктовых команд.
Именно поэтому growth- и продуктовым командам, которые я консультировал годами, я говорю: это не та штука, на которую стоит смотреть каждый день или каждую неделю. Это не поможет.
Вместо этого нужны опережающие индикаторы и более прогнозная концептуальная модель.
Выше: для этого я предлагаю смотреть на два ключевых цикла:
Acquisition loops, которые питают положительное слагаемое New. Engagement loops, которые питают отрицательные слагаемые Reactivation и Inactive.
Понимание этих базовых циклов — ключ ко всей задаче предсказания того, куда пойдёт график.
Под пониманием этих циклов я не имею в виду просто построить их в таблице. Я имею в виду думать о качестве циклов — насколько они защитимы и проприетарны? Насколько масштабируемы и повторяемы? Есть ли апсайд в их оптимизации или дальнейшем дополнении?
Другими словами, мы хотим понять качество роста пользователей. Если мы это поймём, мы сможем прогнозировать в будущее, а не смотреть только в прошлое.
Для начала посмотрим на Acquisition Loop.
Выше: мы пройдём 4 раздела контента — сначала чтобы понять примеры, затем какие метрики смотреть. Потом — как лучше всего улучшать циклы. И наконец — попробуем применить фреймворк.
Начнём с примеров.
Выше: ключевой вопрос для Acquisition Loop — понять, как одна когорта новых пользователей приводит к ещё одной когорте новых пользователей. Если вы можете это запустить, то по сути по индукции вы сможете показать, как это масштабируется.
Важно, что эти циклы — это потоки внутри продукта, надстроенные поверх уже существующих крупных платформ. Иногда циклы строятся, потому что покупаются — через рекламу. Иногда — через API-интеграции, чтобы обеспечить более лёгкий/быстрый шеринг. А иногда — через партнёрство.
Дам несколько примеров.
Продукт вроде Yelp или Houzz по сути — это цикл UGC SEO. Новые пользователи находят контент через Google, небольшой % из них создаёт ещё контент, который потом индексируется Google, и цикл повторяется. Reddit устроен так же. И Glassdoor. И так далее.
Платный маркетинг — тоже очевидный цикл. Потратили деньги, продали продукты, взяли деньги и купили ещё рекламы. И так по кругу.
Выше: виральные циклы важны, потому что они чрезвычайно масштабируемы, бесплатны и не требуют формального партнёрства. Они основаны на том, что пользователи прямо или косвенно делятся продуктом с друзьями/коллегами, и этот цикл повторяется.
Важно, что циклы — это не только концепция: их эффективность можно измерять. Если 1000 пользователей пригласят и зарегистрируют +600 своих друзей, у вас коэффициент 0.6. Но это только в первом цикле. Затем эти 600 новых пользователей приведут 0.6*600=360 новых, которые приведут 216 и так далее, пока вся когорта не даст +1500 регистраций суммарно при базе в 1000. Вау! Это значимо, потому что для каждого пользователя, привлечённого другими средствами, вы усиливаете его эффект.
Это может быть особенно важно, если у вас большой бюджет платного маркетинга, потому что это позволяет снизить стоимость привлечения, подмешивая масштабируемую форму органики. Это может быть огромным преимуществом.
Выше: а как насчёт PR, конференций, контент-маркетинга и т.д.? Разве они не важны? Да, могут быть — но они не масштабируются. Например, конференции случаются нерегулярно, имеют плохой ROI/атрибуцию, и каждый заработанный на конференции доллар нельзя быстро реинвестировать. Сравните это с платным маркетингом, который может быть высокоучётным, очень оптимизированным и масштабироваться до 1B+ $ расходов в год.
Поэтому, когда речь идёт о PR, конференциях, партнёрствах и т.п. — они полезны, но это скорее разовые возможности, и уж точно не основное место привлечения клиентов. Их используют, чтобы загнать трафик в свой цикл, который потом усиливается.
В результате этой модели — линейные каналы против циклов — когда вы впервые встречаетесь с компанией, у вас есть фреймворк для понимания, будет ли их рост масштабироваться со временем. Если это разовый запуск, например их только что объявили в очередном батче YC, — это не цикл.
Если они тихо себя ведут в PR, на конференциях и т.п., но пользователи рассказывают друг другу о продукте как часть его нативной функциональности — окей, вы привлекли моё внимание!
Как только вы поняли цикл, нужно понять, есть ли апсайд. Можно ли улучшить цикл? Может, сейчас он плох, но его можно починить? Или ещё лучше — может, продукт растёт как сумасшедший, и можно ускорить рост ещё сильнее?
Чтобы это понять, нужно выйти из мира таблиц и погрузиться в продуктовый опыт.
Первый шаг — разложить упрощённые циклы, которые мы рассматривали, и реально погрузиться в детали.
Выше: вместо 4 шагов, как было показано ранее, мы переходим к ещё более тактическому уровню. Конечно, новые пользователи должны попасть на страницу в магазине приложений, потом зарегистрироваться. Им нужно подтвердить номер. Им нужно перейти на определённый экран продукта, потом — гипотетически — добавить что-то в корзину. И так далее. Каждый шаг — это трение. Каждый шаг снижает конверсию.
Мы должны уметь смотреть на каждый из этих шагов и улучшать их.
Углубимся в один пример — экран магазина приложений.
На экране магазина приложений — и это реальный пример — есть отзывы. Есть рейтинг в звёздах. Bounce rate на этом экране часто очень высокий, иногда 50–80%.
В 2016 году рейтинг приложения Uber для пассажиров был низким. 1.7 звезды, если точнее. Ой.
Причин было много, но фундаментальная проблема была в том, что приложение оценивали только недовольные пассажиры. Лучшая практика — просить широкий спектр пользователей оценить ваше приложение, а Uber этого не делал. Это было контроверсиально, потому что было желание «черипикать» только довольных пассажиров, опасаясь, что рейтинг может остаться низким.
Тем не менее, лучшая практика была реализована и выпущена.
Вот как это выглядело: после поездки, независимо от того, как пассажир оценил поездку, приложение просило оценить его само. И очень быстро десятки миллионов пользователей, у которых были удачные поездки, высказались. Рейтинг быстро поднялся с 1.7 до более чем 4.7 звезды, где он находится и сегодня.
Такое изменение стоит порядка миллионов дополнительных загрузок для Uber. Маленькое изменение — но огромный апсайд. (Поздравляю Rider Growth team с релизом! Скучаю по вам, ребята!)
Посмотрим на другой пример — заставить всех пользователей подтверждать свои телефонные номера. Вы делали это миллион раз.
Оказывается, верификация телефона — это шаг с высоким трением, и часто там 10–40% отвал прямо на этом экране. Может, вы ввели номер неверно. Может, вы из другой страны — важный кейс для travel-приложений вроде Uber. Есть целая серия улучшений: партнёрства с операторами, разрешение голосовых звонков для верификации и так далее.
Ещё один пример апсайда — на стороне платного маркетинга, когда новый пользователь кликает по рекламе и попадает в продукт. Landing page, которую он видит, очень важна.
И она настолько важна, что годы спустя все они выглядят одинаково.
Есть причина, почему так много landing pages — это просто формы регистрации. Не много информации о продукте, без излишеств — только просьба зарегистрироваться. Причина в том, что после лет тестирования именно это лучше всего работает, когда вас пригласил друг.
Поэтому если я вижу стартап, который не сразу просит зарегистрироваться, я предполагаю, что есть апсайд, который можно отыграть.
Эти landing pages — часто первый опыт нового пользователя — крайне важны, потому что bounce rate на них часто превышает 80%. Вау. Это почти все! Поэтому есть playbook типовых изменений: убрать трение, заранее заполнить поля, добавить видео, оптимизировать так, чтобы всё помещалось above the fold, и т.д.
ОК, с примерами закончили. Теперь, когда вы поняли апсайд, скажем, вы хотите погрузиться в данные. На какие KPI смотреть и что искать?
Выше: первое, что нужно запросить, — Acquisition Mix продукта. Это разбивка регистраций по каналам/циклам и временным периодам (в идеале — по неделям). Я ищу сигналы того, что доминирующие каналы проприетарны и повторяемы. В идеале это циклы. Я хочу низкий риск платформы, чтобы не было зависимости от более крупной компании, которая может передумать (например, Instagram, Google SEO и т.д.). Хороший микс может быть 33/33/33, где треть — органика плюс два цикла, например виральный и SEO.
Красные флаги, которые я ищу, — появление новых каналов, которые при этом неустойчивы. Особенно расходы на рекламу, которые то появляются, то исчезают, что может означать, что всё «высосано» перед раундом. Я не люблю видеть всплески по этой причине.
Но регистрация не равна регистрации — поэтому важно понимать качество регистрации.
Стартап не должен сильно заботиться о регистрациях — его должно заботить, насколько хорошо они конвертятся в платящих клиентов или активных пользователей, или что бы ни считалось «активированным пользователем». Оказывается, одним из главных факторов «качества» новых пользователей является источник. Поэтому важно понимать и то, как регистрации генерируются разными каналами (через Acquisition Mix выше), и качество — через activation rate по каналам.
Красные флаги здесь — куча новых пользователей из нового канала, который на деле низкокачественный. Или удвоение ставки на новый низкокачественный канал просто чтобы накачать цифры регистраций. Ведь всплеск новых пользователей попадает в MAU того месяца, в котором они зашли, и это лёгкий способ накачать краткосрочную MAU. Следите за этим.
Другой аспект анализа — концентрация новых пользователей по источникам. Возможно, доминирует какой-то один канал/цикл, но он хрупкий или дорогой. Если все пользователи пришли из списка beta-юзеров или с Product Hunt, это не масштабируется со временем.
С другой стороны, если расходы на маркетинг и продуктовые усилия направлены в высококачественные каналы — это здорово.
Выше: как отмечалось ранее, циклы обычно надстраиваются поверх другой платформы. Иногда это Google SEO, email-системы, Instagram и т.д.
Если новый продукт стартапа добавляет ценности базовой платформе и не слишком горизонтален, он может быть стабильным. Может быть стратегия стать destination-продуктом самому по себе. Это было бы здорово. Но часто это не так.
Красные флаги здесь касаются интеграций между растущим продуктом и его платформой: если он построен на iOS и одна из ключевых интеграций — push-уведомления (как недавние live quiz-приложения), смотрите тренд CTR по уведомлениям. Если он падает со временем, вы знаете, что это не работает. Или в пересчёте на пользователя — возможно, средний юзер кликает по первому пушу, но почти не взаимодействует с пятым. Или, может быть, сама базовая платформа сжимается. Если вы построили продукт, зависящий от AOL Instant Messenger для процветания, — это не умная ставка.
Важно понимать базовую платформу любого acquisition loop, потому что всё может схлопнуться очень быстро.
Поучительный кейс — Branchout, который пытался построить Linkedin поверх Facebook Platform. Видно, как быстро он рос — до 14 миллионов Daily Active Users, и как через 4 месяца стал в 10 раз меньше. Вы не хотите инвестировать на пике.
Когда вы поняли концепцию acquisition loop, можете прогнозировать апсайд и имеете метрики для оценки качества — пора вернуться к нашему изначальному вызову: график «вверх и вправо».
Так пойдёт он вверх или нет?
Ключ здесь — игнорировать график и вместо этого использовать все инструменты, которые мы обсуждали, чтобы создать базовый прогноз по вовлечению и росту пользователей. Останутся ли регистрации линейными? Будут ли расти как процент со временем? Или выйдут в плато?
Выше: используя понимание потенциальных продуктовых улучшений, мы можем составить «снизу вверх» дорожную карту всех улучшений. Можно по экспертизе понимать, когда изменения дадут +5%, а когда — +20%. Сложите всё это вместе — и получите картину апсайда.
Когда всё это у вас на руках, можно построить ряд сценариев того, куда пойдут кривые роста. Можно предположить, что продуктовая и маркетинговая команды агрессивно отрабатывают и захватывают весь апсайд. Или, наоборот, что инженерной поддержки нет, и всё сводится к добавлению пары новых рекламных каналов. Все эти сценарии можно объединить в новую кривую. Это и есть ваш прогноз. Это предсказание будущего.
Если бы вы сделали всё это — у вас всё равно осталась бы серьёзная проблема. Ваш прогноз был бы слабым, потому что вы посмотрели только на половину задачи. Другая сторона — Engagement, и все циклы там.
Существует Engagement Loop, аналогичный Acquisition Loop. Посмотрим на него.
Выше: пойдём по тому же формату. Сначала примеры, потом как улучшать, потом как измерять, и затем соберём всё вместе и применим.
Выше: ключевой вопрос про engagement аналогичен тому, что мы задавали про acquisition. Если у вас сетевой продукт, как Dropbox или Slack, вам нужны активные пользователи, чтобы взаимодействовать друг с другом. Если это чисто утилита, то вам нужно, чтобы вовлечённость в одном периоде помогала задавать вовлечённость в следующем.
Разберём несколько примеров.
В engagement loop на базе социальной обратной связи получается игра в пинг-понг. Один пользователь пишет/подписывается/упоминает другого, и втягивает его обратно. А тот потом может сделать то же самое и втянуть ещё одного. И это повторяется. Вот почему достижение плотности сети и простота создания контента так важны — нужны способы возвращать людей в сеть.
С другой стороны, есть engagement loops, больше похожие на «посадку семян». Если вы регистрируетесь в Zillow, вводите адрес дома и добавляете в избранное пару объявлений, Zillow начнёт переподключать вас персонализированными письмами. Иногда — когда стоимость дома растёт, иногда — когда в районе появляются новые объявления. Credit Karma работает так же: одна сессия настройки приводит к важным уведомлениям об изменениях кредитного рейтинга со временем.
Это лишь два engagement loops, их гораздо больше.
Ещё один забавный пример — rideshare, где физические напоминания о продукте на улице могут подтолкнуть вас тоже им воспользоваться. Картографические приложения работают похоже, часто стартуя с реального триггера «я заблудился!».
Как и у acquisition loop, есть линейные каналы для повторного вовлечения пользователей. Они полезны, конечно, но опять же — не масштабируются. Гораздо лучше, когда пользователи переподключают друг друга или сами себя.
Отчасти поэтому маркетинговые разовые email-кампании часто неэффективны. Они не масштабируются, неинтересны пользователям, а при большом объёме могут даже спровоцировать отток. Нехорошо.
Гораздо лучше видеть естественный engagement loop, в котором push-уведомления и email используются по инициативе пользователя.
Так же, как мы анализировали acquisition loops, чтобы понять апсайд, мы можем делать это и для engagement loops.
Первый шаг — разложить цикл на гораздо более мелкие и детальные шаги.
Выше: здесь мы взяли цикл социальной обратной связи, который начинается с пользователя, создающего контент и публикующего его, затем его друзья просматривают, добавляют комментарии, и приходит уведомление обратно автору.
Теперь приблизимся к конкретному шагу.
Выше: цикл социальной обратной связи фундаментально строится на шаге создания контента. Если он не лёгкий, ничего не сработает. Поэтому это должно быть действие, которое многие пользователи хотят совершать. Вот почему сделать фото, ввести текст или поставить сердечко так эффективны. Это предельно простые действия.
Выше: у Pinterest много примеров оптимизации создания контента — точнее, увеличения числа пинов/репинов на нового зарегистрированного пользователя. Один из методов — использовать слово «Save» вместо более странного «Pin it». Другой — апсейл мобильного приложения, в котором проще взаимодействовать. Помогает и обучение во время онбординга. Все эти изменения удвоили activation rate новых пользователей, заставляя их репинить больше и запуская engagement loops для них самих и других пользователей.
После создания контента нужно распространить его в сети.
Ключевой аспект любой сети — плотность связей. Важно наращивать число связей, но они должны быть релевантны. И есть убывающая отдача.
Спустя десятилетие+ парадигмы социальных платформ для этого существует playbook. Рассмотрим часть этих идей.
Выше: важный способ построить социальный граф — bootstrap’иться на существующей сети. Для потребительских продуктов это может быть адресная книга вашего телефона или Facebook. Внутри предприятия — почты ваших коллег в ActiveDirectory или GSuite, либо рабочая почта. Есть тактики вроде «Find Friends» и «People You May Know», помогающие увеличить плотность.
Красные флаги здесь — те, кто заявляет о взрывном виральном росте только за счёт приглашений. Это долго не продлится, и это будут низкокачественные регистрации. Аналогично, если основная активность — это сплошные приглашения и добавления в друзья, без главного действия, — тоже плохо. Лучше пропускать такие.
Как финальный пример поиска апсайда в engagement, важно подумать о, казалось бы, безобидном шаге — пользователь кликает по уведомлению, пытаясь вернуться в ваш продукт, но, возможно, он разлогинен.
Насколько плохо быть разлогиненным?
Оказывается, разлогиненность и проваленные попытки ввести пароль могут стать огромной проблемой для зрелых продуктов с большой аудиторией. Это нормально, когда 50–75% зарегистрированных пользователей фактически неактивны — то есть большинство ваших пользователей попробовали продукт, но так и не зацепились.
Проблема возникает, когда эти неактивные пользователи возвращаются, например, по уведомлению, и пытаются залогиниться. Часто их учётка заблокирована, они не помнят пароль и становятся неактивными уже навсегда. Это плохо. Решение — комплексное: во-первых, относиться к этому потоку серьёзно, с KPI и оптимизациями. Есть тактические штуки — интеграция с iCloud keychain, логин через другие приложения (если у вас мульти-приложенческая стратегия) и т.д.
Компания вроде Uber может буквально видеть десятки миллионов проваленных попыток входа. Поразительно. И, возможно, хороший процент этих пассажиров пытается перелогиниться, стоя в аэропорту и желая поехать, и в итоге, в отчаянии, переходит на другую сторону улицы и берёт такси. Это стоит того, чтобы починить.
Теперь, когда у нас есть концептуальная идея engagement loop и понимание потенциальных апсайдов, погрузимся в метрики. На что смотреть?
Выше: первое, как все знают, — смотреть на всё в когортах. Мы хотим концептуально понять, почему когорты пользователей возвращаются: создаётся ли при каждом визите ценность, делающая продукт более «липким» со временем? Строят ли они сеть? Мы хотим понимать классические метрики D1/D7/D30 — для которых много бенчмарков, — а также месячные показатели.
Есть несколько ключевых вещей, на которые надо смотреть: когортные кривые должны выходить в плато. В идеале >20%, чтобы каждая регистрация активировалась в липкого, активного пользователя со временем. Если остаётся всего 5%, вам пришлось бы привлечь 2 миллиарда регистраций, чтобы получить 100M MAU. Нежизнеспособно.
Этим можно проецировать общий размер компании, комбинируя TAM с % когорты, оставшимся через год (D365 или D730), и ARPU. Это должно быть достаточно большим для венчурного масштаба.
Выше: один из ключевых инструментов engagement loop — использование уведомлений: email, push-уведомления или другой канал на платформе. Их легко использовать злоупотребительно.
Чтобы выявить искусственное вовлечение, не созданное органически пользователями, можно посмотреть разбивку по каждому уведомлению, которое отправляет продукт. И на объём и CTR со временем. Стоит также быстро проверить на спам в Reddit, Twitter, Google и других местах.
В конечном счёте правильное отношение к уведомлениям — что они ускоряют уже существующее вовлечение, его нельзя создать из воздуха. Некоторые продукты естественным образом генерируют много уведомлений, другие — нет. У одних CTR выше, чем у других.
Выше: вот один график push-уведомлений, который я использовал в прошлом. Ecommerce-компании часто используют push для рекламы скидок — неудивительно, что CTR низкий. А если вы смотрите на ridesharing — вы наверняка взаимодействуете с push, потому что хотите убедиться, что ваша машина уже здесь!
Ещё один набор метрик, который мы хотим понимать про user engagement, — частота использования. Почти у каждого продукта, который я видел, есть «лестница вовлечённости»: вы приходите ради одного кейса, но со временем становитесь более липким и высокочастотным, добавляя новые кейсы.
Для Uber пассажиры часто делали первую поездку из-за travel-кейсов — например, добраться до аэропорта, — а это активность 2 поездки в год. Потом добавляли «выходы в свет» — например, ужины по выходным, что давало около 1 поездки в неделю. И в конечном счёте — целый ряд других кейсов, вплоть до коммьютинга, который мог давать 2 поездки в день.
С помощью диаграммы Frequency я хочу сегментировать высоко- и низкочастотные сегменты и начать копать в их использование продукта. Если можно апсейлить новые кейсы, апсайда — тонна.
Теперь, когда у нас есть все инструменты, можно построить прогноз.
Предыдущий прогноз по acquisition loops подключается сюда, потому что каждая когорта начинается с числа новых пользователей, которых вы привлекли. Затем можно использовать кривые retention когорт, чтобы построить кривые, которые трансформируются в месячных активных пользователей или клиентов.
Мы можем прогнозировать MAU, имея кривые и acquisition, и engagement. Спроецируйте это на несколько кварталов вперёд, и получите детальное понимание, где будет MAU через 2 года.
Метрики engagement сдвинуть гораздо труднее, чем acquisition. Поэтому лучше исходить из того, что кривые такие, какие есть. Но если уж нужно добавить бычий прогноз, правильный путь — фокусироваться на активации новых пользователей. И на апсейле пользователей из одного частотного сегмента в другой. Это количественный способ.
И вот, пожалуйста!
У нас есть engagement loop и acquisition. У нас есть прогнозы по каждому. У нас есть сценарии апсайда.
Что мы можем со всем этим сделать?
Всё это обсуждение началось с Growth Accounting Framework. Если у нас есть глубокое понимание acquisition и engagement, то у нас есть входные данные.
С входными данными мы можем строить сценарии, моделирующие выходные.
Мы можем получить детальное понимание рисков. В конечном счёте речь о прогнозе, который касается качества acquisition и качества engagement, а не одного числа через 2 года.
Стартапы — это не таблицы.
Со всем этим мы можем отвечать на действительно важные вопросы. Если стартап заходит в дверь и показывает график, у нас есть реальный разговор о том, что может произойти дальше.
ОК, на этом всё. (Я отрезал пару слайдов в конце — это уже больше самопиар, главное вы получили!)
Эпилог. Через месяц после того, как я представил эту презентацию, я получил оффер присоединиться к a16z! Так что это сработало. 10 лет в Bay Area, десятки ангельских инвестиций, 6 месяцев интервью — и в итоге моя новая роль.
Всем, кто дочитал до этого места — спасибо! Надеюсь, вам понравилась эта презентация и эссе. Если есть фидбэк, напишите мне в твиттер: @andrewchen.
Спасибо. Отдельный шаут-аут Brian Balfour, Shaun Clowes, Casey Winters, Bubba Murarka и Aatif Awan, которые помогали мне на разных этапах итерации этого контента. Не справился бы без вас, ребята! Спасибо за помощь.
Я веду качественную еженедельную рассылку о том, что происходит в Силиконовой долине, с фокусом на стартапы, маркетинг и мобайл.
Взгляды, выраженные в «контенте» (включая посты, подкасты, видео), на который ссылается этот сайт или который размещён в социальных сетях и других платформах (вместе — «каналы распространения контента»), являются моими собственными и не являются взглядами AH Capital Management, L.L.C. («a16z») или её соответствующих аффилированных лиц. AH Capital Management — это инвестиционный консультант, зарегистрированный в Securities and Exchange Commission. Регистрация в качестве инвестиционного консультанта не подразумевает наличия особых навыков или подготовки. Посты не адресованы каким-либо инвесторам или потенциальным инвесторам и не являются предложением продажи — или предложением купить — какие-либо ценные бумаги, и не могут использоваться или приниматься во внимание при оценке достоинств какой-либо инвестиции.
Контент не следует истолковывать или принимать каким-либо образом как инвестиционный, юридический, налоговый или иной совет. Вам следует консультироваться с собственными советниками по правовым, бизнес-, налоговым и иным вопросам, связанным с любой инвестицией. Любые проекции, оценки, прогнозы, цели, перспективы и/или мнения, выраженные в этих материалах, могут быть изменены без уведомления и могут отличаться от мнений других людей или быть им противоположны. Любые графики, представленные здесь, носят исключительно информационный характер и на них не следует полагаться при принятии каких-либо инвестиционных решений. Часть информации, содержащейся здесь, получена из сторонних источников. Хотя она взята из источников, считающихся надёжными, я не верифицировал такую информацию независимо и не делаю заявлений о её непреходящей точности или о её применимости к конкретной ситуации. Контент актуален только на указанную дату.
Ни при каких обстоятельствах посты или иная информация, предоставленная на этом сайте — или в связанных каналах распространения контента, — не должны толковаться как предложение, побуждающее к покупке или продаже какой-либо ценной бумаги или доли в каком-либо пуле инвестиционных средств, спонсируемом, обсуждаемом или упоминаемом сотрудниками a16z. Не следует толковать это и как предложение оказывать услуги по инвестиционному консультированию; предложение инвестировать в управляемый a16z инвестиционный пул будет сделано отдельно и только посредством конфиденциальных предложений по конкретным инвестиционным пулам — которые должны быть прочитаны полностью и только теми, кто, помимо прочих требований, соответствует определённым квалификациям по федеральному законодательству о ценных бумагах. Такие инвесторы, определяемые как accredited investors и qualified purchasers, обычно считаются способными оценивать достоинства и риски потенциальных инвестиций и финансовых вопросов. Нет никаких гарантий, что инвестиционные цели a16z будут достигнуты или что инвестиционные стратегии будут успешны. Любая инвестиция в фонд, управляемый a16z, сопряжена с высокой степенью риска, включая риск потери всей инвестированной суммы. Любые упомянутые, описанные или приведённые инвестиции или портфельные компании не являются репрезентативными для всех инвестиций в фондах, управляемых a16z, и нет гарантии, что инвестиции будут прибыльными или что другие инвестиции в будущем будут иметь похожие характеристики или результаты. Список инвестиций, сделанных фондами, управляемыми a16z, доступен на https://a16z.com/investments/. Из этого списка исключены инвестиции, в отношении которых эмитент не дал a16z разрешения на публичное раскрытие, а также необъявленные инвестиции в публично торгуемые цифровые активы. Прошлые результаты инвестиций Andreessen Horowitz, её инвестиционных пулов или инвестиционных стратегий не обязательно являются индикатором будущих результатов. См. https://a16z.com/disclosures для получения дополнительной важной информации.
Об авторе
Andrew Chen — партнёр в Andreessen Horowitz, где инвестирует в игры, AR/VR, метавселенную и потребительские tech-стартапы. Автор книги The Cold Start Problem о запуске и развитии новых стартапов через сетевые эффекты. Живёт в Venice, Калифорния (подробнее)