a16z Podcast: Why paid marketing sucks, Network effects, Viral Growth, and more at andrewchen

Архив Andrew Chen

Подкаст a16z: почему платный маркетинг — это плохо, сетевые эффекты, виральный рост и многое другое

Дорогие читатели, для меня было удовольствием впервые поучаствовать в подкасте Andreessen Horowitz! Если вы его ещё не слышали, можете подписаться здесь. Я приложил ссылку на Soundcloud и расшифровку ниже.

В подкасте мы делаем широкий обзор тем, связанных с ростом и маркетингом, в том числе:

Естественная «гравитация», замедляющая быстрорастущие бизнесы. Что на самом деле происходит под поверхностью экспоненциальных кривых роста. Органический и платный маркетинг, LTV/CAC. Почему смешанные показатели CAC вводят в заблуждение. Почему офлайн-продукты так привлекательны для приобретения клиентов. Когортный анализ и поиск «smile curves». Кривая power user, она же L28. Почему онбординг так важен для удержания и оттока. Фазы роста — почему ранние компании фокусируются на привлечении, а большие — на оттоке. Продукты высокой частоты против эпизодических. Почему добавление кучи спамных email-уведомлений снижает ваш DAU/MAU. Сетевые эффекты и почему у разных продуктов они устроены по-разному. Почему Google измеряет много коротких сессий, а другие продукты делают ставку на длинные.

Надеюсь, вам понравится!

И спасибо моим коллегам Sonal и Jeff за то, что это случилось :)

Andrew, Пало-Альто, Калифорния

Часть 1: Привлечение пользователей

Всем привет, добро пожаловать в подкаст a16z, я Sonal. Сегодняшний эпизод полностью посвящён росту — одному из самых важных вопросов для предпринимателей всех типов стартапов, особенно потребительских.

К разговору присоединились генеральные партнёры a16z Andrew Chen и Jeff Jordan. Мы обсуждаем всё — от основ роста и определения ключевых метрик до нюансов платного против органического маркетинга и роли сетевых эффектов.

Первая часть разговора сфокусирована именно на аспекте привлечения пользователей для роста, а во втором эпизоде мы переходим к аспектам роста через вовлечённость и удержание. Но сначала мы выходим за рамки концепции growth hacks и начинаем с фундаментальной предпосылки: бизнесы не растут сами по себе…

Sonal: Тема, о которой мы хотим поговорить сегодня, — это рост, и тема большая. Какие, по-вашему, главные мифы и заблуждения предпринимателей о росте? Andrew: Знаешь, есть не только заблуждение, что он случается магически, но и следующий слой — что это, мол, просто набор советов, трюков и growth hacks, которые поддерживают движение, в противовес действительно строгому пониманию того, как думать о росте — не как о верхнеуровневой метрике, а с учётом того, что есть привлечение, вовлечённость и удержание, и каждая из этих частей сильно отличается от других, и подходить к ним надо системно.

Jeff: Это научная дисциплина, если заниматься ею правильно, потому что она требует понимать свой бизнес и его динамику на невероятно микро-уровне. Sonal: Мне нравится, что ты это сказал, потому что одна из жалоб, которые я слышала про «growth hacking», — что это просто маркетинг под другим названием, а на самом деле вы оба говорите, что есть системный взгляд, есть строгость, есть стадии, есть программа, которую вы выстраиваете.

Jeff: Если вам повезло достичь product-market fit и бизнес взлетает, обычно в этой прекрасной ситуации вы получаете гиперрост, когда год к году растёте трёхзначными цифрами. Просто взрыв. А потом постепенно начинает работать закон больших чисел, и, возможно, 100% рост в следующем году становится 50%, и закон больших чисел продолжает действовать — 25%, потом 12,5%, и рост со временем затухает даже в лучших бизнесах. И вот... Sonal: Ты раньше называл это «гравитацией»? Jeff: Я называл это гравитацией, всё... опускается к земле. И задача предпринимателя — смотреть на годы вперёд и говорить: «Окей, в какой-то момент рост в бизнесе A остановится, и я хочу продлевать его как можно дольше — есть куча тактик для этого», но есть и другие тактики и стратегии: окей, мне нужны новые слои на торте роста.

В eBay изначальный бизнес был аукционным в США, и вот что мы наслаивали в ранние дни: фиксированную цену в США — это не революционно, но это реально дало рост, потом мы пошли международно. Затем мы интегрировали платежи, и каждый раз общий рост компании ускорялся, что очень трудно сделать в масштабе. Sonal: В этом и суть... есть осознанность. Не случайно вы вводите новые бизнесы, новые слои на торте.

Jeff: Бизнесы не растут сами — их растит предприниматель. И иногда вы натыкаетесь на бизнес, который как будто растёт сам, но таких в мире не так уж много, и этот рост почти никогда не сохраняется надолго, если предприниматель не придумает, как его продолжить. Sonal: Точно. Помню твой пост несколько лет назад «The ‘Oh, Shit Moment!’ When Growth Stops» — потому что людей это застаёт врасплох. Jeff: Это обратная сторона. На раннем этапе вы получаете отличный рост и должны его поддерживать. Когда он останавливается, ваши стратегические опции резко сужаются.

Andrew: Часто, когда вы смотрите на то, что вроде бы является экспоненциальной кривой роста, на самом деле это что-то вроде: вы открываетесь в куче новых рынков — это линейная линия, но одновременно вы вводите продукты, снижаете трение в регистрации или удержании и так далее, и сочетание всего этого — это целая серия ускоряющихся кусочков, которая выглядит как удивительная виральная кривая роста. Но на самом деле под ней огромная работа. Понимаешь, которая всё это и обеспечивает. Sonal: Я также слышала, как ты [Andrew] говорил о возможности различать, что конкретно драйвит этот рост, чтобы у вас не было такой экспоненциально выглядящей кривой без понимания того, какой рычаг вы дёргаете, или того, что происходит, даже если это случается естественно или органически. Можем мы разобрать некоторые из ключевых метрик, которые часто используются в таких обсуждениях, включая определения, и обсудить, как о них думать? Andrew: Да. Когда смотришь на большое агрегированное число — total monthly active users, или... Sonal: «MAU». Andrew: Да, MAU. Или смотришь на GMV — сумму всех транзакций на твоей площадке…

Sonal: То есть «gross merchandise value». Andrew: Ага. И когда смотришь на это и оно растёт или падает, на этом уровне у тебя нет рычагов, чтобы реально понять, что происходит. Хочется уйти на пару уровней глубже: сколько новых клиентов вы добавляете? Когда вы добавляете всё больше новых клиентов, начинает происходить куча вещей. Если вы используете платные рекламные каналы, со временем они дорожают — потому что ваш изначально супер-возбуждённый core demographic клиентов будет конвертироваться лучше всего, а как только вы начинаете залезать в другие географии, другие демо, они вдруг конвертируются хуже.

Sonal: Подожди секунду — ты по сути говоришь, что рост сам по себе тормозит рост в этом контексте. Andrew: Да. Закон больших чисел означает, что на планете фиксированное число людей, в твоей core demographic тоже фиксированное число. Как только переходишь определённую точку, это не падение со скалы — это более постепенное изменение поведения клиентов. Sonal: Как определить, что есть что, когда у вас нет product-market fit? Разве эти метрики иногда не способ это выяснить, или это всё имеет смысл уже при наличии PMF... есть разница до и после?

Andrew: Очень конкретно: ты хочешь понять, какая часть привлечения приходит чисто органически (люди находят сами, рассказывают друг другу) — в противоположность тому, как часто видишь компании, у которых более 50% привлечения идёт из платного маркетинга, и это уже о многом говорит: вам нужно тратить столько денег, чтобы затащить людей. Sonal: Да. То есть CAC, «customer acquisition cost» — это про привлечение.

Jeff: CAC — это сколько стоит привлечь пользователя, «blended CAC» — это сколько стоит привлечь пользователя на платной основе плюс бесплатные пользователи. То есть если половина пользователей приходит через платный маркетинг по $100, а половина приходит бесплатно, paid CAC равен 100, а blended CAC — 50.

Я считаю, что blended — это очень опасное число. Большинство лучших бизнесов интернет-эпохи не тратили кучу денег на платное привлечение. Так что по-настоящему магические бизнесы — многие из них не покупают тонны пользователей… ключевой маркетинг Amazon сейчас — это бесплатная доставка. И да, экономика платного привлечения со временем деградирует. Sonal: По мере роста. Jeff: По мере роста и масштабирования — вы изначально снимаете сливки лучших пользователей, а потом пытаетесь масштабировать количество. Мне нужно вдвое больше новых пользователей в этом году, чем в прошлом, — и обычно платишь больше, так что магическое соотношение LTV/CAC, которое на ранних этапах звучит как «о, у нас три к одному, через пару лет, если повезёт, будет полтора к одному». Поэтому мы обычно стараемся искать другие источники привлечения — будь то вирусные, или какая-то другая неплатная форма

Sonal: Быстро определим LTV — это «lifetime value» клиента, но что это значит? Jeff: Когда тебе показывают соотношение LTV/CAC, ты по сути не имеешь представления, что ты видишь, учитывая все возможные вариации чисел. Поэтому мы почти всегда идём за ясностью. LTV, lifetime value — это прибыль, вклад от этого пользователя после всех прямых затрат.

Sonal: Как определить соотношение LTV/CAC? Что они вместе означают? Jeff: Давай разложим. LTV — это lifetime value. То, что описывается, — это инкрементальный вклад в прибыль от пользователя за прогнозируемую длительность его жизни. То есть не выручка на CAC: обычно есть затраты, связанные с пользователем. Какой инкрементальный вклад принёс этот пользователь Компании, да. Sonal: То есть это ценность клиента для итоговой строки? Jeff: Это ценность каждого клиента для итоговой строки, и затем ты сравниваешь её с CAC, или «cost of acquired customer», чтобы понять рычаг между тем, сколько надо потратить на привлечение клиента, и сколько он стоит. Если ваш CAC выше LTV — вы потоплены. Потому что привлечение пользователя стоит вам больше… Sonal: …чем ценность, которую вы из него получаете. Теперь я поняла. Jeff: …чем вы получите от этого пользователя. Sonal: Ясно. Jeff: Если наоборот, вы хотя бы в игре. Я получаю больше прибыли от пользователя, чем затрат на его привлечение. И есть динамика: как это масштабируется во времени — CAC обычно растёт, LTV падает. Потому что со стороны CAC вы привлекаете менее заинтересованных пользователей со временем. Они стоят дороже и стоят меньше — и соотношение LTV/CAC, по нашему опыту, почти всегда деградирует со временем и масштабом. Поэтому в таком разговоре идёт очень конкретный диалог: «Сколько у вас запаса?» «Как это будет масштабироваться?» «Что повлияет на ваш CAC, например конкуренция?» Поэтому соотношение должно быть, может, и 10, чтобы вы преодолели опасение, что эти двое слишком близко и у вас нет места для ошибки. Sonal: Точно. И это снова возвращает нас к большой картине — слоям на торте: если у вас есть другие слои, вам не надо беспокоиться только об одном соотношении CAC/LTV. Jeff: Это действительно влияет на расчёт. Если у меня новый бизнес и у него совершенно другой CAC и LTV, это уже другой разговор.

Sonal: И большая картина в том, что если вы не понимаете разницу между тем, что что делает, вы можете получать очень обманчивые, смешанные сигналы о бизнесе, и потому вы не любите blended CAC — потому что хотите знать, что именно драйвит рост.

Andrew: Что blended CAC вам даёт — это ощущение того, что происходит в конкретный момент времени. Проблема в том, что когда дело касается платного маркетинга, легко просто добавить намного больше бюджета и масштабировать его — гораздо легче, чем масштабировать органику или SEO. Так что CAC даёт вам срез, но при попытке масштабировать бизнес — увеличить всё на 100%, удвоить — внезапно ваш blended CAC начинает приближаться к тому, каков ваш доминирующий канал. И если вы тратите кучу денег, blended приблизится к CAC платного маркетинга. О чём предпринимателям стоит думать — что есть та уникальная органическая штука, которая поставит продукт перед людьми без больших трат?

Jeff: У многих лучших бизнесов есть очень интересный, я назову это growth hack. Скажем, OpenTable, когда я им управлял, вообще не платил денег за привлечение потребителей. Как такое возможно? У него были миллионы пользователей. Рестораны помечали OpenTable от нашего имени. Sonal: Точно. Jeff: Заходишь на сайт The Slanted Door — если они клиенты OpenTable, и пытаешься найти телефон, чтобы забронировать, а они говорят: «О, сделайте онлайн-бронирование». И нам ещё платили за привлечение этого пользователя в основной форме. Этот хак был чудесной штукой. Он масштабировался с бизнесом и давал нам тонну бесплатных пользователей.

Sonal: Справедливости ради — и это ещё одно определение, которое надо быстро разобрать перед тем, как перейти к другим метрикам, — это также имело качество сетевых эффектов о которых мы много говорили в смысле того, что эти штуки становятся ценнее для большего числа людей, которые ими пользуются... это рост? В чём разница? Jeff: Бизнес вырос в сетевой эффект. Ключевой тактикой создания сетевого эффекта было бесплатное привлечение потребителей — чем больше у нас было ресторанов, тем привлекательнее это было для потребителей; чем больше приходило потребителей, тем привлекательнее это было для ресторанов. Так что там жёсткий сетевой эффект. Sonal: Эффект маховика, да. Jeff: Если вы не тратите ничего на платное привлечение потребителей, как вы его запускаете? Размещения OpenTable в ресторанной книге, и физически в ресторане, и особенно на сайте ресторана, были тем ключевым двигателем, который запустил сетевой эффект. Нам приходилось вручную продавать рестораны — приходи за инструментами, оставайся ради сети, — но как только потребители получили достаточный выбор и начали этим пользоваться, игра была сделана. Sonal: Это один из способов обойти проблему курицы и яйца и засеять сеть.

Andrew: У сетевых эффектов очень много положительных сторон, и одна из них — что виральность является одной из форм того, что вы получаете с сетью. Чем больше ваша сеть, тем больше площадь поверхности, тем больше возможностей с ней столкнуться. И в случае с Uber (где я недавно работал) — все эти машины с логотипом Uber — это возможности подумать: «О, что это за приложение? Надо попробовать». И это взаимно усиливается: тогда у тебя больше райдеров, потом больше водителей, и всё это работает в связке.

Jeff: Приведу два примера: розовые усы Lyft, когда я только переехал в Сан-Франциско. Sonal: Я помню это. Jeff: Видишь их раз на машине — думаешь: «О, странновато». Видишь дважды — говоришь: «Тут что-то происходит, о чём я не знаю, и я должен понять, что это». С Lime то же самое. Sonal: Точно. Jeff: Они ярко-зелёные и буквально светятся. Когда кто-то видит один в дикой природе, как кто-то проносится мимо на светящемся зелёном электрическом скутере, ты такой: «Окей, что это?» И Lime не потратил ни цента на потребительское привлечение. Потому что их модель такова, что физический сигнал в реальном мире и приводит к этому.

Andrew: Ещё один пример, который я добавлю, — в рабочих корпоративных продуктах много так называемой bottoms-up виральности, идущей от людей, которые делятся и сотрудничают. Sonal: Как со Slack. Andrew: Да, например Slack — отличный пример. И всё это очень уникальные способы получить привлечение бесплатно. И ваш CAC получается «ноль» как результат. Sonal: Да.

Вы много говорили об органике. Звучит так, будто вы вообще не любите платный маркетинг! Какие у вас взгляды — это плохо, это хорошо; не хочу морализировать, но — помогите распаковать, где он полезен, а где нет. Есть какие-то правила большого пальца? Jeff: Многие отличные бизнесы использовали платный маркетинг. OTA-сайты (online travel agencies — Priceline и Expedia) тратят на привлечение размером с ВВП многих крупных стран; и часто это тактика в некоторых хороших бизнесах. Но если это ваш основной двигатель, происходит пара вещей: во-первых, экономика привлечения склонна деградировать со временем по той причине, что мы сказали… И это оставляет вас открытыми для конкуренции. Sonal: По сути это становится коммодити. Jeff: Если вам нужно покупать пользователей — например, вы продаёте новые матрасы и должны покупать пользователей, и сначала вы единственный, кто конкурирует за это слово, — через год-два будет шесть новых производителей матрасов с фактически идентичными продуктами, конкурирующих за того же потребителя. Экономика не сохранится со временем. И один из ключевых вопросов в бизнесах, движимых тяжёлым привлечением пользователей: как заканчивается пьеса? Обычно в начале выглядит неплохо, в середине становится сложнее, а в конце трагедии. Sonal: Буквально есть дуга.

Andrew: Если это что-то, что вы используете вместе с другими каналами и ускоряете процессы, это может быть здорово. Например, когда Facebook раньше входил на новые рынки, они начинали с платного маркетинга, чтобы запустить процесс. В таком случае платный маркетинг — это тактика запуска сетевого эффекта И потом можно от него отойти. Andrew: Но если вы суперсильно от него зависите и у вас нет плана на мир, в котором все каналы деградируют, через пару лет окажетесь в тяжёлом положении. Sonal: Полностью согласна. Есть ли у вас эвристика, когда останавливать платный? Есть точка опрокидывания, мол, ВОТ это момент?

Andrew: Я думаю, в плане того, сколько платного должно быть как часть вашего портфеля, правильно смотреть на это как на один из множества каналов. Я бы сформулировал так: во-первых, надо реально измерять CAC и LTV и быть супердисциплинированным — не тратить заранее и не делать это на каких-то blended числах, которые не имеют смысла. Вторая часть — вы хотите, чтобы это было небольшим меньшинством ваших каналов. Так, чтобы если он окажется потолочным, вы могли с этим жить. Sonal: Ваш бизнес выживет, продолжит расти и быть здоровым. Andrew: Да, и вы сможете получать желаемые темпы роста, у вас будет такой сильный product-market fit, что вы сможете это поддерживать. Jeff: Возьмите пару секторальных примеров. В e-commerce многие компании борются с вопросом «Как получить органический e-commerce трафик?» Большинство e-commerce компаний сильно полагаются на платное привлечение, обычно одна из интересных штук — это то, что оно деградирует со временем, и все конкурируют за того же пользователя. E-commerce компаниям в большинстве сегментов трудно быть прибыльными. То же видно в доставке еды. Если вы не можете дифференцироваться и сильно зависите от платного маркетинга, фильм обычно заканчивается не очень. Мы ищем сегменты, где есть баланс, или они придумали уникальный growth hack, и они не зависимы от платных каналов.

И, кстати, платные каналы тоже могут деградировать. Я делал пару инвестиционных ошибок, где платное привлечение выглядело очень хорошо, а на самом деле они арбитражили что-то вроде ранних мобильных попыток Facebook — те, кто участвовал в мобильных рекламах Facebook на ранних этапах, получали реальные сделки. Они были далеко от той цены, к которой должны были тяготеть, и ты такой: «Посмотри на пользовательскую аналитику. Она шикарна!» А потом Facebook достиг равновесия, спрос и предложение сошлись, и цена выросла в разы, и те бизнесы, которые так хорошо выглядели сначала, оказались под огромным давлением, потому что не имели альтернативы этой инфляции. Sonal: Это случай платформенного риска, когда ты зависишь от канала мобильного Facebook или какого там был. Но Andrew, ты раньше говорил и о потолке на возможное, и вы оба ссылались на то, что вещи могут становиться очень конкурентными — конкуренты могут покупать те же каналы, и становится тесно и дорого. Так что есть несколько слоёв риска платного, я слышу, но надо это осознавать.

Andrew: Да. Так что на стороне привлечения сегодня есть пара очень интересных возможностей, которые могут быть временными. Например, если у вас продукт сильно визуальный — и я думаю, это одна из причин, почему eSports так раздулся: у вас продукт, который естественно генерирует кучу видео в эпоху, когда все платформы спешат к видео. Sonal: Это очаровательно. Andrew: Да? И, может быть, в будущем это будет меньшей возможностью, но это есть. Sonal: Почему ты говоришь, что это временно, потому что кажется… Andrew: Потому что конкуренция… Sonal: …сделает то же самое? Andrew: …Да, сделает то же самое. Я думаю, мы движемся к тому, что все эти разные программные опыты будут невероятно шарабельными. Сейчас нет смысла создавать новую игру без встроенной записи и публикации Twitch-стрима. И встроенных турнирных систем, и всех коммьюнити-фич, и всего того, что нужно, — и раньше считалось, что игра — это только IP, а на самом деле это слои и слои социального взаимодействия и контента вокруг неё. Я думаю, это же верно для всех этих brick-and-mortar опытов, делающих себя сильно Instagrammable, добавляющих зоны, где ты стоишь и позируешь… Sonal: О мой бог, моя любимая история про это — ресторанный тренд делать квадратные тарелки и раскладки так, чтобы красиво ложилось в Instagram. Это одно из моих любимых, в мире — когда физический мир адаптируется к цифровому!

Andrew: И можно пойти в обратную сторону — физические продукты вроде скутеров, которые напоминают взаимодействовать цифрово. Ещё один забавный пример: у всех уже было — ты в комнате разговариваешь, и вдруг Amazon Echo включается и пытается что-то ответить, и я такой — у них нет стимула это исправлять. Потому что это напоминает, что он там, и напоминает с ним поговорить.

Я думаю, главный вывод — надо быть креативным и на острие того, что все делают. И если все сейчас в видео и в Instagram, надо думать о том, как ваш продукт реально вписывается в этот тренд. Если найдёте — у вас удивительный способ запуститься, и если тренд продлится, отлично, ускоряйте платным маркетингом, PR, всем, чтобы продолжать.

Я также хочу отметить, что мы в основном говорим о росте и привлечении.

Sonal: Дааа!

Andrew: А это в основном то, что стартапы волнует на ранних этапах — у вас нет особо активных пользователей. Но другая часть — как все пользователи, которые приходят, и насколько они активны, начинает меняться со временем… Sonal: …Вовлечённость. Спасибо, что присоединились к подкасту a16z.

Часть 2: Вовлечённость и удержание

Всем привет, добро пожаловать в подкаст a16z, я Sonal. Сегодняшний эпизод продолжает нашу серию о росте — первая часть охватила основы привлечения пользователей, — и эта часть посвящена более конкретно вовлечённости и удержанию. Включая, как всегда, ключевые метрики и то, как о них думать.

К разговору снова присоединились генеральные партнёры Andrew Chen и Jeff Jordan. Мы обсуждаем всё — от того, как сетевые эффекты подключаются к делу, до того, есть ли действительно магическое число или aha-момент для продукта. До того, кто такие power users и что такое power user curve для их измерения. Но сначала мы начинаем с того, что происходит после начальной фазы привлечения, когда разные виды пользователей присоединяются к продукту или платформе со временем — что это значит для вовлечённости и как их анализировать с помощью когортного анализа?

Andrew: Одно из наблюдений — люди используют эти продукты очень по-разному. Потому что виды пользователей, которых вы получаете, меняются со временем. Когда смотришь на rideshare, все ранние когорты — это в основном люди в городских районах. А сейчас весь rideshare — это скорее пригородные или сельские, потому что центр уже насыщен. И что происходит — по мере привлечения core demographic это начинает проявляться в вовлечённости. Возвращаясь к естественной «гравитации» [обсуждённой в первом эпизоде], эта гравитация бьёт и по стороне вовлечённости, и в итоге по LTV, потому что пользователи обычно становятся менее ценными. Это может занять годы, но это естественный закон. Jeff: Есть прогрессия, особенно в действительно успешных. На раннем этапе всё про получение пользователей. И это просто пользователи, пользователи, пользователи. Если у вас широкий успех, пользователи кончаются (или начинают заканчиваться), и надо переходить к вовлечённости. Так у Pinterest сейчас очень качественная проблема. Большинство женщин в Америке скачали приложение Pinterest. Sonal: О да, оно у меня уже годами. Jeff: Какой-то рост может прийти — где-то в стране есть число женщин, никогда не слышавших о Pinterest. Но гораздо больше им нужно вовлекать и реактивировать существующую аудиторию. Мы обожаем вовлечённость с инвесторской точки зрения, потому что это просто… [crosstalk] Sonal: [crosstalk] Это показывает stickiness. Jeff: Можно часто хакнуть путь к новым пользователям. Очень трудно хакнуть путь к настоящей вовлечённости. Кто-то проводит 20 минут в день на вашем сайте. Offerup, Pinterest — главным инвест-тезисом было «О мой бог!», смотрите на эту вовлечённость… И если они смогут масштабировать аудиторию — это прекрасно. Sonal: Точно. Под вовлечённостью мы имеем в виду реально взаимодействовать с ними и видеть их активность. Потому что в трёх пунктах Andrew — привлечение, вовлечённость, удержание — третий пункт это удержание.

Andrew: Часто мы анализируем это через когортный анализ.

Sonal: Да. Andrew: Мы смотрим на каждую партию пользователей, которая приходит каждую неделю, и разбираем — насколько они активны, чтобы сравнивать когорты во времени. По сути берёшь пользователей, пришедших за определённый период (скажем, неделю), и кладёшь их в ведро. И сравниваешь эти разные вёдра друг с другом.

И обычно делаешь так: смотришь на ведро/когорту пользователей и говоришь: «Окей, через неделю после регистрации насколько они активны?» А неделей позже? И ещё неделей? И строишь кривую. И оказывается, что эти кривые, как только посмотришь достаточно много, — удивительно, человеческая природа, — они все выглядят похоже. Они опускаются вниз, и в хороших случаях начинают выравниваться и выходить на плато, а в действительно хороших — даже идут вверх, и люди возвращаются. Что вы хотите делать — это сравнивать когорты во времени, чтобы заметить тренды по тому, увеличиваются ли паттерны использования. Когда добавляете новый слой к торту, можете разблокировать новое поведение. Можете разблокировать новую частоту, которой не было. Или, наоборот, на больших временных промежутках люди становятся менее активными, выходя из вашего сегмента когорты. Sonal: Когорта выпускается.

Andrew: Выходит ли конкретная когорта на плато — это очень важно. Потому что если она медленно деградирует и потом вдруг идёт в ноль, это значит, что вы постоянно заполняете ведро — у вас дырявое ведро, вы его постоянно наполняете. Sonal: Постоянно заполняете. Точно. Andrew: И это становится прогрессивно сложнее, потому что если хотите удерживать общий темп роста, надо удваивать, утраивать, учетверять привлечение, чтобы это компенсировать.

Одно growth accounting уравнение, которое часто упоминают: ваш инкрементальный — net — MAU. Ваш net monthly active users = все новые, кого вы привлекаете, минус все, кто отвалился, плюс все, кого вы воскрешаете… Sonal: …Реактивируете. Andrew: Реактивируете, точно — кто возвращается после оттока. И для нового стартапа вы полностью сфокусированы на новых пользователях, потому что у вас не так много пользователей для оттока, а со временем, по мере роста, ваш churn rate — это процент от ваших активных.

Эволюция большинства этих компаний — начало с привлечения, потом гораздо больше фокуса на churn и retention, и потом ещё и на resurrection. Jeff: И когортные кривые имеют ещё пару фишек, которые я люблю. Обычно в маркетплейсах лучшие модели построены на когортных кривых. Sonal: Интересно! Jeff: Потому что надо понимать ту деградацию и куда она идёт. Когорты дают ощущение сетевых эффектов: сетевой эффект — это когда бизнес становится ценнее для большего числа пользователей; если становится ценнее, новые когорты должны вести себя лучше старых. Sonal: Почему так? Jeff: Потому что сервис ценнее, учитывая, что они получают. Sonal: Интересно. То есть это вроде совета — Jeff: В OpenTable, если ресторанов в 10 раз больше, вы получите гораздо больше броней на ужинающего, потому что обслуживается больше его нужд. Кривые OpenTable шли вверх и становились привлекательнее со временем — в противовес тому, что мы говорили о деградации. Если вы развернули полярность и они растут со временем — значит, вы сделали бизнес ценнее. И тогда начинаете проецировать вперёд. Окей [crosstalk] Sonal: Какой лучший способ узнать, что бизнес действительно ценнее, чем думать, что он ценен, и верить в собственный миф. Jeff: В бизнесах с сетевыми эффектами мы всегда спрашиваем: покажите когорты. Все говорят: я network effect, я network effect. Но когда говоришь «Покажите данные, когортные кривые», им это не нравится. Sonal: Как «покажи деньги» — теперь «покажи когорты», поняла. Jeff: Они не лгут.

Andrew: Ещё одна интересная часть — сегментация. Sonal: Я как раз собиралась спросить, какие «вёдра» когорт? Они все по демографическим данным?

Andrew: Для кучи гиперлокальных бизнесов причина, почему сегментировать по рыночной географии так ценно — можно сравнивать рынки между собой. Сказать: «Этот рынок с большей плотностью по числу скутеров ведёт себя так». И начинаешь делать выводы — естественный A/B тест.

Похожий анализ можно делать для B2B компаний — для продуктов с разными размерами команд. Если очень большая команда вся пользуется продуктом — пользуются ли они им больше как результат? Сравним с тем, где только пара… Так можно начать разбирать структуру этих сетей и понять, действительно ли они приводят к большей вовлечённости. Jeff: Slack — отличный пример: если пять человек в организации пользуются Slack, у тебя одна кривая использования. Если им пользуется вся организация, это операционная система компании — у тебя совсем другая кривая.

Sonal: Но это не случайность, надо архитектурно это выстраивать, не просто ждать, что serendipity сложится.

Andrew: После того как получили новых пользователей, надо думать о качестве. Надо убедиться, что новые пользователи превращаются во вовлечённых. Часто говорят о «aha»-моменте или магическом моменте, когда пользователь действительно понимает истинную ценность продукта. Но часто это требует кучи настройки. Например, для всех социальных продуктов (Twitter, Facebook, Pinterest и т.д.) надо убедиться, что когда впервые приводите нового пользователя, он должен подписаться на правильных людей. Он должен получить… Sonal: Это как onboarding опыт. Andrew: …который, кстати, это не просто регистрация, а делание всех вещей, чтобы прийти к этому aha, где ты такой: «О.» Sonal: «Я понимаю этот продукт». Andrew: Я понимаю этот продукт. Он для меня. И как только вы это получаете, у вас есть возможность держать их вовлечёнными со временем. Sonal: Это действительно такое явление, что есть aha-момент? Или это скорее кумулятивное… много поздних пользователей Facebook пришли, потому что все уже были там. Это только про новых пользователей? Andrew: В случае с Facebook то, что все уже были там, делает aha-момент ещё мощнее. Потому что все твои друзья и семья уже там, твоя лента уже полна контента. И в первый раз, когда видишь фото кого-то, с кем учился в школе, — это вау. Sonal: Со мной так и было. Я была так возбуждена, когда увидела старого друга.

Andrew: Точно. Да, именно. И когда потом получаешь эти push-уведомления или email «Эй, у кого-то день рождения», ты интернализировал, что это за продукт. И этот момент разный для всех компаний.

Jeff: Я всегда слышал это как «magic number». Когда заходишь, и это чистый лист, ты такой: «А о чём это вообще?» Они маниакально заставляли тебя подписываться, потому что когда ты достигал их магического числа, где статистически коррелировали количество подписок с долгосрочной вовлечённостью и удержанием, — они тебя гнали туда, делая что-то, что казалось неестественным: ты заходишь, follow, ты говоришь нет, а они говорят да, — но когда дотащили тебя туда, всё включалось, и сервис «работал» на тебя.

Многие предприниматели, с которыми я работаю, пытаются понять, что же мой магический момент, который создаёт осознание value prop. Возьмём Pinterest. Когда Pinterest входит на новый рынок, они выяснили, что им нужно много локального контента, чтобы быть привлекательным для локальных пользователей. Корпус изображений США помогает на международных рынках, но недостаточен. И они должны были дополнять… Sonal: …Точно. Если я индианка, я хочу сари. Я не хочу только юбки, которые в некоторых регионах не смогу носить. Jeff: Да. Точно. Я давно не носила сари в Северной Америке ;) <команда смеётся> Но как только у вас есть контент-сет, надо доставлять привлекательную информацию этому индивиду — а вы не знаете индивида, когда он входит в дверь, чем быстрее вы это делаете, тем быстрее, тем лучше работает бизнес; вовлечённость растёт; удержание растёт; и это работает. Так что разные предприниматели должны понять, какой опыт они хотят доставить, чтобы люди это получили. И как заинженерить путь к доставке этого.

Sonal: Окей. Мы прошли привлечение и получили новых пользователей. Они получили продукт. И вы даже надеетесь, что у вас есть способ это измерить и отслеживать. Вы хотите потом пытаться получать разных пользователей? Или брать существующих? Одна из вещей, которую мы покрывали очень рано — что в SaaS всегда хочется брать существующих пользователей и допродавать, потому что в этом контексте намного дороже привлечь нового клиента. (Конечно, вы хотите расти.) Как это разыгрывается в этом контексте? Что дальше? Jeff: В куче компаний это прогрессия. Почти вся ранняя активность компании — «Окей, как мне получить пользователей?» По мере получения вы получаете всё больше рычага от усилий по активации, удержанию и вовлечённости. Например, Pinterest: очень высокий процент женщин в Америке скачали Pinterest. Тогда рычаг быстро идёт в «Окей, как удерживать их вовлечёнными? Реактивировать тех, кто пропал?» Их усилия по привлечению в США деэмфазируются, и весь рычаг там, за исключением того, что они расширяются международно — они всё ещё в фазе привлечения по кривой. Я думаю, рычаг меняется со временем в зависимости от ситуации компании. У Facebook давно нет привлечения в США, потому что у них уже все. Sonal: Это возвращает к портфельному подходу к мышлению о пользователях.

Andrew: Как только у вас есть активная база пользователей и клиентов, что становится действительно интересным — анализировать, что настраивает эту группу быть успешными по-настоящему долгосрочно stickyми пользователями, против того, какое поведение и профили не успешны. Кидаешь свою команду data science на это, чтобы разобраться во всех весах — и поведенческих, и демографических, и профильных. И одна из первых вещей, которые выясняешь, — у каждого из этих продуктов есть лестница вовлечённости, где новые пользователи часто появляются делать что-то ценное, но потенциально нечастое. И нужно поднять их на что-то, что происходит постоянно.

Например, когда вы устанавливаете Dropbox, проще всего использовать его для синхронизации домашнего и рабочего компьютеров. Это здорово, но способ сделать этих пользователей действительно ценными — это чтобы они шарили папки на работе с коллегами. Потому что когда у них это есть и люди перетаскивают файлы и реально коллаборируют — это следующий уровень ценности, которую можно иметь ежедневно, против штуки, которая на фоне просто синхронизирует хранилище.

Sonal: Что люди могут сделать, чтобы продвинуть пользователей вверх по «лестнице вовлечённости»? Andrew: Шаг один — сегментировать пользователей в такую engagement map; часто это визуализируется как state machine, где есть новые, есть казуальные, и хочется отслеживать, как они движутся вверх или вниз по каждому шагу.

А потом — как реально заставить их двигаться. Сначала контент и обучение; они должны знать в контексте, что они могут что-то сделать. Например, если получите пользователей задать дом и работу для транспортного продукта, можете решить — должен ли я подсказать им утром попробовать поездку на основе ETA?

Sonal: Типа в приложении было бы какое-то уведомление.

Andrew: Lifecycle messaging тут вписывается. Во-вторых, если продукт имеет монетарный компонент, можно использовать стимулы — типа $10 скидки на следующую подписку за поведение, которое точно ведёт к следующему шагу. Третья вещь — рефайнинг продукта под этот use case, может, есть продукты, которые транзачатся постоянно — может, хотите отменить комиссии или дать кредиты, чтобы пользователи подсели.

Jeff: Самое интересное — частота, с которой что-то потребляется. eBay имел огромный уровень вовлечённости рано — особенно для e-commerce. Люди проводили часы просто бродя, потому что рано это было про коллекционные вещи и про страсть людей. Если человек страстно увлечён стеклом эпохи Депрессии, он проведёт часы, если дать ему ту глубину контента — «О мой бог. Я только что нашёл идеальный предмет».

OpenTable и Airbnb обычно гораздо более эпизодичны. Большинство людей не ужинают в fine dining ресторанах с большой частотой; наш медианный пользователь ужинал дважды в год в OpenTable. И это имеет совсем другие маркетинговые и пользовательские последствия. Измерение, наверное, ещё важнее в вопросе вовлечённости/удержания, потому что мы заставляли наших data scientists понимать разные потребительские путешествия через продукт, и развивать тактики ускорить желаемые путешествия и ограничить нежелательные. Но чтобы развивать стратегию, надо реально понимать, как пользователи ведут себя на очень тонком уровне. Sonal: Так какие метрики вовлечённости?

Andrew: Одна важная область — частота, просто как часто вы используете продукт независимо от интенсивности и длительности сессий. Буквально просто частота сессий. Часто спрашивают daily active user, делённое на monthly active user, и это даёт ощущение, на сколько дней пользователь активен. Jeff: DAU к MAU.

Sonal: Ты недавно опубликовал пост о метрике DAU/MAU. Andrew: Точно. Sonal: О том, когда она работает, а когда нет. Много нюансов, когда применять, а когда нет.

Andrew: DAU/MAU был очень популяризирован тем, что Facebook его использовал, в том числе в публичных отчётах, — и для них это имеет огромный смысл, потому что они рекламный бизнес, и для них очень важно, чтобы людьми пользовались часто. Sonal: Это как считать impressions и продавать рекламодателям. Andrew: Точно, их продукты исторически были 60% плюс по daily-actives к monthly-actives. И это очень высоко. Вы используете больше половины дней в месяце. С другой стороны, в моём эссе я говорил, что DAU/MAU может сказать, что-то очень высокочастотное и работает ли, но часто продукты имеют более низкий DAU/MAU по очень хорошей причине — есть просто естественная каденция продукта. Например, никто не будет использовать тревел-продукт чаще пары раз в год. И тем не менее есть много ценных travel-компаний. Sonal: То есть не живи и не умирай только по этой метрике. Andrew: Точно. Sonal: Потому что это правда зависит от продукта, типа использования и т.д.

Andrew: Нужно убедиться, что метрика отражает стратегию, которую вы внедряете. Если ваш продукт — это продукт ежедневного использования и вы монетизируете маленькими суммами за длинный период, но ваш DAU/MAU низкий — sub 15%, — то, наверное, не получится.

А потом ещё метрика L28, которую тоже пионерили в Facebook: это гистограмма, и что хочется — Sonal: — гистограмма — это диаграмма частот. Andrew: Точно. Диаграмма частот, которая по сути говорит: окей, покажите столбик, сколько пользователей зашло один раз в месяц, два раза в месяц, три раза в месяц, четыре раза в месяц. И строите это до 28 дней. Sonal: Потому что в месяце в среднем 28 дней. Andrew: 28 дней — чтобы убрать сезонность; есть смежная — L7, последние семь дней. И что хочется видеть… Sonal: Это будет WAUs («вауы»)? Weekly active users? Это реально существует, кстати? Или я выдумываю? Andrew: Да. WAUs, DAUs к WAUs. Jeff: Ты только что придумала. Sonal: Знаю. Отлично. Я придумала retainment. Почему нет? Andrew: Идея L28 или L7 — что когда график построен, должна быть группа людей, которая использует 28 дней из 28, и большая группа — 27 из 28, и большой кластер. Так вы понимаете, что у вас есть хардкорный сегмент. И это очень важно, потому что во всех таких продуктах обычно есть core часть сети, которая драйвит остальное, — power sellers, power buyers, в социальной сети — creators vs. consumers.

Jeff: Я слышал это как «smile», потому что использование один раз всегда довольно большое. Много людей появляются один раз — «не понимаю, что это», и исчезают. Потом обычно скатываются, меньше людей пользуются — два дня меньше одного, три дня меньше двух. В правильном случае это начинает расти в конце. Получается smile. [inaudible] И это реально мощно. У Facebook был smile. У WhatsApp был smile. У Instagram был smile. Если шаг назад — это предпосылка для венчурного инвестирования, чтобы был рост. На end market [inaudible] хочется видеть рост, но рост сам по себе недостаточен. Инвесторы любят вовлечённость. Pinterest — ключевой драйвер Pinterest — он рос, но пользователи использовали его маниакально. Sonal: О мой бог. Думаю, я провела целый Thanksgiving в Pinterest.

Jeff: Это была вовлечённость, которая взорвала мне мозг — гораздо больше, чем рост. OfferUp имеет вовлечённость, похожую на социальные сайты вроде Instagram и Snap. Это e-commerce сайт, мобильные объявления, люди просто сидят и троллят в поисках выгодных предложений, в поисках интересного. Sonal: Слегка вызывает зависимость — видеть, что рядом можно купить. Почему нет? Да. Jeff: DAU к MAU, smile, все эти метрики так ключевы для нас, потому что большая вовлечённая аудитория такая редкая и потому почти всегда невероятно ценная.

Andrew: И вовлечённость очень связана с привлечением, потому что когда смотришь на все разные acquisition loops — будь то платный маркетинг или вирусный цикл — все они в итоге питаются вовлечённостью. Нужны люди, которые в восторге от продукта, чтобы делиться контентом с платформы на другие платформы, чтобы запустить вирусный цикл. И ещё про DAU/MAU и L28: их очень трудно играть, что увлекательно. Sonal: Да, почему так? Jeff: [inaudible] рост можно очень легко играть. Andrew: Точно. Sonal: Почему так? В чём разница? Andrew: Типичный подход — «Я добавлю email-уведомления. Я сделаю больше push. Я сделаю больше того и сего». И автоматически метрики должны вырасти. Хитрость в том, что обычно рассылка уведомлений на самом деле заставит больше казуальных пользователей появиться, потому что хардкорные пользователи и так уже появляются. Что это делает — увеличивает monthly actives, но не увеличивает daily actives. Так что я видел случаи, когда рассылка большего количества email уменьшает DAU/MAU, а не увеличивает.

Sonal: Это правда интересно. Когда думаешь об этом портфеле метрик, он реально рассказывает историю — что люди приходят, но не остаются.

Andrew: Если получаешь email или push каждый день, в итоге их отключаешь, и просто прекращаешь. Потом тебя считают как MAU за тот период, и теряют тебя как DAU. Привлечение очень легко играть, потому что можно просто потратить деньги.

Jeff: Или у тебя есть distribution hack, который работает. На раннем этапе платформы Facebook компании буквально получали миллион пользователей, и казалось это минутами. Просто потому что было так много людей на Facebook, и ранние просто получали взрывной рост базы. Было несколько [inaudible] с медианным числом визитов один. Они никогда не возвращались. Видишь невероятно соблазнительные кривые роста, но наша задача — быть циничными и говорить: окей, надо смотреть глубже, потому что есть много талантливых growth hackers, которые могут гнать рост. Я смотрел кучу бизнесов с десятками миллионов пользователей, и никто никогда не возвращался. [inaudible] Sonal: Вот почему вовлечённость так ключевая.

Так что мы говорили особенно о том, что рост и сетевые эффекты — не одно и то же. По определению, сетевые эффекты — это когда сеть становится ценнее с большим числом пользователей. Что происходит на стороне вовлечённости с сетевыми эффектами? О чём надо думать?

Jeff: Обычно сетевые эффекты, если они реальны, проявляются в данных. Например, когортные кривые улучшаются со временем. Обычно есть деградация. С сетевыми эффектами часто есть разворот — они растут, потому что становится ценнее. Ещё один smile, по сути. Моя due diligence в OpenTable: я посмотрел на Сан-Франциско, первый рынок, и продуктивность sales rep росла со временем, отток ресторанов уменьшался, число ужинающих на ресторан росло, процент бронирований через OpenTable vs. собственный сайт ресторана драматично сдвинулся в сторону OpenTable. Каждая метрика улучшалась. Это драйвит хорошую вовлечённость и улучшает инвест-тезис. Sonal: Ценность в целом, точно? Andrew: Один интересный момент про сетевые эффекты — мы часто говорим о них как о бинарной вещи. Sonal: Точно. Или гомогенной — все сетевые эффекты равны, а это не так. Andrew: Точно. Когда смотришь на данные, на самом деле сетевой эффект — это кривая, не бинарное да/нет. Например, [поворачивается к Jeff], я бы предположил, что если построить график — данная точка это город, по одной оси — число ресторанов в городе, по другой — conversion rate в городе, — быстро увидишь, что в городах с большим числом ресторанов conversion rate выше. Просто догадываюсь. Jeff: Это почти идеально, с одним уточнением. Число ресторанов как процент от ресторанной вселенной рынка — потому что 100 ресторанов в Дез Мойнс отличается от 100 ресторанов на Манхэттене. Andrew: Логично. И не только это — быстро понимаешь, что часто эффект уменьшается. В rideshare, если машину можно вызвать за 15 минут vs. 10 минут — это очень значимо. Но 5 минут vs. 2 минуты — conversion rate уже не растёт.

Если можете выразить сетевой эффект таким образом, можно показать: окей, у нас пара новых инвестиционных рынков, может, без такого числа ресторанов или машин, но если вложить деньги и построить правильные продукты, — можно расти.

Тот же анализ можно делать для YouTube-каналов и числа подписчиков — больше видео лучше; уверен, можно это показать. На рабочем месте, если думать о collaboration tools, должно быть видно, что чем больше людей в чате или collaborative editing — тем выше вовлечённость. Это можно показать в данных, сравнивая команды.

Sonal: Окей. Мы говорили о вовлечённости и о том, как это применяется к сетевым эффектам. Вовлечённость и удержание — одно и то же? Звучит, что они должны быть тем же самым. Jeff: Есть пересечение, но они разные. Andrew: Да, есть пересечение. Пара примеров: погода — низкая частота, но высокое удержание, потому что нужно знать погоду… <О, точно!> Sonal: Только раз в день, если только не живёшь в Сан-Франциско и не должен проверять, как, 20 раз в день из-за микроклиматов. Andrew: Точно. Jeff: Или если живёшь здесь, надо проверять дважды в год. Sonal: Это правда, тут практически круглый год одинаково. Andrew: Это и показывает — обычно люди не проверяют так часто. Однако вы с большой вероятностью имеете его установленным и запущенным через 90 дней, потому что это reference thing. Может понадобиться. Sonal: Это так важно. Andrew: Как калькулятор. В отличие от игр или ebooks — очень высокая вовлечённость, потому что «Окей. Закончу этот трэшовый научно-фантастический роман». Но как только закончил, нет причин возвращаться и читать снова.

Sonal: То есть реальная разница в том, что вовлечённость очевидно варьируется в зависимости от продукта, типа вещи — погода или ebook, — а удержание — это используют ли его после X количества времени.

Jeff: И у разных компаний разные каденции. Если средний пользователь — дважды в год, удержание — забронировали ли они ежегодно. Другие бизнесы — приходили ли ежедневно? Модель удержания совсем разная, и модель вовлечённости совсем разная. Andrew: График, который я бы очень хотел видеть, — это с разными категориями: удержание vs. частота vs. монетизация. Я думаю, надо быть реально хорошим хотя бы по одной из этих осей. Sonal: Мы сделали таксономию метрик. Поговорили про метрики привлечения. Про вовлечённость, в основном частоту.

Jeff: По вовлечённости ещё время. Не только насколько часто, но сколько времени проводят. Sonal: Точно. Время на сайте, на… кусок, написание комментариев, не только pageviews. Jeff: Потому что число бизнесов с отличной вовлечённостью не велико. Потому что есть только определённое число минут в дне. И ищется, где, окей, они проводят время и наслаждаются — и у этого поведения есть очевидная монетизация. Sonal: Вот почему Netflix такой охрененно гениальный — они буквально изобрели формат binge-watching, который раньше делать нельзя было, — я люблю это, потому что это очень интернет-нативная концепция, — они буквально проебали engagement-числа всем остальным.

Andrew: Это одно из объяснений, почему сейчас намного труднее строить consumer-продукты. Sonal: А ты думаешь, это правда? Andrew: Раньше за какое время ты конкурировал в первые годы смартфона. [inaudible] ты конкурировал буквально — «смотрю на затылок этого человека или использую крутое приложение, которое скачал». А сейчас надо отбирать минуты у других продуктов. Sonal: Да. Jeff: И обычно других [?], потому что топовые приложения почти все Facebook, Amazon, Google. И прорваться просто — Marc называет это первой страницей, людьми на первом экране — это такие incumbents. И конечно, у большинства Facebook на экране, YouTube на экране, Amazon на экране. Sonal: Сложно их сместить. Jeff: Эта конкуренция — большой навес в consumer-инвестировании сейчас, потому что надо вытеснить чьи-то минуты. Sonal: Да. Я бы добавила ещё один слой — на стороне контента: много людей делают категориальные ошибки, потому что думают, что конкурируют с похожими игроками, а на самом деле когда дело касается контента и внимания, ты конкурируешь со всем, что хватает внимание. Не только другие медиа. Это… Andrew: …Tinder. Sonal: Это dating-приложение. Это что-то ещё. Jeff: Я еду на поезде час, я могу посмотреть, что делают друзья на Facebook, смотреть видео на YouTube.

Sonal: Это меняется с time blocks. Xerox PARC сделал интересное исследование «micro-waiting moments» — это буквально маленькие отрезки времени, две секунды тут и там, когда ждёшь в очереди или что-то делаешь, и можешь делать кучу snack-sized штук, что тоже интересно для того, как люди взаимодействуют. Jeff: Это забавно, потому что есть бизнесы с хорошей вовлечённостью, где одна сессия идёт долго — YouTube, Netflix. Есть другие — много маленьких секций, которые в агрегате… Sonal: …как подкаст, который может не закончиться в один присест. Jeff: …потому что это micro-opportunities… Andrew: …И Google — лучший пример: если вы проводите много времени на Google.com, рефайня запросы и кликая, сервис на самом деле работает плохо. Jeff: Они провалились. Их цель — отвести вас к рекламодателям как можно быстрее. Andrew: Это игра на частоту и монетизацию, не на вовлечённость. Sonal: Да, это очаровательно. Andrew: А некоторые продукты больше на стороне вовлечённости. Sonal: То есть иногда оптимизируешь на основе того, как монетизируешь. Какие метрики удержания? Только «остаться или уйти»? Это метрика удержания? Andrew: Главное — концепция churn. Сложная в некоторых случаях — подписки Hulu, Netflix, и в SaaS-мире. Продолжаете ли платить или нет. Это очевидно.

Сложная штука для многих consumer-продуктов, особенно эпизодических, — это не столько «оттекли» ли они, а активны они или неактивны, и происходит ли это с темпом, который вы в своей бизнес-стратегии решили приемлемым. Если каждый Halloween — знаете, эти костюмные магазины, открывающиеся везде. Если каждый Halloween возвращаетесь и покупаете костюм, но неактивны остальное время, оттекли ли вы? Не ясно — я бы сказал, не оттекли, потому что вы делаете именно то, чего они хотят: покупаете костюм каждый Halloween. Sonal: Кажется, оценка удержания consumer-бизнеса очень трудна.

Jeff: Подстраиваешь период времени, в котором ты релевантен. Если средний ужинающий ужинает дважды в год… Sonal: …Это твой фрейм. Jeff: Можешь [inaudible] применить ту метрику. Тревел похож. Airbnb для среднего пользователя относительно нечастый. Надо подстраивать под то, что они пытаются сделать — если хочешь зависнуть с друзьями и делаешь это дважды в год, ну, не работает. У Facebook совсем другой сетап.

Andrew: Одна из вещей, которую компании могут делать, — измерять upstream signal. Например, Zillow — вы наверное не будете покупать дом часто. Может, пару раз в жизни. Однако интересно — они могут сказать: «Может, люди не покупают дома, но хотя бы top of mind ли мы? Проверяют ли они продающиеся дома в районе? Открывают ли email? Делают ли поиски?» Sonal: Интересно. Почему «upstream»?

Andrew: В воронке. Поднимаешься вверх по воронке и трекаешь те метрики. Sonal: Поняла! Andrew: В противовес покупкам. Даже для OpenTable: окей, если вы не делаете бронирование, хотя бы проверяете ли приложение на доступность?

Jeff: Или какие новые рестораны, где я хочу поужинать? Какой-то уровень потребления контента.

Sonal: На протяжении всего эпизода идёт интересный «танец» между архитектурой и открытием. Вы можете знать что-то заранее, потому что пытаетесь быть преднамеренными, а есть вещи, которые вы открываете по ходу, по мере эволюции продукта, взглядов и данных. Как вы советуете людям этот танец?

Jeff: Итерируете. Развиваете гипотезы. Выкатываете и тестируете гипотезу. Я думаю, мой продукт поведёт себя так. А он повёл?

Самое важное, наверное: маркетинг может быть искусством, маркетинг может быть наукой; в consumer-интернете это больше наука. Некоторые компании могут эффективно делать ТВ-кампании, большие медиа-бюджеты. Для меня лучшие компании обычно просто разрывают свои метрики, понимают динамику бизнеса и придумывают способы улучшить бизнес через это знание. И знание подпитывает новые продуктовые исполнения, новые маркетинговые стратегии, новое что-то. Это постоянная итерация, но информированная данными на уровне, который у лучших компаний реально, реально глубокий.

Andrew: В итоге у вас набор стратегий, которые вы преследуете, и вы выбираете метрики, чтобы валидировать, что вы на правильном пути. И многое из того, о чём мы говорили, — это идея «природа vs. воспитание». Ваш продукт может быть просто низкой каденции, но высокой монетизации, и тогда не надо смотреть на DAU/MAU. Надо найти правильный набор метрик, который покажет, что вы предоставляете ценность клиентам, и потом построить команду и продуктовый roadmap так, чтобы это усиливать.

Найдите петли и сети, существующие внутри продукта, потому что это то, что будет улучшать вашу вовлечённость со временем даже перед лицом конкуренции.

Jeff: Рост — это хорошо. Рост и вовлечённость — это реально очень хорошо. Sonal: Шикарно. Спасибо, ребята, что присоединились к подкасту a16z.

Я пишу качественную еженедельную рассылку о том, что происходит в Силиконовой долине, с фокусом на стартапах, маркетинге и мобильном.

Взгляды, выраженные в «контенте» (включая посты, подкасты, видео), на который ссылаются на этом сайте или которые публикуются в социальных медиа и других платформах (в совокупности — «каналы распространения контента»), являются моими собственными и не являются взглядами AH Capital Management, L.L.C. («a16z») или её соответствующих аффилированных лиц. AH Capital Management является инвестиционным консультантом, зарегистрированным в Securities and Exchange Commission. Регистрация в качестве инвестиционного консультанта не подразумевает каких-либо особых навыков или подготовки. Посты не направлены ни на каких инвесторов или потенциальных инвесторов, и не представляют собой предложения о продаже — или приглашения сделать предложение о покупке — каких-либо ценных бумаг, и не могут быть использованы или на них нельзя полагаться при оценке достоинств любой инвестиции.

Контент не следует толковать или полагаться на него каким-либо образом как на инвестиционный, юридический, налоговый или иной совет. Вам следует консультироваться с собственными советниками по юридическим, деловым, налоговым и другим связанным вопросам, касающимся любой инвестиции. Любые прогнозы, оценки, прогнозы, цели, перспективы и/или мнения, выраженные в этих материалах, подвержены изменению без уведомления и могут отличаться или быть противоположными мнениям других. Любые графики, приведённые здесь, предназначены только для информационных целей и не должны быть использованы при принятии каких-либо инвестиционных решений. Определённая информация, содержащаяся здесь, получена из сторонних источников. Хотя она получена из источников, считающихся надёжными, я не проверял такую информацию независимо и не делаю никаких заявлений о её сохраняющейся точности или её соответствии данной ситуации. Контент действителен только на указанную дату.

Ни при каких обстоятельствах любые посты или другая информация, предоставленная на этом сайте — или на связанных каналах распространения контента — не должны толковаться как предложение, побуждающее к покупке или продаже любой ценной бумаги или доли в каком-либо пуле инвестиционных средств, спонсируемом, обсуждаемом или упомянутом персоналом a16z. И не следует толковать это как предложение предоставлять услуги инвестиционного консультирования; предложение инвестировать в управляемый a16z пул инвестиционных средств будет сделано отдельно и только посредством конфиденциальных документов о предложении конкретных пулов инвестиционных средств — которые должны быть прочитаны в полном объёме, и только тем, кто, среди прочих требований, соответствует определённым квалификациям по федеральным законам о ценных бумагах. Такие инвесторы, определённые как accredited investors и qualified purchasers, обычно считаются способными оценивать достоинства и риски перспективных инвестиций и финансовых вопросов. Не может быть никаких гарантий, что инвестиционные цели a16z будут достигнуты или инвестиционные стратегии будут успешными. Любая инвестиция в средство, управляемое a16z, влечёт высокую степень риска, включая риск потерять всю инвестированную сумму. Любые упомянутые, отмеченные или описанные инвестиции или портфельные компании не являются репрезентативными для всех инвестиций в средствах, управляемых a16z, и не может быть никаких гарантий, что инвестиции будут прибыльными или что другие инвестиции, сделанные в будущем, будут иметь похожие характеристики или результаты. Список инвестиций, сделанных фондами под управлением a16z, доступен на https://a16z.com/investments/. Из этого списка исключены инвестиции, на раскрытие которых эмитент не дал a16z разрешения, а также неанонсированные инвестиции в публично торгуемые цифровые активы. Прошлые результаты инвестиций Andreessen Horowitz, пулов инвестиционных средств или инвестиционных стратегий не обязательно являются индикатором будущих результатов. См. https://a16z.com/disclosures для дополнительной важной информации.

Follow @andrewchen

Об авторе

Andrew Chen — партнёр в Andreessen Horowitz, где он инвестирует в игры, AR/VR, метавселенную и потребительские технологические стартапы. Он автор The Cold Start Problem, книги о запуске и росте новых стартапов через сетевые эффекты. Живёт в Венис, Калифорния (подробнее)

Карта сайта