a16z Podcast: Why paid marketing sucks, Network effects, Viral Growth, and more at andrewchen
Эндрю Чен и Джефф Джордан (партнёры a16z) обсуждают рост потребительских продуктов: приобретение, вовлечённость и удержание. Они объясняют, почему «гравитация» закона больших чисел замедляет даже лучшие бизнесы, а блендированный CAC вводит в заблуждение — нужно отдельно считать платный и органический трафик, а LTV/CAC обычно деградирует со временем. Платный маркетинг полезен как часть портфеля каналов, но опасен как основной двигатель — пример OpenTable, Lime и Slack показывает силу органики и сетевых эффектов. В части про вовлечённость разбираются когортный анализ, «smile curve» (L28), DAU/MAU и aha-моменты — Pinterest, Facebook и Dropbox используются как примеры «лестницы вовлечения». Авторы подчёркивают: сетевые эффекты — это не бинарный признак, а кривая, видимая в когортных данных; а лучшие компании отличаются маниакальным разбором метрик и итеративной проверкой гипотез.
a16z Podcast: Why paid marketing sucks, Network effects, Viral Growth, and more
Подкаст a16z: почему платный маркетинг — это плохо, сетевые эффекты, виральный рост и многое другое
Dear readers,
It was my pleasure to be on my first ever Andreessen Horowitz podcast! if you haven’t checked it out, you can subscribe here. I’ve linked to the Soundcloud and included a transcript below.
Дорогие читатели, для меня было удовольствием впервые поучаствовать в подкасте Andreessen Horowitz! Если вы его ещё не слышали, можете подписаться здесь. Я приложил ссылку на Soundcloud и расшифровку ниже.
In the podcast, we cover a broad overview of growth/marketing topics, including:
В подкасте мы делаем широкий обзор тем, связанных с ростом и маркетингом, в том числе:
Естественная «гравитация», замедляющая быстрорастущие бизнесы. Что на самом деле происходит под поверхностью экспоненциальных кривых роста. Органический и платный маркетинг, LTV/CAC. Почему смешанные показатели CAC вводят в заблуждение. Почему офлайн-продукты так привлекательны для приобретения клиентов. Когортный анализ и поиск «smile curves». Кривая power user, она же L28. Почему онбординг так важен для удержания и оттока. Фазы роста — почему ранние компании фокусируются на привлечении, а большие — на оттоке. Продукты высокой частоты против эпизодических. Почему добавление кучи спамных email-уведомлений снижает ваш DAU/MAU. Сетевые эффекты и почему у разных продуктов они устроены по-разному. Почему Google измеряет много коротких сессий, а другие продукты делают ставку на длинные.
Hope you enjoy it!
Надеюсь, вам понравится!
And thank you to my colleagues Sonal and Jeff for making this happen :)
И спасибо моим коллегам Sonal и Jeff за то, что это случилось :)
Andrew
Palo Alto, CA
Andrew, Пало-Альто, Калифорния
Part 1: User Acquisition
Часть 1: Привлечение пользователей
Hi everyone welcome to the a16z Podcast, I’m Sonal. Today’s episode is all about growth, one of the most top of mind questions for entrepreneurs — of all kinds of startups, and especially for consumer ones.
Всем привет, добро пожаловать в подкаст a16z, я Sonal. Сегодняшний эпизод полностью посвящён росту — одному из самых важных вопросов для предпринимателей всех типов стартапов, особенно потребительских.
So joining to have this conversation, we have a16z general partners Andrew Chen and Jeff Jordan. And we cover everything from the basics of growth and defining key metrics to know, to the nuances of paid vs organic marketing and the role of network effects and more.
К разговору присоединились генеральные партнёры a16z Andrew Chen и Jeff Jordan. Мы обсуждаем всё — от основ роста и определения ключевых метрик до нюансов платного против органического маркетинга и роли сетевых эффектов.
Part one of this conversation focuses specifically on the aspect of user acquisition for growth, and then we cut off and go into the aspects of growth for user engagement and retention, in the next episode. But first, we begin by going beyond the concept of growth hacks — and beginning with the fundamental premise that businesses do not grow themselves…
Первая часть разговора сфокусирована именно на аспекте привлечения пользователей для роста, а во втором эпизоде мы переходим к аспектам роста через вовлечённость и удержание. Но сначала мы выходим за рамки концепции growth hacks и начинаем с фундаментальной предпосылки: бизнесы не растут сами по себе…
Sonal: So the topic we wanted to talk about today is growth, which is a big topic. What would you say are the biggest myths and misconceptions that entrepreneurs have about growth?
Andrew: You know, not only is there the misconception that it happens magically, then the next layer I think is that it’s really just like, oh, a series of, you know, tips and tricks and growth hacks that kind of keep things going as opposed to like a really rigorous understanding of, you know, how to think about growth not just, as kind of the top line thing but actually that there’s acquisition, that there’s engagement, that there’s retention, and each one of those pieces is very different than the other and you have to like tackle them systematically.
Sonal: Тема, о которой мы хотим поговорить сегодня, — это рост, и тема большая. Какие, по-вашему, главные мифы и заблуждения предпринимателей о росте? Andrew: Знаешь, есть не только заблуждение, что он случается магически, но и следующий слой — что это, мол, просто набор советов, трюков и growth hacks, которые поддерживают движение, в противовес действительно строгому пониманию того, как думать о росте — не как о верхнеуровневой метрике, а с учётом того, что есть привлечение, вовлечённость и удержание, и каждая из этих частей сильно отличается от других, и подходить к ним надо системно.
Jeff: It is a scientific discipline, done right, because it requires you to understand your business and business dynamics at this incredibly micro level.
Sonal: I love that you said that because one of the complaints I’ve heard about “growth hacking” is that it’s just marketing by a different name, and what I’m really hearing you guys say is that there’s a systemic point of view, there’s rigor to it, there’s stages, there’s a program you build out.
Jeff: Это научная дисциплина, если заниматься ею правильно, потому что она требует понимать свой бизнес и его динамику на невероятно микро-уровне. Sonal: Мне нравится, что ты это сказал, потому что одна из жалоб, которые я слышала про «growth hacking», — что это просто маркетинг под другим названием, а на самом деле вы оба говорите, что есть системный взгляд, есть строгость, есть стадии, есть программа, которую вы выстраиваете.
Jeff: If you’re fortunate enough to achieve product-market fit and your business starts to take off, typically, you know, when in the wonderful situation do you get this hyper growth where you’ll grow year over year, you know, it’s triple digits. It’s just exploding. And then gradually the law of the large numbers starts to kick in and maybe the 100% growth becomes 50% growth the next year, and then the law of large numbers continue to kick in and there’s 25% and then it’s 12.5% and so growth tends to decay over time even in the best businesses. And so the–
Sonal: — Didn’t you use to call it like “gravity”?
Jeff: I called it gravity, you just would…it comes down to earth. And then the job of the entrepreneur is to be looking years down the road and say, “Okay, at some point growth in business A is going to stop and so I want to keep it going as long as I can and there’s a whole bunch of tactics to do that,” but then the other tactic, the other strategies, okay, I need new layers on the cake of growth.
Jeff: Если вам повезло достичь product-market fit и бизнес взлетает, обычно в этой прекрасной ситуации вы получаете гиперрост, когда год к году растёте трёхзначными цифрами. Просто взрыв. А потом постепенно начинает работать закон больших чисел, и, возможно, 100% рост в следующем году становится 50%, и закон больших чисел продолжает действовать — 25%, потом 12,5%, и рост со временем затухает даже в лучших бизнесах. И вот... Sonal: Ты раньше называл это «гравитацией»? Jeff: Я называл это гравитацией, всё... опускается к земле. И задача предпринимателя — смотреть на годы вперёд и говорить: «Окей, в какой-то момент рост в бизнесе A остановится, и я хочу продлевать его как можно дольше — есть куча тактик для этого», но есть и другие тактики и стратегии: окей, мне нужны новые слои на торте роста.
At eBay the original business was an auction business in the U.S. and so, you know, some of the things we layered on early days we layered on fixed price in the U.S. — it’s not revolutionary but it really did grow then we went international. And then we layered in payment integration and each time we did that the total growth of the company would actually accelerate which is very hard to do at scale.
Sonal: That’s the whole point… like there’s intentionality to it. It’s not an accident that you guys introduce new businesses, new layers on the cake.
В eBay изначальный бизнес был аукционным в США, и вот что мы наслаивали в ранние дни: фиксированную цену в США — это не революционно, но это реально дало рост, потом мы пошли международно. Затем мы интегрировали платежи, и каждый раз общий рост компании ускорялся, что очень трудно сделать в масштабе. Sonal: В этом и суть... есть осознанность. Не случайно вы вводите новые бизнесы, новые слои на торте.
Jeff: Businesses don’t grow themselves, the entrepreneur has to grow them. And, you know, occasionally, you stumble into a business that seems to almost grow itself but they’re just aren’t many of those in the world and that growth almost never persists for long periods of time unless the entrepreneur can figure out how to continue its growth.
Sonal: Right. I remember a post you wrote actually a few years ago on “The ‘Oh, Shit Moment!’ When Growth Stops” because people are a little blindsided by it.
Jeff: And that’s the flip side of it. You know, early on you get this great growth, you had to keep it going. When it stops your strategic options had been constrained dramatically.
Jeff: Бизнесы не растут сами — их растит предприниматель. И иногда вы натыкаетесь на бизнес, который как будто растёт сам, но таких в мире не так уж много, и этот рост почти никогда не сохраняется надолго, если предприниматель не придумает, как его продолжить. Sonal: Точно. Помню твой пост несколько лет назад «The ‘Oh, Shit Moment!’ When Growth Stops» — потому что людей это застаёт врасплох. Jeff: Это обратная сторона. На раннем этапе вы получаете отличный рост и должны его поддерживать. Когда он останавливается, ваши стратегические опции резко сужаются.
Andrew: A lot of times when you’re looking at what seemingly is an exponential growth curve. In fact, it’s really something like, oh, you’re opening in a bunch of new markets, right, so there’s sort of a linear line there, but then you’re also introducing products at the same time and you’re also reducing friction and, you know, sign-ups or retention or whatever, and so, the whole combination of those things is really kind of like a whole series of accelerating pieces that looks like it’s, you know, this amazing viral growth curve. But it’s actually like so much work underneath. <Sonal: Right.> You know, that makes that happen.
Sonal: I’ve also heard you [Andrew] talk about, being able to distinguish what is specifically driving that growth, so you don’t have this like sort of exponential-looking curve without knowing what that lever that you’re pulling to make that happen or knowing what’s happening even if it’s kind of happening naturally or organically. Can we break down some of the key metrics that are often used in these discussions including just what the definitions are and maybe just talk through how to think about them?
Andrew: Right. Yeah, so when you look at a large aggregate number like, you know, total monthly active users, right, or you’re looking at like —
Sonal: — “MAUs”
Andrew: –Yeah, MAUs, right. Or you’re looking at, you know, the GMV like all the…adding up all the transactions in your marketplace–
Andrew: Часто, когда вы смотрите на то, что вроде бы является экспоненциальной кривой роста, на самом деле это что-то вроде: вы открываетесь в куче новых рынков — это линейная линия, но одновременно вы вводите продукты, снижаете трение в регистрации или удержании и так далее, и сочетание всего этого — это целая серия ускоряющихся кусочков, которая выглядит как удивительная виральная кривая роста. Но на самом деле под ней огромная работа.
Sonal: — So, “gross merchandise value”.
Andrew: Yup. And so, you know, when you look at something like that and if it’s going up or down, you don’t have the levers at that level to really understand like what’s really going on. You want to go a couple levels even deeper: How many new customers are you adding? As you’re growing more and more new customers, a bunch of things happen. If you’re using paid advertisement channels, things tend to get more expensive over time because — you know, your initially super, super excited core demographic of customers — like they’re gonna convert the best and as you start reaching into different geographies, different kinds of demos, all of a sudden they’re not gonna convert as well, right?
Sonal: То есть «gross merchandise value». Andrew: Ага. И когда смотришь на это и оно растёт или падает, на этом уровне у тебя нет рычагов, чтобы реально понять, что происходит. Хочется уйти на пару уровней глубже: сколько новых клиентов вы добавляете? Когда вы добавляете всё больше новых клиентов, начинает происходить куча вещей. Если вы используете платные рекламные каналы, со временем они дорожают — потому что ваш изначально супер-возбуждённый core demographic клиентов будет конвертироваться лучше всего, а как только вы начинаете залезать в другие географии, другие демо, они вдруг конвертируются хуже.
Sonal: Just to pause in that for a quick moment, you’re basically arguing that growth itself halts growth in that context.
Andrew: Right. Yeah. So the law of large numbers means that you know there’s only a fixed number of humans on the planet, there’s only a fixed number of people that are in your core demographic, right? Once you surpass a certain point, it’s not like it’s it falls off a cliff, it’s just more gradual that you know that the customer behavior really changes.
Sonal: How do you determine what’s what when you don’t have product-market fit? Sometimes aren’t these metrics ways to figure that out or is this all when you have product-market fit… like is there a pre- and a post- difference between these?
Sonal: Подожди секунду — ты по сути говоришь, что рост сам по себе тормозит рост в этом контексте. Andrew: Да. Закон больших чисел означает, что на планете фиксированное число людей, в твоей core demographic тоже фиксированное число. Как только переходишь определённую точку, это не падение со скалы — это более постепенное изменение поведения клиентов. Sonal: Как определить, что есть что, когда у вас нет product-market fit? Разве эти метрики иногда не способ это выяснить, или это всё имеет смысл уже при наличии PMF... есть разница до и после?
Andrew: Very concretely, you want to understand how much of the acquisition is coming from purely organic (people discovering it, people talking to each other), as opposed to, oftentimes you’ll run into the companies that have over 50% of their acquisition coming from paid marketing and that tells you something that you’re, you know, needing to spend that much money to get people in the door.
Sonal: Yeah. So CAC, “customer acquisition cost”, that’s what you’re talking about when you talk about acquisition.
Andrew: Очень конкретно: ты хочешь понять, какая часть привлечения приходит чисто органически (люди находят сами, рассказывают друг другу) — в противоположность тому, как часто видишь компании, у которых более 50% привлечения идёт из платного маркетинга, и это уже о многом говорит: вам нужно тратить столько денег, чтобы затащить людей. Sonal: Да. То есть CAC, «customer acquisition cost» — это про привлечение.
Jeff: CAC is what it cost to acquire a user, “blended CAC” is what it costs to acquire a user on a paid basis plus then also what free users you acquire. So if you’re acquiring half your users through paid marketing you’re paying a $100 to acquire a user but half of your users are coming at zero, paid CAC is 100, blended CAC is 50.
Jeff: CAC — это сколько стоит привлечь пользователя, «blended CAC» — это сколько стоит привлечь пользователя на платной основе плюс бесплатные пользователи. То есть если половина пользователей приходит через платный маркетинг по $100, а половина приходит бесплатно, paid CAC равен 100, а blended CAC — 50.
I think blended time is a really dangerous number. Most of the best businesses in the internet age of technology haven’t spent a ton on paid acquisition. And so the truly magical businesses, you know, a lot of them aren’t buying tons of users… Amazon’s key marketing right now is free shipping. And then, yeah, the economics of paid acquisition tend to degrade overtime.
Sonal: As it grows.
Jeff: As it grows and you just try to scale it and, you know, largely you’re cherrypicking the best users and then you’re trying to also scale the number you get to grow. I need twice as many new users this year as last year and you typically pay more so that magical LTV to CAC ratio which early on says, “Oh, we are three to one, you know, in two years it’ll probably be one and a half to one if you’re lucky,” or something like that. So we typically do try to look for these other sources of acquisition be it viral, be it, you know, some other form of non paid <crosstalk>
Я считаю, что blended — это очень опасное число. Большинство лучших бизнесов интернет-эпохи не тратили кучу денег на платное привлечение. Так что по-настоящему магические бизнесы — многие из них не покупают тонны пользователей… ключевой маркетинг Amazon сейчас — это бесплатная доставка. И да, экономика платного привлечения со временем деградирует. Sonal: По мере роста. Jeff: По мере роста и масштабирования — вы изначально снимаете сливки лучших пользователей, а потом пытаетесь масштабировать количество. Мне нужно вдвое больше новых пользователей в этом году, чем в прошлом, — и обычно платишь больше, так что магическое соотношение LTV/CAC, которое на ранних этапах звучит как «о, у нас три к одному, через пару лет, если повезёт, будет полтора к одному». Поэтому мы обычно стараемся искать другие источники привлечения — будь то вирусные, или какая-то другая неплатная форма
Sonal: I want to quickly define LTV — it’s “lifetime value” of the customer, but what does that mean?
Jeff: When you’re showing an LTV to CAC ratio you have no idea of what you’re seeing essentially given all the potential variations of the numbers. So we will almost always go for clarity. LTV, lifetime value, should be the profits, the contribution from that user after all direct costs.
Sonal: Быстро определим LTV — это «lifetime value» клиента, но что это значит? Jeff: Когда тебе показывают соотношение LTV/CAC, ты по сути не имеешь представления, что ты видишь, учитывая все возможные вариации чисел. Поэтому мы почти всегда идём за ясностью. LTV, lifetime value — это прибыль, вклад от этого пользователя после всех прямых затрат.
Sonal: How do we define the LTV to CAC ratio? What do the two of them in conjunction mean?
Jeff: Well, let’s break them down. LTV is lifetime value. What you’re describing there is the incremental profit contribution for a user over the projected life of that user. So not revenue per CAC is that you know typically there’s cost associated to user. What’s the incremental contribution that the user brought from that <crosstalk> <Sonal: And that you mean the user brought to your company’s value.> To the company, yeah.
Sonal: So it’s a value of your customer to the bottom line?
Jeff: It’s the value of each customer to the bottom line, and then you compare that to the CAC or “cost of acquired customer” to understand the leverage you have between what I need to spend to acquire a customer and how much they’re worth. If your CAC is higher than your LTV you’re sunk. Because it’s costing you more to acquire a user…
Sonal: Than the value you get out of it. Now I get it.
Jeff: …then you’re going to get out of that user.
Sonal: Yeah.
Jeff: If it’s the opposite, at least you’re in the game. You know, I get more profit out of the user than I get the cost to acquire that user. And then there’s this dynamics on how does it scale over time, CAC tends to go up, LTV tends to go down. Because you’re, on the CAC side, you’re acquiring the less interested users over time. So they cost more to acquire and they’re worth less, and so that the LTV to CAC ratio, in our experience, almost always degrades as over time with scale.
And so, you know, when you’re in that conversation, you’re in a very specific conversation of, “Okay, how much room do you have?” “How is it gonna scale?” “You know, what’s gonna impact your CAC like a competitive thing?” So there has to be a lot, it had to be like 10 to kind of get you over that concern that oh, my goodness, those two were so close, that you have no margin for error.
Sonal: Right. This also goes back to the big picture, the layers on the cake, because if you have other layers you don’t have to only worry about one layer CAC to LTV ratio.
Jeff: It really does affect the calculation. If it’s, I’m in a new business, and I have a whole different CAC versus, you know, LTV ratio then that’s a different conversation as well.
Sonal: Как определить соотношение LTV/CAC? Что они вместе означают? Jeff: Давай разложим. LTV — это lifetime value. То, что описывается, — это инкрементальный вклад в прибыль от пользователя за прогнозируемую длительность его жизни. То есть не выручка на CAC: обычно есть затраты, связанные с пользователем. Какой инкрементальный вклад принёс этот пользователь
Sonal: And the big picture there, is that if you don’t know the difference of what’s doing what when you may get very mistaken signals, mixed signals about your business, and so you guys don’t want blended CAC because you want to know what’s driving the growth.
Sonal: И большая картина в том, что если вы не понимаете разницу между тем, что что делает, вы можете получать очень обманчивые, смешанные сигналы о бизнесе, и потому вы не любите blended CAC — потому что хотите знать, что именно драйвит рост.
Andrew: I think what blended CAC gives you is it gives you a sense for at this particular moment in time, you know, what’s happening. The challenge is that when it comes to paid marketing, in particular, it’s easy to just add way more budget and a scale that than it is to scale organic or to scale SEO. So your CAC is giving you a snapshot, but then as you’re trying to scale the business you’re trying to increase everything by 100% over the next, you’re trying to double everything then all of a sudden, you know, your blended CAC starts to approach whatever your dominant channel actually looks like.
And so if you’re spending a bunch of money then it’ll just approach whatever is your paid marketing, you know, CAC. What entrepreneurs should think about is what is the unique organic new thing that’s gonna get it in front of people, without spending a bunch of money, right?
Andrew: Что blended CAC вам даёт — это ощущение того, что происходит в конкретный момент времени. Проблема в том, что когда дело касается платного маркетинга, легко просто добавить намного больше бюджета и масштабировать его — гораздо легче, чем масштабировать органику или SEO. Так что CAC даёт вам срез, но при попытке масштабировать бизнес — увеличить всё на 100%, удвоить — внезапно ваш blended CAC начинает приближаться к тому, каков ваш доминирующий канал. И если вы тратите кучу денег, blended приблизится к CAC платного маркетинга. О чём предпринимателям стоит думать — что есть та уникальная органическая штука, которая поставит продукт перед людьми без больших трат?
Jeff: A lot of the best businesses have this very interesting, I’ll call it a growth hack. I mean OpenTable, when I was managing it, did not pay any money at all to acquire consumers. Like how can you do that? You know, it had millions of consumers. The restaurants would mark it OpenTable on our behalf.
Sonal: Right.
Jeff: They go to The Slanted Door website like when they were an OpenTable customer and you’d see, you’re looking…you go there to try to get the phone number to make a reservation and they’d say, “Oh, make an online reservation.” And we then got paid to acquire that user in its core form. But that hack was a wonderful thing. It scaled with the business and got us tons of free users.
Jeff: У многих лучших бизнесов есть очень интересный, я назову это growth hack. Скажем, OpenTable, когда я им управлял, вообще не платил денег за привлечение потребителей. Как такое возможно? У него были миллионы пользователей. Рестораны помечали OpenTable от нашего имени. Sonal: Точно. Jeff: Заходишь на сайт The Slanted Door — если они клиенты OpenTable, и пытаешься найти телефон, чтобы забронировать, а они говорят: «О, сделайте онлайн-бронирование». И нам ещё платили за привлечение этого пользователя в основной форме. Этот хак был чудесной штукой. Он масштабировался с бизнесом и давал нам тонну бесплатных пользователей.
Sonal: To be fair, and this is another definition we should tease apart really quickly before we move on to more metrics, that also had a quality of network effects which we’ve talked a lot about in terms of these things growing more valuable to more people that use it… is that growth? What’s the difference there?
Jeff: Well, the business grew into the network effect. The key tactic to build the network effect was that free acquisition of consumers that the more restaurants we had, the more attractive it was to consumers the more consumers who came, the more attractive it was to restaurants. So there is a wicked network effect.
Sonal: Like a flywheel effect, right.
Jeff: If you’re not spending anything on paid acquisition of consumers, how do you start it? And the placements that OpenTable got in the restaurant book both physically in the restaurant but particularly in the restaurant’s website was the key engine that got the network effect started. You had to manually sell some restaurants come for the tools, stay for the network, but then once the consumers got enough of a selection and started to use it, it was game over.
Sonal: Right, that was one way of going around the bootstrapping or the chicken-egg problem and seeding a network.
Sonal: Справедливости ради — и это ещё одно определение, которое надо быстро разобрать перед тем, как перейти к другим метрикам, — это также имело качество сетевых эффектов о которых мы много говорили в смысле того, что эти штуки становятся ценнее для большего числа людей, которые ими пользуются... это рост? В чём разница? Jeff: Бизнес вырос в сетевой эффект. Ключевой тактикой создания сетевого эффекта было бесплатное привлечение потребителей — чем больше у нас было ресторанов, тем привлекательнее это было для потребителей; чем больше приходило потребителей, тем привлекательнее это было для ресторанов. Так что там жёсткий сетевой эффект. Sonal: Эффект маховика, да. Jeff: Если вы не тратите ничего на платное привлечение потребителей, как вы его запускаете? Размещения OpenTable в ресторанной книге, и физически в ресторане, и особенно на сайте ресторана, были тем ключевым двигателем, который запустил сетевой эффект. Нам приходилось вручную продавать рестораны — приходи за инструментами, оставайся ради сети, — но как только потребители получили достаточный выбор и начали этим пользоваться, игра была сделана. Sonal: Это один из способов обойти проблему курицы и яйца и засеять сеть.
Andrew: Network effects have…there’s a lot of really positive things about them and one of the big pieces is that virality is a form of like something that you get with the network. You know, the larger your network is, the more surface area, the more opportunities you have in order to encounter it, right. And so, you know, in the case of Uber (where I was recently), by seeing all the cars with the Uber logo like those are all opportunities to be like, “Oh, what is this app? I should try it out.” And so it’s mutually reinforcing: then you get more riders and then you get more drivers that are into it and so, I think all of that kind of plays together.
Andrew: У сетевых эффектов очень много положительных сторон, и одна из них — что виральность является одной из форм того, что вы получаете с сетью. Чем больше ваша сеть, тем больше площадь поверхности, тем больше возможностей с ней столкнуться. И в случае с Uber (где я недавно работал) — все эти машины с логотипом Uber — это возможности подумать: «О, что это за приложение? Надо попробовать». И это взаимно усиливается: тогда у тебя больше райдеров, потом больше водителей, и всё это работает в связке.
Jeff: I’ll bring two examples up, the pink Lyft mustache when I first got to San Francisco.
Sonal: I remember that.
Jeff: You can see it once in the car and you’d go, “Oh, that’s pretty weird.” You see it twice in the car and you say, “Something is going on here that I don’t know about, and I have to understand what it is.” Lime is the same kind of thing.
Sonal: Right.
Jeff: They’re bright green and they glow essentially. So when someone sees one in the wild, someone bolts by them in a glowing green electric scooter and you’re just like, “Okay…what is that?” And Lime hasn’t spent a penny on consumer acquisition. <Sonal: Right.> Because their model is such that physical cue in the real world leads to it.
Jeff: Приведу два примера: розовые усы Lyft, когда я только переехал в Сан-Франциско. Sonal: Я помню это. Jeff: Видишь их раз на машине — думаешь: «О, странновато». Видишь дважды — говоришь: «Тут что-то происходит, о чём я не знаю, и я должен понять, что это». С Lime то же самое. Sonal: Точно. Jeff: Они ярко-зелёные и буквально светятся. Когда кто-то видит один в дикой природе, как кто-то проносится мимо на светящемся зелёном электрическом скутере, ты такой: «Окей, что это?» И Lime не потратил ни цента на потребительское привлечение.
Andrew: The other one I’ll throw in as well is within workplace enterprise products there’s a lot of kind of bottoms-up virality that comes out of people, you know, kind of sharing and collaborating.
Sonal: Like with Slack.
Andrew: Yeah, like for example Slack is a great, it’s an example of this. And so, these are all kind of really unique ways that you can, you know, get acquisition for free. And so then your CAC is, you know, “zero” as a result.
Sonal: Yeah.
Andrew: Ещё один пример, который я добавлю, — в рабочих корпоративных продуктах много так называемой bottoms-up виральности, идущей от людей, которые делятся и сотрудничают. Sonal: Как со Slack. Andrew: Да, например Slack — отличный пример. И всё это очень уникальные способы получить привлечение бесплатно. И ваш CAC получается «ноль» как результат. Sonal: Да.
You guys have talked a lot, about organic. It makes it sound to me as a layperson that you don’t want paid marketing! Like what’s your views on this — is it a bad thing, is it a good thing; I don’t mean to moralize it but — help me unpack more where it’s helpful and where it’s not. Are they any rules-of-thumb to use there?
Jeff: I mean a lot of great businesses that have leveraged paid marketing. The OTA sites (online travel agencies – Priceline and Expedia) just spends, you know, they spend a GDP of many large countries in their acquisition; and then it’s often a tactic in some good business. But if it’s your primary engine, a couple of things happen: One is it tends…the acquisition economics tend to degrade over time for the reason we’re saying… <Sonal: Right this is…> And it leaves you wide open to competition.
Sonal: It gets commoditized basically.
Jeff: If you need to buy users, I mean if you’re selling, you know, the new breed of mattress and you need to buy users and early on, you’re the only person competing for that word, flas-hforward a year or two, they’re like six new age mattress manufacturers with virtually identical products competing for the same consumer. The economics are not going to persist over time. And so, you know, one of the key questions in businesses driven by heavy user acquisition is how does the play end? You know, it usually looks pretty good at the beginning of the play but in the middle it’s starts getting a little complex and there’s tragedies at the ends.
Sonal: There’s literally an arc.
Вы много говорили об органике. Звучит так, будто вы вообще не любите платный маркетинг! Какие у вас взгляды — это плохо, это хорошо; не хочу морализировать, но — помогите распаковать, где он полезен, а где нет. Есть какие-то правила большого пальца? Jeff: Многие отличные бизнесы использовали платный маркетинг. OTA-сайты (online travel agencies — Priceline и Expedia) тратят на привлечение размером с ВВП многих крупных стран; и часто это тактика в некоторых хороших бизнесах. Но если это ваш основной двигатель, происходит пара вещей: во-первых, экономика привлечения склонна деградировать со временем по той причине, что мы сказали…
Andrew: And I think, you know, if it is something that you’re using in conjunction with a bunch of other channels and you’re kind of accelerating things, that can be great. For example when Facebook in the past broke into new markets they started with paid marketing to get it going. And so in a case like that really paid marketing is a tactic to kind of get a network affect jumpstarted right? <Sonal: Gotcha.> And then you can kind of like pull off from that if you’d like. <Sonal: Right.>
Andrew: But if you’re super, super dependent on it and you don’t have a plan for a world that you know all the channels atregonna degrade [in] then you’re gonna be in a tough spot in a couple of years.
Sonal: Totally. Do you have sort of a heuristic for when to stop the paid? Is there like a tipping point, you know, THIS is when you move?
Andrew: Если это что-то, что вы используете вместе с другими каналами и ускоряете процессы, это может быть здорово. Например, когда Facebook раньше входил на новые рынки, они начинали с платного маркетинга, чтобы запустить процесс. В таком случае платный маркетинг — это тактика запуска сетевого эффекта
Andrew: I think in terms of how much paid should you do as part of your portfolio, I think that’s the right way to think of it is it’s one out of a bunch of different channels, right? And so I would argue the following: First is you really have to measure the CAC and the LTV and be super disciplined about not spending ahead of where you want it to be and not to do it on some, you know, blended number that doesn’t make any sense. <Sonal: Right.> And then I think the other part is you really want it to be kind of a small enough minority of your channels. Such that if you were to get to a point where it turns out to be capped that you’re okay, that you can live with that.
Sonal: Your business will survive and you continue to grow and be healthy.
Andrew: Right, exactly, and you can still get the growth rates you want and you can still, you have such strong product-market fit that you’re able to maintain that.
Jeff: Take a couple of sector examples. You know, ecommerce, a lot of companies struggle with, “Okay, how do I get organic ecommerce traffic?” So most ecommerce companies rely heavily on paid user acquisition, you know, typically one of the interesting things is they degrade over time and they’re all competing for the same user. It’s hard for ecommerce companies in most segments to be profitable and you’d look at the same kinds of dynamic and restaurants delivery. You know, if you can’t differentiate yourself and you’re highly reliant on paid marketing, the movie typically doesn’t end really great, and so, we look for segments where there’s a balance or they come up with that really unique growth hack and they’re not then reliant on paid channels.
Andrew: Я думаю, в плане того, сколько платного должно быть как часть вашего портфеля, правильно смотреть на это как на один из множества каналов. Я бы сформулировал так: во-первых, надо реально измерять CAC и LTV и быть супердисциплинированным — не тратить заранее и не делать это на каких-то blended числах, которые не имеют смысла.
And then by the way, paid channels can degrade too. I mean, I’d made a couple of investment mistakes where the paid acquisitions looked really good and then actually what they were doing is they’re arbitraging something like Facebook’s early mobile attempts where the people who participated with Facebook mobile ads early got real deals. They were nowhere near kind of the price they should have been trending at, so you’re like, “Look at these user analytics. They’re awesome!” And then Facebook, you know, kind of got the equilibrium when supply and demand met and the cost went up multiples, and those businesses that looked so good early just got incredibly stressed because they had no alternative to that inflation.
Sonal: That’s the case of platform risk where you’re dependent on the channel of on Facebook mobile or whatever the specific channel was there. But Andrew, you were also earlier talking about just a cap on how much is possible, and you both referenced the fact that things can become very competitive, that your competitors can also buy the same channels and then it gets very crowded or very expensive. So there’s multiple layers of the risk of the paid is what I’m hearing, but you have to be aware of that.
И, кстати, платные каналы тоже могут деградировать. Я делал пару инвестиционных ошибок, где платное привлечение выглядело очень хорошо, а на самом деле они арбитражили что-то вроде ранних мобильных попыток Facebook — те, кто участвовал в мобильных рекламах Facebook на ранних этапах, получали реальные сделки. Они были далеко от той цены, к которой должны были тяготеть, и ты такой: «Посмотри на пользовательскую аналитику. Она шикарна!» А потом Facebook достиг равновесия, спрос и предложение сошлись, и цена выросла в разы, и те бизнесы, которые так хорошо выглядели сначала, оказались под огромным давлением, потому что не имели альтернативы этой инфляции. Sonal: Это случай платформенного риска, когда ты зависишь от канала мобильного Facebook или какого там был. Но Andrew, ты раньше говорил и о потолке на возможное, и вы оба ссылались на то, что вещи могут становиться очень конкурентными — конкуренты могут покупать те же каналы, и становится тесно и дорого. Так что есть несколько слоёв риска платного, я слышу, но надо это осознавать.
Andrew: Yeah. So I think on the acquisition side today, there’s a couple of really interesting opportunities that might be, you know, temporal, right, and like it may go away, right? <Sonal: Like, anything that crosstalk> For example, I think that if you have a product that is very highly visual, and I think this is, you know, one of the reasons why eSports has gotten so huge is because you have a product that naturally generates a ton of video in an age which all the platforms are trying to rush to video.
Sonal: That’s fascinating.
Andrew: Right? And so, you know, maybe this will be less of an opportunity coming up but like, you know, that’s a thing.
Sonal: Why would you say that’s temporal because it seems like…
Andrew: Because the competition will…
Sonal: …Do the same thing?
Andrew: …Yeah, will do the same thing, right. I think we’re now gonna move to a thing where all of these different kind of software experiences all are incredibly sharable. Like there’s no point these days in building a new game that doesn’t have like built-in recording and publishing the Twitch stream. And built-in tournament systems and all the community features and all that stuff that you need and, you know, I think it used to be that you would think of a game is just the actual IP but in fact, it’s sort of these layers and layers and like social interaction and content around it. And I think that’s about true as well as, all of these different brick-and-mortar experiences that are making themselves highly Instagrammable, they are adding the areas where you actually stand there and pose…
Sonal: Oh, my god, my favorite story about this is the restaurant trend of making square plates and layouts so it really fit beautifully with Instagram. That’s like one of my favorite cases; that’s one of my favorite things in the world is when the physical world adapts to the digital!
Andrew: Да. Так что на стороне привлечения сегодня есть пара очень интересных возможностей, которые могут быть временными.
Andrew: And then you can go the other way too which is, physical products like scooters that remind you to engage digitally. The other, fun example I always like is everyone’s had the experience now where they’re just like in the room talking and then their Amazon Echo just turns on and it’s trying to go and I’m like, you know, they have no incentive to fix that. <Sonal: Yeah.> Because it reminds you that it’s there and reminds you to talk to it.
Andrew: И можно пойти в обратную сторону — физические продукты вроде скутеров, которые напоминают взаимодействовать цифрово. Ещё один забавный пример: у всех уже было — ты в комнате разговариваешь, и вдруг Amazon Echo включается и пытается что-то ответить, и я такой — у них нет стимула это исправлять.
I think the big takeaway here is that you have to really be creative and really be on the edge of what everyone’s doing, right? And so if it turns out that everyone’s really into video and they’re really into Instagram right now, you have to think about like how does my product actually fit into that trend? <Sonal: Yeah.> And if you can find it, then you can get an amazing killer way to get jumpstarted and if the trend lasts then great, accelerate it with paid marketing, accelerate it with PR, do all that stuff to kind of keep it going.
Я думаю, главный вывод — надо быть креативным и на острие того, что все делают. И если все сейчас в видео и в Instagram, надо думать о том, как ваш продукт реально вписывается в этот тренд.
I also want to make the distinction that we’re mostly talking about growth and acquisition.
Я также хочу отметить, что мы в основном говорим о росте и привлечении.
Sonal: Yesss!
Sonal: Дааа!
Andrew: And that is what startups mostly care about in the early days, because you don’t really have any active users, right? But the other part of this is that you see all the users would show up and how active they are starts to change over time… <overlap/crosstalk>
Sonal: <overlap/crosstalk>…The engagement. Well, thank you guys for joining the a16z Podcast.
Andrew: А это в основном то, что стартапы волнует на ранних этапах — у вас нет особо активных пользователей. Но другая часть — как все пользователи, которые приходят, и насколько они активны, начинает меняться со временем…
Part 2: Engagement and Retention
Часть 2: Вовлечённость и удержание
Hi everyone welcome to the a16z Podcast, I’m Sonal. Today’s episode continues our series on growth — the first part covered the basics of user acquisition — and so this part covers, more specifically, engagement and retention. Including, as always, key metrics and how to think about them.
Всем привет, добро пожаловать в подкаст a16z, я Sonal. Сегодняшний эпизод продолжает нашу серию о росте — первая часть охватила основы привлечения пользователей, — и эта часть посвящена более конкретно вовлечённости и удержанию. Включая, как всегда, ключевые метрики и то, как о них думать.
Joining us to have this conversation, we again have general partners Andrew Chen and Jeff Jordan. And we cover everything from how do network effects come in to is there really a magic number or aha moment for a product? To who are the power users and what is the power user curve for measuring them. But first, we begin with what happens after the initial acquisition phase, as different kinds of users join a product or platform over time — what does that mean for engagement; and how do you analyze them, using cohort analyses?
К разговору снова присоединились генеральные партнёры Andrew Chen и Jeff Jordan. Мы обсуждаем всё — от того, как сетевые эффекты подключаются к делу, до того, есть ли действительно магическое число или aha-момент для продукта. До того, кто такие power users и что такое power user curve для их измерения. Но сначала мы начинаем с того, что происходит после начальной фазы привлечения, когда разные виды пользователей присоединяются к продукту или платформе со временем — что это значит для вовлечённости и как их анализировать с помощью когортного анализа?
Andrew: One of the things that you see is that people end up using these products very differently. Because the kinds of users that you’re getting are changing over time. When you look at something like rideshare, you know, all the early cohorts are basically people in urban areas. And in these days all of rideshare is more like suburban or rural folks because you’ve saturated all of the center. And so what you tend to see is as you acquire your folks, your core demographic out that actually ends up showing up in the engagement.
And so, you know, going back to a natural “gravity” to the whole thing [discussed in episode one], this gravity also hits the engagement side of things as well — and then ultimately the LTV because your users were typically getting less valuable. I may take years to see this kind of play out but that’s kind of the natural law of things.
Jeff: There is a progression in these and particularly the ones that are really successful. Early on it’s all about getting users. <Sonal: Right.>
And it’s just like users, users, users. If you’re widely successful at doing that you run out of users (or you start running low on users) and you have to go to engagement. So Pinterest has a very high-quality problem right now. Most women in America, have downloaded the Pinterest app.
Sonal: Oh yah, I’ve had it for years.
Jeff: Some growth can come through, okay, there’s some number of women who never heard of Pinterest somewhere in the country. But much more so they need to engage and re-engage the existing audience. I mean, we love engagement from an investor standpoint because it’s just, you know, that [crosstalk]
Sonal: [crosstalk] It shows stickiness.
Jeff: You can often hack your way into new users. It’s really hard to hack your way into true engagement. <Sonal: Keeping them.> Someone is spending 20 minutes a day on your site. Offerup, Pinterest the major investment thesis was, “Oh, my God!” look at that engagement … And, you know, if they can scale the userbase it’s a beautiful thing.
Sonal: Right. What we mean by engagement is actually interacting with them and seeing their activity. Because to Andrew’s three points of acquisition, engagement, retention, the third piece is keeping them.
Andrew: Одно из наблюдений — люди используют эти продукты очень по-разному. Потому что виды пользователей, которых вы получаете, меняются со временем. Когда смотришь на rideshare, все ранние когорты — это в основном люди в городских районах. А сейчас весь rideshare — это скорее пригородные или сельские, потому что центр уже насыщен. И что происходит — по мере привлечения core demographic это начинает проявляться в вовлечённости. Возвращаясь к естественной «гравитации» [обсуждённой в первом эпизоде], эта гравитация бьёт и по стороне вовлечённости, и в итоге по LTV, потому что пользователи обычно становятся менее ценными. Это может занять годы, но это естественный закон. Jeff: Есть прогрессия, особенно в действительно успешных. На раннем этапе всё про получение пользователей.
Andrew: The way that we’ll often analyze this is looking at cohort analysis.
Andrew: Часто мы анализируем это через когортный анализ.
Sonal: Yesss.
Andrew: Where we’ll look at kind of each batch of users that’s joining in each week and really start to dissect like well, how active are they really and to compare all these cohorts over time. You’re basically putting the users that come in from a particular timeframe, let’s say it’s a week, and you’re putting them into a bucket, right? And what you’re doing is you want to compare all of these different buckets against each other.
Sonal: Да. Andrew: Мы смотрим на каждую партию пользователей, которая приходит каждую неделю, и разбираем — насколько они активны, чтобы сравнивать когорты во времени. По сути берёшь пользователей, пришедших за определённый период (скажем, неделю), и кладёшь их в ведро. И сравниваешь эти разные вёдра друг с другом.
And so what you typically do is you look at a bucket of a cohort of users and you say, “Okay, well, you know, once they’ve signed up the week after, how active are they?” And what about the week after that and the week after that and you kind of like can build out a curve. And it just turns out that these curves once you’ve looked at enough of them surprisingly, human nature, they all look kind of the same. They kind of all kind of curve down and for the good ones they start to flatten out and plateau and then, for the really good ones they’ll actually swing back up and people will come back to the surface. What you want to do is you want to compare the various cohorts against each other in time to see if you can spot any trends on how the usage patterns are, increasing or decreasing. When you add a new layer to a layer cake, you might unlock a bunch of new behavior. You might unlock a bunch of new frequency that didn’t exist before. Or alternatively, over long thresholds of time, people tend to become less active as you move out of your cohort segment.
Sonal: The cohort graduates.
И обычно делаешь так: смотришь на ведро/когорту пользователей и говоришь: «Окей, через неделю после регистрации насколько они активны?» А неделей позже? И ещё неделей? И строишь кривую. И оказывается, что эти кривые, как только посмотришь достаточно много, — удивительно, человеческая природа, — они все выглядят похоже. Они опускаются вниз, и в хороших случаях начинают выравниваться и выходить на плато, а в действительно хороших — даже идут вверх, и люди возвращаются. Что вы хотите делать — это сравнивать когорты во времени, чтобы заметить тренды по тому, увеличиваются ли паттерны использования. Когда добавляете новый слой к торту, можете разблокировать новое поведение. Можете разблокировать новую частоту, которой не было. Или, наоборот, на больших временных промежутках люди становятся менее активными, выходя из вашего сегмента когорты. Sonal: Когорта выпускается.
Andrew: Whether or not a specific cohort of users flattens out is really important, right? Because, you know, if you’re in a world where they kind of slowly degrads and then all of a sudden it’ll actually go to zero, that means that you’re always kind of filling up the bucket — You have a leaky bucket, you’re constantly filling it up.
Sonal: You’re always filling it up. Right.
Andrew: Right, and what happens is that gets progressively harder because, if you want to keep your overall growth rate, because that means you have to double, triple, quadruple your acquisition in order to counteract for that.
Andrew: Выходит ли конкретная когорта на плато — это очень важно. Потому что если она медленно деградирует и потом вдруг идёт в ноль, это значит, что вы постоянно заполняете ведро — у вас дырявое ведро, вы его постоянно наполняете. Sonal: Постоянно заполняете. Точно. Andrew: И это становится прогрессивно сложнее, потому что если хотите удерживать общий темп роста, надо удваивать, утраивать, учетверять привлечение, чтобы это компенсировать.
One growth accounting equation that’s often thrown around is that you know your incremental — your net — MAUs, right? So your net monthly active users equals all the new people that you’re acquiring, minus all the people that are churned, and then plus all the people that you’re resurrecting…
Sonal: …Re-engaging.
Andrew: Re-engaging, exactly, that are coming back after they’ve churned. And so what happens is for a new startup you are completely focused on new users because you don’t really have that many users to churn, and over time as you get bigger and bigger and bigger what you find is that your churn rate starts to — it’s a percentage of your actives.
Одно growth accounting уравнение, которое часто упоминают: ваш инкрементальный — net — MAU. Ваш net monthly active users = все новые, кого вы привлекаете, минус все, кто отвалился, плюс все, кого вы воскрешаете… Sonal: …Реактивируете. Andrew: Реактивируете, точно — кто возвращается после оттока. И для нового стартапа вы полностью сфокусированы на новых пользователях, потому что у вас не так много пользователей для оттока, а со временем, по мере роста, ваш churn rate — это процент от ваших активных.
And so the evolution of most of these companies as they’re getting bigger tends to start with acquisition, then focus much more on churn and retention, and then ultimately also to layer in resurrection as well.
Jeff: And the cohort curves have a couple of other features that I love. Usually in marketplace businesses, the best models are built off of the cohort curves.
Sonal: Interesting!
Jeff: Because you have to understand that degradation and where it goes. Using cohorts really give you a sense of their network effects, and network effect is the business gets more valuable to more users that use it; if it gets more valuable, your newer cohorts should behave better than your early cohorts.
Sonal: Why is that?
Jeff: Because the service is more valuable given how they are.
Sonal: Interesting. So that’s kind of a tip–
Jeff: So in OpenTable if there’s ten times more restaurants you’re going to get a whole lot more reservations per diner because you were serving more of their needs. The OpenTable cores would climb up and get more attractive over time versus, you know, we talk about typically they tend to degrade over time. If you’ve reversed the polarity and they’re growing over time it means you’ve made the business more valuable. And then you start projecting forward. Okay [crosstalk]
Sonal: What a better way to know the business is actually more valuable than thinking it’s valuable and believing your own myth.
Jeff: In a network effects businesses we always ask, show us the cohorts. Everyone is [inaudible] on network effect, I’m a network effect But, you know, when you say, “Show me the data, cohort curves, or [crosstalk].” They don’t like it.
Sonal: It’s like show me the money, it’s now show us the cohorts, I get it.
Jeff: They don’t lie.
Эволюция большинства этих компаний — начало с привлечения, потом гораздо больше фокуса на churn и retention, и потом ещё и на resurrection. Jeff: И когортные кривые имеют ещё пару фишек, которые я люблю. Обычно в маркетплейсах лучшие модели построены на когортных кривых. Sonal: Интересно! Jeff: Потому что надо понимать ту деградацию и куда она идёт. Когорты дают ощущение сетевых эффектов: сетевой эффект — это когда бизнес становится ценнее для большего числа пользователей; если становится ценнее, новые когорты должны вести себя лучше старых. Sonal: Почему так? Jeff: Потому что сервис ценнее, учитывая, что они получают. Sonal: Интересно. То есть это вроде совета — Jeff: В OpenTable, если ресторанов в 10 раз больше, вы получите гораздо больше броней на ужинающего, потому что обслуживается больше его нужд. Кривые OpenTable шли вверх и становились привлекательнее со временем — в противовес тому, что мы говорили о деградации. Если вы развернули полярность и они растут со временем — значит, вы сделали бизнес ценнее. И тогда начинаете проецировать вперёд. Окей [crosstalk] Sonal: Какой лучший способ узнать, что бизнес действительно ценнее, чем думать, что он ценен, и верить в собственный миф. Jeff: В бизнесах с сетевыми эффектами мы всегда спрашиваем: покажите когорты. Все говорят: я network effect, я network effect. Но когда говоришь «Покажите данные, когортные кривые», им это не нравится. Sonal: Как «покажи деньги» — теперь «покажи когорты», поняла. Jeff: Они не лгут.
Andrew: The other really interesting part is segmenting it.
Sonal: I was about to actually ask you what are “the buckets” of cohorts? Are they all demographic data?
Andrew: Ещё одна интересная часть — сегментация. Sonal: Я как раз собиралась спросить, какие «вёдра» когорт? Они все по демографическим данным?
Andrew: For a bunch of hyper-local type businesses, the reason why segmenting it based on market geography, why that’s so valuable is because then you can compare markets against each other. You can say, “Well, you know, this market which is like, has much more density in terms of the numbers of scooters behaves like this.” And you can start to draw conclusions, sort of a natural A/B test in order to do that.
Andrew: Для кучи гиперлокальных бизнесов причина, почему сегментировать по рыночной географии так ценно — можно сравнивать рынки между собой. Сказать: «Этот рынок с большей плотностью по числу скутеров ведёт себя так». И начинаешь делать выводы — естественный A/B тест.
And I think the similar kind of analysis you can do for B2B companies is for products that have different sized teams using it. If you have a really large team that they are all using a product, well, are they all using the product more as a result? And let’s compare that to something that maybe only has a couple. … And so this way you can start to kind of disassemble the structure of these networks and do they actually lead to higher engagement.
Jeff: Slack would be a perfect example of that, you know, just if you have five people in the organization using Slack you get one use curve. If you have the organization it’s the operating system for the organization; you have a very different curve.
Похожий анализ можно делать для B2B компаний — для продуктов с разными размерами команд. Если очень большая команда вся пользуется продуктом — пользуются ли они им больше как результат? Сравним с тем, где только пара… Так можно начать разбирать структуру этих сетей и понять, действительно ли они приводят к большей вовлечённости. Jeff: Slack — отличный пример: если пять человек в организации пользуются Slack, у тебя одна кривая использования. Если им пользуется вся организация, это операционная система компании — у тебя совсем другая кривая.
Sonal: Though it’s not just an accident, you have to sort of architect it, not just expect, like, serendipity to fall into place.
Sonal: Но это не случайность, надо архитектурно это выстраивать, не просто ждать, что serendipity сложится.
Andrew: So after you get the new users, the way that you have to think about it is around quality, right? You have to make sure that the new users turn into engaged users. One of the things people often talk about is just sort of this idea of like an “a-ha” moment or a magic moment where the user really understands the true value of the product. But often that involves a bunch of setup. So, for example, you know, for all the different social products (whether that’s Twitter or Facebook or Pinterest, etc.), you have to make sure that when you first bring a new user in, they have to follow all the right people. They have to get, you know…
Sonal: It’s like the onboarding experience.
Andrew: …which, by the way, isn’t just signing up but it’s actually doing all the things to get to this a-ha where you’re like, “Oh.”
Sonal: “I get this product.”
Andrew: I get this product. It’s for me, And once you get that, then they’re kind of, you know, then you have the opportunity to keep them in this engaged state over time.
Sonal: Is that really such a thing that there is, like, an a-ha moment? Or is it sort of like a cumulative… a lot of the later users on Facebook came because everyone else was already there. Is this only tied to new users?
Andrew: In the case of Facebook actually, the fact that everyone was already there makes the a-ha moment that much more powerful, right? Because all your friends and family, they’re already there; your feed’s already full of content. And the first time that you see photos that maybe, you know, someone that you went to high school with, right? That is like whoa.
Sonal: That’s actually what happened to me. I was so excited when I saw an old friend, right?
Andrew: После того как получили новых пользователей, надо думать о качестве. Надо убедиться, что новые пользователи превращаются во вовлечённых. Часто говорят о «aha»-моменте или магическом моменте, когда пользователь действительно понимает истинную ценность продукта. Но часто это требует кучи настройки. Например, для всех социальных продуктов (Twitter, Facebook, Pinterest и т.д.) надо убедиться, что когда впервые приводите нового пользователя, он должен подписаться на правильных людей. Он должен получить… Sonal: Это как onboarding опыт. Andrew: …который, кстати, это не просто регистрация, а делание всех вещей, чтобы прийти к этому aha, где ты такой: «О.» Sonal: «Я понимаю этот продукт». Andrew: Я понимаю этот продукт. Он для меня. И как только вы это получаете, у вас есть возможность держать их вовлечёнными со временем. Sonal: Это действительно такое явление, что есть aha-момент? Или это скорее кумулятивное… много поздних пользователей Facebook пришли, потому что все уже были там. Это только про новых пользователей? Andrew: В случае с Facebook то, что все уже были там, делает aha-момент ещё мощнее. Потому что все твои друзья и семья уже там, твоя лента уже полна контента. И в первый раз, когда видишь фото кого-то, с кем учился в школе, — это вау. Sonal: Со мной так и было. Я была так возбуждена, когда увидела старого друга.
Andrew: Right. Yeah, exactly. And so what that means is, you get the product and then afterwards, when you actually are getting these push notifications or emails that are like, “Hey, it’s someone’s birthday,” or whatever, you’ve internalized what that product is. And, you know, this moment is different for all sorts of different companies.
Andrew: Точно. Да, именно. И когда потом получаешь эти push-уведомления или email «Эй, у кого-то день рождения», ты интернализировал, что это за продукт. И этот момент разный для всех компаний.
Jeff: I’ve always heard this referred to as the magic number. When you show up and it’s a blank slate, it’s like, “What is this about?” But they would drive you maniacally to follow people because when you got to their magic number where they had statistically correlated the number of followers with long-term engagement and retention — they would kill you to get you there, doing what felt like unnatural acts of, like, you log on, follow, and you say no, and they say yes — but when they got you there, it kicked in, and the service then quote/unquote worked for you.
Jeff: Я всегда слышал это как «magic number». Когда заходишь, и это чистый лист, ты такой: «А о чём это вообще?» Они маниакально заставляли тебя подписываться, потому что когда ты достигал их магического числа, где статистически коррелировали количество подписок с долгосрочной вовлечённостью и удержанием, — они тебя гнали туда, делая что-то, что казалось неестественным: ты заходишь, follow, ты говоришь нет, а они говорят да, — но когда дотащили тебя туда, всё включалось, и сервис «работал» на тебя.
A lot of the entrepreneurs I work with are trying to figure out what is my magic moment that then creates the awareness of the value prop. So take the example of Pinterest. Pinterest when it goes into a new market, first of all, they figured out they need a lot of local content to make it compelling to local users. The U.S. corpus of images doesn’t necessarily…is helpful in international markets but isn’t sufficient. And so they needed to supplement…
Sonal: …You’re right. If I’m Indian, I want, like, saris. I don’t only want, like, skirts, which I may not be able to wear in certain regions.
Jeff: Yeah. Exactly. I haven’t worn a sari in North America in a long time ;) <team laughs> But then once you have the content set, then you have to get compelling information to that individual in front of them, which, you don’t know the individual when they walk in the door, the faster they do that, the more quickly, the better the business performs; engagement goes up; retention goes up; and it works. So different entrepreneurs had to figure out what is that…what experience do they want to deliver where people get it? And then how do you engineer your way into delivering it?
Многие предприниматели, с которыми я работаю, пытаются понять, что же мой магический момент, который создаёт осознание value prop. Возьмём Pinterest. Когда Pinterest входит на новый рынок, они выяснили, что им нужно много локального контента, чтобы быть привлекательным для локальных пользователей. Корпус изображений США помогает на международных рынках, но недостаточен. И они должны были дополнять… Sonal: …Точно. Если я индианка, я хочу сари. Я не хочу только юбки, которые в некоторых регионах не смогу носить. Jeff: Да. Точно. Я давно не носила сари в Северной Америке ;) <команда смеётся> Но как только у вас есть контент-сет, надо доставлять привлекательную информацию этому индивиду — а вы не знаете индивида, когда он входит в дверь, чем быстрее вы это делаете, тем быстрее, тем лучше работает бизнес; вовлечённость растёт; удержание растёт; и это работает. Так что разные предприниматели должны понять, какой опыт они хотят доставить, чтобы люди это получили. И как заинженерить путь к доставке этого.
Sonal: Okay. So we’ve come up through acquisition and you’ve gotten new users. They get the product. You even hopefully have a way to measure that and see and track it over time. Do you want then go into trying to get different users? Do you take your existing users? One of the things that we covered very early on is that with SaaS, you always wanna try to take existing users and upsell them because it’s way more expensive to acquire a new customer in that context. (I mean, of course, you wanna grow your customers.) How does this play out in this context? What happens next?
Jeff: In a lot of companies, it’s a progression. So almost all the early activity in a company is, “Okay, how do I get the users?” As you get users, you get more and more leverage from efforts at activation and retention and engagement. So, I mean, use Pinterest as an example: again, a very high percentage of women in America have downloaded Pinterest. Then the leverage quickly goes into, “Okay, how do I keep them engaged? Reactivate the ones who disappear?” And their acquisition efforts in the U.S. get de-emphasized and all the leverage is there except as they’re going international, they’re still in that acquisition part of the curve. And so I think the leverage changes over time based on the situation of the company. Facebook hasn’t had any users in the U.S. in forever because they have them all.
Sonal: This kind of goes back to this portfolio approach to thinking about your users.
Sonal: Окей. Мы прошли привлечение и получили новых пользователей. Они получили продукт. И вы даже надеетесь, что у вас есть способ это измерить и отслеживать. Вы хотите потом пытаться получать разных пользователей? Или брать существующих? Одна из вещей, которую мы покрывали очень рано — что в SaaS всегда хочется брать существующих пользователей и допродавать, потому что в этом контексте намного дороже привлечь нового клиента. (Конечно, вы хотите расти.) Как это разыгрывается в этом контексте? Что дальше? Jeff: В куче компаний это прогрессия. Почти вся ранняя активность компании — «Окей, как мне получить пользователей?» По мере получения вы получаете всё больше рычага от усилий по активации, удержанию и вовлечённости. Например, Pinterest: очень высокий процент женщин в Америке скачали Pinterest. Тогда рычаг быстро идёт в «Окей, как удерживать их вовлечёнными? Реактивировать тех, кто пропал?» Их усилия по привлечению в США деэмфазируются, и весь рычаг там, за исключением того, что они расширяются международно — они всё ещё в фазе привлечения по кривой. Я думаю, рычаг меняется со временем в зависимости от ситуации компании. У Facebook давно нет привлечения в США, потому что у них уже все. Sonal: Это возвращает к портфельному подходу к мышлению о пользователях.
Andrew: Once you have an active base of users and customers, what starts to get really interesting is to really analyze what are the things that actually set that group up to be successful really long-term sticky users versus what are the behaviors and profiles where users aren’t successful, right? You actually throw your data science team on it to figure out all the different weights for both behavioral as well as the demographic and sort of profile-based stuff on there. And so one of the first things that you figure out is that each one of these products actually has this ladder of engagement where oftentimes new users show up to do something that’s, valuable but potentially infrequent. And you need to actually level them up to something that happens all the time.
Andrew: Как только у вас есть активная база пользователей и клиентов, что становится действительно интересным — анализировать, что настраивает эту группу быть успешными по-настоящему долгосрочно stickyми пользователями, против того, какое поведение и профили не успешны. Кидаешь свою команду data science на это, чтобы разобраться во всех весах — и поведенческих, и демографических, и профильных. И одна из первых вещей, которые выясняешь, — у каждого из этих продуктов есть лестница вовлечённости, где новые пользователи часто появляются делать что-то ценное, но потенциально нечастое. И нужно поднять их на что-то, что происходит постоянно.
For example, when you first install Dropbox, the easiest thing that you can do is you can use it to just sync your home and your work computers, right? And that’s great but really the way to get those users to become really valuable is for them to share folders at work with their colleagues. Because once they have that and people are dragging files in, and they’re really starting to collaborate on things, that’s like the next level of value that you can actually have on a daily basis versus this thing that kind of is in the background that’s just syncing your storage.
Например, когда вы устанавливаете Dropbox, проще всего использовать его для синхронизации домашнего и рабочего компьютеров. Это здорово, но способ сделать этих пользователей действительно ценными — это чтобы они шарили папки на работе с коллегами. Потому что когда у них это есть и люди перетаскивают файлы и реально коллаборируют — это следующий уровень ценности, которую можно иметь ежедневно, против штуки, которая на фоне просто синхронизирует хранилище.
Sonal: So what are some of the things that people can then do to move those users up that “ladder of engagement”?
Andrew: Step one is really segmenting your users into this kind of engagement map, oftentimes you’ll see this visualized as a kind of state machine where you have folks that are new, you have folks that are casual, and you want to track how much they’re moving up or down in each one of these steps.
Sonal: Что люди могут сделать, чтобы продвинуть пользователей вверх по «лестнице вовлечённости»? Andrew: Шаг один — сегментировать пользователей в такую engagement map; часто это визуализируется как state machine, где есть новые, есть казуальные, и хочется отслеживать, как они движутся вверх или вниз по каждому шагу.
And then once you have that, then the question is, okay, well, great, how do you actually get them to move from one place to the other? First there’s like content and education; they need to know in context that they can actually do something. So for example, if you can get your users to set their home and work for a transportation product then you can maybe figure out, okay, should I prompt them in the morning to try a ride based on what the ETAs are?
А потом — как реально заставить их двигаться. Сначала контент и обучение; они должны знать в контексте, что они могут что-то сделать. Например, если получите пользователей задать дом и работу для транспортного продукта, можете решить — должен ли я подсказать им утром попробовать поездку на основе ETA?
Sonal: Like in the app, there would be some kind of notification.
Sonal: Типа в приложении было бы какое-то уведомление.
Andrew: Like lifecycle messaging kind of factors in there. The second is of course if your product has some kind of monetary component, then you can use incentives like $10 bucks off your next subscription if you do this behavior that we know for sure gets you to the next step. And then the third thing is really just like refining the product for that particular use case, maybe there are certain kinds of products that are transacted all the time and so you maybe want to waive fees or you give some credits or you do something in order to get people to get addicted to that as a thing.
Andrew: Lifecycle messaging тут вписывается. Во-вторых, если продукт имеет монетарный компонент, можно использовать стимулы — типа $10 скидки на следующую подписку за поведение, которое точно ведёт к следующему шагу. Третья вещь — рефайнинг продукта под этот use case, может, есть продукты, которые транзачатся постоянно — может, хотите отменить комиссии или дать кредиты, чтобы пользователи подсели.
Jeff: The really interesting thing is the frequency with which something is consumed. I mean, eBay had enormous levels of engagement early on for an ecommerce app in particular. People would spend hours just browsing because early on it was about collectibles and it was about people’s passion. So if someone’s passionate about Depression-era glass, they will spend hours if you give them that depth of content to say, “Oh, my God. I just found the perfect item.”
Jeff: Самое интересное — частота, с которой что-то потребляется. eBay имел огромный уровень вовлечённости рано — особенно для e-commerce. Люди проводили часы просто бродя, потому что рано это было про коллекционные вещи и про страсть людей. Если человек страстно увлечён стеклом эпохи Депрессии, он проведёт часы, если дать ему ту глубину контента — «О мой бог. Я только что нашёл идеальный предмет».
OpenTable and Airbnb are both typically much more episodic. Most people don’t dine at fine dining restaurants with high frequency; our median user dined twice a year on OpenTable. And so that has completely different marketing implications and user implications. Measurement is probably even more important in the engagement/ retention thing because we got our data scientist to understand the different consumer journeys through our product, and then we tried to develop tactics to accelerate the journeys we wanted and limit the journeys we didn’t want. But in order to develop your strategy, you really need to understand how your users are behaving at a really refined level.
Sonal: So what are some of the engagement metrics?
OpenTable и Airbnb обычно гораздо более эпизодичны. Большинство людей не ужинают в fine dining ресторанах с большой частотой; наш медианный пользователь ужинал дважды в год в OpenTable. И это имеет совсем другие маркетинговые и пользовательские последствия. Измерение, наверное, ещё важнее в вопросе вовлечённости/удержания, потому что мы заставляли наших data scientists понимать разные потребительские путешествия через продукт, и развивать тактики ускорить желаемые путешествия и ограничить нежелательные. Но чтобы развивать стратегию, надо реально понимать, как пользователи ведут себя на очень тонком уровне. Sonal: Так какие метрики вовлечённости?
Andrew: One really important area is frequency, like, just how often are you using the product regardless of the intensity and the length of the sessions and all that other stuff. Literally just frequency of sessions. We might often ask for a daily active user divided by monthly active user ratio, and that gives you a sense for how many days is a user active?
Jeff: DAU to MAU.
Andrew: Одна важная область — частота, просто как часто вы используете продукт независимо от интенсивности и длительности сессий. Буквально просто частота сессий. Часто спрашивают daily active user, делённое на monthly active user, и это даёт ощущение, на сколько дней пользователь активен. Jeff: DAU к MAU.
Sonal: You recently put a post out on the DAU/MAU metric.
Andrew: Right.
Sonal: And when it works and when it doesn’t. There’s a lot of nuances around when to apply it and when not to.
Sonal: Ты недавно опубликовал пост о метрике DAU/MAU. Andrew: Точно. Sonal: О том, когда она работает, а когда нет. Много нюансов, когда применять, а когда нет.
Andrew: DAU/MAU was very much popularized by the fact that Facebook used it, including in their public financial statements, and it really makes sense for them because they’re an advertising business and it matters a lot that people use them a lot all the time.
Sonal: It’s like counting impressions and being able to sell that to advertisers.
Andrew: Exactly, their products have historically been 60% plus daily actives over monthly actives. And that’s very high. You’re using it more than half the days in a month. On the flip side, what I was talking about in my essay about this is that DAU/MAU can tell you if something’s really high frequency and if it’s working, but a lot of times products are actually lower DAU/MAU for a very good reason because there’s sort of just a natural cadence, you know, to the product. Like, you’re not gonna get somebody who is using a travel product to use it more than a couple times per year. And yet there are many valuable travel companies, obviously.
Sonal: So you’re saying don’t live and die by that alone.
Andrew: Exactly.
Sonal: Because it really depends on product you have, the type of nature of use it has, etc.
Andrew: DAU/MAU был очень популяризирован тем, что Facebook его использовал, в том числе в публичных отчётах, — и для них это имеет огромный смысл, потому что они рекламный бизнес, и для них очень важно, чтобы людьми пользовались часто. Sonal: Это как считать impressions и продавать рекламодателям. Andrew: Точно, их продукты исторически были 60% плюс по daily-actives к monthly-actives. И это очень высоко. Вы используете больше половины дней в месяце. С другой стороны, в моём эссе я говорил, что DAU/MAU может сказать, что-то очень высокочастотное и работает ли, но часто продукты имеют более низкий DAU/MAU по очень хорошей причине — есть просто естественная каденция продукта. Например, никто не будет использовать тревел-продукт чаще пары раз в год. И тем не менее есть много ценных travel-компаний. Sonal: То есть не живи и не умирай только по этой метрике. Andrew: Точно. Sonal: Потому что это правда зависит от продукта, типа использования и т.д.
Andrew: You just want to make sure that the metric reflects whatever strategy that you’re putting in place. If you think that your product is a daily use product and you’re gonna monetize using a little bit of money that you’re making over a long period of time but your DAU/MAU is low, is like sub 15%, then it’s probably not gonna work.
Andrew: Нужно убедиться, что метрика отражает стратегию, которую вы внедряете. Если ваш продукт — это продукт ежедневного использования и вы монетизируете маленькими суммами за длинный период, но ваш DAU/MAU низкий — sub 15%, — то, наверное, не получится.
And then a metric called L28, which is something else that was pioneered certainly early at Facebook: It’s a histogram and what you want to do is —
Sonal: — A histogram is a frequency diagram.
Andrew: Right. A frequency diagram that basically says, okay, show a bar showing how many users have visited once in that month, then twice in the month, and then three times in the month, and then four times in the month. And you kind of build that all the way out to 28 days.
Sonal: Because there’s 28 days in the month on average.
Andrew: And the 28 days is to remove seasonality and then a related one obviously is like L7, right? So just like last seven days. And so what you want to see…
Sonal: So would this be WAUs (“wows”)? Weekly active users? Is that really a thing, by the way? Or am I just making that up?
Andrew: Right. WAUs, DAUs over WAUs.
Jeff: You just coined it.
Sonal: I know. Great. I coined retainment. Why not?
Andrew: Right. And so the idea with L28 or an L7 is the idea that you should actually start to see when you graph this out that there’s a group of people who just use it 28 days out of 28 days, right? And that there’s a big group of people who use it 27 days out of 28 days, and that there’s a big cluster. And so that’s how you know that you actually have a hardcore segment. And that’s really important because in all these products you typically have a core part of the network that’s driving the rest of it, whether that’s power sellers or power buyers or, in a social network the creators vs. the consumers.
А потом ещё метрика L28, которую тоже пионерили в Facebook: это гистограмма, и что хочется — Sonal: — гистограмма — это диаграмма частот. Andrew: Точно. Диаграмма частот, которая по сути говорит: окей, покажите столбик, сколько пользователей зашло один раз в месяц, два раза в месяц, три раза в месяц, четыре раза в месяц. И строите это до 28 дней. Sonal: Потому что в месяце в среднем 28 дней. Andrew: 28 дней — чтобы убрать сезонность; есть смежная — L7, последние семь дней. И что хочется видеть… Sonal: Это будет WAUs («вауы»)? Weekly active users? Это реально существует, кстати? Или я выдумываю? Andrew: Да. WAUs, DAUs к WAUs. Jeff: Ты только что придумала. Sonal: Знаю. Отлично. Я придумала retainment. Почему нет? Andrew: Идея L28 или L7 — что когда график построен, должна быть группа людей, которая использует 28 дней из 28, и большая группа — 27 из 28, и большой кластер. Так вы понимаете, что у вас есть хардкорный сегмент. И это очень важно, потому что во всех таких продуктах обычно есть core часть сети, которая драйвит остальное, — power sellers, power buyers, в социальной сети — creators vs. consumers.
Jeff: I actually have heard this referred to as a smile because the one use is always pretty big. A lot of people show up once, “I don’t understand what this is,” and disappear… And then they typically slide down, more people use it…fewer people use it two days than one, three days than two. Done right, it starts to increase at the end. So you basically get a smile. [inaudible] And I mean, that’s really powerful. Facebook had a smile. WhatsApp had a smile. Instagram had a smile. If you take a step back, it’s a precondition for investing in a venture business essentially that there’s growth. If it’s end market [inaudible] you want to see growth, but growth by itself is not sufficient. Investors love engagement. So Pinterest, the key driver of Pinterest, it was growing but the users were using it maniacally.
Sonal: Oh, my God. I think I spent an entire Thanksgiving using Pinterest.
Jeff: Я слышал это как «smile», потому что использование один раз всегда довольно большое. Много людей появляются один раз — «не понимаю, что это», и исчезают. Потом обычно скатываются, меньше людей пользуются — два дня меньше одного, три дня меньше двух. В правильном случае это начинает расти в конце. Получается smile. [inaudible] И это реально мощно. У Facebook был smile. У WhatsApp был smile. У Instagram был smile. Если шаг назад — это предпосылка для венчурного инвестирования, чтобы был рост. На end market [inaudible] хочется видеть рост, но рост сам по себе недостаточен. Инвесторы любят вовлечённость. Pinterest — ключевой драйвер Pinterest — он рос, но пользователи использовали его маниакально. Sonal: О мой бог. Думаю, я провела целый Thanksgiving в Pinterest.
Jeff: It was the engagement that blew my mind much more than the growth. OfferUp has engagement that’s similar to social sites like Instagram and Snap. I mean, a ecommerce site, you know, mobile classifieds, people just sit there and troll looking for bargains, looking for interesting things.
Sonal: It’s a little addictive to see what’s nearby that you can buy. Why not? Yeah.
Jeff: So DAU to MAU, smile, all these metrics are so core to us because a big engaged audience is so rare and, as a result, it’s almost always incredibly valuable.
Jeff: Это была вовлечённость, которая взорвала мне мозг — гораздо больше, чем рост. OfferUp имеет вовлечённость, похожую на социальные сайты вроде Instagram и Snap. Это e-commerce сайт, мобильные объявления, люди просто сидят и троллят в поисках выгодных предложений, в поисках интересного. Sonal: Слегка вызывает зависимость — видеть, что рядом можно купить. Почему нет? Да. Jeff: DAU к MAU, smile, все эти метрики так ключевы для нас, потому что большая вовлечённая аудитория такая редкая и потому почти всегда невероятно ценная.
Andrew: And the engagement ends up being very related to acquisition because when you look at all the different acquisition loops — whether it’s paid marketing or a viral loop or whatever — all of those things are actually powered by engagement ultimately. Like, you need people to get excited about a product in order to share content off of that platform to other platforms in order to get a viral loop going. And so one of the things I was gonna also add on DAU/MAU and L28 is that they’re actually really hard to game, right? Which is fascinating.
Sonal: Yeah, why is that?
Jeff: [inaudible] growth can be very easy to game.
Andrew: Right, exactly.
Sonal: Why is that? What’s the difference?
Andrew: The typical approach is to say, “Well, you know, I’m gonna add in email notifications. I’m gonna do more push notifications. I’m gonna do more of this and that.” And then automatically, you know, these metrics ought to go up, right? The challenging thing is actually usually sending out more notifications will actually cause more of your casual users to show up because your hardcore users were already kind of showing up already. And what that does is that’ll increase your monthly actives number but actually not increase your daily actives as much. So I’ve actually seen cases where sending out more email decreases your DAU/MAU as opposed to increasing it.
Andrew: И вовлечённость очень связана с привлечением, потому что когда смотришь на все разные acquisition loops — будь то платный маркетинг или вирусный цикл — все они в итоге питаются вовлечённостью. Нужны люди, которые в восторге от продукта, чтобы делиться контентом с платформы на другие платформы, чтобы запустить вирусный цикл. И ещё про DAU/MAU и L28: их очень трудно играть, что увлекательно. Sonal: Да, почему так? Jeff: [inaudible] рост можно очень легко играть. Andrew: Точно. Sonal: Почему так? В чём разница? Andrew: Типичный подход — «Я добавлю email-уведомления. Я сделаю больше push. Я сделаю больше того и сего». И автоматически метрики должны вырасти. Хитрость в том, что обычно рассылка уведомлений на самом деле заставит больше казуальных пользователей появиться, потому что хардкорные пользователи и так уже появляются. Что это делает — увеличивает monthly actives, но не увеличивает daily actives. Так что я видел случаи, когда рассылка большего количества email уменьшает DAU/MAU, а не увеличивает.
Sonal: That’s really interesting. When you think about this portfolio of metrics, it really tells you a story about people are kind of coming but not really staying–
Sonal: Это правда интересно. Когда думаешь об этом портфеле метрик, он реально рассказывает историю — что люди приходят, но не остаются.
Andrew: If you get an email or a push notification every day, eventually you turn them off, and then you just stop. So then you get counted as a MAU for that period of time and then you lose them as a DAU. Acquisition is super easy to game because you can just spend money.
Andrew: Если получаешь email или push каждый день, в итоге их отключаешь, и просто прекращаешь. Потом тебя считают как MAU за тот период, и теряют тебя как DAU. Привлечение очень легко играть, потому что можно просто потратить деньги.
Jeff: Or you’ve got a distribution hack that works. Early on in the Facebook platform, companies literally got to a million users and it felt like minutes. Just because there were so many people on Facebook and the ones who were early just got exploding user bases. There were a number of [inaudible] whose mean number of visits was one. They never came back. So you get to see these incredibly seductive growth curves but our job is essentially to be cynical and just say, okay, we need to go be it below that because there are a lot of talented growth hackers who can drive growth. I looked at a number of businesses that had tens of millions of users and no one ever came back. [inaudible]
Sonal: This is why engagement is so, so key.
Jeff: Или у тебя есть distribution hack, который работает. На раннем этапе платформы Facebook компании буквально получали миллион пользователей, и казалось это минутами. Просто потому что было так много людей на Facebook, и ранние просто получали взрывной рост базы. Было несколько [inaudible] с медианным числом визитов один. Они никогда не возвращались. Видишь невероятно соблазнительные кривые роста, но наша задача — быть циничными и говорить: окей, надо смотреть глубже, потому что есть много талантливых growth hackers, которые могут гнать рост. Я смотрел кучу бизнесов с десятками миллионов пользователей, и никто никогда не возвращался. [inaudible] Sonal: Вот почему вовлечённость так ключевая.
So we’ve talked especially about the fact that growth and network effects are not the exact same thing. Because network effects by definition are that a network becomes more valuable the more users that use it. What happens on the engagement side with network effects? What are the things we should be thinking about in that context?
Так что мы говорили особенно о том, что рост и сетевые эффекты — не одно и то же. По определению, сетевые эффекты — это когда сеть становится ценнее с большим числом пользователей. Что происходит на стороне вовлечённости с сетевыми эффектами? О чём надо думать?
Jeff: Typically network effects, if they’re real, manifest in data. Things like the cohort curves improve over time. Usually there’s a decay. With network effects, there often is a reversal where they’re growing because it’s more valuable. Another smile, essentially. My diligence at OpenTable was I looked at San Francisco, which was their first market, and sales rep productivity grew over time, restaurant churn decreased over time, the number of diners per restaurant increased over time, the percentage that went that booked through OpenTable versus the restaurant’s own website moved towards OpenTable dramatically. Every metric improved. And so, you know, that’s where it both drives good engagement, but also it just improves the investment thesis.
Sonal: The value overall, right?
Andrew: One of the interesting points about network effects is that we often talk about it as if it’s a binary thing.
Sonal: Right. Or homogenous, like all network effects are equal when they’re not.
Andrew: Exactly right. When you look at the data, what you really figure out is that network effect is actually like a curve, and it’s not like a binary yes/no kind of thing. So for example, [turns to Jeff] I would guess that if you plotted the number, if you took a bunch of cities, every city was a data point, and you graphed on one side the number of restaurants in the city versus the conversion rate for that city, you would quickly find that when cities have more restaurants, the conversion rate is higher, right? I’m just guessing.
Jeff: It’s actually almost perfect but with one refinement. The number of restaurants you have as a percent of that market’s restaurant universe; because having 100 restaurants in Des Moines is different than having 100 restaurants in Manhattan.
Andrew: Makes total sense. So not only that, what you then quickly figure out is that there’s some kind of a diminishing effect to these things often in many cases. So for example, in rideshare, if you are gonna get a car called 15 minutes versus 10 minutes, that’s very meaningful. But if it’s five minutes versus two minutes, your conversion rate doesn’t actually go up.
Jeff: Обычно сетевые эффекты, если они реальны, проявляются в данных. Например, когортные кривые улучшаются со временем. Обычно есть деградация. С сетевыми эффектами часто есть разворот — они растут, потому что становится ценнее. Ещё один smile, по сути. Моя due diligence в OpenTable: я посмотрел на Сан-Франциско, первый рынок, и продуктивность sales rep росла со временем, отток ресторанов уменьшался, число ужинающих на ресторан росло, процент бронирований через OpenTable vs. собственный сайт ресторана драматично сдвинулся в сторону OpenTable. Каждая метрика улучшалась. Это драйвит хорошую вовлечённость и улучшает инвест-тезис. Sonal: Ценность в целом, точно? Andrew: Один интересный момент про сетевые эффекты — мы часто говорим о них как о бинарной вещи. Sonal: Точно. Или гомогенной — все сетевые эффекты равны, а это не так. Andrew: Точно. Когда смотришь на данные, на самом деле сетевой эффект — это кривая, не бинарное да/нет. Например, [поворачивается к Jeff], я бы предположил, что если построить график — данная точка это город, по одной оси — число ресторанов в городе, по другой — conversion rate в городе, — быстро увидишь, что в городах с большим числом ресторанов conversion rate выше. Просто догадываюсь. Jeff: Это почти идеально, с одним уточнением. Число ресторанов как процент от ресторанной вселенной рынка — потому что 100 ресторанов в Дез Мойнс отличается от 100 ресторанов на Манхэттене. Andrew: Логично. И не только это — быстро понимаешь, что часто эффект уменьшается. В rideshare, если машину можно вызвать за 15 минут vs. 10 минут — это очень значимо. Но 5 минут vs. 2 минуты — conversion rate уже не растёт.
If you can express your network effect in this kind of a manner, then what you can start to show is, okay, yeah, we have a couple new investment markets that maybe don’t have as many restaurants or don’t have as many cars but if we put money into them and invest in them and build the right products, etc. then you can grow.
Если можете выразить сетевой эффект таким образом, можно показать: окей, у нас пара новых инвестиционных рынков, может, без такого числа ресторанов или машин, но если вложить деньги и построить правильные продукты, — можно расти.
You can do this kind of same analysis whether you’re talking about YouTube channels and the number of subscribers you might have, having more videos is better; I’m sure you can show that. If you go into the workplace, and you start thinking about collaboration tools, then what you ought to see is that as more people use your chat platform or your collaborative document editing platform, then the engagement on that is gonna be higher. You should be able to show that in the data by comparing a whole bunch of different teams.
Тот же анализ можно делать для YouTube-каналов и числа подписчиков — больше видео лучше; уверен, можно это показать. На рабочем месте, если думать о collaboration tools, должно быть видно, что чем больше людей в чате или collaborative editing — тем выше вовлечённость. Это можно показать в данных, сравнивая команды.
Sonal: Okay… So we’ve talked about engagement and also how it applies to network effects. Are engagement and retention the same thing? I mean, in all honesty, they sound like they would be the same thing.
Jeff: There’s overlap, but they’re different.
Andrew: Yeah, there’s overlap, right. Just to give a couple exampleS: So weather is low frequency but high retention because you’re actually gonna need to know what the weather is… <Oh right!>
Sonal: Only once a day, unless you live in San Francisco and you gotta check it, like, 20 times a day with all the microclimates.
Andrew: Right, exactly.
Jeff: Or if you live down here, you have to check it twice a year.
Sonal: That’s true, it’s actually the same year-round.
Andrew: That’s actually what it showed, was actually more that generally people didn’t really check it that often. However, you are highly likely to have it installed and running after 90 days because it’s a reference thing. You might need it.
Sonal: It’s so important, yeah.
Andrew: Like a calculator. Versus if you look at something like games or ebooks or those kinds of products, like Really high engagement because you’re like, “All right. I’m gonna get to…I’m gonna finish this like trashy science-fiction novel that I’ve been reading. I’m just gonna get to it.” But then as soon as you’re done, you’re like, “Okay, there’s no reason why I would go back and read it again.”
Sonal: Окей. Мы говорили о вовлечённости и о том, как это применяется к сетевым эффектам. Вовлечённость и удержание — одно и то же? Звучит, что они должны быть тем же самым. Jeff: Есть пересечение, но они разные. Andrew: Да, есть пересечение. Пара примеров: погода — низкая частота, но высокое удержание, потому что нужно знать погоду… <О, точно!> Sonal: Только раз в день, если только не живёшь в Сан-Франциско и не должен проверять, как, 20 раз в день из-за микроклиматов. Andrew: Точно. Jeff: Или если живёшь здесь, надо проверять дважды в год. Sonal: Это правда, тут практически круглый год одинаково. Andrew: Это и показывает — обычно люди не проверяют так часто. Однако вы с большой вероятностью имеете его установленным и запущенным через 90 дней, потому что это reference thing. Может понадобиться. Sonal: Это так важно. Andrew: Как калькулятор. В отличие от игр или ebooks — очень высокая вовлечённость, потому что «Окей. Закончу этот трэшовый научно-фантастический роман». Но как только закончил, нет причин возвращаться и читать снова.
Sonal: So the real difference is that engagement obviously varies depending on the product, the type of thing it is, whether it’s weather or ebook, and retention is are you still using it after X amount of time.
Sonal: То есть реальная разница в том, что вовлечённость очевидно варьируется в зависимости от продукта, типа вещи — погода или ebook, — а удержание — это используют ли его после X количества времени.
Jeff: And different companies have different cadences. If the average user is twice a year, retention is did they book annually. Other businesses are, did they come daily? The model behind retention is completely different and the model behind engagement is completely different.
Andrew: The chart that I’d love to really see is one that was like a bunch of different categories that’s, you know, retention versus frequency versus monetization. I think you got to be, like, really good at least on one of those axes.
Sonal: So we’ve done sort of this taxonomy of metrics. We’ve talked about the acquisition metrics. We’ve talked about some engagement metrics, primarily frequency.
Jeff: И у разных компаний разные каденции. Если средний пользователь — дважды в год, удержание — забронировали ли они ежегодно. Другие бизнесы — приходили ли ежедневно? Модель удержания совсем разная, и модель вовлечённости совсем разная. Andrew: График, который я бы очень хотел видеть, — это с разными категориями: удержание vs. частота vs. монетизация. Я думаю, надо быть реально хорошим хотя бы по одной из этих осей. Sonal: Мы сделали таксономию метрик. Поговорили про метрики привлечения. Про вовлечённость, в основном частоту.
Jeff: On engagement, it’s also time. Not just how frequent someone is, but just how much time did they spend.
Sonal: Right. Time spent on site, on the… piece, writing comments, not just pageviews.
Jeff: Because, I mean, the number of businesses that have great engagement is not high. Because there are only so many minutes in the day. And so, you’re just looking for where, okay, they’re just passing time and enjoying, and they both have obvious monetization associated with that behavior.
Sonal: This is why Netflix is so freaking genius because when they literally invented the format of binge-watching, which you could not do — I love it because it’s a very internet native concept — I mean, they’ve literally fucked up everyone else’s engagement numbers.
Jeff: По вовлечённости ещё время. Не только насколько часто, но сколько времени проводят. Sonal: Точно. Время на сайте, на… кусок, написание комментариев, не только pageviews. Jeff: Потому что число бизнесов с отличной вовлечённостью не велико. Потому что есть только определённое число минут в дне. И ищется, где, окей, они проводят время и наслаждаются — и у этого поведения есть очевидная монетизация. Sonal: Вот почему Netflix такой охрененно гениальный — они буквально изобрели формат binge-watching, который раньше делать нельзя было, — я люблю это, потому что это очень интернет-нативная концепция, — они буквально проебали engagement-числа всем остальным.
Andrew: I think that’s one of the narratives on why building consumer products is much harder these days. Cuz–
Sonal: –And, do you think it’s true or not?
Andrew: Well, because it used to be. It used to be that you were…what kind of time were you competing for in the first couple years of the smartphone. [inaudible] you were competing against literally I’m gonna stare at the back of this person’s head, or I can like use some cool app that I downloaded, right? Versus these days you actually have to take minutes away from other products.
Sonal: Yes.
Jeff: And it’s typically other [?] because the top apps are almost all done by Facebook, Amazon, Google. And you know, breaking through jusT — Marc calls it the first page, the people who are on the first screen — are just such the incumbents. And sure, most people have Facebook on the screen and YouTube on the screen and Amazon on the screen.
Sonal: It’s hard to take that down, right?
Jeff: You have that competition. It is a big overhang right now in consumer investing because you have to displace someone’s minutes.
Sonal: Yeah. I would add one more layer to that, at least on the content side, which is I think a lot of people make a lot of category errors because they think they’re competing with like-minded players and, in fact, when it comes to things like content and attention, you’re competing with just about anything that grabs your attention. It’s not just other media outlets. It’s…
Andrew: …Tinder.
Sonal: It’s a dating app. It’s something else.
Jeff: I’m riding in the train for an hour, I could, you know, see what my friends are doing on Facebook, watch videos on YouTube.
Andrew: Это одно из объяснений, почему сейчас намного труднее строить consumer-продукты. Sonal: А ты думаешь, это правда? Andrew: Раньше за какое время ты конкурировал в первые годы смартфона. [inaudible] ты конкурировал буквально — «смотрю на затылок этого человека или использую крутое приложение, которое скачал». А сейчас надо отбирать минуты у других продуктов. Sonal: Да. Jeff: И обычно других [?], потому что топовые приложения почти все Facebook, Amazon, Google. И прорваться просто — Marc называет это первой страницей, людьми на первом экране — это такие incumbents. И конечно, у большинства Facebook на экране, YouTube на экране, Amazon на экране. Sonal: Сложно их сместить. Jeff: Эта конкуренция — большой навес в consumer-инвестировании сейчас, потому что надо вытеснить чьи-то минуты. Sonal: Да. Я бы добавила ещё один слой — на стороне контента: много людей делают категориальные ошибки, потому что думают, что конкурируют с похожими игроками, а на самом деле когда дело касается контента и внимания, ты конкурируешь со всем, что хватает внимание. Не только другие медиа. Это… Andrew: …Tinder. Sonal: Это dating-приложение. Это что-то ещё. Jeff: Я еду на поезде час, я могу посмотреть, что делают друзья на Facebook, смотреть видео на YouTube.
Sonal: It actually changes with time blocks. Xerox PARC did a really interesting study on “micro-waiting moments” and they’re literally the little snatches of time, like two seconds here and there, that you might be waiting in line or doing something, so you can do a lot of snack-sized things in that period, which is also another interesting thing to think about for how people engage with various things.
Jeff: So it’s actually funny because there’s some businesses that have good engagement where it’s one session that goes on for a while, YouTube or Netflix or something like that. There are others that are multiple small sections that in aggregate…
Sonal: …Like a podcast which might not finish in one sitting.
Jeff: …Because it’s the micro-opportunities…
Andrew: …And Google is the best example of this, right? In fact if you spend a lot of time on Google.com, you know, refining your searches and clicking around, that means actually the service is doing poorly.
Jeff: They’ve failed. Their goal is to get you to their advertisers as fast as they can.
Andrew: That’s a frequency play and a monetization play ultimately as opposed to an engagement one.
Sonal: Yes, that’s fascinating.
Andrew: And some products are more on the engagement side.
Sonal: So sometimes you have to optimize it based on how you’re monetizing. What are some of the metrics for retention? I mean, is it just should-I-stay-or-should-I-go? Is that the retention metric?
Andrew: I think the big thing is the concept of churn. Is a tricky one in some cases like subscription Hulu, Netflix, and then also in the SaaS world. Whether or not you’re still continuing to pay or not. And that’s really obvious.
Sonal: Это меняется с time blocks. Xerox PARC сделал интересное исследование «micro-waiting moments» — это буквально маленькие отрезки времени, две секунды тут и там, когда ждёшь в очереди или что-то делаешь, и можешь делать кучу snack-sized штук, что тоже интересно для того, как люди взаимодействуют. Jeff: Это забавно, потому что есть бизнесы с хорошей вовлечённостью, где одна сессия идёт долго — YouTube, Netflix. Есть другие — много маленьких секций, которые в агрегате… Sonal: …как подкаст, который может не закончиться в один присест. Jeff: …потому что это micro-opportunities… Andrew: …И Google — лучший пример: если вы проводите много времени на Google.com, рефайня запросы и кликая, сервис на самом деле работает плохо. Jeff: Они провалились. Их цель — отвести вас к рекламодателям как можно быстрее. Andrew: Это игра на частоту и монетизацию, не на вовлечённость. Sonal: Да, это очаровательно. Andrew: А некоторые продукты больше на стороне вовлечённости. Sonal: То есть иногда оптимизируешь на основе того, как монетизируешь. Какие метрики удержания? Только «остаться или уйти»? Это метрика удержания? Andrew: Главное — концепция churn. Сложная в некоторых случаях — подписки Hulu, Netflix, и в SaaS-мире. Продолжаете ли платить или нет. Это очевидно.
The thing that’s tricky for a lot of these consumer products especially episodic ones — and, it’s actually less whether they’ve quote-unquote churned or not — it’s actually just whether or not they’re active or inactive, and whether or not that’s happening at a rate that you in your business strategy have decided is acceptable or not. If every Halloween, you know how there’s those costume stores that open all over the place. If every Halloween, you go back and you buy a costume, but you’re inactive the rest of the time, have you churned or not? It’s not clear and I would argue you’ve not churned because you’re doing exactly what they want, which is to buy a costume every Halloween.
Sonal: It seems like it smakes assessing the retention of a consumer business very difficult.
Сложная штука для многих consumer-продуктов, особенно эпизодических, — это не столько «оттекли» ли они, а активны они или неактивны, и происходит ли это с темпом, который вы в своей бизнес-стратегии решили приемлемым. Если каждый Halloween — знаете, эти костюмные магазины, открывающиеся везде. Если каждый Halloween возвращаетесь и покупаете костюм, но неактивны остальное время, оттекли ли вы? Не ясно — я бы сказал, не оттекли, потому что вы делаете именно то, чего они хотят: покупаете костюм каждый Halloween. Sonal: Кажется, оценка удержания consumer-бизнеса очень трудна.
Jeff: You adjust the time period that you’re relevant on. If the average diner dines twice a year…
Sonal: …Then that’s your time frame.
Jeff: You can [inaudible] apply that metric. Travel’s a similar thing. Airbnb is for the average user relatively infrequent. You have to tailor your look to what are they trying to do, so if you’re trying to stake up with your friends and you’re doing it twice a year, yeah, that doesn’t work. So Facebook has got a whole different setup.
Jeff: Подстраиваешь период времени, в котором ты релевантен. Если средний ужинающий ужинает дважды в год… Sonal: …Это твой фрейм. Jeff: Можешь [inaudible] применить ту метрику. Тревел похож. Airbnb для среднего пользователя относительно нечастый. Надо подстраивать под то, что они пытаются сделать — если хочешь зависнуть с друзьями и делаешь это дважды в год, ну, не работает. У Facebook совсем другой сетап.
Andrew: One of the things that companies can often do is to measure upstream signal. So for example, Zillow, you’re probably not gonna buy a house very often. Maybe a couple times in your life. However, what’s really interesting is they can say, “Well, you know, maybe folks aren’t buying houses but at least are we top of mind? Are they checking the houses that are going on sale in their neighborhood? Are they opening up the emails? Are they doing searches?” Right?
Sonal: Interesting. Why do you call that “upstream”?
Andrew: Одна из вещей, которую компании могут делать, — измерять upstream signal. Например, Zillow — вы наверное не будете покупать дом часто. Может, пару раз в жизни. Однако интересно — они могут сказать: «Может, люди не покупают дома, но хотя бы top of mind ли мы? Проверяют ли они продающиеся дома в районе? Открывают ли email? Делают ли поиски?» Sonal: Интересно. Почему «upstream»?
Andrew: In the funnel. You’re kind of going up in the funnel and you’re tracking those metrics.
Sonal: I get it now!
Andrew: As opposed to, you know, purchases. So even for OpenTable, it’s like, okay, great. Well, maybe if you’re not actually completing the reservations, are you at least checking the app for availability?
Andrew: В воронке. Поднимаешься вверх по воронке и трекаешь те метрики. Sonal: Поняла! Andrew: В противовес покупкам. Даже для OpenTable: окей, если вы не делаете бронирование, хотя бы проверяете ли приложение на доступность?
Jeff: Or what’s new restaurants where I want to dine? There’s some level of content consumption.
Jeff: Или какие новые рестораны, где я хочу поужинать? Какой-то уровень потребления контента.
Sonal: So throughout this entire episode, there seems to be this interesting “dance” between architecting and discovering. Like, you might know some things upfront because you’re trying to be intentional and build these things, and then there are things that you discover along the way as your product and your views and your data evolves. How do you advise people to sort of navigate that dance?
Sonal: На протяжении всего эпизода идёт интересный «танец» между архитектурой и открытием. Вы можете знать что-то заранее, потому что пытаетесь быть преднамеренными, а есть вещи, которые вы открываете по ходу, по мере эволюции продукта, взглядов и данных. Как вы советуете людям этот танец?
Jeff: You iterate. You develop hypotheses. You put it out there and you test the hypothesis. I think my product’s gonna behave this way. And then, did it?
Jeff: Итерируете. Развиваете гипотезы. Выкатываете и тестируете гипотезу. Я думаю, мой продукт поведёт себя так. А он повёл?
Probably the most important thing is for me, marketing can be art, marketing could be science; in the consumer internet, it’s more science. Some companies can effectively do TV campaigns, large media budgets, things like that. For me, the better companies typically just rip apart their metrics, understand the dynamics of their business, and then figure out ways to improve the business through that knowledge. And that knowledge can feed back into new product executions or new marketing strategies or new something. It’s constant iteration but it’s informed by the data at a level that on the best companies is really, really deep.
Самое важное, наверное: маркетинг может быть искусством, маркетинг может быть наукой; в consumer-интернете это больше наука. Некоторые компании могут эффективно делать ТВ-кампании, большие медиа-бюджеты. Для меня лучшие компании обычно просто разрывают свои метрики, понимают динамику бизнеса и придумывают способы улучшить бизнес через это знание. И знание подпитывает новые продуктовые исполнения, новые маркетинговые стратегии, новое что-то. Это постоянная итерация, но информированная данными на уровне, который у лучших компаний реально, реально глубокий.
Andrew: Ultimately, you have a set of strategies that you’re trying to pursue and you pick the metrics to validate that you’re on the right track, right? And a lot of what we’ve talked about today has really been the idea that actually there’s a lot of “nature versus nurture” kind of parts to this. Your product could just be low cadence but high monetization, and so you shouldn’t look at, you know, DAU/MAU. And so you have to find really the right set of metrics that show that you’re providing value to your customers first and foremost and then really build your team and your product roadmap and everything in order to reinforce that.
Andrew: В итоге у вас набор стратегий, которые вы преследуете, и вы выбираете метрики, чтобы валидировать, что вы на правильном пути. И многое из того, о чём мы говорили, — это идея «природа vs. воспитание». Ваш продукт может быть просто низкой каденции, но высокой монетизации, и тогда не надо смотреть на DAU/MAU. Надо найти правильный набор метрик, который покажет, что вы предоставляете ценность клиентам, и потом построить команду и продуктовый roadmap так, чтобы это усиливать.
Find the loops and the networks that exist within your product because those are the things that are gonna keeps your engagement improving over time even in the face of competition.
Найдите петли и сети, существующие внутри продукта, потому что это то, что будет улучшать вашу вовлечённость со временем даже перед лицом конкуренции.
Jeff: Growth is good. Growth and engagement is really really, really good. Sonal: That’s fabulous. Well, thank you, guys, for joining the a16z Podcast.
Jeff: Рост — это хорошо. Рост и вовлечённость — это реально очень хорошо. Sonal: Шикарно. Спасибо, ребята, что присоединились к подкасту a16z.
I write a high-quality, weekly newsletter covering what's happening in Silicon Valley, focused on startups, marketing, and mobile.
Я пишу качественную еженедельную рассылку о том, что происходит в Силиконовой долине, с фокусом на стартапах, маркетинге и мобильном.
Views expressed in “content” (including posts, podcasts, videos) linked on this website or posted in social media and other platforms (collectively, “content distribution outlets”) are my own and are not the views of AH Capital Management, L.L.C. (“a16z”) or its respective affiliates. AH Capital Management is an investment adviser registered with the Securities and Exchange Commission. Registration as an investment adviser does not imply any special skill or training. The posts are not directed to any investors or potential investors, and do not constitute an offer to sell -- or a solicitation of an offer to buy -- any securities, and may not be used or relied upon in evaluating the merits of any investment.
Взгляды, выраженные в «контенте» (включая посты, подкасты, видео), на который ссылаются на этом сайте или которые публикуются в социальных медиа и других платформах (в совокупности — «каналы распространения контента»), являются моими собственными и не являются взглядами AH Capital Management, L.L.C. («a16z») или её соответствующих аффилированных лиц. AH Capital Management является инвестиционным консультантом, зарегистрированным в Securities and Exchange Commission. Регистрация в качестве инвестиционного консультанта не подразумевает каких-либо особых навыков или подготовки. Посты не направлены ни на каких инвесторов или потенциальных инвесторов, и не представляют собой предложения о продаже — или приглашения сделать предложение о покупке — каких-либо ценных бумаг, и не могут быть использованы или на них нельзя полагаться при оценке достоинств любой инвестиции.
The content should not be construed as or relied upon in any manner as investment, legal, tax, or other advice. You should consult your own advisers as to legal, business, tax, and other related matters concerning any investment. Any projections, estimates, forecasts, targets, prospects and/or opinions expressed in these materials are subject to change without notice and may differ or be contrary to opinions expressed by others. Any charts provided here are for informational purposes only, and should not be relied upon when making any investment decision. Certain information contained in here has been obtained from third-party sources. While taken from sources believed to be reliable, I have not independently verified such information and makes no representations about the enduring accuracy of the information or its appropriateness for a given situation. The content speaks only as of the date indicated.
Контент не следует толковать или полагаться на него каким-либо образом как на инвестиционный, юридический, налоговый или иной совет. Вам следует консультироваться с собственными советниками по юридическим, деловым, налоговым и другим связанным вопросам, касающимся любой инвестиции. Любые прогнозы, оценки, прогнозы, цели, перспективы и/или мнения, выраженные в этих материалах, подвержены изменению без уведомления и могут отличаться или быть противоположными мнениям других. Любые графики, приведённые здесь, предназначены только для информационных целей и не должны быть использованы при принятии каких-либо инвестиционных решений. Определённая информация, содержащаяся здесь, получена из сторонних источников. Хотя она получена из источников, считающихся надёжными, я не проверял такую информацию независимо и не делаю никаких заявлений о её сохраняющейся точности или её соответствии данной ситуации. Контент действителен только на указанную дату.
Under no circumstances should any posts or other information provided on this website -- or on associated content distribution outlets -- be construed as an offer soliciting the purchase or sale of any security or interest in any pooled investment vehicle sponsored, discussed, or mentioned by a16z personnel. Nor should it be construed as an offer to provide investment advisory services; an offer to invest in an a16z-managed pooled investment vehicle will be made separately and only by means of the confidential offering documents of the specific pooled investment vehicles -- which should be read in their entirety, and only to those who, among other requirements, meet certain qualifications under federal securities laws. Such investors, defined as accredited investors and qualified purchasers, are generally deemed capable of evaluating the merits and risks of prospective investments and financial matters. There can be no assurances that a16z’s investment objectives will be achieved or investment strategies will be successful. Any investment in a vehicle managed by a16z involves a high degree of risk including the risk that the entire amount invested is lost. Any investments or portfolio companies mentioned, referred to, or described are not representative of all investments in vehicles managed by a16z and there can be no assurance that the investments will be profitable or that other investments made in the future will have similar characteristics or results. A list of investments made by funds managed by a16z is available at https://a16z.com/investments/. Excluded from this list are investments for which the issuer has not provided permission for a16z to disclose publicly as well as unannounced investments in publicly traded digital assets. Past results of Andreessen Horowitz’s investments, pooled investment vehicles, or investment strategies are not necessarily indicative of future results. Please see https://a16z.com/disclosures for additional important information.
Ни при каких обстоятельствах любые посты или другая информация, предоставленная на этом сайте — или на связанных каналах распространения контента — не должны толковаться как предложение, побуждающее к покупке или продаже любой ценной бумаги или доли в каком-либо пуле инвестиционных средств, спонсируемом, обсуждаемом или упомянутом персоналом a16z. И не следует толковать это как предложение предоставлять услуги инвестиционного консультирования; предложение инвестировать в управляемый a16z пул инвестиционных средств будет сделано отдельно и только посредством конфиденциальных документов о предложении конкретных пулов инвестиционных средств — которые должны быть прочитаны в полном объёме, и только тем, кто, среди прочих требований, соответствует определённым квалификациям по федеральным законам о ценных бумагах. Такие инвесторы, определённые как accredited investors и qualified purchasers, обычно считаются способными оценивать достоинства и риски перспективных инвестиций и финансовых вопросов. Не может быть никаких гарантий, что инвестиционные цели a16z будут достигнуты или инвестиционные стратегии будут успешными. Любая инвестиция в средство, управляемое a16z, влечёт высокую степень риска, включая риск потерять всю инвестированную сумму. Любые упомянутые, отмеченные или описанные инвестиции или портфельные компании не являются репрезентативными для всех инвестиций в средствах, управляемых a16z, и не может быть никаких гарантий, что инвестиции будут прибыльными или что другие инвестиции, сделанные в будущем, будут иметь похожие характеристики или результаты. Список инвестиций, сделанных фондами под управлением a16z, доступен на https://a16z.com/investments/. Из этого списка исключены инвестиции, на раскрытие которых эмитент не дал a16z разрешения, а также неанонсированные инвестиции в публично торгуемые цифровые активы. Прошлые результаты инвестиций Andreessen Horowitz, пулов инвестиционных средств или инвестиционных стратегий не обязательно являются индикатором будущих результатов. См. https://a16z.com/disclosures для дополнительной важной информации.
About
Об авторе
Andrew Chen is a partner at Andreessen Horowitz, where he invests in games, AR/VR, metaverse, and consumer tech startups. He is the author of The Cold Start Problem, a book on starting and growing new startups via network effects. He resides in Venice, California (more)
Andrew Chen — партнёр в Andreessen Horowitz, где он инвестирует в игры, AR/VR, метавселенную и потребительские технологические стартапы. Он автор The Cold Start Problem, книги о запуске и росте новых стартапов через сетевые эффекты. Живёт в Венис, Калифорния (подробнее)