The red flags and magic numbers that investors look for in your startup’s metrics – 80 slide deck included! at andrewchen

Andrew Chen Archives

Архив Andrew Chen

The red flags and magic numbers that investors look for in your startup’s metrics – 80 slide deck included!

Красные флаги и магические числа, которые инвесторы ищут в метриках вашего стартапа — включая 80-слайдовую презентацию!

Growing startups and evaluating startups share common skills
Earlier this year, I joined Andreessen Horowitz as a General Partner, where I focus on a broad spectrum of consumer startups: marketplaces, entertainment/media, and social platforms. This was a big moment for me, and the result of a long relationship that began a decade ago, when Horowitz Andreessen Angel Fund funded a (now defunct) startup I had co-founded. One of the reasons I’ve been excited about being a professional investor is the ability to apply my skills as an operator. The same skills needed to grow new products can be used both to evaluate new startups to invest in, and once we’ve invested; to help them grow.

Рост стартапов и их оценка требуют одних и тех же навыков. В начале этого года я присоединился к Andreessen Horowitz в качестве General Partner, где занимаюсь широким спектром потребительских стартапов: маркетплейсами, развлекательными/медиа- и социальными платформами. Это был большой момент для меня и результат долгих отношений, начавшихся десятилетие назад, когда Horowitz Andreessen Angel Fund инвестировал в стартап (ныне закрытый), который я тогда сооснователь. Одна из причин, почему меня воодушевила роль профессионального инвестора, — возможность применять свои навыки оператора. Те же навыки, что нужны для развития новых продуктов, могут использоваться и для оценки новых стартапов для инвестиций, и — после инвестиции — для помощи им в росте.

The reason for this is that the steps for starting and scaling a new startup share many of the same skills as investing in a new startup: 1) First, we seek to understand the existing state of customer growth – including growth loops, the quality of acquisition, engagement, churn, and monetization. 2) Then, to identify potential upside based learnings from within the company as well as across benchmarks from across industry. 3) And finally, to prioritize and make decisions that impact the future. Of course, as an investor you can’t run A/B tests or analyze results directly, but you can form hypotheses, ideate, and apply the same type of thinking.

Причина в том, что шаги по запуску и масштабированию нового стартапа разделяют многие навыки с инвестированием в новый стартап: 1) Сначала мы стремимся понять текущее состояние роста клиентов — включая growth loops, качество привлечения, вовлечённость, отток и монетизацию. 2) Затем — выявить потенциальный апсайд, опираясь как на инсайты внутри компании, так и на бенчмарки по индустрии. 3) И наконец — расставить приоритеты и принять решения, влияющие на будущее. Конечно, как инвестор вы не можете запускать A/B-тесты или напрямую анализировать результаты, но можете формировать гипотезы, генерировать идеи и применять тот же тип мышления.

As part of my interview process at a16z, I eventually put together an 80 slide deck on how to use growth ideas to evaluate startups. In the spirit that this perspective can help others in the ecosystem, and to share my thinking, I’m excited to publish the deck below.

В рамках процесса собеседования в a16z я в итоге собрал 80-слайдовую презентацию о том, как применять идеи роста для оценки стартапов. В духе того, что этот взгляд может помочь и другим в экосистеме, и чтобы поделиться своим мышлением, я с радостью публикую эту презентацию ниже.

Disclaimer: This was just one presentation in a 10 year relationship
But before I fully share, I have a disclaimer. This is one presentation I made within a series of dozens of meetings and interactions I had with the Andreessen Horowitz team. It was just one ingredient. I’ve been asked by friends and folks on the best path into venture capital. From my experience, it’s a long, windy experience – others have written about their processes as well.

Дисклеймер: это была всего одна презентация в рамках 10-летних отношений. Но прежде чем поделиться полностью, оговорюсь. Это одна презентация, которую я сделал в рамках серии из десятков встреч и взаимодействий с командой Andreessen Horowitz. Это был лишь один ингредиент. Друзья и знакомые часто спрашивают меня о лучшем пути в венчурный капитал. По моему опыту, это долгий и извилистый путь — другие уже писали о своём опыте.

My journey took a while too:

Мой путь тоже занял время:

10 лет в Bay Area (вёл блог, выстраивал нетворк и т.д.). Десятки ангельских инвестиций и эдвайзерских ролей в SaaS, маркетплейсах и т.д. Когда процесс уже стартовал — 6 месяцев собеседований (ужины, присутствие на питчах, разбор стартапов). 100+ часов интервью и подготовки.

This deck was just one step, but one that I’m proud of, and want to show y’all.

Эта презентация была лишь одним шагом, но шагом, которым я горжусь и который хочу показать вам.

The Deck

Презентация

Above: I presented this deck as part of my interview to join Andreessen Horowitz to help demonstrate my expertise and “superpower” and how it might be used in an investing context.

Выше: я представил эту презентацию в рамках собеседования при вступлении в Andreessen Horowitz, чтобы продемонстрировать свою экспертизу и «суперсилу», а также то, как её можно применить в инвестиционном контексте.

As a result, it’s split into three sections:

Поэтому она разделена на три части:

Обо мне и моей суперсиле. Как применять идеи роста пользователей в инвестиционном контексте. Моё дальнейшее лидерство в этой области.

Let’s get started!

Поехали!

Above: When I first arrived in the Bay area, if you had searched for “growth hacking” – you would have gotten zero results. It wasn’t a thing. Some early companies like Linkedin and Facebook had started the notion of “growth teams” but this wasn’t a widely understood set of ideas in the industry.

Выше: когда я впервые приехал в Bay Area, если бы вы искали «growth hacking», то получили бы ноль результатов. Это явление ещё не существовало. У некоторых ранних компаний вроде Linkedin и Facebook уже зарождалось понятие «growth-команд», но это ещё не было широко осмысленной идеей в индустрии.

While there were people thinking about user acquisition and ad tech, and some early consumer teams (like Eric Ries’s IMVU) thinking about cohort curves to mention retention, it hadn’t been centralized into a team that could execute against it.

Хотя были люди, думавшие о привлечении пользователей и ad tech, и некоторые ранние потребительские команды (например, IMVU Эрика Риса), которые рассматривали когортные кривые для измерения retention, всё это ещё не было собрано в единую команду, способную систематически работать с этим.

I started my blog originally to write down everything I was learning. My previous background up to that point was in user acquisition and ad tech, and I was making the pivot to consumer products. There was a lot to learn.

Я начал свой блог, чтобы записывать всё, что узнавал. До этого мой бэкграунд был в привлечении пользователей и ad tech, и я делал разворот в сторону потребительских продуктов. Учиться нужно было многому.

As I learned from the best in the industry – in particular from the PayPal mafia who had employed a metrics-driven viral approach to build some of their most iconic companies – I started to write about what we’d now call growth.

По мере того как я учился у лучших в индустрии — в частности, у «мафии PayPal», использовавшей виральный подход на основе метрик для построения некоторых из своих культовых компаний, — я начал писать о том, что мы сегодня называем growth.

If you look at Google Trends, you’ll see that “growth hacking” all of a sudden became a term people in the industry were interested, and were searching for, in 2012.

Если посмотреть Google Trends, можно увидеть, что «growth hacking» внезапно стал термином, которым в индустрии интересовались и который искали, начиная с 2012 года.

There’s a reason for that. I’d like to take some credit :)

На это есть причина. Я бы хотел приписать себе часть заслуг :)

I was lucky with the right timing, the right content, and with inspiration from my friend Sean Ellis to be able to popularize the terminology and ideas around “growth hacking” in an essay I wrote in 2012.

Мне повезло с правильным таймингом, правильным контентом и вдохновением от моего друга Sean Ellis — я смог популяризировать терминологию и идеи «growth hacking» в эссе, написанном в 2012 году.

And these days, it’s spread and become its own ecosystem.

А сегодня это распространилось и превратилось в собственную экосистему.

Teams focusing on user growth have spun up across some of the best companies in the ecosystem!

Команды, фокусирующиеся на росте пользователей, появились в некоторых из лучших компаний экосистемы!

(As of early 2018, when I had presented this, these were some of the companies that had growth titles or formal growth teams)

(На начало 2018 года, когда я представлял эту презентацию, вот некоторые из компаний, у которых были growth-должности или формальные growth-команды.)

Of course “growth hacking” has changed a lot – it’s no longer about hacks as much as a much bigger umbrella as it’s become a more professionalized, formal function within a team.

Конечно, «growth hacking» сильно изменился — теперь это уже не столько про «хаки», сколько про гораздо более широкий зонтик, поскольку он стал более профессиональной и формальной функцией внутри команды.

One evolution is the number of books and conferences now dedicated to growth.

Одна из эволюций — число книг и конференций, посвящённых росту.

The other evolution in the ecosystem is that people are thinking about different things – about how to build growth teams, not just hacks. Thinking about new user experience, engagement metrics, and other important concepts.

Другая эволюция в экосистеме — то, что люди думают о других вещах: о том, как строить growth-команды, а не просто хаки. Думают о новом пользовательском опыте, метриках вовлечённости и других важных концепциях.

I continue to contribute to this ecosystem by writing, being involved in social media, and press.

Я продолжаю вносить вклад в эту экосистему, занимаясь письмом, активностью в соцсетях и в прессе.

As part of that, as folks search for important concepts like “product market fit” and “user growth” – my essays are often on the front page. These are evergreen concepts and were relevant 5 years ago, relevant today, and will be important in the next phase of tech as well.

В рамках этого, когда люди ищут важные концепции вроде «product market fit» и «user growth», мои эссе часто оказываются на первой странице. Это вечнозелёные концепции, которые были актуальны 5 лет назад, актуальны сегодня и будут важны на следующем этапе технологий.

Beyond writing, I’ve also extended my efforts to bring together the high-end professional network of people working on startup growth. This hits a different part of my network as it’s a deeper relationship, and Bay Area focused, as opposed to my essays and social media which are global.

Помимо писательства, я также расширил свои усилия по объединению профессионального нетворка людей, работающих над ростом стартапов. Это затрагивает другую часть моей сети — здесь отношения глубже и сфокусированы на Bay Area, в отличие от моих эссе и соцсетей, которые глобальны.

To accomplish this, I’ve been working with Brian Balfour (ex-VP growth from Hubspot) to start up Reforge which has educated 1000s of employees from top tech companies.

Для этого я работаю с Brian Balfour (бывший VP growth в Hubspot) над запуском Reforge, который обучил тысячи сотрудников ведущих технологических компаний.

The flagship program on growth is 8 weeks and pulls together some of the foundational concepts.

Флагманская программа по росту длится 8 недель и собирает воедино некоторые фундаментальные концепции.

The speakers include executives who run growth or related functions from across the industry. (Thank you to all the wonderful people who are involved with Reforge! Y’all are awesome and I’m happy to count you as my friends)

Среди спикеров — руководители, отвечающие за рост и смежные функции в разных компаниях индустрии. (Спасибо всем замечательным людям, причастным к Reforge! Вы потрясающие, и я рад считать вас своими друзьями.)

In the past few years, over 1500+ folks have attended the program from almost every company in the Bay Area and many F500 enterprises as well. This includes CEOs/founders, VPs, PMs, marketing folks, data science, engineers, and so on.

За последние несколько лет программу прошли более 1500 человек практически из каждой компании в Bay Area и многих корпораций из списка F500. Среди них CEO/основатели, VP, PM, маркетологи, специалисты по data science, инженеры и так далее.

In the coming years, I want to stay as active as possible – to stay ahead of the curve by spending time with the smartest people from across industry, to bring communities together, and to continue to publish ideas. Establishing myself in the industry has taken a decade in the Bay Area and I intend to spend the next few decades at the same pace!

В ближайшие годы я хочу оставаться максимально активным — быть впереди кривой, проводя время с самыми умными людьми в индустрии, объединяя сообщества и продолжая публиковать идеи. На то, чтобы утвердиться в индустрии, у меня ушло десятилетие в Bay Area, и я намерен провести следующие несколько десятилетий в том же темпе!

Next, let’s change gears. After all this talk about startup growth, how might you use this to evaluate new products in an investment context?

Теперь сменим тему. После всех этих разговоров о росте стартапов — как же использовать всё это для оценки новых продуктов в инвестиционном контексте?

In this next section, I’ll present some of the central ideas in user growth and how you might use that to evaluate the quality of a startup’s growth as opposed to getting stuck on vanity metrics.

В следующем разделе я представлю некоторые ключевые идеи в области роста пользователей и то, как с их помощью можно оценить качество роста стартапа, не застревая на vanity-метриках.

Above: To start, oftentimes you’ll find a new startup that presents their growth curve, which might look something like this – up and to the right! This is great. Time to invest, right?

Выше: для начала — часто вы встречаете новый стартап, который показывает свою кривую роста, выглядящую примерно так: вверх и вправо! Это здорово. Пора инвестировать, верно?

The problem is, you don’t know where it’s going to go.

Проблема в том, что вы не знаете, куда она пойдёт дальше.

In the long run, over the course of an investment, you’ll find that this curve might go in a direction you may not want it to go – perhaps it’ll plateau. Perhaps it’ll even collapse. Or you may find that it’s going to continue going up, and even hockey-sticking.

В долгосрочной перспективе, на протяжении инвестиции, вы можете обнаружить, что эта кривая пойдёт не в ту сторону, в которую вам хотелось бы — возможно, она выйдет на плато. Возможно, даже обвалится. Или, наоборот, продолжит расти и даже выйдет на «хоккейную клюшку».

How do you predict the future? Is it working and will it sustain? Will it even accelerate?

Как же предсказать будущее? Работает ли это и сохранится ли? Ускорится ли?

There’s a couple common frameworks to try to understand this, and one is the Growth Accounting Framework.

Есть пара распространённых фреймворков, помогающих в этом разобраться, и один из них — Growth Accounting Framework.

The Growth Accounting Framework looks something like this – within each time period (say a week, or a month) – you’ll add some users, reactivate some folks who had previously churned, and some go inactive. You add this up and it’s the “Net MAU” for a product – the difference between each time period.

Growth Accounting Framework выглядит примерно так: в каждом временном периоде (скажем, неделе или месяце) вы добавляете новых пользователей, реактивируете тех, кто ранее отвалился, и часть пользователей становятся неактивными. Складывая всё это, вы получаете «Net MAU» продукта — разницу между периодами.

If your positive terms (New+Reactivated) are smaller than your negative terms (the number who become Inactive) then you stop growing, and the whole thing goes negative.

Если ваши положительные слагаемые (New+Reactivated) меньше отрицательных (число тех, кто становится Inactive), то рост останавливается, и всё уходит в минус.

Let’s look at each term in isolation.

Давайте рассмотрим каждое слагаемое по отдельности.

The New+Reactivated term tends to look linear or be an S-curve. The reason is that it’s really really hard to scale acquisition – only a few, like viral loops, paid marketing, and SEO can bring you to millions or tens of millions of users. And as the acquisition channel gets bigger, it tends to get less effective. Ads become more expensive to buy, viral loops end up saturating your target market, etc. This term dominates.

Слагаемое New+Reactivated, как правило, выглядит линейным или как S-кривая. Причина в том, что масштабировать привлечение очень и очень сложно — лишь немногие источники, такие как виральные петли, платный маркетинг и SEO, могут дать вам миллионы или десятки миллионов пользователей. И по мере роста канала привлечения он, как правило, становится менее эффективным. Реклама дорожает, виральные петли насыщают целевой рынок и т.д. Это слагаемое доминирует.

Reactivation tends to be hard to control. If someone quits your product, emailing them a bunch of times probably won’t help. (But if you have a network, something like photo-tagging or @mentions might!). But most products don’t have a network, and as a result, the acquisition term tends to be much bigger than the reactivation one.

Реактивацией обычно сложно управлять. Если кто-то ушёл из вашего продукта, рассылка ему кучи писем, скорее всего, не поможет. (Но если у вас есть сеть, что-то вроде отметок на фото или @mentions может сработать!) Но у большинства продуктов сети нет, и в результате слагаемое привлечения, как правило, гораздо больше реактивации.

Above: The Inactive curve is also an S-curve, but it lags acquisition. It’s simple to understand why, which is that until you have a base of active users, you can’t really churn. You can’t churn anyone when you have zero users. So it goes up over time. So usually your acquisition curve pushes you up, and then churn starts.

Выше: кривая Inactive также S-образна, но она отстаёт от привлечения. Это легко понять: пока у вас нет базы активных пользователей, отток в принципе невозможен. Когда у вас ноль пользователей, отваливаться некому. Поэтому он растёт со временем. Обычно кривая привлечения тянет вас вверх, а затем подключается отток.

At the moment that your New+Reactivated is equal to your Inactive users, each time period, then you hit peak MAUs. This is the thing to watch for, because then it’s all flat or down from there.

В тот момент, когда ваши New+Reactivated сравниваются с Inactive в каждом периоде, вы достигаете пика MAU. Это и есть то, за чем нужно следить, потому что после этого всё идёт ровно или вниз.

I use MAUs in this example but you could also use active subscribers, or users who have bought something in the past 30 days, or some other definition. The underlying physics are the same.

В этом примере я использую MAU, но можно использовать и активных подписчиков, или пользователей, что-то купивших за последние 30 дней, или другое определение. Базовая физика одна и та же.

If you’re following all of this, it’s already a pretty profound insight. We’ve moved from looking at a single curve that might have been growing and decomposed it into its underlying terms, and shown how a curve that’s been going up and to the right for a while might go flat the next month. And why. That’s important.

Если вы всё это поняли — это уже довольно глубокий инсайт. Мы перешли от рассмотрения одной кривой, которая росла, к её разложению на составляющие и показали, почему кривая, идущая вверх и вправо какое-то время, может выйти в плато в следующем месяце. И почему. Это важно.

But there’s a problem.

Но есть проблема.

The problem is that the Growth Accounting Framework provides for lagging metrics. It’s hard to predict the future. It’s the equivalent at looking at company’s current year P&L and its constituent parts – it’s useful, but not enough. It’s hard to be predictive. It’s also hard to be actionable for product teams.

Проблема в том, что Growth Accounting Framework даёт запаздывающие (lagging) метрики. По нему сложно предсказывать будущее. Это эквивалент изучения P&L компании за текущий год и его составляющих — полезно, но недостаточно. Сложно быть прогнозным. Также сложно делать его actionable для продуктовых команд.

That’s why for the growth and product teams I’ve advised over the years, this isn’t something you can look at every day or every week. It’s not helpful.

Именно поэтому growth- и продуктовым командам, которые я консультировал годами, я говорю: это не та штука, на которую стоит смотреть каждый день или каждую неделю. Это не поможет.

Instead, you need leading indicators and a more predictive conceptual model.

Вместо этого нужны опережающие индикаторы и более прогнозная концептуальная модель.

Above: To do this, I advocate that we look at two key loops:

Выше: для этого я предлагаю смотреть на два ключевых цикла:

Acquisition loops, которые питают положительное слагаемое New. Engagement loops, которые питают отрицательные слагаемые Reactivation и Inactive.

Understanding these underlying loops is the key to the whole problem of predicting where a graph is going to go.

Понимание этих базовых циклов — ключ ко всей задаче предсказания того, куда пойдёт график.

In understanding these loops, I don’t mean to simply chart them out in a spreadsheet. I mean to think about the quality of the loops – how defensible and proprietary are they? How scalable and repeatable? Is there upside in optimizing them or adding to them further?

Под пониманием этих циклов я не имею в виду просто построить их в таблице. Я имею в виду думать о качестве циклов — насколько они защитимы и проприетарны? Насколько масштабируемы и повторяемы? Есть ли апсайд в их оптимизации или дальнейшем дополнении?

In other words, we want to understand the quality of the user growth. If we understand that, we can forecast into the future as opposed to looking backwards.

Другими словами, мы хотим понять качество роста пользователей. Если мы это поймём, мы сможем прогнозировать в будущее, а не смотреть только в прошлое.

To start, let’s look at the Acquisition Loop.

Для начала посмотрим на Acquisition Loop.

Above: There’s 4 sections of content we’ll go through- first, to understand the examples, then what metrics to examine. Then to look at how to best improve the loops. And finally, we’ll try to apply the framework.

Выше: мы пройдём 4 раздела контента — сначала чтобы понять примеры, затем какие метрики смотреть. Потом — как лучше всего улучшать циклы. И наконец — попробуем применить фреймворк.

Let’s start with examples.

Начнём с примеров.

Above: The key thing to ask for the Acquisition Loop is to understand how a cohort of new users leads to another set of new users. If you can get that going, then by a conceptual proof by induction, you’ll be able to show how it scales.

Выше: ключевой вопрос для Acquisition Loop — понять, как одна когорта новых пользователей приводит к ещё одной когорте новых пользователей. Если вы можете это запустить, то по сути по индукции вы сможете показать, как это масштабируется.

Importantly, these loops are flows within the product that are created on top of pre-existing, large platforms. Sometimes the loops are built because they are bought – via Ads. Sometimes they are built via API integrations, to allow for easier/faster sharing. And sometimes it’s via a partnership.

Важно, что эти циклы — это потоки внутри продукта, надстроенные поверх уже существующих крупных платформ. Иногда циклы строятся, потому что покупаются — через рекламу. Иногда — через API-интеграции, чтобы обеспечить более лёгкий/быстрый шеринг. А иногда — через партнёрство.

Let me talk through some examples.

Дам несколько примеров.

A product like Yelp or Houzz fundamentally is a UGC SEO driven loop. New users find content through Google, a small % of them generate more content, which then gets indexed by Google, and then the loop repeats. Reddit is also like this. So is Glassdoor. And so on.

Продукт вроде Yelp или Houzz по сути — это цикл UGC SEO. Новые пользователи находят контент через Google, небольшой % из них создаёт ещё контент, который потом индексируется Google, и цикл повторяется. Reddit устроен так же. И Glassdoor. И так далее.

Paid marketing is also an obvious loop. Spend money, sell products, take the money and buy more ads. Keep going.

Платный маркетинг — тоже очевидный цикл. Потратили деньги, продали продукты, взяли деньги и купили ещё рекламы. И так по кругу.

Above: Viral loops are important because they are extremely scalable, free, and don’t require a formal partnership. This is based on users directly or indirectly sharing a product with their friends/colleagues, and having that loop repeat itself.

Выше: виральные циклы важны, потому что они чрезвычайно масштабируемы, бесплатны и не требуют формального партнёрства. Они основаны на том, что пользователи прямо или косвенно делятся продуктом с друзьями/коллегами, и этот цикл повторяется.

The important point here is that loops aren’t just conceptual, but you can actually measure their efficiency as well. If you can get 1000 users to invite and sign up +600 of their friends, then you have a ratio of 0.6. But that’s just in the first cycle of the loop. But then those 600 new users generate 0.6*600=360 new users, who then generate 216, and so on, until the entire cohort is +1500 signups total from a base of 1000. Wow! That’s meaningful because then for every user you get through other means, you’re amplifying their effect.

Важно, что циклы — это не только концепция: их эффективность можно измерять. Если 1000 пользователей пригласят и зарегистрируют +600 своих друзей, у вас коэффициент 0.6. Но это только в первом цикле. Затем эти 600 новых пользователей приведут 0.6*600=360 новых, которые приведут 216 и так далее, пока вся когорта не даст +1500 регистраций суммарно при базе в 1000. Вау! Это значимо, потому что для каждого пользователя, привлечённого другими средствами, вы усиливаете его эффект.

This can be particularly important when you have a large paid marketing budget, because it can drive down your cost of acquisition by blending in a scalable form of organic. It can be a huge advantage.

Это может быть особенно важно, если у вас большой бюджет платного маркетинга, потому что это позволяет снизить стоимость привлечения, подмешивая масштабируемую форму органики. Это может быть огромным преимуществом.

Above: What about PR, conferences, in-house content marketing, etc.? Aren’t they important? Yes, they can be- but they don’t scale. For example, conferences happen irregularly, have poor ROI/attribution tracking, and every dollar made from a conference can’t quickly be reinvested. Contrast that to paid marketing, which can be highly accountable, become very optimized, and can scale to $1B+ spend/year.

Выше: а как насчёт PR, конференций, контент-маркетинга и т.д.? Разве они не важны? Да, могут быть — но они не масштабируются. Например, конференции случаются нерегулярно, имеют плохой ROI/атрибуцию, и каждый заработанный на конференции доллар нельзя быстро реинвестировать. Сравните это с платным маркетингом, который может быть высокоучётным, очень оптимизированным и масштабироваться до 1B+ $ расходов в год.

So when it comes to PR, conferences, partnerships, etc. – they’re useful, but they are more like one-off opportunities, and certainly not where the bulk of your customer acquisition takes place. Instead, you use them to drive traffic into your loop, which then gets amplified.

Поэтому, когда речь идёт о PR, конференциях, партнёрствах и т.п. — они полезны, но это скорее разовые возможности, и уж точно не основное место привлечения клиентов. Их используют, чтобы загнать трафик в свой цикл, который потом усиливается.

As a result of this model of linear channels versus loops, when you are meeting a company for the first time, you have a framework to understand if their growth will scale over time or not. If it’s a one-time launch, like they just got announced as part of the latest YC batch, well that’s not a loop.

В результате этой модели — линейные каналы против циклов — когда вы впервые встречаетесь с компанией, у вас есть фреймворк для понимания, будет ли их рост масштабироваться со временем. Если это разовый запуск, например их только что объявили в очередном батче YC, — это не цикл.

If they have been quiet on PR, conferences, etc., but users are telling each other as part of the native functionality of the product – okay then you have my attention!

Если они тихо себя ведут в PR, на конференциях и т.п., но пользователи рассказывают друг другу о продукте как часть его нативной функциональности — окей, вы привлекли моё внимание!

Once you understand the loop, you have you understand if there’s upside. Is it possible to improve the loop? Maybe it sucks now, but maybe it can be fixed? Or even better, maybe there’s a product growing like gangbusters but you could accelerate even further.

Как только вы поняли цикл, нужно понять, есть ли апсайд. Можно ли улучшить цикл? Может, сейчас он плох, но его можно починить? Или ещё лучше — может, продукт растёт как сумасшедший, и можно ускорить рост ещё сильнее?

To understand this, you have to move out of spreadsheet world and get into product experiences.

Чтобы это понять, нужно выйти из мира таблиц и погрузиться в продуктовый опыт.

The first move is to decompose the simplified loops we were looking and actually get into the details.

Первый шаг — разложить упрощённые циклы, которые мы рассматривали, и реально погрузиться в детали.

Above: Instead of just 4 steps, as shown before, now we go even more tactical. Of course new users will have to land on the app store page, then sign up. They have to mobile verify. They have to go to a certain screen on the product, then add something to their cart – hypothetically. And so on. Each step is friction. Each step drives down performance.

Выше: вместо 4 шагов, как было показано ранее, мы переходим к ещё более тактическому уровню. Конечно, новые пользователи должны попасть на страницу в магазине приложений, потом зарегистрироваться. Им нужно подтвердить номер. Им нужно перейти на определённый экран продукта, потом — гипотетически — добавить что-то в корзину. И так далее. Каждый шаг — это трение. Каждый шаг снижает конверсию.

We ought to be able to look at every single one of these steps and improve them further.

Мы должны уметь смотреть на каждый из этих шагов и улучшать их.

Let’s dive into one example, which is the app store screen.

Углубимся в один пример — экран магазина приложений.

On the app store screen – and this is a real example – there’s reviews. There’s a star rating. The bounce rate on the app store screen can often be very high, sometimes 50-80%.

На экране магазина приложений — и это реальный пример — есть отзывы. Есть рейтинг в звёздах. Bounce rate на этом экране часто очень высокий, иногда 50–80%.

In 2016, the star rating on Uber’s rider app was low. 1.7 stars, in fact. Ouch.

В 2016 году рейтинг приложения Uber для пассажиров был низким. 1.7 звезды, если точнее. Ой.

There were a lot of reasons for this, but on fundamental issue was that only unhappy riders were rating the app. It’s a common best practice to ask a broad spectrum of users to rate your app, and the Uber app wasn’t doing that. This was controversial because there was some desire to “cherry pick” only happy riders, for fear that the rating might stay low.

Причин было много, но фундаментальная проблема была в том, что приложение оценивали только недовольные пассажиры. Лучшая практика — просить широкий спектр пользователей оценить ваше приложение, а Uber этого не делал. Это было контроверсиально, потому что было желание «черипикать» только довольных пассажиров, опасаясь, что рейтинг может остаться низким.

Nevertheless, the best practice was implemented and shipped.

Тем не менее, лучшая практика была реализована и выпущена.

Here’s what it looked like- after a trip, regardless of what the rider rated their trip experience, it would ask the rider to rate the app. And very quickly, the 10s of millions of users who had happy, successful trips weighed in. Quickly things moved from 1.7 stars to over 4.7 stars, where it still sits today.

Вот как это выглядело: после поездки, независимо от того, как пассажир оценил поездку, приложение просило оценить его само. И очень быстро десятки миллионов пользователей, у которых были удачные поездки, высказались. Рейтинг быстро поднялся с 1.7 до более чем 4.7 звезды, где он находится и сегодня.

A change like this is worth on the order of millions of incremental downloads for Uber. It’s a small change, but had a lot of upside. (Congrats to the Rider Growth team for shipping this! Miss you guys!)

Такое изменение стоит порядка миллионов дополнительных загрузок для Uber. Маленькое изменение — но огромный апсайд. (Поздравляю Rider Growth team с релизом! Скучаю по вам, ребята!)

Let’s look at another example- having all of your users verify their phone numbers. You’ve done this a million times.

Посмотрим на другой пример — заставить всех пользователей подтверждать свои телефонные номера. Вы делали это миллион раз.

It turns out, having people verify their numbers is a high friction step and oftentimes, there’s a 10-40% dropoff rate just on this screen. It might be because your phone number was entered incorrectly. Maybe you’re international – an important use case for travel-oriented apps like Uber. There’s a whole series of updates you can make to improve this step – from partnering with carriers, allowing a voice call to verify, and so on.

Оказывается, верификация телефона — это шаг с высоким трением, и часто там 10–40% отвал прямо на этом экране. Может, вы ввели номер неверно. Может, вы из другой страны — важный кейс для travel-приложений вроде Uber. Есть целая серия улучшений: партнёрства с операторами, разрешение голосовых звонков для верификации и так далее.

One more example on creating upside – which is on the back part of the paid marketing loop, when a new user clicks on an ad and lands into the product. The landing page they see is important.

Ещё один пример апсайда — на стороне платного маркетинга, когда новый пользователь кликает по рекламе и попадает в продукт. Landing page, которую он видит, очень важна.

And it’s so important, years later, they all look the same.

И она настолько важна, что годы спустя все они выглядят одинаково.

There’s a reason why so many landing pages are just signup forms. Not a ton of information about the product, not a lot of frills- just an ask to sign up. The reason for this is that after years of testing, this is what performs best when you are invited by a friend.

Есть причина, почему так много landing pages — это просто формы регистрации. Не много информации о продукте, без излишеств — только просьба зарегистрироваться. Причина в том, что после лет тестирования именно это лучше всего работает, когда вас пригласил друг.

So if I see a startup that doesn’t directly ask for the signup, I assume there’s upside that can be gained.

Поэтому если я вижу стартап, который не сразу просит зарегистрироваться, я предполагаю, что есть апсайд, который можно отыграть.

These landing pages – often the first experience of a new user – are super important because the bounce rates are often over 80%. Wow. That’s almost everyone! So there’s a playbook of common changes you can make – from removing friction, pre-filling fields, adding video, optimizing for everything being above the fold, etc.

Эти landing pages — часто первый опыт нового пользователя — крайне важны, потому что bounce rate на них часто превышает 80%. Вау. Это почти все! Поэтому есть playbook типовых изменений: убрать трение, заранее заполнить поля, добавить видео, оптимизировать так, чтобы всё помещалось above the fold, и т.д.

OK, we’re done with the examples. Now once you understand the upside, let’s say you want to dig into the data. What KPIs do you look at, and what are you looking for?

ОК, с примерами закончили. Теперь, когда вы поняли апсайд, скажем, вы хотите погрузиться в данные. На какие KPI смотреть и что искать?

Above: The first thing to ask for is the product’s Acquisition Mix. This is a look at signups broken down by channels/loops and by time period (ideally weeks). I’m looking for signals that the dominant channel(s) are proprietary and repeatable. Ideally they are loops. I want low platform risk, where there isn’t a dependency on a larger company that might change their mind. (I.e., Instagram, Google SEO, etc.). A good mix might be 33/33/33 where you have a third organic, plus two loops, like viral and SEO.

Выше: первое, что нужно запросить, — Acquisition Mix продукта. Это разбивка регистраций по каналам/циклам и временным периодам (в идеале — по неделям). Я ищу сигналы того, что доминирующие каналы проприетарны и повторяемы. В идеале это циклы. Я хочу низкий риск платформы, чтобы не было зависимости от более крупной компании, которая может передумать (например, Instagram, Google SEO и т.д.). Хороший микс может быть 33/33/33, где треть — органика плюс два цикла, например виральный и SEO.

The red flags I look for are around new channels appearing, but which aren’t sustainable. Especially ad spend that comes and goes, indicating maybe everything’s been juiced for before the fundraise. I don’t love to see spikes for that reason.

Красные флаги, которые я ищу, — появление новых каналов, которые при этом неустойчивы. Особенно расходы на рекламу, которые то появляются, то исчезают, что может означать, что всё «высосано» перед раундом. Я не люблю видеть всплески по этой причине.

But a signup isn’t always a signup – thus it’s important to understand the quality of a signup.

Но регистрация не равна регистрации — поэтому важно понимать качество регистрации.

A startup shouldn’t care much about signups, they should care about how well they translate into paying customers, or active users, or whatever an “activated user” looks like. It turns out that one of the biggest determinants of “quality” of new users is the source of the user. As a result, you want to understand both how signups are being generated by various channels, via the Acquisition Mix report above, but also a sense of the quality by understanding the activation rate by channel.

Стартап не должен сильно заботиться о регистрациях — его должно заботить, насколько хорошо они конвертятся в платящих клиентов или активных пользователей, или что бы ни считалось «активированным пользователем». Оказывается, одним из главных факторов «качества» новых пользователей является источник. Поэтому важно понимать и то, как регистрации генерируются разными каналами (через Acquisition Mix выше), и качество — через activation rate по каналам.

The red flags here are a bunch of new users from a new channel that’s actually low quality. Or a doubling down on a new low-quality channel just to pump up the signup numbers. After all, a spike of new users count into whatever month’s MAU metric that they joined under, and it’s an easy way to juice their short-term MAU. Watch for that.

Красные флаги здесь — куча новых пользователей из нового канала, который на деле низкокачественный. Или удвоение ставки на новый низкокачественный канал просто чтобы накачать цифры регистраций. Ведь всплеск новых пользователей попадает в MAU того месяца, в котором они зашли, и это лёгкий способ накачать краткосрочную MAU. Следите за этим.

The other aspect to analyze is the concentration of new users from different sources. Perhaps a particular channel/loop dominates but seems brittle or is expensive. If all the users have come from beta users list or Product Hunt, that won’t scale over time.

Другой аспект анализа — концентрация новых пользователей по источникам. Возможно, доминирует какой-то один канал/цикл, но он хрупкий или дорогой. Если все пользователи пришли из списка beta-юзеров или с Product Hunt, это не масштабируется со временем.

On the other hand, if marketing spend and product efforts are going towards high-quality channels, that’s fantastic.

С другой стороны, если расходы на маркетинг и продуктовые усилия направлены в высококачественные каналы — это здорово.

Above: As noted before, loops are usually build on top of another platform. Sometimes that’s Google SEO, email systems, Instagram, or more.

Выше: как отмечалось ранее, циклы обычно надстраиваются поверх другой платформы. Иногда это Google SEO, email-системы, Instagram и т.д.

If the startup’s new product adds value to the underlying platform, and isn’t too horizontal, it might be stable. There might be a strategy to become a destination product in itself. That’d be great. But that’s often not the case.

Если новый продукт стартапа добавляет ценности базовой платформе и не слишком горизонтален, он может быть стабильным. Может быть стратегия стать destination-продуктом самому по себе. Это было бы здорово. Но часто это не так.

The red flags here are focused on the integrations between the growing product and its platform- if it’s built on iOS and one of the core integrations is push notifications (like the recent live quiz apps), then look at the clickthrough rate trend for the notifications. If it’s decreasing over time, then you know it’s not working. Or on a per user basis, perhaps the average user is tapping through on the first push but isn’t engaging much with the fifth. Or perhaps the underlying platform is shrinking. If you built a product that depended on AOL Instant Messenger to thrive, that’s not a smart bet.

Красные флаги здесь касаются интеграций между растущим продуктом и его платформой: если он построен на iOS и одна из ключевых интеграций — push-уведомления (как недавние live quiz-приложения), смотрите тренд CTR по уведомлениям. Если он падает со временем, вы знаете, что это не работает. Или в пересчёте на пользователя — возможно, средний юзер кликает по первому пушу, но почти не взаимодействует с пятым. Или, может быть, сама базовая платформа сжимается. Если вы построили продукт, зависящий от AOL Instant Messenger для процветания, — это не умная ставка.

It’s important to understand the underlying platform of any acquisition loop because things can collapse quickly.

Важно понимать базовую платформу любого acquisition loop, потому что всё может схлопнуться очень быстро.

One cautionary tale is what happened with Branchout, which was trying to build a Linkedin on top of Facebook Platform. You can see how fast it grew – to 14 million Daily Active Users, and how it was 1/10 the size just 4 months later. You don’t want to invest at its peak.

Поучительный кейс — Branchout, который пытался построить Linkedin поверх Facebook Platform. Видно, как быстро он рос — до 14 миллионов Daily Active Users, и как через 4 месяца стал в 10 раз меньше. Вы не хотите инвестировать на пике.

Once you understand the acquisition loop concept, can forecast the upside, and have metrics to look at to evaluate quality- then it’s time to go back to our original challenge: The up-and-to-the-right graph.

Когда вы поняли концепцию acquisition loop, можете прогнозировать апсайд и имеете метрики для оценки качества — пора вернуться к нашему изначальному вызову: график «вверх и вправо».

OK so does this go up, or not?

Так пойдёт он вверх или нет?

The key here is to ignore the graph, and instead use all the tools we discussed to create a baseline forecast on the engagement and user growth. Do the signups stay linear? Grow as a percentage over time? Or go flat?

Ключ здесь — игнорировать график и вместо этого использовать все инструменты, которые мы обсуждали, чтобы создать базовый прогноз по вовлечению и росту пользователей. Останутся ли регистрации линейными? Будут ли расти как процент со временем? Или выйдут в плато?

Above: Using our understanding of the potential product improvements, we ought to be able to create a bottoms up roadmap of all the improvements. We can use our expertise to understand when changes might be a +5% and when they might be a +20%. Combine all of it together, and you get a picture of the upside.

Выше: используя понимание потенциальных продуктовых улучшений, мы можем составить «снизу вверх» дорожную карту всех улучшений. Можно по экспертизе понимать, когда изменения дадут +5%, а когда — +20%. Сложите всё это вместе — и получите картину апсайда.

Once you have all of this together, then you ought to be able to create a series of scenarios on where your growth curves are going to go. Perhaps you can assume the product and marketing teams execute aggressively, and capture all the upside you saw. Or perhaps you can assume there’s no engineering help, and it’s just a matter of adding a few new advertising channels. All of these scenarios can be combined to create a new curve. This is your forecast. It’s a prediction of the future.

Когда всё это у вас на руках, можно построить ряд сценариев того, куда пойдут кривые роста. Можно предположить, что продуктовая и маркетинговая команды агрессивно отрабатывают и захватывают весь апсайд. Или, наоборот, что инженерной поддержки нет, и всё сводится к добавлению пары новых рекламных каналов. Все эти сценарии можно объединить в новую кривую. Это и есть ваш прогноз. Это предсказание будущего.

If you did all of this, you’d still have a major problem. Your prediction would suck, because you only looked at one half of the problem. The other side is Engagement, and all the loops there.

Если бы вы сделали всё это — у вас всё равно осталась бы серьёзная проблема. Ваш прогноз был бы слабым, потому что вы посмотрели только на половину задачи. Другая сторона — Engagement, и все циклы там.

There’s an Engagement Loop, similar to what we looked at with the Acquisition Loop. Let’s take a look there.

Существует Engagement Loop, аналогичный Acquisition Loop. Посмотрим на него.

Above: We’ll go through the same format. First examples, then how to improve, then how to measure, and then let’s bring it together and apply it.

Выше: пойдём по тому же формату. Сначала примеры, потом как улучшать, потом как измерять, и затем соберём всё вместе и применим.

Above: The key question with engagement is similar to the one we asked on acquisition. If you have a network-based product, like Dropbox or Slack, then you need active users to engage each other. If it’s purely a utility, then you want engagement in one time period to help set up engagement in a future time period.

Выше: ключевой вопрос про engagement аналогичен тому, что мы задавали про acquisition. Если у вас сетевой продукт, как Dropbox или Slack, вам нужны активные пользователи, чтобы взаимодействовать друг с другом. Если это чисто утилита, то вам нужно, чтобы вовлечённость в одном периоде помогала задавать вовлечённость в следующем.

Let’s run through some examples.

Разберём несколько примеров.

In an engagement loop that’s based on social feedback, you get a game of ping pong. One user messages/follows/mentions another, and they draw them back. And then that user might do the same, and draw in a different user. And this repeats. This is why achieving network density and easy content creation is so important- you need ways to bring people back into the network.

В engagement loop на базе социальной обратной связи получается игра в пинг-понг. Один пользователь пишет/подписывается/упоминает другого, и втягивает его обратно. А тот потом может сделать то же самое и втянуть ещё одного. И это повторяется. Вот почему достижение плотности сети и простота создания контента так важны — нужны способы возвращать людей в сеть.

On the other hand, there are engagement loops that are more like planting seeds. If you sign up for Zillow and put in your home address, and favorite a couple new real estate listings, then Zillow will start re-engaging you with personalized emails. Sometimes it’ll be when your house goes up in value, other times it’ll be when new listings show up in your neighborhoods. Credit Karma is the same, where a single setup session leads to important notifications about credit score changes over time.

С другой стороны, есть engagement loops, больше похожие на «посадку семян». Если вы регистрируетесь в Zillow, вводите адрес дома и добавляете в избранное пару объявлений, Zillow начнёт переподключать вас персонализированными письмами. Иногда — когда стоимость дома растёт, иногда — когда в районе появляются новые объявления. Credit Karma работает так же: одна сессия настройки приводит к важным уведомлениям об изменениях кредитного рейтинга со временем.

These are just two engagement loops, and there are many more.

Это лишь два engagement loops, их гораздо больше.

Another fun one is rideshare, where seeing physical on-the-street reminders of the product might prompt you to use it too. Mapping works in a similar way, often starting with a real-life trigger of “I’m lost!”

Ещё один забавный пример — rideshare, где физические напоминания о продукте на улице могут подтолкнуть вас тоже им воспользоваться. Картографические приложения работают похоже, часто стартуя с реального триггера «я заблудился!».

Just like the acquisition loop, there are linear channels to re-engage users. These are useful, of course, but again, they don’t scale. It’s better when users re-engage each other or when users re-engage themselves.

Как и у acquisition loop, есть линейные каналы для повторного вовлечения пользователей. Они полезны, конечно, но опять же — не масштабируются. Гораздо лучше, когда пользователи переподключают друг друга или сами себя.

This is part of why marketing-driven one-off email campaigns are often ineffective. They don’t scale, aren’t interesting to users, and with enough volume, can cause folks to churn. Not good.

Отчасти поэтому маркетинговые разовые email-кампании часто неэффективны. Они не масштабируются, неинтересны пользователям, а при большом объёме могут даже спровоцировать отток. Нехорошо.

It’s much better to see a natural engagement loop that leverages push notifications and email in a way that’s user-initiated.

Гораздо лучше видеть естественный engagement loop, в котором push-уведомления и email используются по инициативе пользователя.

In the same way we analyzed acquisition loops to understand upside, we can do so for engagement loops.

Так же, как мы анализировали acquisition loops, чтобы понять апсайд, мы можем делать это и для engagement loops.

The first step is to break down the loop into much smaller, more granular steps.

Первый шаг — разложить цикл на гораздо более мелкие и детальные шаги.

Above: Here, we’ve taken a Social Feedback loop that starts with a user creating content and publishing, to their friends viewing, adding comments, and then the notification back to the original user.

Выше: здесь мы взяли цикл социальной обратной связи, который начинается с пользователя, создающего контент и публикующего его, затем его друзья просматривают, добавляют комментарии, и приходит уведомление обратно автору.

Now let’s zoom in on a particular step.

Теперь приблизимся к конкретному шагу.

Above: The social feedback loop fundamentally is built on the content creation step. If it’s not easy, then it won’t work. So it has to be an activity that a lot of users want to do. That’s why taking a photo, typing in a text, or hitting a heart are all so effective. They’re dead simple actions.

Выше: цикл социальной обратной связи фундаментально строится на шаге создания контента. Если он не лёгкий, ничего не сработает. Поэтому это должно быть действие, которое многие пользователи хотят совершать. Вот почему сделать фото, ввести текст или поставить сердечко так эффективны. Это предельно простые действия.

Above: Pinterest has many examples where they’ve optimized content creation – or more specifically, more pinning/repinning per new signed up user. One method is to use the term “Save” as opposed to the more wonky term “Pin it.” Another is to up-sell the mobile app where it’s easy to interact. Education during onboarding helps too. All of these changes doubled the activation rate for new users, causing them to repin more, kicking off engagement loops for themselves and other users.

Выше: у Pinterest много примеров оптимизации создания контента — точнее, увеличения числа пинов/репинов на нового зарегистрированного пользователя. Один из методов — использовать слово «Save» вместо более странного «Pin it». Другой — апсейл мобильного приложения, в котором проще взаимодействовать. Помогает и обучение во время онбординга. Все эти изменения удвоили activation rate новых пользователей, заставляя их репинить больше и запуская engagement loops для них самих и других пользователей.

Once you create content, then you need to circulate it within your network.

После создания контента нужно распространить его в сети.

One key aspect of every network is the density of connections. It’s important to build the number of connections up, but they have to be relevant. And there’s diminishing returns too.

Ключевой аспект любой сети — плотность связей. Важно наращивать число связей, но они должны быть релевантны. И есть убывающая отдача.

A decade+ into the social platform paradigm, there’s now a playbook for how to do this. Let’s cover some of these ideas.

Спустя десятилетие+ парадигмы социальных платформ для этого существует playbook. Рассмотрим часть этих идей.

Above: An important way to build a social graph is to bootstrap on an existing network. For consumer products, that might be your phone’s addressbook or Facebook. Within the enterprise, it might be your colleagues’ emails in ActiveDirectory or GSuite or your work email. There’s tactics like asking people to “Find Friends” and to build “People You May Know” features to increase density.

Выше: важный способ построить социальный граф — bootstrap’иться на существующей сети. Для потребительских продуктов это может быть адресная книга вашего телефона или Facebook. Внутри предприятия — почты ваших коллег в ActiveDirectory или GSuite, либо рабочая почта. Есть тактики вроде «Find Friends» и «People You May Know», помогающие увеличить плотность.

The red flags here are folks who claim to have explosive viral growth just based on inviting. It won’t last, and they’ll be low quality signups. Similarly, if the core activity is all inviting and friending and there’s no main activity, that’s not good either. Better to let those ones go.

Красные флаги здесь — те, кто заявляет о взрывном виральном росте только за счёт приглашений. Это долго не продлится, и это будут низкокачественные регистрации. Аналогично, если основная активность — это сплошные приглашения и добавления в друзья, без главного действия, — тоже плохо. Лучше пропускать такие.

As a final examination of looking for upside in user engagement, it’s important think about an otherwise innocuous step- your users clicking on a notification, trying to get back into your product, but perhaps they’ve logged out.

Как финальный пример поиска апсайда в engagement, важно подумать о, казалось бы, безобидном шаге — пользователь кликает по уведомлению, пытаясь вернуться в ваш продукт, но, возможно, он разлогинен.

How bad can it be to get logged out?

Насколько плохо быть разлогиненным?

Turns out, being logged out and failing your password attempts can become a huge drag for established products with large audiences. It’s common for 50-75% of signed up users to actually be inactive – that is, the majority of your users will have tried the product but never get hooked.

Оказывается, разлогиненность и проваленные попытки ввести пароль могут стать огромной проблемой для зрелых продуктов с большой аудиторией. Это нормально, когда 50–75% зарегистрированных пользователей фактически неактивны — то есть большинство ваших пользователей попробовали продукт, но так и не зацепились.

The problem is when those inactive users come back, perhaps because of a notification or some other reason, and try to log back in. They often are locked, can’t remember their password, and become permanently inactive. Not great. The solution is manifold – first to treat this flow seriously, with KPIs and optimizations. There’s tactical things, like integrating into iCloud keychain, logging in with other apps if you have a multi-app strategy, and so on.

Проблема возникает, когда эти неактивные пользователи возвращаются, например, по уведомлению, и пытаются залогиниться. Часто их учётка заблокирована, они не помнят пароль и становятся неактивными уже навсегда. Это плохо. Решение — комплексное: во-первых, относиться к этому потоку серьёзно, с KPI и оптимизациями. Есть тактические штуки — интеграция с iCloud keychain, логин через другие приложения (если у вас мульти-приложенческая стратегия) и т.д.

A company like Uber might literally see tens of millions of failed sign in attempts. Amazing. And perhaps a good percentage of those riders are trying to log back in, standing at an airport wanting to take a trip, and eventually, in frustration, they walk across the street and grab a cab. It’s worth fixing.

Компания вроде Uber может буквально видеть десятки миллионов проваленных попыток входа. Поразительно. И, возможно, хороший процент этих пассажиров пытается перелогиниться, стоя в аэропорту и желая поехать, и в итоге, в отчаянии, переходит на другую сторону улицы и берёт такси. Это стоит того, чтобы починить.

Now that we have the conceptual idea of an engagement loop set, and understand potential upsides, let’s dig into the metrics. What should we look for?

Теперь, когда у нас есть концептуальная идея engagement loop и понимание потенциальных апсайдов, погрузимся в метрики. На что смотреть?

Above: The first, as everyone knows, is to look at everything in cohorts. We want to understand conceptually why the user cohorts are being brought back – is there value being created at each visit that makes the product more sticky over time? Are they building a network? We want to understand the classic D1/D7/D30 metrics – for which there are many comps – and also look at the month to month numbers.

Выше: первое, как все знают, — смотреть на всё в когортах. Мы хотим концептуально понять, почему когорты пользователей возвращаются: создаётся ли при каждом визите ценность, делающая продукт более «липким» со временем? Строят ли они сеть? Мы хотим понимать классические метрики D1/D7/D30 — для которых много бенчмарков, — а также месячные показатели.

There are a couple key things to watch for: The cohort curves need to flatten. Ideally >20%, so that each signup activates into a sticky, active user over time. If only 5% of users stick, then you’d have to sign up 2B users to get 100M MAUs. Not tenable.

Есть несколько ключевых вещей, на которые надо смотреть: когортные кривые должны выходить в плато. В идеале >20%, чтобы каждая регистрация активировалась в липкого, активного пользователя со временем. Если остаётся всего 5%, вам пришлось бы привлечь 2 миллиарда регистраций, чтобы получить 100M MAU. Нежизнеспособно.

You can project out the total size of the company with this, by combining TAM with the cohort % you have left after a year (D365 or D730) and then the ARPU. This needs to be big enough to have venture scale.

Этим можно проецировать общий размер компании, комбинируя TAM с % когорты, оставшимся через год (D365 или D730), и ARPU. Это должно быть достаточно большим для венчурного масштаба.

Above: One of the key tools for the engagement loop is the use of notifications – whether that’s email, push notifications, or some other on-platform channel. They are easy to be abused.

Выше: один из ключевых инструментов engagement loop — использование уведомлений: email, push-уведомления или другой канал на платформе. Их легко использовать злоупотребительно.

To detect artificial engagement that’s being manufactured, not organically created by users, you can look at a breakdown of every notification that a product sends out. And the volume and CTRs over time. You should do a quick spam check on Reddit, Twitter, Google, and other places.

Чтобы выявить искусственное вовлечение, не созданное органически пользователями, можно посмотреть разбивку по каждому уведомлению, которое отправляет продукт. И на объём и CTR со временем. Стоит также быстро проверить на спам в Reddit, Twitter, Google и других местах.

Ultimately, the right attitude towards notifications is that they accelerate engagement that’s already there – you can’t make it out of thin air. Some products naturally generate a lot of notifications, and others don’t. Some are higher CTR than others.

В конечном счёте правильное отношение к уведомлениям — что они ускоряют уже существующее вовлечение, его нельзя создать из воздуха. Некоторые продукты естественным образом генерируют много уведомлений, другие — нет. У одних CTR выше, чем у других.

Above: This is one push notification chart I’ve used in the past. Ecommerce companies often use push to advertise sales- no wonder the CTRs are low. But if you are looking at ridesharing, you’ll probably interact with the push because you want to make sure your car is here!

Выше: вот один график push-уведомлений, который я использовал в прошлом. Ecommerce-компании часто используют push для рекламы скидок — неудивительно, что CTR низкий. А если вы смотрите на ridesharing — вы наверняка взаимодействуете с push, потому что хотите убедиться, что ваша машина уже здесь!

Another set of metrics we want to understand on user engagement is frequency of use. Almost every product I’ve seen has a “ladder of engagement” where you come for one use case, but ultimately become stickier and higher frequency by adding use cases.

Ещё один набор метрик, который мы хотим понимать про user engagement, — частота использования. Почти у каждого продукта, который я видел, есть «лестница вовлечённости»: вы приходите ради одного кейса, но со временем становитесь более липким и высокочастотным, добавляя новые кейсы.

For Uber, riders would often do their first trip because of travel use cases, like getting to the airport – this is a 2 trips/year activity. Then they’d layer on “going out” – like dinners on the weekend, which might be 1 trip/week. And eventually a number of other use cases until they got to commuting, which could be 2 trips/day.

Для Uber пассажиры часто делали первую поездку из-за travel-кейсов — например, добраться до аэропорта, — а это активность 2 поездки в год. Потом добавляли «выходы в свет» — например, ужины по выходным, что давало около 1 поездки в неделю. И в конечном счёте — целый ряд других кейсов, вплоть до коммьютинга, который мог давать 2 поездки в день.

What I want to understand with a Frequency diagram is to segment high- and low- frequency segments, and start digging into their usage of the product. If you can upsell new use cases, then there’s a ton of upside.

С помощью диаграммы Frequency я хочу сегментировать высоко- и низкочастотные сегменты и начать копать в их использование продукта. Если можно апсейлить новые кейсы, апсайда — тонна.

Now that we have all the tools, we can build the forecast.

Теперь, когда у нас есть все инструменты, можно построить прогноз.

The prior forecast on the acquisition loops can plug into this, because each cohort starts with the number of new users who have been acquired. We can then use the cohort retention curves to build curves that translate to monthly actives or customers.

Предыдущий прогноз по acquisition loops подключается сюда, потому что каждая когорта начинается с числа новых пользователей, которых вы привлекли. Затем можно использовать кривые retention когорт, чтобы построить кривые, которые трансформируются в месячных активных пользователей или клиентов.

We can forecast MAUs once we have both the acquisition and engagement curves. Project that out a few quarters, and you can get a fine-grained understanding of where MAUs will be in 2 years.

Мы можем прогнозировать MAU, имея кривые и acquisition, и engagement. Спроецируйте это на несколько кварталов вперёд, и получите детальное понимание, где будет MAU через 2 года.

Engagement metrics are very hard to move compared to Acquisition. As a result, it’s better to assume the curves are what they are. But if you must add a bullish forecast, the right way to go is to focus on new user activation. And up-selling users from one frequency segment into the other. That’s the quantitative way to do it.

Метрики engagement сдвинуть гораздо труднее, чем acquisition. Поэтому лучше исходить из того, что кривые такие, какие есть. Но если уж нужно добавить бычий прогноз, правильный путь — фокусироваться на активации новых пользователей. И на апсейле пользователей из одного частотного сегмента в другой. Это количественный способ.

And so there we have it!

И вот, пожалуйста!

We have the engagement loop, and the acquisition. We have forecasts for each. We have upside scenarios.

У нас есть engagement loop и acquisition. У нас есть прогнозы по каждому. У нас есть сценарии апсайда.

So what can we do with this?

Что мы можем со всем этим сделать?

This whole discussion started with the Growth Accounting Framework. If we have a deep understanding of both acquisition and engagement, then we have the inputs.

Всё это обсуждение началось с Growth Accounting Framework. Если у нас есть глубокое понимание acquisition и engagement, то у нас есть входные данные.

With the inputs, we can build scenarios that model the outputs.

С входными данными мы можем строить сценарии, моделирующие выходные.

We can get a granular sense of the risks involved. Ultimately this is about a forecast that’s about the quality of acquisition, and the quality of engagement, not a single number in 2 years.

Мы можем получить детальное понимание рисков. В конечном счёте речь о прогнозе, который касается качества acquisition и качества engagement, а не одного числа через 2 года.

Startups aren’t spreadsheets.

Стартапы — это не таблицы.

With all of this, we can answer the questions that matter. If a startup walks in the door, and shows a graph, we can have a real discussion of what might happen next.

Со всем этим мы можем отвечать на действительно важные вопросы. Если стартап заходит в дверь и показывает график, у нас есть реальный разговор о том, что может произойти дальше.

OK, and that was it. (I chopped off a couple slides off the end since it’s more self-promotion – you got the meat of it!)

ОК, на этом всё. (Я отрезал пару слайдов в конце — это уже больше самопиар, главное вы получили!)

The epilogue
One month after I presented this deck, I got the offer to join a16z! So it worked. 10 years in the bay area, dozens of angel investments, 6 months of interviewing, culminating in my new role.

Эпилог. Через месяц после того, как я представил эту презентацию, я получил оффер присоединиться к a16z! Так что это сработало. 10 лет в Bay Area, десятки ангельских инвестиций, 6 месяцев интервью — и в итоге моя новая роль.

For all of you read this far – thank you! Hope you enjoyed this deck and essay. If you have feedback, shoot me a tweet: @andrewchen.

Всем, кто дочитал до этого места — спасибо! Надеюсь, вам понравилась эта презентация и эссе. Если есть фидбэк, напишите мне в твиттер: @andrewchen.

Thank you
Also, special shoutout to Brian Balfour, Shaun Clowes, Casey Winters, Bubba Murarka, and Aatif Awan who helped me at various points in iterating the content here. Couldn’t have done it without you guys! Appreciate your help on this.

Спасибо. Отдельный шаут-аут Brian Balfour, Shaun Clowes, Casey Winters, Bubba Murarka и Aatif Awan, которые помогали мне на разных этапах итерации этого контента. Не справился бы без вас, ребята! Спасибо за помощь.

I write a high-quality, weekly newsletter covering what's happening in Silicon Valley, focused on startups, marketing, and mobile.

Я веду качественную еженедельную рассылку о том, что происходит в Силиконовой долине, с фокусом на стартапы, маркетинг и мобайл.

Views expressed in “content” (including posts, podcasts, videos) linked on this website or posted in social media and other platforms (collectively, “content distribution outlets”) are my own and are not the views of AH Capital Management, L.L.C. (“a16z”) or its respective affiliates. AH Capital Management is an investment adviser registered with the Securities and Exchange Commission. Registration as an investment adviser does not imply any special skill or training. The posts are not directed to any investors or potential investors, and do not constitute an offer to sell -- or a solicitation of an offer to buy -- any securities, and may not be used or relied upon in evaluating the merits of any investment.

Взгляды, выраженные в «контенте» (включая посты, подкасты, видео), на который ссылается этот сайт или который размещён в социальных сетях и других платформах (вместе — «каналы распространения контента»), являются моими собственными и не являются взглядами AH Capital Management, L.L.C. («a16z») или её соответствующих аффилированных лиц. AH Capital Management — это инвестиционный консультант, зарегистрированный в Securities and Exchange Commission. Регистрация в качестве инвестиционного консультанта не подразумевает наличия особых навыков или подготовки. Посты не адресованы каким-либо инвесторам или потенциальным инвесторам и не являются предложением продажи — или предложением купить — какие-либо ценные бумаги, и не могут использоваться или приниматься во внимание при оценке достоинств какой-либо инвестиции.

The content should not be construed as or relied upon in any manner as investment, legal, tax, or other advice. You should consult your own advisers as to legal, business, tax, and other related matters concerning any investment. Any projections, estimates, forecasts, targets, prospects and/or opinions expressed in these materials are subject to change without notice and may differ or be contrary to opinions expressed by others. Any charts provided here are for informational purposes only, and should not be relied upon when making any investment decision. Certain information contained in here has been obtained from third-party sources. While taken from sources believed to be reliable, I have not independently verified such information and makes no representations about the enduring accuracy of the information or its appropriateness for a given situation. The content speaks only as of the date indicated.

Контент не следует истолковывать или принимать каким-либо образом как инвестиционный, юридический, налоговый или иной совет. Вам следует консультироваться с собственными советниками по правовым, бизнес-, налоговым и иным вопросам, связанным с любой инвестицией. Любые проекции, оценки, прогнозы, цели, перспективы и/или мнения, выраженные в этих материалах, могут быть изменены без уведомления и могут отличаться от мнений других людей или быть им противоположны. Любые графики, представленные здесь, носят исключительно информационный характер и на них не следует полагаться при принятии каких-либо инвестиционных решений. Часть информации, содержащейся здесь, получена из сторонних источников. Хотя она взята из источников, считающихся надёжными, я не верифицировал такую информацию независимо и не делаю заявлений о её непреходящей точности или о её применимости к конкретной ситуации. Контент актуален только на указанную дату.

Under no circumstances should any posts or other information provided on this website -- or on associated content distribution outlets -- be construed as an offer soliciting the purchase or sale of any security or interest in any pooled investment vehicle sponsored, discussed, or mentioned by a16z personnel. Nor should it be construed as an offer to provide investment advisory services; an offer to invest in an a16z-managed pooled investment vehicle will be made separately and only by means of the confidential offering documents of the specific pooled investment vehicles -- which should be read in their entirety, and only to those who, among other requirements, meet certain qualifications under federal securities laws. Such investors, defined as accredited investors and qualified purchasers, are generally deemed capable of evaluating the merits and risks of prospective investments and financial matters. There can be no assurances that a16z’s investment objectives will be achieved or investment strategies will be successful. Any investment in a vehicle managed by a16z involves a high degree of risk including the risk that the entire amount invested is lost. Any investments or portfolio companies mentioned, referred to, or described are not representative of all investments in vehicles managed by a16z and there can be no assurance that the investments will be profitable or that other investments made in the future will have similar characteristics or results. A list of investments made by funds managed by a16z is available at https://a16z.com/investments/. Excluded from this list are investments for which the issuer has not provided permission for a16z to disclose publicly as well as unannounced investments in publicly traded digital assets. Past results of Andreessen Horowitz’s investments, pooled investment vehicles, or investment strategies are not necessarily indicative of future results. Please see https://a16z.com/disclosures for additional important information.

Ни при каких обстоятельствах посты или иная информация, предоставленная на этом сайте — или в связанных каналах распространения контента, — не должны толковаться как предложение, побуждающее к покупке или продаже какой-либо ценной бумаги или доли в каком-либо пуле инвестиционных средств, спонсируемом, обсуждаемом или упоминаемом сотрудниками a16z. Не следует толковать это и как предложение оказывать услуги по инвестиционному консультированию; предложение инвестировать в управляемый a16z инвестиционный пул будет сделано отдельно и только посредством конфиденциальных предложений по конкретным инвестиционным пулам — которые должны быть прочитаны полностью и только теми, кто, помимо прочих требований, соответствует определённым квалификациям по федеральному законодательству о ценных бумагах. Такие инвесторы, определяемые как accredited investors и qualified purchasers, обычно считаются способными оценивать достоинства и риски потенциальных инвестиций и финансовых вопросов. Нет никаких гарантий, что инвестиционные цели a16z будут достигнуты или что инвестиционные стратегии будут успешны. Любая инвестиция в фонд, управляемый a16z, сопряжена с высокой степенью риска, включая риск потери всей инвестированной суммы. Любые упомянутые, описанные или приведённые инвестиции или портфельные компании не являются репрезентативными для всех инвестиций в фондах, управляемых a16z, и нет гарантии, что инвестиции будут прибыльными или что другие инвестиции в будущем будут иметь похожие характеристики или результаты. Список инвестиций, сделанных фондами, управляемыми a16z, доступен на https://a16z.com/investments/. Из этого списка исключены инвестиции, в отношении которых эмитент не дал a16z разрешения на публичное раскрытие, а также необъявленные инвестиции в публично торгуемые цифровые активы. Прошлые результаты инвестиций Andreessen Horowitz, её инвестиционных пулов или инвестиционных стратегий не обязательно являются индикатором будущих результатов. См. https://a16z.com/disclosures для получения дополнительной важной информации.

Follow @andrewchen

Подписаться на @andrewchen

About

Об авторе

Andrew Chen is a partner at Andreessen Horowitz, where he invests in games, AR/VR, metaverse, and consumer tech startups. He is the author of The Cold Start Problem, a book on starting and growing new startups via network effects. He resides in Venice, California (more)

Andrew Chen — партнёр в Andreessen Horowitz, где инвестирует в игры, AR/VR, метавселенную и потребительские tech-стартапы. Автор книги The Cold Start Problem о запуске и развитии новых стартапов через сетевые эффекты. Живёт в Venice, Калифорния (подробнее)

Sitemap

Sitemap