Is your website a leaky bucket? 4 scenarios for user retention at andrewchen
Эндрю Чен разбирает измерение удержания пользователей и доказывает, что агрегированные данные (Google Analytics, Alexa) позволяют выявить сайты с плохим удержанием, но не подтвердить хорошее. Он сравнивает сайты с «дырявыми вёдрами», куда пользователи постоянно вливаются сверху и так же постоянно вытекают, и выделяет четыре сценария происхождения просмотров: только новые пользователи, только одно поколение (ранние последователи), только удержанные пользователи или сочетание новых и удержанных. На примере Twitter он показывает, что «вышедший на плато» график неоднозначен, но из-за SEO-трафика и низкого среднего времени на сайте (≈5 мин против 30 мин у соцсетей) предполагает, что Twitter быстро теряет пользователей. Решение — анализ когорт: группировать пользователей по периоду регистрации и отслеживать отток от периода к периоду. На числовом примере (когорта недели 1 с оттоком 50%, когорта недели 2 с упавшим удержанием до 40%) он демонстрирует, как когорты вскрывают проблемы, скрытые за хорошими общими цифрами. В заключение Чен предполагает существование «коэффициента удержания» по аналогии с вирусным коэффициентом, если когорты затухают экспоненциально (f(x) = e^-ax).
Is your website a leaky bucket? 4 scenarios for user retention
Ваш сайт — дырявое ведро? 4 сценария удержания пользователей
Do you have happy, smiling users?
I’ve previously written a lot about metrics and user acquisition but have not written much about metrics and user retention. By retention, I mean the process in which you convert new users who don’t care about your site into recurring users that are loyal and continually drive pageviews.
Есть ли у вас счастливые, улыбающиеся пользователи? Раньше я много писал о метриках и привлечении пользователей, но почти не писал о метриках удержания. Под удержанием я имею в виду процесс превращения новых пользователей, которым нет дела до вашего сайта, в постоянных пользователей, которые лояльны и непрерывно генерируют просмотры страниц.
In general, I would say that more people care about this than pure user acquisition, which is great, but they are often using aggregate numbers to measure this retention. By aggregate data, I mean looking at an overall Google Analytics number, or looking at an Alexa rank, or some other rolled-up metric which doesn’t differentiate between new users that are discovering your site for the first time versus loyal users that are returning to your site.
В целом, я бы сказал, что эта тема волнует больше людей, чем чистое привлечение пользователей, и это здорово, но они часто измеряют удержание агрегированными числами. Под агрегированными данными я подразумеваю общий показатель из Google Analytics, или ранг Alexa, или какую-то другую сводную метрику, которая не различает новых пользователей, впервые открывающих ваш сайт, и лояльных пользователей, которые на него возвращаются.
In fact, in general I think of websites as “leaky buckets” where users are constantly getting poured into the top, and the site is constantly leaking users. In fact, you can imagine that if you pour 1,000 users into any website and then stop additional new users from joining, that 1,000 can only decrease. Over time, some users become loyal and throw off pageviews, but over time, they disappear. The rate at which this happens can be a turned into a metric just like any other number.
На самом деле я обычно представляю сайты как «дырявые вёдра», в которые пользователи постоянно вливаются сверху, а сайт постоянно их теряет. Можно представить, что если влить в любой сайт 1000 пользователей, а затем прекратить приток новых, эта 1000 может только уменьшаться. Со временем часть пользователей становится лояльными и генерирует просмотры, но со временем они исчезают. Скорость, с которой это происходит, можно превратить в метрику, как и любое другое число.
The growth disambiguation problem
When you look at a graph that’s going up and to the right, it’s not possible to know if it’ll keep going. It’s basically impossible from purely outside data to disambiguate the following scenarios:
Проблема неоднозначности роста Когда вы смотрите на график, идущий вверх и вправо, невозможно понять, продолжит ли он расти. По сути, по одним лишь внешним данным невозможно различить следующие сценарии:
Просмотры идут ТОЛЬКО от новых пользователей; Просмотры идут ТОЛЬКО от одного поколения пользователей (например, ранних последователей); Просмотры идут ТОЛЬКО от удержанных пользователей; Просмотры идут и от новых, и от удержанных пользователей
This should be totally obvious to people, but instead I see people pointing at Alexa graphs and saying that site A or site B is doing well, when in fact they could have a deep systemic problem.
Это должно быть совершенно очевидно, но вместо этого я вижу, как люди показывают на графики Alexa и говорят, что сайт A или сайт B чувствует себя хорошо, тогда как на самом деле у него может быть глубокая системная проблема.
In fact, let me argue the following in this post:
Более того, в этом посте я хочу доказать следующее:
From aggregate data (like Alexa), you can figure out what sites are doing poorly at retention, but not what sites are doing well
По агрегированным данным (вроде Alexa) можно понять, какие сайты плохо справляются с удержанием, но не какие справляются хорошо
Let’s start with the first scenario:
Начнём с первого сценария:
1. Pageviews are coming ONLY from new users
In this first scenario, the retention on your site totally sucks meaning that you lose all your people after the first session. That means that the drop off from a 1,000 users flowing in is 1,000 dropping to 0. Your retention rate is 0% from week 1 to week 2 :)
1. Просмотры идут ТОЛЬКО от новых пользователей В этом первом сценарии удержание на вашем сайте полностью никудышное, то есть вы теряете всех людей после первой сессии. Это значит, что из 1000 втекающих пользователей отток составляет всю 1000, опускаясь до 0. Ваш коэффициент удержания равен 0% с первой по вторую неделю :)
That said, how could you still get pageviews? First off, you obviously get any pageviews a user might create in the first session, even if they never come back. I think the most common scenarios are the following:
При этом как вы всё же получаете просмотры? Во-первых, вы, очевидно, получаете любые просмотры, которые пользователь создаёт в первой сессии, даже если он больше никогда не вернётся. Думаю, самые частые сценарии следующие:
Пользователи создают текстовый контент, который оптимизируется под SEO и попадает в индекс Google; Пользователи рассылают приглашения по e-mail, которые затем принимаются
In either case, they are some form of “viral loop” that attracts new users even if the original user is never retained. In fact, I bet you that a lot of sites out there are buoyed by their search engine traffic, even when they have really terrible retention rates. All that matters is that they do enough work to generate a couple pageviews, and then bring in the next generation.
В обоих случаях это некая форма «вирусной петли», которая привлекает новых пользователей, даже если исходный пользователь так и не удержан. Готов поспорить, что множество сайтов держатся на плаву за счёт поискового трафика, даже при очень плохих показателях удержания. Всё, что важно, — чтобы они проделали достаточно работы для создания пары просмотров, а затем привели следующее поколение.
Using the bucket analogy, this is a bucket that has a firehose filling it, but all the water leaks out almost immediately. With a big enough firehose, the aggregate stats could look good when they are in fact rather shitty.
В терминах аналогии с ведром это ведро, которое наполняется из пожарного шланга, но вся вода почти мгновенно вытекает. При достаточно мощном шланге агрегированная статистика может выглядеть хорошо, хотя на деле она довольно паршивая.
2. Pageviews are coming ONLY from one generation of users (like early adopters)
3. Pageviews are coming ONLY from retained users
Similar to the first scenario, you might have a situation where the numbers look great, but it’s because the bucket was able to fill well in the first group of users, but after then, the site sucks at retention. Or the inverse, where there’s no growth at all, but the retention is great.
2. Просмотры идут ТОЛЬКО от одного поколения пользователей (например, ранних последователей) 3. Просмотры идут ТОЛЬКО от удержанных пользователей Как и в первом сценарии, у вас может быть ситуация, когда цифры выглядят отлично, но это потому, что ведро хорошо наполнилось на первой группе пользователей, а после этого сайт плохо удерживает. Или наоборот: роста нет вообще, но удержание превосходное.
In either case, this might hint at a bad systematic condition within the site, but ultimately the aggregate numbers hide the problem. In either case, not being able to acquire and retain brand new users is a problem, and without measuring the groups separately, it seems impossible to assess the true situation.
В любом из этих случаев это может намекать на плохое системное состояние сайта, но в итоге агрегированные цифры скрывают проблему. В любом случае неспособность привлекать и удерживать совершенно новых пользователей — это проблема, и без раздельного измерения групп оценить истинную ситуацию кажется невозможным.
Back to Twitter for a second
So in fact, looking at the Twitter chart, the right answer is “we don’t know.” A plateau’d chart like that could mean that Twitter is doing fine at retaining some set of users, and it’s stalled on new users, or that it’s acquiring news users like crazy but not retaining them, or anything in the middle.
Вернёмся на секунду к Twitter На самом деле, глядя на график Twitter, правильный ответ — «мы не знаем». Вышедший на плато график вроде этого может означать, что Twitter нормально удерживает какую-то группу пользователей, но застопорился на привлечении новых, или что он бешено привлекает новых пользователей, но не удерживает их, или что-то посередине.
That said, given the fact that Twitter pages show up in Google, which will provide them with a steady stream of new users, and that the average time on site looks closer to a heavily SEO’d site like Yelp than a social site like MySpace (5min instead of 30min, according to Compete.com), I’d guess that they are actually bleeding users pretty rapidly. Again, it’s hard to do an analysis like this without a lot more data to back it up, but that’d be my high-level analysis.
При этом, учитывая, что страницы Twitter показываются в Google, обеспечивая ему стабильный поток новых пользователей, и что среднее время на сайте ближе к сильно SEO-оптимизированному сайту вроде Yelp, чем к соцсети вроде MySpace (5 минут вместо 30, по данным Compete.com), я бы предположил, что они на самом деле довольно быстро теряют пользователей. Опять же, такой анализ трудно сделать без гораздо большего объёма подтверждающих данных, но это моя оценка на высоком уровне.
How do you figure out the health of the site then? Measuring “cohorts”
In general, the solution to the retention measurement problem lies in separating out NEW users and RETURNING users within the analytics. So at the minimum, you’d have to be able to talk about the following:
Как же тогда понять здоровье сайта? Измерение «когорт» В целом решение проблемы измерения удержания заключается в том, чтобы в аналитике разделять НОВЫХ и ВОЗВРАЩАЮЩИХСЯ пользователей. Так что как минимум вы должны уметь говорить о следующем:
1 миллион уникальных посетителей сайта; 100 000 новых уникальных посетителей; 900 000 возвращающихся уникальных посетителей с предыдущего месяца
That’d give you a sense that the site was actually retaining users well. But to take this further, what you really care about is to carve up your userbase into “cohorts,” and measure drop-off rates from time period to time period. Here’s the definition of a time-based cohort:
Это дало бы вам понимание, что сайт действительно хорошо удерживает пользователей. Но если пойти дальше, по-настоящему важно разбить вашу пользовательскую базу на «когорты» и измерять показатели оттока от периода к периоду. Вот определение когорты, основанной на времени:
A cohort is all the users that joined through a particular time period
Когорта — это все пользователи, присоединившиеся в течение определённого периода времени
Only then can you track the retention rate of a SPECIFIC set of users, and then measure other users experiencing an independent scenario. In the “cohort model” you’d end up with a group like:
Только тогда вы можете отслеживать коэффициент удержания КОНКРЕТНОЙ группы пользователей, а затем измерять других пользователей, переживающих независимый сценарий. В «когортной модели» у вас получится группа вроде:
Users that joined in Week 1
week 1 uniques: 100,000
week 2 uniques: 50,000
week 3 uniques: 25,000
Пользователи, присоединившиеся на неделе 1 уникальные на неделе 1: 100 000; уникальные на неделе 2: 50 000; уникальные на неделе 3: 25 000
In this model, you’d see that 100k users joined in week 1, and if you follow that “cohort” through, you end up with a 50% drop-off rate from week to week.
В этой модели вы увидите, что на неделе 1 присоединилось 100 тыс. пользователей, и если проследить эту «когорту» дальше, вы получите коэффициент оттока 50% от недели к неделе.
But then, in week 2, new users joined as well, which creates a week 2 cohort. Of course, in your aggregate metrics, the site would have 100k uniques in week 1, then 125k+50k uniques in week 2.
Но затем, на неделе 2, присоединились и новые пользователи, что создаёт когорту недели 2. Разумеется, в ваших агрегированных метриках у сайта будет 100 тыс. уникальных на неделе 1, а затем 125 тыс. + 50 тыс. уникальных на неделе 2.
Users that joined in Week 2
week 2 uniques: 125,000
week 3 uniques: 50,000
Пользователи, присоединившиеся на неделе 2 уникальные на неделе 2: 125 000; уникальные на неделе 3: 50 000
Note that this cohort only goes through 2 weeks because it starts at week 2 and ends at week 3, whereas the week 1 cohort is able to run 3 weeks.
Обратите внимание, что эта когорта охватывает лишь 2 недели, поскольку начинается на неделе 2 и заканчивается на неделе 3, тогда как когорта недели 1 может идти 3 недели.
When you compare to the week 1 to week 2 cohort, you can tell that 1) there was a 25% increase in new users (100k to 125k), and that the retention rate DECREASED to 40% (50k/100k versus 50k/125k). This would be a red flag that your site was sucking, even if your aggregate stats looked good:
Сравнивая с переходом когорты недели 1 к неделе 2, вы можете увидеть, что 1) был прирост новых пользователей на 25% (со 100 тыс. до 125 тыс.) и что коэффициент удержания СНИЗИЛСЯ до 40% (50 тыс./100 тыс. против 50 тыс./125 тыс.). Это был бы тревожный сигнал того, что ваш сайт работает плохо, даже если агрегированная статистика выглядит хорошо:
Total site stats
week 1 uniques: 100,000
week 2 uniques: 175,000
week 3 uniques: N/A*
(*since week3 cohort is not defined, 25k+50k+week3 cohort stats)
Общая статистика сайта уникальные на неделе 1: 100 000; уникальные на неделе 2: 175 000; уникальные на неделе 3: N/A* (*поскольку когорта недели 3 не определена, 25 тыс. + 50 тыс. + статистика когорты недели 3)
It’s not clear what your time period should be – perhaps weeks, perhaps days, perhaps months. Probably it depends on the average time between your users logging in, or something similar.
Неясно, каким должен быть ваш период — может, недели, может, дни, может, месяцы. Вероятно, это зависит от среднего времени между входами ваших пользователей или чего-то подобного.
Is there a retention coefficient?
In fact, one might argue that in analyzing these cohorts that in addition to a “viral coefficient” which is measured in viral marketing, there’s in fact a “retention coefficient” that measures how well you are able to keep ahold of users.
Существует ли коэффициент удержания? На самом деле можно утверждать, что при анализе этих когорт, помимо «вирусного коэффициента», который измеряют в вирусном маркетинге, существует и «коэффициент удержания», измеряющий, насколько хорошо вы удерживаете пользователей.
This would be true if the cohorts you chose typically lose a constant % from week to week. That would mean that every cohort decays exponentially, which would give you a coefficient. (i.e., f(x) = e^-ax, where a is the retention coefficient)
Это было бы верно, если бы выбранные вами когорты обычно теряли постоянный % от недели к неделе. Это означало бы, что каждая когорта затухает экспоненциально, что и дало бы вам коэффициент. (т. е. f(x) = e^-ax, где a — коэффициент удержания)
Please measure and e-mail me your findings ;-)
Пожалуйста, измерьте и пришлите мне свои результаты по e-mail ;-)
I write a high-quality, weekly newsletter covering what's happening in Silicon Valley, focused on startups, marketing, and mobile.
Я пишу качественную еженедельную рассылку о том, что происходит в Кремниевой долине, с упором на стартапы, маркетинг и мобильные технологии.
Views expressed in “content” (including posts, podcasts, videos) linked on this website or posted in social media and other platforms (collectively, “content distribution outlets”) are my own and are not the views of AH Capital Management, L.L.C. (“a16z”) or its respective affiliates. AH Capital Management is an investment adviser registered with the Securities and Exchange Commission. Registration as an investment adviser does not imply any special skill or training. The posts are not directed to any investors or potential investors, and do not constitute an offer to sell -- or a solicitation of an offer to buy -- any securities, and may not be used or relied upon in evaluating the merits of any investment.
Взгляды, выраженные в «контенте» (включая посты, подкасты, видео), на который ссылается этот сайт или который размещён в социальных сетях и на других платформах (вместе — «каналы распространения контента»), являются моими собственными и не являются взглядами AH Capital Management, L.L.C. («a16z») или её соответствующих аффилированных лиц. AH Capital Management — инвестиционный консультант, зарегистрированный в Комиссии по ценным бумагам и биржам. Регистрация в качестве инвестиционного консультанта не подразумевает какого-либо особого умения или подготовки. Посты не адресованы каким-либо инвесторам или потенциальным инвесторам и не являются предложением о продаже — или приглашением сделать предложение о покупке — каких-либо ценных бумаг и не могут использоваться или служить основанием при оценке достоинств какой-либо инвестиции.
The content should not be construed as or relied upon in any manner as investment, legal, tax, or other advice. You should consult your own advisers as to legal, business, tax, and other related matters concerning any investment. Any projections, estimates, forecasts, targets, prospects and/or opinions expressed in these materials are subject to change without notice and may differ or be contrary to opinions expressed by others. Any charts provided here are for informational purposes only, and should not be relied upon when making any investment decision. Certain information contained in here has been obtained from third-party sources. While taken from sources believed to be reliable, I have not independently verified such information and makes no representations about the enduring accuracy of the information or its appropriateness for a given situation. The content speaks only as of the date indicated.
Контент не следует истолковывать или использовать в качестве основания каким-либо образом как инвестиционную, юридическую, налоговую или иную консультацию. Вам следует проконсультироваться с собственными консультантами по юридическим, деловым, налоговым и другим связанным вопросам, касающимся любой инвестиции. Любые прогнозы, оценки, предсказания, целевые показатели, перспективы и/или мнения, выраженные в этих материалах, могут изменяться без уведомления и могут отличаться от мнений других лиц или противоречить им. Любые приведённые здесь графики предоставлены исключительно в информационных целях, и на них не следует полагаться при принятии какого-либо инвестиционного решения. Определённая содержащаяся здесь информация получена из сторонних источников. Хотя она взята из источников, считающихся надёжными, я не проверял такую информацию самостоятельно и не делаю никаких заявлений о неизменной точности информации или её пригодности для конкретной ситуации. Контент актуален только на указанную дату.
Under no circumstances should any posts or other information provided on this website -- or on associated content distribution outlets -- be construed as an offer soliciting the purchase or sale of any security or interest in any pooled investment vehicle sponsored, discussed, or mentioned by a16z personnel. Nor should it be construed as an offer to provide investment advisory services; an offer to invest in an a16z-managed pooled investment vehicle will be made separately and only by means of the confidential offering documents of the specific pooled investment vehicles -- which should be read in their entirety, and only to those who, among other requirements, meet certain qualifications under federal securities laws. Such investors, defined as accredited investors and qualified purchasers, are generally deemed capable of evaluating the merits and risks of prospective investments and financial matters. There can be no assurances that a16z’s investment objectives will be achieved or investment strategies will be successful. Any investment in a vehicle managed by a16z involves a high degree of risk including the risk that the entire amount invested is lost. Any investments or portfolio companies mentioned, referred to, or described are not representative of all investments in vehicles managed by a16z and there can be no assurance that the investments will be profitable or that other investments made in the future will have similar characteristics or results. A list of investments made by funds managed by a16z is available at https://a16z.com/investments/. Excluded from this list are investments for which the issuer has not provided permission for a16z to disclose publicly as well as unannounced investments in publicly traded digital assets. Past results of Andreessen Horowitz’s investments, pooled investment vehicles, or investment strategies are not necessarily indicative of future results. Please see https://a16z.com/disclosures for additional important information.
Ни при каких обстоятельствах любые посты или иная информация, предоставленная на этом сайте — или на связанных каналах распространения контента, — не должны истолковываться как предложение, приглашающее к покупке или продаже какой-либо ценной бумаги или доли в каком-либо объединённом инвестиционном механизме, спонсируемом, обсуждаемом или упоминаемом сотрудниками a16z. Их также не следует истолковывать как предложение предоставить инвестиционно-консультационные услуги; предложение инвестировать в управляемый a16z объединённый инвестиционный механизм будет сделано отдельно и только посредством конфиденциальных документов о предложении конкретных объединённых инвестиционных механизмов — которые следует прочитать целиком и только тем, кто, среди прочих требований, соответствует определённым квалификациям по федеральному законодательству о ценных бумагах. Такие инвесторы, определяемые как аккредитованные инвесторы и квалифицированные покупатели, как правило, считаются способными оценивать достоинства и риски предполагаемых инвестиций и финансовых вопросов. Не может быть никаких гарантий, что инвестиционные цели a16z будут достигнуты или что инвестиционные стратегии окажутся успешными. Любая инвестиция в механизм, управляемый a16z, сопряжена с высокой степенью риска, включая риск потери всей вложенной суммы. Любые упомянутые, указанные или описанные инвестиции или портфельные компании не являются репрезентативными для всех инвестиций в механизмы, управляемые a16z, и не может быть никаких гарантий, что инвестиции окажутся прибыльными или что другие инвестиции, сделанные в будущем, будут иметь схожие характеристики или результаты. Список инвестиций, сделанных фондами под управлением a16z, доступен по адресу https://a16z.com/investments/. Из этого списка исключены инвестиции, для которых эмитент не дал a16z разрешения на публичное раскрытие, а также необъявленные инвестиции в публично торгуемые цифровые активы. Прошлые результаты инвестиций Andreessen Horowitz, объединённых инвестиционных механизмов или инвестиционных стратегий не обязательно указывают на будущие результаты. Дополнительную важную информацию см. на https://a16z.com/disclosures.
About
Об авторе
Andrew Chen is a partner at Andreessen Horowitz, where he invests in games, AR/VR, metaverse, and consumer tech startups. He is the author of The Cold Start Problem, a book on starting and growing new startups via network effects. He resides in Venice, California (more)
Эндрю Чен — партнёр в Andreessen Horowitz, где он инвестирует в игры, AR/VR, метавселенную и потребительские технологические стартапы. Он автор книги The Cold Start Problem о запуске и развитии новых стартапов через сетевые эффекты. Живёт в Венисе, Калифорния (подробнее)