Is your website a leaky bucket? 4 scenarios for user retention at andrewchen
Эндрю Чен разбирает измерение удержания пользователей и доказывает, что агрегированные данные (Google Analytics, Alexa) позволяют выявить сайты с плохим удержанием, но не подтвердить хорошее. Он сравнивает сайты с «дырявыми вёдрами», куда пользователи постоянно вливаются сверху и так же постоянно вытекают, и выделяет четыре сценария происхождения просмотров: только новые пользователи, только одно поколение (ранние последователи), только удержанные пользователи или сочетание новых и удержанных. На примере Twitter он показывает, что «вышедший на плато» график неоднозначен, но из-за SEO-трафика и низкого среднего времени на сайте (≈5 мин против 30 мин у соцсетей) предполагает, что Twitter быстро теряет пользователей. Решение — анализ когорт: группировать пользователей по периоду регистрации и отслеживать отток от периода к периоду. На числовом примере (когорта недели 1 с оттоком 50%, когорта недели 2 с упавшим удержанием до 40%) он демонстрирует, как когорты вскрывают проблемы, скрытые за хорошими общими цифрами. В заключение Чен предполагает существование «коэффициента удержания» по аналогии с вирусным коэффициентом, если когорты затухают экспоненциально (f(x) = e^-ax).
Есть ли у вас счастливые, улыбающиеся пользователи? Раньше я много писал о метриках и привлечении пользователей, но почти не писал о метриках удержания. Под удержанием я имею в виду процесс превращения новых пользователей, которым нет дела до вашего сайта, в постоянных пользователей, которые лояльны и непрерывно генерируют просмотры страниц.
В целом, я бы сказал, что эта тема волнует больше людей, чем чистое привлечение пользователей, и это здорово, но они часто измеряют удержание агрегированными числами. Под агрегированными данными я подразумеваю общий показатель из Google Analytics, или ранг Alexa, или какую-то другую сводную метрику, которая не различает новых пользователей, впервые открывающих ваш сайт, и лояльных пользователей, которые на него возвращаются.
На самом деле я обычно представляю сайты как «дырявые вёдра», в которые пользователи постоянно вливаются сверху, а сайт постоянно их теряет. Можно представить, что если влить в любой сайт 1000 пользователей, а затем прекратить приток новых, эта 1000 может только уменьшаться. Со временем часть пользователей становится лояльными и генерирует просмотры, но со временем они исчезают. Скорость, с которой это происходит, можно превратить в метрику, как и любое другое число.
Проблема неоднозначности роста Когда вы смотрите на график, идущий вверх и вправо, невозможно понять, продолжит ли он расти. По сути, по одним лишь внешним данным невозможно различить следующие сценарии:
Просмотры идут ТОЛЬКО от новых пользователей; Просмотры идут ТОЛЬКО от одного поколения пользователей (например, ранних последователей); Просмотры идут ТОЛЬКО от удержанных пользователей; Просмотры идут и от новых, и от удержанных пользователей
Это должно быть совершенно очевидно, но вместо этого я вижу, как люди показывают на графики Alexa и говорят, что сайт A или сайт B чувствует себя хорошо, тогда как на самом деле у него может быть глубокая системная проблема.
Более того, в этом посте я хочу доказать следующее:
По агрегированным данным (вроде Alexa) можно понять, какие сайты плохо справляются с удержанием, но не какие справляются хорошо
Начнём с первого сценария:
1. Просмотры идут ТОЛЬКО от новых пользователей В этом первом сценарии удержание на вашем сайте полностью никудышное, то есть вы теряете всех людей после первой сессии. Это значит, что из 1000 втекающих пользователей отток составляет всю 1000, опускаясь до 0. Ваш коэффициент удержания равен 0% с первой по вторую неделю :)
При этом как вы всё же получаете просмотры? Во-первых, вы, очевидно, получаете любые просмотры, которые пользователь создаёт в первой сессии, даже если он больше никогда не вернётся. Думаю, самые частые сценарии следующие:
Пользователи создают текстовый контент, который оптимизируется под SEO и попадает в индекс Google; Пользователи рассылают приглашения по e-mail, которые затем принимаются
В обоих случаях это некая форма «вирусной петли», которая привлекает новых пользователей, даже если исходный пользователь так и не удержан. Готов поспорить, что множество сайтов держатся на плаву за счёт поискового трафика, даже при очень плохих показателях удержания. Всё, что важно, — чтобы они проделали достаточно работы для создания пары просмотров, а затем привели следующее поколение.
В терминах аналогии с ведром это ведро, которое наполняется из пожарного шланга, но вся вода почти мгновенно вытекает. При достаточно мощном шланге агрегированная статистика может выглядеть хорошо, хотя на деле она довольно паршивая.
2. Просмотры идут ТОЛЬКО от одного поколения пользователей (например, ранних последователей) 3. Просмотры идут ТОЛЬКО от удержанных пользователей Как и в первом сценарии, у вас может быть ситуация, когда цифры выглядят отлично, но это потому, что ведро хорошо наполнилось на первой группе пользователей, а после этого сайт плохо удерживает. Или наоборот: роста нет вообще, но удержание превосходное.
В любом из этих случаев это может намекать на плохое системное состояние сайта, но в итоге агрегированные цифры скрывают проблему. В любом случае неспособность привлекать и удерживать совершенно новых пользователей — это проблема, и без раздельного измерения групп оценить истинную ситуацию кажется невозможным.
Вернёмся на секунду к Twitter На самом деле, глядя на график Twitter, правильный ответ — «мы не знаем». Вышедший на плато график вроде этого может означать, что Twitter нормально удерживает какую-то группу пользователей, но застопорился на привлечении новых, или что он бешено привлекает новых пользователей, но не удерживает их, или что-то посередине.
При этом, учитывая, что страницы Twitter показываются в Google, обеспечивая ему стабильный поток новых пользователей, и что среднее время на сайте ближе к сильно SEO-оптимизированному сайту вроде Yelp, чем к соцсети вроде MySpace (5 минут вместо 30, по данным Compete.com), я бы предположил, что они на самом деле довольно быстро теряют пользователей. Опять же, такой анализ трудно сделать без гораздо большего объёма подтверждающих данных, но это моя оценка на высоком уровне.
Как же тогда понять здоровье сайта? Измерение «когорт» В целом решение проблемы измерения удержания заключается в том, чтобы в аналитике разделять НОВЫХ и ВОЗВРАЩАЮЩИХСЯ пользователей. Так что как минимум вы должны уметь говорить о следующем:
1 миллион уникальных посетителей сайта; 100 000 новых уникальных посетителей; 900 000 возвращающихся уникальных посетителей с предыдущего месяца
Это дало бы вам понимание, что сайт действительно хорошо удерживает пользователей. Но если пойти дальше, по-настоящему важно разбить вашу пользовательскую базу на «когорты» и измерять показатели оттока от периода к периоду. Вот определение когорты, основанной на времени:
Только тогда вы можете отслеживать коэффициент удержания КОНКРЕТНОЙ группы пользователей, а затем измерять других пользователей, переживающих независимый сценарий. В «когортной модели» у вас получится группа вроде:
Пользователи, присоединившиеся на неделе 1 уникальные на неделе 1: 100 000; уникальные на неделе 2: 50 000; уникальные на неделе 3: 25 000
В этой модели вы увидите, что на неделе 1 присоединилось 100 тыс. пользователей, и если проследить эту «когорту» дальше, вы получите коэффициент оттока 50% от недели к неделе.
Но затем, на неделе 2, присоединились и новые пользователи, что создаёт когорту недели 2. Разумеется, в ваших агрегированных метриках у сайта будет 100 тыс. уникальных на неделе 1, а затем 125 тыс. + 50 тыс. уникальных на неделе 2.
Пользователи, присоединившиеся на неделе 2 уникальные на неделе 2: 125 000; уникальные на неделе 3: 50 000
Обратите внимание, что эта когорта охватывает лишь 2 недели, поскольку начинается на неделе 2 и заканчивается на неделе 3, тогда как когорта недели 1 может идти 3 недели.
Сравнивая с переходом когорты недели 1 к неделе 2, вы можете увидеть, что 1) был прирост новых пользователей на 25% (со 100 тыс. до 125 тыс.) и что коэффициент удержания СНИЗИЛСЯ до 40% (50 тыс./100 тыс. против 50 тыс./125 тыс.). Это был бы тревожный сигнал того, что ваш сайт работает плохо, даже если агрегированная статистика выглядит хорошо:
Общая статистика сайта уникальные на неделе 1: 100 000; уникальные на неделе 2: 175 000; уникальные на неделе 3: N/A* (*поскольку когорта недели 3 не определена, 25 тыс. + 50 тыс. + статистика когорты недели 3)
Неясно, каким должен быть ваш период — может, недели, может, дни, может, месяцы. Вероятно, это зависит от среднего времени между входами ваших пользователей или чего-то подобного.
Существует ли коэффициент удержания? На самом деле можно утверждать, что при анализе этих когорт, помимо «вирусного коэффициента», который измеряют в вирусном маркетинге, существует и «коэффициент удержания», измеряющий, насколько хорошо вы удерживаете пользователей.
Это было бы верно, если бы выбранные вами когорты обычно теряли постоянный % от недели к неделе. Это означало бы, что каждая когорта затухает экспоненциально, что и дало бы вам коэффициент. (т. е. f(x) = e^-ax, где a — коэффициент удержания)
Пожалуйста, измерьте и пришлите мне свои результаты по e-mail ;-)
Я пишу качественную еженедельную рассылку о том, что происходит в Кремниевой долине, с упором на стартапы, маркетинг и мобильные технологии.
Взгляды, выраженные в «контенте» (включая посты, подкасты, видео), на который ссылается этот сайт или который размещён в социальных сетях и на других платформах (вместе — «каналы распространения контента»), являются моими собственными и не являются взглядами AH Capital Management, L.L.C. («a16z») или её соответствующих аффилированных лиц. AH Capital Management — инвестиционный консультант, зарегистрированный в Комиссии по ценным бумагам и биржам. Регистрация в качестве инвестиционного консультанта не подразумевает какого-либо особого умения или подготовки. Посты не адресованы каким-либо инвесторам или потенциальным инвесторам и не являются предложением о продаже — или приглашением сделать предложение о покупке — каких-либо ценных бумаг и не могут использоваться или служить основанием при оценке достоинств какой-либо инвестиции.
Контент не следует истолковывать или использовать в качестве основания каким-либо образом как инвестиционную, юридическую, налоговую или иную консультацию. Вам следует проконсультироваться с собственными консультантами по юридическим, деловым, налоговым и другим связанным вопросам, касающимся любой инвестиции. Любые прогнозы, оценки, предсказания, целевые показатели, перспективы и/или мнения, выраженные в этих материалах, могут изменяться без уведомления и могут отличаться от мнений других лиц или противоречить им. Любые приведённые здесь графики предоставлены исключительно в информационных целях, и на них не следует полагаться при принятии какого-либо инвестиционного решения. Определённая содержащаяся здесь информация получена из сторонних источников. Хотя она взята из источников, считающихся надёжными, я не проверял такую информацию самостоятельно и не делаю никаких заявлений о неизменной точности информации или её пригодности для конкретной ситуации. Контент актуален только на указанную дату.
Ни при каких обстоятельствах любые посты или иная информация, предоставленная на этом сайте — или на связанных каналах распространения контента, — не должны истолковываться как предложение, приглашающее к покупке или продаже какой-либо ценной бумаги или доли в каком-либо объединённом инвестиционном механизме, спонсируемом, обсуждаемом или упоминаемом сотрудниками a16z. Их также не следует истолковывать как предложение предоставить инвестиционно-консультационные услуги; предложение инвестировать в управляемый a16z объединённый инвестиционный механизм будет сделано отдельно и только посредством конфиденциальных документов о предложении конкретных объединённых инвестиционных механизмов — которые следует прочитать целиком и только тем, кто, среди прочих требований, соответствует определённым квалификациям по федеральному законодательству о ценных бумагах. Такие инвесторы, определяемые как аккредитованные инвесторы и квалифицированные покупатели, как правило, считаются способными оценивать достоинства и риски предполагаемых инвестиций и финансовых вопросов. Не может быть никаких гарантий, что инвестиционные цели a16z будут достигнуты или что инвестиционные стратегии окажутся успешными. Любая инвестиция в механизм, управляемый a16z, сопряжена с высокой степенью риска, включая риск потери всей вложенной суммы. Любые упомянутые, указанные или описанные инвестиции или портфельные компании не являются репрезентативными для всех инвестиций в механизмы, управляемые a16z, и не может быть никаких гарантий, что инвестиции окажутся прибыльными или что другие инвестиции, сделанные в будущем, будут иметь схожие характеристики или результаты. Список инвестиций, сделанных фондами под управлением a16z, доступен по адресу https://a16z.com/investments/. Из этого списка исключены инвестиции, для которых эмитент не дал a16z разрешения на публичное раскрытие, а также необъявленные инвестиции в публично торгуемые цифровые активы. Прошлые результаты инвестиций Andreessen Horowitz, объединённых инвестиционных механизмов или инвестиционных стратегий не обязательно указывают на будущие результаты. Дополнительную важную информацию см. на https://a16z.com/disclosures.
Об авторе
Эндрю Чен — партнёр в Andreessen Horowitz, где он инвестирует в игры, AR/VR, метавселенную и потребительские технологические стартапы. Он автор книги The Cold Start Problem о запуске и развитии новых стартапов через сетевые эффекты. Живёт в Венисе, Калифорния (подробнее)