Продуктовая аналитика
Гипотезы проверены, unit-экономика сходится на бумаге. Теперь нужно понять, сходится ли она на деле, не дожидаясь конца месяца, чтобы увидеть проблему в цифрах.
Урок 1: Работа с метриками
Следить за всеми цифрами сразу — способ утонуть в дашбордах, ничего не поняв. Нужна одна North Star Metric — цифра, которая лучше всего отражает реальную пользу, которую получает клиент. Не выручка и не число регистраций — а то, что происходит, когда продукт действительно работает на человека.
AARRR (Pirate Metrics) — воронка из пяти этапов, которая показывает, где именно теряются люди:
| Этап | Вопрос |
|---|---|
| Acquisition | Как люди узнают о продукте? |
| Activation | Доходят ли до первой реальной пользы? |
| Retention | Возвращаются ли без напоминания? |
| Referral | Рассказывают ли другим? |
| Revenue | Платят ли? |
Типичная ошибка: вся энергия уходит в вершину воронки (Acquisition) — трафик, реклама, установки — пока Retention течёт как решето. Заливать воронку сверху, когда она дырявая внизу — самый быстрый способ слить бюджет без роста.
Реальный пример работы на Retention: Skip Intro у Netflix. Команда заметила крошечную, на первый взгляд незначительную точку трения — несколько секунд заставки перед каждой серией, которые пользователь пересматривает при переходе к следующему эпизоду. Провели эксперимент с простой кнопкой «Пропустить заставку». Изменение сейчас используется миллионы раз в день и напрямую продлевает сессию — человек продолжает смотреть, а не отвлекается на 20 секунд заставки и не закрывает приложение. Показательно, что это не громкая фича, а устранение мелкого раздражителя — именно такие правки чаще всего скрыты в данных о поведении, а не в опросах мнений.
Самопроверка: продукт получил 10 000 установок за месяц. Почему этого недостаточно, чтобы считать продукт успешным?
Потому что это только Acquisition — первый шаг воронки. Без Activation и Retention это могут быть 10 000 человек, которые открыли и ушли навсегда.
Задание: определите свою North Star Metric в одном предложении. Затем распишите ваш продукт по всем пяти этапам AARRR — одной фразой на каждый. Если на каком-то этапе вы не знаете ответа — это и есть ваша следующая гипотеза.
Урок 2: Когортный анализ
Средний показатель retention врёт. Он смешивает старых пользователей, которые уже остались, и новых, которые только пришли — и прячет тренд.
Когорта — группа пользователей, которые начали пользоваться в одно и то же время (например, все, кто пришёл на первой неделе июня). Когортный анализ смотрит не на всех сразу, а на каждую группу отдельно — и показывает, сколько из них остались через неделю, месяц, три месяца.
| Когорта | Неделя 0 | Неделя 1 | Неделя 4 |
|---|---|---|---|
| Неделя 1 июня | 100% | 40% | 22% |
| Неделя 8 июня | 100% | 45% | 21% |
Как читать: если кривая выравнивается и держится на одном уровне (как выше, ~21-22% держится стабильно) — у продукта есть устойчивое ядро пользователей. Если кривая идёт к нулю — продукт теряет всех, просто медленнее, чем кажется по среднему retention за месяц.
Самопроверка: почему средний retention за месяц может расти, даже если каждая отдельная когорта течёт в ноль?
Потому что быстрый рост новых пользователей временно маскирует отток старых в общем числе. Среднее без когорт — одно из самых обманчивых чисел в продукте.
Задание: опишите, какая форма кривой retention подтвердит вашу гипотезу ценности из модуля 1, а какая её опровергнет. На какой неделе вы будете смотреть первый раз?
Урок 3: Математика для продакта
Не высшая математика — три ловушки, в которые попадают даже опытные.
Проценты vs процентные пункты. Конверсия выросла с 5% до 10% — это рост на 5 процентных пунктов, но на 100% относительно. Путают это часто — и разница в два раза в том, как звучит результат.
Среднее vs медиана. Если 9 пользователей тратят 1 минуту в продукте, а один — 100 минут, среднее (10.9 минут) не описывает никого из них. Медиана (1 минута) честнее показывает типичного пользователя. Выбросы (один очень активный пользователь) тянут среднее в свою сторону.
Статистическая значимость в A/B-тестах. На малой выборке (20-30 человек на группу) разница в конверсии часто — шум, а не сигнал. Остановить тест раньше, увидев первый обнадёживающий результат — самая частая ошибка начинающих.
Самопроверка: «конверсия выросла на 50%» — это было с 5% до 7.5% или с 5% до 55%? Почему вопрос важен?
Фраза неоднозначна без уточнения — это могут быть и рост с 5% до 7.5% (рост на 50% относительно), и рост с 5% до 55% (рост на 50 процентных пунктов). Разница огромная, а фраза звучит одинаково впечатляюще.
Задание: возьмите любую цифру из ваших расчётов в модуле 4 и проверьте: это среднее или медиана? Если среднее — мог ли один крупный клиент её исказить?
Урок 4: Системы аналитики и работа с аналитиками
Не нужно всё сразу. Для соло-продукта достаточно одного инструмента продуктовой аналитики (Яндекс Метрика с событиями, Amplitude, Mixpanel) — он показывает путь конкретного пользователя, а не только суммарные цифры.
Если есть аналитик в команде — главное правило: приходить с решенческим вопросом, не с просьбой «покажите все данные». Формат: «Если [метрика] выше/ниже [порога], мы сделаем [конкретное действие]». Без этого аналитик тратит время на отчёты, которые никто не использует.
До того как просить цифры — договоритесь, что именно считается активным пользователем или что считать конверсией. Разные определения дают разные цифры из одних и тех же данных.
Самопроверка: почему «покажите всё, что есть по retention» — плохой запрос аналитику?
Нет решения, которое зависит от ответа — значит, результат никто не использует, как бы он ни выглядел.
Задание: сформулируйте один аналитический вопрос по вашему продукту в формате «Если X, то мы сделаем Y». Если не можете дописать Y — вопрос пока не готов задавать.
Урок 5: HEART и пирамида метрик — что смотреть, кроме воронки
Важное уточнение перед двумя новыми фреймворками: все KPI — это метрики, но не все метрики — KPI. KPI (ключевой показатель) — это та метрика, по которой вы прямо сейчас судите об успехе. Остальные метрики существуют, чтобы объяснить, почему KPI ведёт себя так, а не иначе.
AARRR из урока 1 — это воронка роста: где теряются люди на пути к деньгам. Но она ничего не говорит о качестве самого опыта внутри продукта. Для этого — фреймворк HEART, разработанный в Google:
| Буква | Метрика | Вопрос |
|---|---|---|
| H | Happiness — счастье | Насколько пользователь доволен? (NPS, оценка в сторе) |
| E | Engagement — вовлечённость | Как часто и как долго пользуется? |
| A | Adoption — принятие | Начинают ли пользоваться новой фичей вообще? |
| R | Retention — удержание | Возвращаются ли снова? |
| T | Task Success — успех задачи | Получается ли у пользователя сделать то, зачем он пришёл? |
HEART не даёт готовых цифр — под каждую букву нужно придумать свою метрику под конкретный продукт. Особенно полезен там, где качество опыта прямо определяет доход — например, в продуктах с рекламной монетизацией, где чем дольше и приятнее человек пользуется, тем больше рекламы увидит.
Пирамида метрик — способ разложить все метрики компании по тому, кому они нужны в первую очередь:
| Слой | Кому нужен | Примеры |
|---|---|---|
| Business | Инвесторам | Доля рынка, оборот, темп роста год к году |
| Margin | Финансам | CAC, ARPU, LTV, валовая прибыль |
| Loyalty | Продукту | Retention, отток, NPS |
| Value | Продукту | Конверсия в покупку — насколько продукт действительно полезен |
| Quality | Продукту | Насколько хорошо работает конкретная функция или алгоритм |
| Marketing | Маркетингу | DAU, MAU, число установок, стоимость клика |
Слой внизу пирамиды не значит «неважная метрика» — значит только то, что в первую очередь на неё смотрит команда продукта, а не инвестор. Любая метрика способна стать ключевой для всего бизнеса, если от неё зависит выживание.
Самопроверка: почему HEART не заменяет AARRR, а дополняет?
AARRR показывает, где по воронке теряются люди — это про движение и масштаб. HEART показывает, насколько хорош опыт внутри каждого шага — это про качество. Можно потерять мало людей на шаге Activation (хороший AARRR), но те, кто прошёл, останутся несчастны и не вернутся (плохой HEART) — два фреймворка отвечают на разные вопросы об одном и том же продукте.
Задание: для своего продукта придумайте по одной метрике на каждую букву HEART. Затем определите, в каком слое пирамиды находится ваша North Star Metric из урока 1 — Value, Loyalty или где-то ещё.
Урок 6: Как выбрать одну метрику, если нельзя следить за всеми
У каждой отдельной части продукта — не только у продукта целиком — может быть своя ключевая метрика. Чтобы её найти, ответьте на два вопроса: какую проблему решает эта часть продукта? И как измерить, что она решает её хорошо? Хорошая метрика вдобавок мало зависит от сезонности, просто считается и просто объясняется без слайда с формулами.
Пример: карточка мастера на сайте Насти. На странице можно посмотреть фото прошлых работ, добавить страницу в закладки, поделиться ссылкой или сразу оставить заявку. Самая очевидная метрика — «сколько заявок оставили с этой страницы». Но это обесценивает остальные действия: добавление в закладки или репост тоже сигнал интереса, просто с отложенным эффектом. Более честная метрика — «полезность карточки»: доля посетителей карточки, которые сделали хоть одно из действий (заявка, закладка, репост), от всех, кто вообще открыл карточку.
Ловушка метрик роста. DAU и MAU — самые заметные числа на дашборде, но именно поэтому легко спрятать за ними ухудшающийся продукт. Представьте: команда продукта каждый месяц немного портит продукт (падает ARPU, падает retention), но маркетинг одновременно наращивает приток новых пользователей быстрее, чем старые уходят. MAU при этом продолжает расти месяцами — рост числа новых с лихвой перекрывает отток. Проблема становится видна на графике retention или ARPU почти сразу, а на графике MAU — только через много месяцев, когда маркетинг физически не сможет наращивать приток быстрее оттока. MAU и DAU смешивают эффект от маркетинга и эффект от продукта в одном числе — поэтому для оценки именно продуктовых изменений они ненадёжны.
Rolling Retention — retention для продуктов с редким использованием
Классический retention урока 2 засчитывает пользователя ушедшим, если он не зашёл ровно в нужный день недели N. Это жёстко для продуктов, которыми пользуются не каждую неделю (например, планировщик поездок или сайт бронирования мастера на дом). Rolling Retention решает это иначе: пользователь считается «живым» на неделе N, если он вернулся в любую из недель N или позже.
Rolling Retention(N) = (вернулись на неделе N + вернувшиеся позже, но не раньше) / размер когорты
Классический vs Rolling Retention для сайта Насти. Пришло 100 новых посетителей за месяц — когорта. На неделе 1 вернулись 20. На неделе 2 вернулись ещё 15, из них 10 уже были на неделе 1, а 5 — новенькие, кто просто не заходил на первой неделе. Классический Retention(1) = 20/100 = 20%. Rolling Retention(1) = (20 + 5) / 100 = 25% — потому что эти 5 человек всё ещё «живы», просто вернулись позже недели 1. Для сайта, на который заходят перед сезонным заказом штор, а не каждую неделю, Rolling Retention честнее показывает реальный интерес.
Самопроверка: почему рост MAU полгода подряд не доказывает, что продукт становится лучше?
Потому что MAU растёт от суммы двух разных эффектов — сколько новых людей привёл маркетинг и сколько старых осталось благодаря качеству продукта. Если маркетинг наращивает приток быстрее, чем продукт теряет старых пользователей, MAU может расти много месяцев, даже когда с продуктом что-то идёт не так — эффект станет виден только тогда, когда приток перестанет расти быстрее оттока.
Задание: выберите одну функцию или страницу вашего продукта (не продукт целиком) и сформулируйте для неё ключевую метрику по двум вопросам из начала урока. Проверьте её на три критерия: слабая зависимость от сезонности, простой подсчёт, понятное объяснение любому человеку в команде.
У вас есть инструменты проверять, работает ли продукт на цифрах, и понимание, какую метрику смотреть на каждом уровне — от отдельной карточки до инвесторского отчёта. Следующий модуль — продуктовый дизайн: кто ваш пользователь на самом деле и какую задачу он нанимает (Jobs To Be Done).