Калькулятор размера выборки
Главная ошибка A/B-теста — остановить его раньше, чем набралась выборка. Посчитайте, сколько нужно.
Считает сразу, без регистрации. Поля заполнены примером — замените на свои цифры.
%
п.п.
На сколько процентных пунктов должна вырасти конверсия, чтобы это стоило внимания
чел.
Общий, на обе группы — чтобы оценить срок теста
Нужно в каждой группе
—чел.
Длительность теста
—дней
Всего участников
—чел.
Прирост относительный
—%
Тот же прирост в относительном выражении — так его чаще называют в отчётах
Как считается
n = 16 × p × (1 − p) / δ²,
где p — текущая конверсия, δ — минимальный прирост в долях.
Формула даёт оценку при уровне значимости 95% и мощности 80%.
Частые вопросы
Почему нельзя остановить тест, как только один вариант вырвался вперёд?
На малой выборке разница почти всегда объясняется случайностью. Пока не набралось нужное число наблюдений, вы смотрите на шум, а не на эффект.
Что делать, если тест требует месяцев?
Значит, A/B-тест не подходит при вашем трафике. Проверяйте гипотезу другими способами: интервью, MVP-тест «входной двери», наблюдение за небольшой группой.
Процентные пункты и проценты — в чём разница?
Рост с 4% до 5% — это плюс один процентный пункт, но плюс 25% относительно. Формула требует именно процентные пункты.
Посчитали — что дальше?
Число само по себе ничего не меняет. Разобраться, что с ним делать, помогает курс «Продукт, который покупают» — 42 урока, 43 практических задания, 499 ₽. Посмотреть программу
Число само по себе ничего не меняет. Разобраться, что с ним делать, помогает курс «Продукт, который покупают» — 42 урока, 43 практических задания, 499 ₽. Посмотреть программу
—
—