Калькулятор достоверности A/B-теста
Введите результаты обеих групп — калькулятор скажет, реальная это разница или случайность.
Считает сразу, без регистрации. Поля заполнены примером — замените на свои цифры.
чел.
чел.
чел.
чел.
p-value
—
Вероятность увидеть такую разницу случайно
Конверсия A
—%
Конверсия B
—%
Разница
—%
Насколько вариант B лучше или хуже A в относительном выражении
Уровень доверия
—%
Как считается
Z-тест для двух пропорций:
z = |p₂ − p₁| / √(p̄(1−p̄)(1/n₁ + 1/n₂)),
где p̄ — объединённая конверсия. p-value получается из нормального распределения.
Частые вопросы
Что означает p-value 0,03?
Вероятность 3%, что такая разница между вариантами возникла случайно при отсутствии реального эффекта. Порогом обычно считают 0,05.
Значимо — значит, точно лучше?
Значит, разница вряд ли случайна. Но проверьте, что группы были однородны, тест не останавливали досрочно и на период не наложились акции или сезонность.
Посчитали — что дальше?
Число само по себе ничего не меняет. Разобраться, что с ним делать, помогает курс «Продукт, который покупают» — 42 урока, 43 практических задания, 499 ₽. Посмотреть программу
Число само по себе ничего не меняет. Разобраться, что с ним делать, помогает курс «Продукт, который покупают» — 42 урока, 43 практических задания, 499 ₽. Посмотреть программу
Смежные калькуляторы
—
—