Romi+
Бесплатный инструмент

Калькулятор A/B-теста

Рассчитайте размер выборки, минимально детектируемый эффект (MDE), статистическую значимость и мощность, а также длительность A/B-теста. Введите базовую конверсию и трафик — калькулятор покажет, сколько наблюдений и дней нужно, чтобы результат был статистически достоверным.

Блок · 01

A/B тесты.

Sample size, MDE, мощность, результаты и гипотезы

Сколько пользователей нужно для теста?

Укажите текущую конверсию и желаемый эффект — калькулятор покажет, сколько пользователей нужно набрать и сколько дней займёт тест.

Шаг 00 · тип метрики

Какую метрику тестируете?

Доля (конверсия, CTR — «да/нет») или непрерывная денежная (CPA, CPI, ARPU, выручка, время). От этого зависит формула размера выборки.

Шаг 01 · режим трафика

Какой у вас тип трафика?

Привлечение новых пользователей (UA) или ретаргетинг существующей аудитории (RET). От этого зависит расчёт длительности теста.

Шаг 02 · параметры теста

Параметры

Заполните метрику и требования к уверенности — калькулятор подберёт остальное.

%
%
Новых пользователей в день

Шаг 03 · результат

Необходимый размер выборки

Результат · размер выборки

Сколько пользователей нужно для теста

Рассчитано по биномиальному z-критерию для двух независимых пропорций с указанной значимостью и мощностью.

На группу

31.2K

Всего

62.5K

Дней теста

63

при 1 000 новых/день

Что это значит

Вам нужно 31.2K пользователей в каждой группе (контроль и тест), итого 62.5K. При 1 000 новых пользователях в день тест займёт примерно 63 дня.

Тест обнаружит изменение конверсии с 5% до 5.50% (разница 0.500 п.п.).

Тест затянется — подумайте об альтернативах

63 дня (2 мес.) — слишком долго. Увеличьте ожидаемый эффект, увеличьте трафик или снизьте требования к надёжности.

Сценарный анализ

Сценарии «что если»

Текущая конверсия = 5%. Найдите нужную разницу в конверсии (слева) и желаемую надёжность (сверху) — на пересечении количество пользователей в каждой группе.

Разница70% надёжн.80% надёжн.85% надёжн.90% надёжн.95% надёжн.
3%264.3K336.1K384.5K449.9K556.5K
5%96.0K122.1K139.7K163.5K202.2K
10%24.6K31.2K35.7K41.8K51.7K
15%11.2K14.2K16.2K19.0K23.5K
20%6 4168 1589 33210.9K13.5K
30%2 9733 7804 3245 0606 257
50%1 1571 4711 6821 9692 434

Методология

Расчёты основаны на стандартных статистических формулах для планирования A/B тестов. Результаты соответствуют калькуляторам Optimizely, VWO и Evan Miller.

Технические детали

— Нормальное приближение со split-variance для двух пропорций, двусторонний z-тест.

— Pooled variance под H₀, unpooled под H₁; поправка на непрерывность опущена (близко к Fleiss 1981, не к CPS).

— MDE рассчитывается методом бисекции (100 итераций). Power — через Φ (нормальная CDF).

Что считает калькулятор A/B-теста

Размер выборки

Сколько посетителей или пользователей нужно на каждый вариант, чтобы тест поймал ожидаемый эффект. Зависит от базовой конверсии, MDE, уровня значимости и мощности.

Статистическая значимость и p-value

Значимость показывает, не случайна ли разница между вариантами. Обычно берут уровень 95% (p-value < 0,05): тогда вероятность принять случайный шум за эффект — менее 5%.

MDE и мощность

MDE — минимальный эффект, который тест способен надёжно обнаружить. Мощность (обычно 80%) — вероятность увидеть реальный эффект, если он действительно есть.

Сколько нужно трафика и времени

По суточному трафику калькулятор оценивает длительность теста в днях. Гоняйте тест минимум 1–2 полные недели, чтобы сгладить колебания конверсии по дням недели.

Частые вопросы

Как рассчитать размер выборки для A/B-теста?

Укажите базовую конверсию, ожидаемый эффект (MDE), уровень значимости (обычно 5%) и мощность (обычно 80%). Калькулятор вернёт необходимое число наблюдений на вариант. Чем меньше эффект, который вы хотите поймать, тем больше нужна выборка.

Как проверить статистическую значимость A/B-теста?

Сравните конверсии вариантов и посчитайте p-value: если он меньше выбранного уровня (обычно 0,05 при значимости 95%), разница считается статистически значимой, а не случайной. Калькулятор показывает значимость по фактическим результатам теста.

Что такое доверительный интервал и p-value?

p-value — вероятность получить такую разницу случайно, если на самом деле эффекта нет. Доверительный интервал — диапазон, в котором с заданной вероятностью лежит истинная разница конверсий. Чем уже интервал и меньше p-value, тем надёжнее результат.

Сколько трафика нужно для A/B-теста?

Трафик = размер выборки на оба варианта. Чем меньше базовая конверсия и ожидаемый эффект, тем больше посетителей нужно. Введите суточный трафик — калькулятор оценит, за сколько дней наберётся нужная выборка.

Что такое MDE?

MDE (minimum detectable effect) — минимальное изменение метрики, которое тест способен надёжно обнаружить при заданной выборке. Если реальный эффект меньше MDE, тест его, скорее всего, не увидит.

Сколько должен длиться A/B-тест?

Длительность = размер выборки / суточный трафик на вариант, но не меньше одного-двух полных недельных циклов, чтобы учесть колебания по дням недели. Калькулятор оценивает срок автоматически по вашему трафику.

Можно ли пользоваться калькулятором бесплатно и без регистрации?

Да. Калькулятор A/B-теста работает бесплатно и без регистрации прямо в браузере.

Подробнее — Гайд: как пользоваться калькулятором A/B-теста. Другой инструмент: калькулятор юнит-экономики.

Мы используем cookie для работы сайта, аналитики (Яндекс.Метрика) и улучшения сервиса. Подробнее — в Политике cookie и Политике обработки ПД.