A/B тесты.
Sample size, MDE, мощность, результаты и гипотезы
Сколько пользователей нужно для теста?
Укажите текущую конверсию и желаемый эффект — калькулятор покажет, сколько пользователей нужно набрать и сколько дней займёт тест.
Шаг 01 · режим трафика
Какой у вас тип трафика?
Привлечение новых пользователей (UA) или ретаргетинг существующей аудитории (RET). От этого зависит расчёт длительности теста.
Шаг 02 · параметры теста
Параметры
Заполните конверсию и требования к уверенности — калькулятор подберёт остальное.
Шаг 03 · результат
Необходимый размер выборки
Результат · размер выборки
Сколько пользователей нужно для теста
Рассчитано по биномиальному z-критерию для двух независимых пропорций с указанной значимостью и мощностью.
На группу
31.2K
Всего
62.5K
Дней теста
63
при 1 000 новых/день
Что это значит
Вам нужно 31.2K пользователей в каждой группе (контроль и тест), итого 62.5K. При 1 000 новых пользователях в день тест займёт примерно 63 дня.
Тест обнаружит изменение конверсии с 5% до 5.50% (разница 0.500 п.п.).
Тест затянется — подумайте об альтернативах
63 дня (2 мес.) — слишком долго. Увеличьте ожидаемый эффект, увеличьте трафик или снизьте требования к надёжности.
Сценарный анализ
Сценарии «что если»
Текущая конверсия = 5%. Найдите нужную разницу в конверсии (слева) и желаемую надёжность (сверху) — на пересечении количество пользователей в каждой группе.
| Разница | 70% надёжн. | 80% надёжн. | 85% надёжн. | 90% надёжн. | 95% надёжн. |
|---|---|---|---|---|---|
| 3% | 264.3K | 336.1K | 384.5K | 449.9K | 556.5K |
| 5% | 96.0K | 122.1K | 139.7K | 163.5K | 202.2K |
| 10% | 24.6K | 31.2K | 35.7K | 41.8K | 51.7K |
| 15% | 11.2K | 14.2K | 16.2K | 19.0K | 23.5K |
| 20% | 6 416 | 8 158 | 9 332 | 10.9K | 13.5K |
| 30% | 2 973 | 3 780 | 4 324 | 5 060 | 6 257 |
| 50% | 1 157 | 1 471 | 1 682 | 1 969 | 2 434 |
Методология
Расчёты основаны на стандартных статистических формулах для планирования A/B тестов. Результаты соответствуют калькуляторам Optimizely, VWO и Evan Miller.
Технические детали
— Формула Casagrande-Pike-Smith (1978) для двух пропорций, двусторонний z-тест.
— Без поправки на непрерывность. Pooled variance под H₀, unpooled под H₁.
— MDE рассчитывается методом бисекции (100 итераций). Power — через Φ (нормальная CDF).