Как пользоваться калькулятором A/B-теста: пошаговая инструкция

A/B-калькулятор нужен дважды: до теста — чтобы рассчитать, сколько трафика собрать (иначе тест либо никогда не закончится, либо даст ложный результат), и после — чтобы проверить, значима ли разница. Разберём оба режима по шагам на примере калькулятора Romi+ (работает без регистрации).

Режим 1: расчёт размера выборки (до теста)

Запускать тест, не зная нужного объёма, — частая ошибка: вы либо остановите его рано и поймаете шум, либо будете ждать вечно. Шаги:

1. 1. Введите baseline-конверсию (CR контроля). Текущая конверсия варианта A — например, 4% (клик→установка). Берите среднее за 2–4 недели.
2. 2. Задайте MDE (минимальный эффект). Какой прирост важен для бизнеса: +0,5 п.п.? +20% относительных? Чем меньше MDE, тем больше нужна выборка. Подробно — в статье про MDE и выборку.
3. 3. Оставьте значимость 5% и мощность 80% — стандартные значения. Значимость (α) — риск ложного «есть эффект»; мощность — шанс уловить реальный эффект.
4. 4. Получите размер выборки на каждую группу. Разделите на ваш дневной трафик — узнаете длительность теста.

Режим 2: проверка значимости (после теста)

Когда выборка набрана, нужно понять — разница реальна или случайна:

1. 1. Введите данные группы A: число посетителей и число конверсий (например, 5000 показов, 200 установок).
2. 2. Введите данные группы B: аналогично (5000 показов, 240 установок).
3. 3. Получите два результата: p-value (частотный) и P(B>A) (байесовский).

Как читать результат

Калькулятор Romi+ показывает оба нарратива:

• p-value < 0.05 — разница статистически значима в классическом смысле. Нужно для формального отчёта.
• P(B>A) ≥ 95% — вероятность, что B действительно лучше. Понятнее для решения «катить или нет».

Почему два подхода и какой выбрать — разобрано в статье «p-value vs Bayesian». Прикладное правило: если P(B>A) ≥ 85% И прирост ≥ вашему MDE — масштабируйте B.

Пример

Baseline CR = 4%, хотим уловить рост до 4,8% (MDE = +0,8 п.п.), α = 5%, мощность = 80%. Калькулятор показывает ≈ 9 000 пользователей на группу. При 1 500 показов в день на группу тест займёт 6 дней — округляем до 7–14, чтобы покрыть недельную сезонность. После теста вводим фактические числа и смотрим значимость.

Частые ошибки

• Не считать выборку заранее — главная причина ложных выводов.
• Подглядывать (peeking) — проверять значимость каждый день и остановить при первом «p < 0.05». Завышает ошибки.
• Вводить конверсии больше посетителей — частая опечатка; калькулятор ждёт «конверсии ≤ посетители».
• Сравнивать группы разного размера без нормализации — калькулятор считает доли, но следите, чтобы разделение трафика было 50/50.

Откройте A/B-калькулятор Romi+ и проверьте свой тест за секунду — без регистрации. Теория гипотез — в статье «A/B-тесты: гипотезы».