Калькулятор значимости A/B-теста
Четыре числа — посетители и конверсии вариантов A и B — и калькулятор отвечает словами: разница значима или это шум. Внутри честный z-тест с p-value, снаружи — вердикт без статистического жаргона.
Что внутри шаблона
Вердикт словами: «разница значима» или «данных недостаточно» — не голые цифры
Z-тест двух долей: конверсии, разница, p-value — формулы открыты
Порог значимости настраивается: 95% по умолчанию, строже — по желанию
Диаграмма ставит конверсии вариантов рядом
Как пользоваться
- 1
Впишите данные теста
Для каждого варианта — сколько посетителей его видели и сколько сконвертировались. Больше ничего не потребуется.
- 2
Посмотрите вердикт
Калькулятор выведет конверсии, z-статистику и p-value и подытожит: значима разница при выбранном пороге или нет.
- 3
Решите, что дальше
Значима — раскатывайте вариант-победитель. Нет — продолжайте тест: калькулятор прямо скажет, что данных пока мало.
Почему «B лучше на 12%» — ещё не результат
На маленькой выборке разница конверсий легко возникает случайно — вариант B «побеждает» просто потому, что в него попали более сговорчивые посетители. Статистическая значимость отвечает на вопрос, какова вероятность увидеть такую разницу при одинаковых вариантах, — это и есть p-value.
Под капотом — классический z-тест для двух долей, тот же, что в серьёзных сервисах A/B-тестирования. Отличие одно: формулы лежат в ячейках, и путь от четырёх исходных чисел до вывода можно проследить.
Журнал тестов вместо разовой проверки
Онлайн-калькуляторы значимости забывают ваши данные, как только закрылась вкладка. Здесь тесты накапливаются: добавляйте строки с новыми экспериментами — со временем у команды соберётся журнал, по которому видно, какие гипотезы вообще срабатывают.
Понадобится больше статистики — мощность теста, минимальный размер выборки — дополните расчёт: место под него в таблице уже есть.
Вопросы и ответы
Какой метод использует калькулятор?
Двусторонний z-тест для двух долей: сравниваются конверсии вариантов с учётом размера выборок. Стандарт для тестов конверсии.
Что такое p-value простыми словами?
Вероятность получить наблюдаемую разницу случайно, если варианты на самом деле одинаковы. Меньше 0,05 — разницу принято считать значимой.
Сколько данных нужно для теста?
Зависит от базовой конверсии и размера эффекта. Практический ориентир — сотни конверсий на вариант; достигнута ли значимость на текущих данных, калькулятор показывает сразу.
Можно ли сравнить больше двух вариантов?
Попарно — да: продублируйте блок расчёта. Только помните о поправке на множественные сравнения — при трёх и более вариантах порог стоит ужесточить.
Совсем скоро
Откройте шаблон и замените примеры на свои данные