Перед нами классический А/Б ест с 4 вариантами и 4 метриками (при условии, что измерения проходили в один и тот же временной интервал). Давайте разбираться.
Калькулятор — https://www.evanmiller.org/ab-testing/sample-size.html
Для начала посчитаем все конверсии в % от трафика.
| Вариант | Клики | Лиды | C1 | Подт. лиды | С2 | Встречи | С3 | Продажи | С4 |
| A | 7400 | 321 | 4,34% | 293 | 3,96% | 172 | 2,32% | 84 | 1,14% |
| B1 | 1400 | 193 | 13,79% | 125 | 8,93% | 74 | 5,29% | 38 | 2,71% |
| B2 | 3759 | 324 | 8,62% | 284 | 7,56% | 199 | 5,29% | 49 | 1,30% |
| B3 | 4940 | 492 | 9,96% | 307 | 6,21% | 128 | 2,59% | 51 | 1,03% |
Затем разберём, сколько данных нам надо для корректного теста
| Количество данных для корректного теста | |||
| Клики на вариант | На сколько увеличиваем конверсию | Общее кол-во конверсий и разница между ними | |
| C1 | 456 | 4% | 66/16 |
| C2 | 730 | 3% | 89/19 |
| C3 | 993 | 2% | 73/17 |
| C4 | 1983 | 1% | 73/17 |
При этом не забываем, что мы меняем только данные на сайте, то есть всё остальное у нас постоянное – источник трафика и креатив, сотрудники колл центра, менеджеры по продажам, марки и модели товаров, соц дем клиента и прочее. Либо потом расшивать всё это и смотреть влияние на конверсии в продажи/встречи. Все выводы мы делаем по показателю С4.
Выводы:
Для корректного теста было достаточно по 1983 посетителя по каждому из вариантов (для С4, для остальных конверсий ещё меньше)
Не до конца доработан вариант B2 – всего 1400 посетителей, но даже если мы примем что было 1983 посетителя и в эту разницу посетителей не было конверсий, то С4 составит 1,92%, что почти в 2 раза больше дефолтной версии.
Самый лучший вариант B1, конверсия в продажу почти в 2 раза лучше дефолтной версии.
Затянутый по трафику тест. Примем, что клик стоит 20 рублей. Нам надо было сделать 7932 клика для проведения теста. Было сделано 17499 кликов, то есть 9567 кликов лишних.
Если бы потратили эти клики (9567) на вариант B1, то получили бы 259 конверсий по 739 рублей. А потратив их на все 4 варианта равномерно, мы бы получили среднюю конверсию 1,55% и 148 конверсий по 1293 рубля, что равно 191 340 руб. Если мы бы получали эти конверсии по 739 рублей, то потратили бы 109 тыс. руб., то есть потери составили 82000 рублей.
