Если я дважды подброшу монетку и оба раза она упадет “орлом” вверх, следует ли мне предположить, что эта монетка всегда будет падать “орлом” вверх? Разумеется, нет. Результаты двух подбрасываний — слишком незначительный объем данных, чтобы на их основании делать далеко идущие выводы. А как насчет четырехкратного выпадания “орлов” в результате четырех подбрасываний? Менее вероятно, но почему бы и нет! А как насчет десятикратного выпадания “орлов” в результате десяти подбрасываний? Сомнительно, не правда ли? Конечно, даже в этом случае речь может идти о простой случайности: в конце концов, каждое отдельное подбрасывание монетки может с равной вероятностью закончиться выпадением “орла” или “решки”. Более того, может быть, в данном случае мы имеем дело с “неправильной” монеткой? Если после 20, 30 или 100 подбрасываний окажется, что выпадает только “орел”, значит здесь что-то нечисто.
В процессе сплит-тестирования в ADS вы надеетесь получить информацию, которая будет свидетельствовать о существовании определенной закономерности — точнее говоря, о том, что одно из ваших рекламных объявлений заведомо эффективнее другого и что разница между CTR, которые обеспечиваются этими рекламными объявлениями, не является простой случайностью. Если вы тестируете два рекламных объявления с идентичным текстом, но разными URL-ами (например, www.ComfortSoap.com [Comfort Soap — “приятное мыло”. — Прим. перев.] и www.YouProbablyNeedShower.com [You Probably Need Shower — “вам, наверное, нужно принять душ”. — Прим. перев.]) и при этом первый URL получил три клика, тогда как второй ни одного, то можно ли считать такой объем данных достаточным для того, чтобы “отправить в отставку” второе рекламное объявление и найти для него подходящую замену? Как и в случае с подбрасыванием монетки, этого нельзя утверждать с абсолютной уверенностью. Статистическая значимость указывает вероятность того, что сделанный вами выбор является правильным.
Проверка на значимость
Если вам придется самому оценивать значимость полученных результатов и решать, следует ли объявлять победителя, тогда нужно будет выполнить описанную ниже процедуру.
- Обратившись к своему аккаунту в ADS, доберитесь до группы рекламных объявлений (Ad Group), которую вы хотите протестировать.
- Щелкните на вкладке Ad Variations (Разновидности объявления) и выпишите следующие показатели:
- количество кликов для рекламного объявления №1;
- показы для рекламного объявления №1;
- количество кликов для рекламного объявления №2;
- показы для рекламного объявления №2
- Обратитесь на веб-сайт www.askhowie.com/split и введите четыре выписанных вами показателя в соответствующие поля.
- Обратите внимание на свой доверительный интервал и решите, есть ли у вас победитель.
Я готов принять для своего сплит-тестирования 95-процентный порог. Я готов мириться с тем, что один из каждых двадцать сплит-тестов дает мне ложное чувство уверенности. Я хочу продолжать выполнение теста до тех пор, пока не достигну значимости или пока не буду удовлетворен тем, что между двумя тестируемыми мною рекламными объявлениями принципиальной разницы нет.
Если не удастся выявить победителя
Допустим, вы тестируете два рекламных объявления и на протяжении длительного времени (дней, недель, месяцев) не можете выявить принципиальной разницы между ними. В таком случае продолжать тестирование — лишь зря деньги тратить. Не исключено, что в какой-то момент в будущем одно из тестируемых вами рекламных объявлений вырвется вперед, однако факт остается фактом: действительная разница между этими двумя рекламными объявлениями несущественна. Отбросьте второй вариант своего рекламного объявления (первый вариант — который иногда называют контрольным — имеет смысл оставить, поскольку у него за плечами более богатая история) и придумайте для него подходящий заменитель. Прекращайте тестирование, когда у каждого из рекламных объявлений накопится по меньшей мере 100 кликов.
