Вряд ли вы, поместив пирог в печь, с легкой душой отправитесь в кинотеатр в надежде, что все как-нибудь образуется само собой. Точно так же нельзя запустить сплит-тестирование и забыть о нем в надежде, что требуемый результат получится сам собою. Существуют три способа проверить готовность вашего пирога. Эти способы гарантируют, во-первых, что ваш пирог не сгорит и, во-вторых, что вам не придется давиться сырым тестом.
Контроль от случая к случаю, или бессистемный контроль. Вы проверяете готовность своего пирога от случая к случаю, когда вспоминаете о нем. Если вам повезет вспомнить о нем вовремя (т.е. еще до того как он начнет гореть), то вы можете доставить своим гостям несколько минут незабываемого удовольствия.
Частый, регулярный контроль. Установите свой будильник таким образом, чтобы он подавал вам сигналы через каждые несколько минут, напоминая о необходимости проверить готовность вашего пирога.
Контроль с применением современных технических средств. Установите в печи датчик, который подаст сигнал, когда ваш пирог будет готов.
Указанные три метода можно применить и к мониторингу ваших сплит-тестов в ADS.
Контроль от случая к случаю, или бессистемный контроль. Пользуясь этим методом, вы можете анализировать каждую группу рекламных объявлений ежедневно, каждые три дня, каждую неделю, каждый раз, когда одерживает победу ваша любимая футбольная команда и т.д. Выбранный вами интервал должен коррелироваться с объемом трафика, обеспечиваемым вашими рекламными объявлениями. Если, например, вы получаете 50 кликов в день, тогда вам, наверное, следует проверять свои рекламные объявления каждый день. Мощный поток трафика позволит определить победителя гораздо быстрее, чем тонкий ручеек трафика, при прочих равных условиях. Но даже в случае массивного трафика следует обождать хотя бы пару дней, прежде чем объявлять победителя. Посетители, щелкающие на вашем рекламном объявлении в три часа утра в воскресенье, наверняка существенно отличаются от посетителей, щелкающих на вашем рекламном объявлении в понедельник после обеда. Чтобы быть уверенным в точности результатов, необходимо получить репрезентативную выборку.
Частый, регулярный контроль. На основе частого, регулярного контроля вы можете создавать отчеты в рамках ADS и составлять график генерирования этих отчетов.
Контроль с применением современных технических средств. Применяя этот метод, вы можете воспользоваться услугами какой-либо сторонней службы, которая будет отслеживать все ваши сплит-тесты и сообщать по электронной почте, когда у вас появится победитель.
Объявление победителя
Итак, вы пристально отслеживаете свои сплит-тесты. Как узнать о том, что одно рекламное объявление оказалось эффективнее другого? Ведь, как говорится в одном из рекламных объявлений, посвященных инвестициям, “Высокая эффективность в прошлом не является гарантией высоких результатов в будущем”. К счастью, процесс тестирования существенно упрощается, когда в ходе одного теста вы сравниваете эффективность двух разных рекламных объявлений. Вы должны ответить на простой вопрос: “Можно ли доверять полученному результату или это не более чем случайное совпадение?” Вот когда приходит на помощь такое важное понятие, как статистическая значимость.
