Мониторинг сбора данных
27.07.2021Когда сбор данных начался, вам надо следить за тем, чтобы все шло по плану. Обычно мониторинг сбора данных состоит из следующих частей:
Контроль записи данных. Например, вы собираете информацию о такси города. Убедитесь в том, что показы страниц и действия конверсии записываются системой и что эту запись ничто не искажает и не прерывает.
Контроль скорости накопления данных. Убедитесь в том, что записывается расчетное количество посещений для тех источников трафика, которые выбраны для тестирования. Слишком малые числа могут говорить о том, что ваши фильтры трафика слишком строги или работают некорректно. Слишком большие числа могут свидетельствовать о том, что фильтрования нежелательных источников трафика не происходит. Перепроверьте получаемые вами данные по сравнению с собираемыми в другой системе веб-аналитики, если у вас есть таковая, или по сравнению с записями РРС-кампании, партнерской программы или рекламной сети, трафик которых используется в тестировании.
Отслеживайте любые аномалии в скорости накопления данных. Они могут сигнализировать о неожиданных внешних событиях. Кроме того, они могут свидетельствовать о том, что некоторые используемые вами источники трафика не являются стабильными.
Контроль доли конверсии. Проверьте, сравнима ли получаемая на исходной версии целевой страницы доля конверсии с историческими данными. Слишком низкая или высокая доля конверсии может служить признаком некорректного подсчета или записи. Сделайте поправку на отложенную конверсию, отведя данным время на «созревание». Также не забывайте отслеживать доли конверсии и для альтернативных вариантов.
Корректировка искаженных выборок. Даже если скорость накопления данных высока велика и вы можете быстро достичь высокой статистической достоверности, продолжайте накапливать данные как минимум неделю или несколько недельных периодов. Это позволит вам сделать поправки на вариации в разные часы суток и разные дни недели.
Накопление данных
— Убедитесь в том, что действия конверсии записываются и обсчитываются все время проведения тестов.
— Убедитесь, что уровни трафика соответствуют отобранным источникам трафика.
— После сбора некоторого количества данных убедитесь в том, что действие конверсии произошло хотя бы один раз на каждом наборе параметров (следовательно, ни один из них не сломан).
— Убедитесь в том, что доля конверсии на исходной версии страницы примерно соответствует той, что была раньше.
— Убедитесь в том, что вы собрали достаточно данных для того, чтобы скорректировать отклонения для разного времени суток и разных дней недели.
— Обращайте внимание на пиковые выбросы трафика или доли конверсии.
