Выбор уровня статистической достоверности
21.08.2021Важное решение, которое вам предстоит принять если вы захотите заказать роллы пермь, — это каков будет уровень достоверности ваших будущих результатов. Как вы помните, статистическая достоверность свидетельствует только о вероятности того, что новая версия целевой страницы будет работать лучше исходной, но насколько лучше — неизвестно. Если настраиваемая вами целевая страница олицетворяет центр вашего бизнеса и генерирует большую экономическую ценность, вам следует быть консервативным в своих оценках: ошибка может дорого вам обойтись.
Однако, если терять вам особо нечего или вас серьезно поджимает время, вы можете принять и более низкие уровни достоверности. Основные факторы, определяющие длительность ваших тестов, — это скорость накопления данных, величина найденных эффектов и выбранный вами уровень достоверности. После начала тестирования у вас нет прямого контроля над первыми двумя факторами, но за счет снижения допустимого уровня достоверности результатов вы можете значительно снизить и длительность периода сбора данных.
С другой стороны, за счет более длительного сбора данных вы можете более полно выявить эффекты улучшения определенных масштабов. Если время для сбора данных ограничено — из-за наличия сезонных изменений, например, — вам придется смириться с невозможностью выявить эффекты небольших масштабов и надеяться на то, что к желательным результатам приведут более крупные эффекты. Но не переборщите! При слишком высоком уровне выявления эффектов вы рискуете столкнуться с совершенно реальной вероятностью получения таких результатов, на основании которых будет невозможно прийти к каким-либо выводам.
