Недавно, A / B тестирование попала под (несправедливых) критики со стороны различных кругов в Интернете.

Даже если эта критика содержит некоторые важные моменты, основной аргумент против A / B тестирования является некорректной.Кажется, чтобы запутать A / B тестирование методики, с конкретной реализацией его (например, тестирование красный против зеленого кнопки и другие тривиальные тестов).Давайте посмотрим на различные критические замечания, которые всплыли в Интернете в последнее время и понять, почему они unfounded.

Аргумент № 1: A / B тестирование и местного Minimum

Джейсон Коэн, в своем посте под названием Из выгребной ямы и в канализацию: A / B тестирование Trap утверждает, что A / B тестирования производит локального минимума, в то время как цель должна быть, чтобы добраться до глобального минимума.Для тех, кто не понимает разницу между местным и глобальным минимумом (или максимумов), думайте о конверсии в зависимости от различных элементов на странице.Это как область пространства, где каждая точка представляет собой изменение вашей страницы, нижняя точка в пространстве, тем лучше.Чтобы взять пример с Джейсоном, вот вопрос с местным против глобального минимума:

Как Джейсон даже признает в своем посте, этот аргумент на самом деле не связана с A / B тестирование, потому что тот же методика может быть использована для проверки радикальные изменения, чтобы добраться до глобальных минимумов.Таким образом, называя это A / B тестирования ловушки несправедливо, потому что она не имеет ничего общего с A / B тестирование.Скорее всего, аргумент раскрывает бесполезность тестирования небольших changes.

Таким образом, если A / B тестирование не является виновником является реальной проблемой локальных минимумов?Нет, даже теории дисконтирования локальными минимумами, является ошибочным.Изображение выше показывает вам очень простой одномерной фитнес-landscape.Вы можете себе представить оси х, как цвет фона и оси у, как показатель отказов.Аргумент Джейсон идет что-то вроде этого: если вы тестировали десятки оттенков синего, вы можете уменьшить показатель отказов, но если вы попробовали что-то совершенно другое (например, желтый), вы могли бы достичь абсолютного низкий показатель отказов можно на вашей странице.

Есть две проблемы с этим аргументом …

1.Вы никогда не знаете наверняка ли вы нашли глобального минимума (или максимума)

Глобальный минимум (или абсолютное лучшее) существует только в теории.Давайте вернемся к примеру с чрезвычайной желтом фоне давая Вам глобального минимума (в отказов).При дальнейшем тестировании, что, если вы обнаружили, что цвет фона не на всех дали вам нижняя отказов?Или еще лучше, что Фоне полной Lolcat images дал вам еще ниже показатель отказов?Дело в том, если вы снизили показатель отказов до 0% (или коэффициент конверсии до 100%), вы никогда не можете быть уверены, что вы действительно добились глобального optimum.

Существует еще один способ определить, является ли вы нашли глобального оптимума: по исчерпав все возможности.Теоретически, если ваши страницы не содержали ничего, кроме цвета фона (и вы не могли даже добавить фоновое изображение, потому что, ну, ваш босс ненавидит его), то вы можете цикл через all цвета фона доступна и посмотреть, какиеодин дал Вам самые низкие отказов.В исчерпав все возможности, цвет, который дает вам низкий показатель отказов должен быть один, что является абсолютно лучшим.Это подводит нас ко второму пункту …

2.Это не только цвет фона, мой Friend

При оптимизации веб-страницы, вы можете варьировать буквально сотни или даже тысячи переменных (цвет фона всего лишь один из них).Заголовок, копия, макет, длина страницы, видео, цвет текста и изображений только несколько таких переменных.Ваша цель на странице (в терминах преобразования или отказов) определяется все эти переменные.Это означает, что в фитнес-пейзаж (как показано на фотографии выше) не является одномерной и не так прост, как кажется.На самом деле, это многомерное, с тонну переменных, влияющих на минимумы и максимумы:

Опять же, представьте себе, пики, как коэффициент конверсии (или отказов) и различные размеры, как и переменные на странице (только два здесь, но в действительности существуют сотни).В отличие от одномерного случая, исчерпав все возможности в реальной ситуации (т.е. в пересчете оптимизации) невозможно.Итак, вы never гарантированно нашли глобального максимума (или минимума).Урок, который следует извлечь. обнять местных minima

Аргумент № 2: A / B тесты тривиальных Changes

Рэнд Фишкин из SEOmoz, опубликовал статью под названием Don’ T попасть в ловушку, из A / B тестирование Minutiae, в которой он повторяет аргументы Джейсон не тратить время тестирования небольших элементов на странице (заголовок, текст и т.д.).Его главным аргументом является то, что добраться до локального максимума (путем тестирования незначительные из …

Если вы хотите прочитать полностью статью, посетите сайт наших спонсоров