Если бездумно копировать чужие гипотезы, можно потерять много времени и не улучшить показатели. Лучше анализировать ситуацию и выдвигать свои гипотезы. В этом случае нужно сформулировать новую гипотезу и провести новое сплит-тестирование. Эксперимент остановится сам, когда придёт время или когда накопится достаточно данных. Чтобы оценить результаты, нужно нажать на кнопку «Посмотреть отчет» в списке экспериментов.
На основе гайда об оптимизации конверсии от зарубежного оптимизатора Брайана Дина и руководства по A/B-тестированию основателя Visual Website Optimizer Параса Чопры. Если вы работаете с программами, как правило, там есть системы статистики с понятным вердиктом — какая из версий достигла установленной статистической значимости. После формулирования гипотезы можно подготавливать варианты для проверок.
Иначе может получиться так, что отдельный сегмент аудитории будет видеть только один вариант — и результат будет недостоверным. Лучше использовать специальные сервисы — они распределяют трафик автоматически. К анализу результатов можно приступать после завершения тестирования.
Маркетолог предполагает, что, если изменить цвет кнопки «Купить» с зелёного на синий, конверсия вырастет до 7%. Например, аудитория интернет-магазина состоит из 70% женщин и 30% мужчин. Если не учитывать это соотношение, то результаты A/B-тестирования сайта будут некорректными.
A/b-тестирование: Зачем Оно Нужно, Как Его Провести И Как Правильно Оценить Результаты
Они рассчитывают необходимый размер выборки, основываясь на том, какую точность вы хотите получить, какую погрешность можете допустить и какая у вас общая аудитория. Только когда мы опровергнем нулевую гипотезу, сможем принять альтернативную — о том, что новый вариант работает лучше старого. Две гипотезы используют, чтобы не возникало ситуаций, когда тестовый вариант вводят не потому что он лучше работает, а потому что он новый. Дизайнеры используют тестирование, чтобы улучшать интерфейс приложений, сайтов и сервисов. Например, с помощью метода можно понять, какой дизайн корзины или карточек товаров приносит больше продаж. Не используйте размытые формулировки вроде «надо увеличить прибыль».
Тестирование вариаций нескольких разных элементов — это уже не A/B-тестирование, а многовариантное тестирование, значительно более продвинутая программа исследований. Это показатель, характеризующий разницу между результатами контрольной и экспериментальной групп, обусловленную случайностью. Стандартный порог значимости — zero,05, то есть в 5% случаев отклонения не имеют ценности для эксперимента.
Для аналитиков A/B-тестирование — один из множества инструментов оценки эффективности сайтов, приложений, рекламы. Аналитики проводят A/B-тесты, чтобы помочь маркетологам подтвердить или опровергнуть их предположения. Во всех этих ситуациях сплит-тестирование позволит принять решение, опираясь не на мнения, а на данные. С сервисами и инструментами разобрались, переходим к инструкции по проведению A/B-тестирования. Optimizely подойдет для тестирования сайтов и мобильных приложений.
Например, посадочные страницы с прямоугольной, круглой, треугольной и трапециевидной кнопкой действия. A/B/n-тестирование позволяет выбрать подходящее решение из нескольких https://deveducation.com/ предложенных вариантов. Это классический способ, в котором сравниваются два варианта (контрольный и тестовый) исследуемого объекта, различающиеся только одним параметром.
Если показатели улучшились, то гипотеза оказалась верной и пора вносить изменения в основную версию проекта. A/B-тестирование — это метод маркетингового исследования, который заключается в сравнении контрольного (A) варианта продукта с его измененной (B) версией. Позволяет определять степень и характер влияния внесенных изменений на целевые показатели. Для настройки нового эксперимента нажмите на «Создать эксперимент».
Магазин теряет своих пользователей по мере того, как они проходят этапы этой воронки. Затем проводится A/B-тестирование, чтобы опробовать изменения, которые, как мы надеемся, повысят коэффициент конверсии от одного этапа к другому. Запускать А/В-тесты лучше через специальные сервисы, которые позволят правильно разметить аудиторию и собрать статистические данные. Если сервис посчитал результат статистически недостоверным, сплит-тестирование повторяют с теми же вводными, но с большим размером выборки. К количественным метрикам можно применить метод статистического анализа и понять, достоверны ли итоги сплит-тестирования.
В А/В-тесте сайта и квиза компании по покупке подержанных автомобилей Google Optimize самостоятельно определил, когда наступила статистическая значимость. Например, если мы предполагаем, что метрика увеличится значительно, например, с 50% до 80%, потребуется небольшой размер выборки. А если стартовая метрика составляет 1%, и мы предполагаем, что она изменится на zero,1%, то нужно задействовать в тестировании большое количество людей. В каждом отдельном случае рассчитываем выборку заново. Гипотеза — это предположение о том, как может измениться состояние продукта, если изменить один из его элементов. В гипотезе обозначают решение, при котором ситуация изменится, а также показатели, которые улучшатся в результате изменения.
Как Работает А/в-тестирование
Гипотеза — ваша идея о том, как можно улучшить сайт или приложение. Если она слишком большая, попробуйте разбить ее на более мелкие. Мультивариативное тестирование (Multivariate Testing, MVT). В этом виде тестов комбинируют разные небольшие доработки — и на каждый уникальный набор изменений направляют небольшую часть аудитории. Позволяет настраивать свыше 15 параметров для проведения эксперимента, частично интегрируется с Google Analytics, но без возможности импорта целей.
По итогу А/В-тестирования изменения были внедрены — весь трафик направили на квиз. В нашем примере мы также запустили два одинаковых сайта в тест Google Optimize. Тестировали две одинаковые версии, смотрели за разницей конверсии в течение 2–4-х недель. Разницы не обнаружили, всё прошло ровно, поэтому перешли к следующему этапу.
- Для проведения сплит-теста нужна большая выборка аудитории.
- Желательно также снизить влияние внутренних факторов – любых действий операторов call-центра, сервисной службы, модераторов ресурса, сотрудников редакции.
- Например, можно изменить цвет кнопки «Купить» или текст заголовка сайта, и посмотреть, как это повлияет на продажи.
- Проверять несколько или все сразу — не лучший вариант, так как после тестирования будет сложно определить, какая переменная оказала решающее влияние на результат.
Какие целевые действия нужно учитывать — зависит от целей теста. Если гипотезы эксперимента подтвердятся, А/В-тесты помогут оптимизировать конверсию. Дальше вам нужно настроить цель конверсии, то есть указать, что именно считается конверсией на этой странице. К примеру, если вы тестируете кнопку «Зарегистрироваться», целью конверсии будет окно «Спасибо за регистрацию», которое появляется после успешного действия. Вам нужно определить статистическую значимость — при каких условиях вы сможете понять, что один из вариантов — самый эффективный. Большинство оптимизаторов считают результат достоверным при статистической значимости 90-95%.
Тестируемые аудитории не должны быть в курсе, что проводится A/B-тест, так как это может подсознательно повлиять на их реакцию. Для проверки гипотезы нужна одна страница без изменений (А) и одна страница с измененным элементом (В). — Custdev — методика, которая помогает изучить продукт с точки зрения востребованности у пользователя. В нашем примере компании нужно больше новых заявок от людей, который продают свои машины. А/В-тест поможет найти удобную форму регистрации для клиента, чтобы быстро авторизоваться и сделать заказ или оформить подписку. Можно тестировать разные формы и замерять, какая собрала больше симпатий.
Первым тестом может быть гипотеза «Поместить кнопку нужно по центру страницы». Google Analytics — самый популярный сервис для аналитики, с его помощью можно создавать A/B-тесты на сайте и управлять ими. Для каждого теста можно настроить ключевые конверсии, чтобы потом наглядно их отслеживать. При проведении A/B тестирования сравнения должны быть как можно проще.
Используйте внешние сервисы — например те, что мы рассмотрели выше, чтобы создать новый A/B-тест. Укажите параметры аудитории, которая должна попасть под него. А еще сможете визуализировать результаты анализа и аргументированно представлять их коллегам и руководству. A/B-тестирование — инструмент, который помогает выбрать правильный путь развития продукта, при этом не сильно рискуя усложнить жизнь пользователям. Обычно пользователи выбираются случайным образом и распределяются либо в контрольную группу, либо в экспериментальную группу.
Сделан удобный графический редактор, в котором можно вносить изменения любых элементов страницы. Сервис поддерживает проведение сплит-тестов, мультивариантных исследований, интеграцию с GA, имеет 7 критериев настройки таргетинга. A/B-тестирование помогает принимать решения в компаниях, которые ориентированы на конкретные данные.
Дальше наблюдаем за 15% пользователей с красной кнопкой и сравниваем количество их регистраций с пользователями со старой кнопкой. Сервис входит в онлайн-платформу Google Marketing Platform. Он позволяет тестировать различные элементы страниц, в том числе заголовки, шрифты, конверсионные кнопки и формы, картинки, текст и т. Сервис можно интегрировать с Google Analytics для сегментирования и настройки целей, а также с Firebase, Google AdWords и другими продуктами компании.
Например, вы видите, что конверсия в результате теста упала. Если вы не добавили метрики на промежуточных шагах, нельзя точно сказать, из-за чего конверсия хуже. После того как запустили тестирование, нужно подождать необходимых результатов.
Рассказываем, что такое веб-аналитика и какие основные задачи бизнеса она решает. Что такое SWOT-анализ и как его эффективно использовать, а еще какие у него плюсы и минусы для маркетинга. Если не уверены, какой инструмент методы эффективного тестирования лучше использовать, или еще не работали в сфере аналитики, то в Skypro есть обучение на аналитика данных. Многие специалисты вносят изменения в продукт, основываясь на своей интуиции, личном опыте и т.