A/B-тестирование

B BPMSoft реализована функциональность, которая позволяет проводить A/B-тестирование. A/B-тестирование (также известное как сплит-тестирование) — это метод сравнения двух вариантов целевых страниц для определения наиболее эффективного варианта, который влияет на конверсию.

Проводите тестирование email-рассылок с разными версиями, изменяя только один элемент: переменную в шаблоне (например, кнопку), тему письма или имя отправителя. Чтобы упростить оценку результатов, создавайте и настраивайте версии рассылки с минимальными различиями. Используйте контрольную рассылку с неизменным содержанием для тестирования и сравнивайте результаты с ней.

Подготовка к тестированию

Перед созданием сплит-теста необходимо подготовить email-рассылки, которые нужно сравнить при тестировании. В разделе «Email» создайте и настройте содержание нескольких версий рассылок, которые будут различны по одному из элементов письма. При этом создание аудитории в каждой email-рассылке не требуется, так как добавление и распределение контактов осуществляется автоматически при тестировании. Запуск email-рассылок также выполняется автоматически в ходе выполнения сплит-теста.

Примечание. Если необходимо отфильтровать контакты по тем, которые не участвовали в рассылках, то добавьте условие «Отклик» = «Отклонено» в группу «Не участвовали в рассылках». Подробнее: Отклики получателей

Создание сплит-теста

Для создания сплит-теста перейдите в раздел «Email» и выберите команду в меню действий раздела. На открывшейся странице нажмите кнопку «Добавить сплит-тест».

Рисунок 1 — Добавление сплит-теста

На открывшейся странице создания сплит-теста:

• В поле «Название» укажите заголовок сплит-теста;
• В поле «Описание» при необходимости укажите дополнительную информацию о сплит-тесте;
• В поле «Ответственный» значение устанавливается автоматически, при необходимости его можно изменить.

Примечание. Переход между этапами создания сплит-теста выполняется с помощью индикаторной панели. При нажатии на нужный этап открываются соответствующие этапу параметры сплит-теста.

Этап «Рассылки»

На первом этапе «Рассылки» добавьте в сплит-тест email-рассылки, которые нужно сравнить.

Рисунок 2 — Рассылки сплит-теста

Для этого на детали «Определите, какие рассылки вы хотите сравнить в рамках теста» нажмите кнопку . В открывшемся окне отображается список email-рассылок, которые:

• Находятся в состоянии «В планах»;
• Не добавлены в другой сплит-тест;
• Не содержат списка получателей на детали «Аудитория».

Выделите две или более email-рассылок и нажмите кнопку «Выбрать». В результате рассылки добавлены в сплит-тест.

Этап «Аудитория»

На этапе «Аудитория», где необходимо задать список получателей рассылок.

Для достоверности результатов рекомендуется тестировать рассылку на аудитории не менее 1000 контактов. Чтобы минимизировать влияние внешних факторов, используйте сегмент получателей, принадлежащих одной группе. Перед A/B-тестированием проведите А/А-тест для проверки однородности сегмента аудитории. Рассылайте одну версию письма двум группам одинакового размера и сравните показатели конверсии. Если они схожи, можно говорить об однородности сегмента.

Рисунок 3 — Аудитория сплит-теста

Для добавления аудитории в блоке «Выберите аудиторию, которая будет участвовать в сплит-тесте» задайте процент аудитории, который сформирует тестовую группу получателей. Например, если указать 30% и добавить в аудиторию группу из 100 человек, то при 3-х рассылках в аудиторию каждой рассылки попадет по 10 случайно выбранных контактов. После на детали «Аудитория сплит-теста» нажмите кнопку . В открывшемся окне выберите группы контактов и нажмите кнопку «Выбрать».

Этап «Запуск»

На этапе «Запуск» необходимо указать время отправки email-рассылок.

Рисунок 4 — Запуск сплит-теста

В блоке «Укажите, когда тест должен начаться» выберите один из вариантов запуска:

• «Запустить тест в указанное время» — автоматическая отправка рассылок в заданное время. В поле «Начало» установите дату и время;
• «Запустить тест вручную» — ручная отправка рассылок. Поле «Начало» заблокировано для изменений.

Нажмите кнопку «Запустить тест». В рамках тестирования все указанные рассылки отправляются одновременно.

Если отправка осуществляется в заданное время, то на панели инструментов будет отображена кнопка «Остановить тест» для отказа от рассылки.

Этап «Результаты»

После отправки рассылок перейдите к следующему этапу «Результаты» для проведения анализа результатов рассылки.

Оцените реакцию получателей через определенное время после отправки (от 2 до 72 часов в зависимости от типа рассылки). Чтобы исключить влияние временного фактора на результаты тестирования, оценивайте показатели конверсии всех рассылок одновременно.

При анализе результатов обратите внимание на то, как различные элементы письма влияют на уровень конверсии. Например, выбор слов в теме письма может определять процент открытий, а оттенок цвета кнопки призыва к действию (CTA) способен изменить число переходов по ссылке.

Рисунок 5 — Результаты сплит-теста

Общие итоги тестирования представлены в виде количественных показателей, функциональность которых аналогична показателям статистики по итогам рассылки. Подробнее: Доставляемость.

Результаты A/B-тестирования по каждой рассылке представлены в виде таблицы. Например, можно сравнить рассылки между собой по проценту открытия или отписок.

Отправка рассылки оставшейся аудитории

Вы можете отправить рассылку, которая показала лучшие результаты, оставшейся аудитории, если не вся аудитория использовалась для A/B-тестирования. Для этого необходимо выделить аудиторию с помощью фильтра в разделе «Контакты» и сформировать динамическую группу. Подробнее о настройках динамической группы и расширенного фильтра смотрите в статье Фильтрация и группировка.

Используйте в фильтре условия с оператором «И»:

• «Аудитория сплит-теста (по колонке Контакт)» не существует с условием второго уровня «Сплит-тест» = необходимый сплит-тест;
• «Участник кампании (по колонке Контакт)» существует с условием второго уровня «Кампания» = необходимая кампания.

В данную группу попадут контакты из списка аудитории проведенного тестирования, которые не участвовали в тестовой рассылке.

После скопируйте лучшую рассылку в разделе «Email», добавьте в ее аудиторию созданную группу и отправьте рассылку.

Рекомендуем изучить

Создание шаблона
Итоги рассылки
Персонализация рассылок