A/B-тест сайта: как проверить гипотезу и оценить результат
У новой версии страницы больше заявок — но достаточно ли этого, чтобы оставить её для всех посетителей? A/B-тест помогает ответить на такой вопрос, когда заранее определены изменение, аудитория, измерение и правило решения. Ниже — учебный пример, расчёт конверсии и рабочая карточка эксперимента для владельца сайта.
Начните с проблемы, которую действительно наблюдали
Идея заменить кнопку, заголовок или порядок блоков становится проверяемой гипотезой, когда у неё есть основание. Например, посетители не понимают, что произойдёт после отправки формы. Такое затруднение можно обнаружить в разговорах, при проверке прототипа или в повторяющихся вопросах клиентов.
Сохраните наблюдение отдельно от объяснения. «Три участника спросили, обязывает ли запрос покупать услугу» — запись конкретной проверки. «Люди боятся формы» — предположение о причине. Оно может оказаться полезным, но нуждается в проверке. Не переносите число участников небольшой встречи на всю аудиторию сайта.
A/B-тест предполагает случайное распределение подходящих участников между одновременно работающими вариантами и сравнение заранее определённого результата. Показать старую страницу в октябре, а новую в ноябре — другой способ наблюдения: вместе со страницей могли измениться спрос, реклама и состав посетителей.
Если форма вообще не отправляется или на странице указана неверная цена, сначала исправьте подтверждённую ошибку. Для восстановления обещанной функции не нужно оставлять часть аудитории со сломанным вариантом ради эксперимента. Тест уместен там, где сравниваются работоспособные решения и остаётся содержательная неопределённость.
Сформулируйте одно изменение и ожидаемый результат
Для примера возьмём вымышленную компанию, которая организует обучение сотрудников. Она получает запросы через форму на странице программы. Компания, условия и все числа далее придуманы для обучения; это не эксперимент Salestudia или её клиента.
| Часть плана | Заполненный пример |
|---|---|
| Наблюдение | В предварительных беседах посетители спрашивали, что нужно подготовить и означает ли запрос покупку |
| Гипотеза | Пояснение перед формой увеличит долю участников с полученным запросом, поскольку следующий шаг станет понятнее |
| Вариант A | Текущая работоспособная форма с кнопкой «Обсудить обучение» |
| Вариант B | Та же форма; перед ней добавлен один поясняющий блок |
| Текст блока B | «Опишите задачу команды и примерное число участников. Мы уточним формат и подготовим предложение. Отправка запроса не оформляет заказ» |
| Граница изменения | Цена, программа, поля формы и обработка обращения одинаковы; проверяется весь новый блок целиком |
Текст варианта B допустим в примере потому, что такие условия заданы для учебной компании. Для реального сайта сначала подтвердите процесс с ответственным сотрудником. Нельзя обещать бесплатную консультацию, точный срок ответа или отсутствие обязательств только потому, что такая фраза кажется убедительной.
Если одновременно изменить заголовок, цену, форму и изображение, результат будет относиться к совокупности изменений. Из него нельзя выделить вклад цвета кнопки. Один связный блок удобнее исследовать и затем описать в выводе; отдельные предложения внутри него тоже не получают самостоятельной доказанной эффективности.
Microsoft рекомендует формулировать гипотезу так, чтобы выбранные метрики позволяли её проверить. Для владельца сайта полезна короткая запись: что меняем, какой результат ожидаем и почему. Утверждение «страница станет современнее» без наблюдаемого критерия пока не задаёт такой проверки.
Определите числитель, знаменатель и срок наблюдения
В учебном тесте основная метрика — доля подходящих участников, от которых получен хотя бы один запрос в течение семи суток после включения. Знаменатель — все включённые участники своего варианта, числитель — участники с таким результатом. Повторные запросы одного участника не увеличивают числитель.
Полученным считается обращение, зарегистрированное системой приёма по одному правилу в обеих версиях. Нажатие кнопки и появление сообщения на экране сами по себе не доказывают получение. До запуска сопоставьте тестовый маршрут с записью на стороне принимающей системы.
Не заменяйте знаменатель числом людей, которые начали заполнять форму: исследуемый текст способен влиять и на начало заполнения. Это уже будет другой вопрос. Также не сравнивайте число событий в A с числом участников в B. Определение должно быть одинаковым в обеих группах и сохраняться до итогового анализа.
Семь суток здесь — условие упражнения, а не рекомендуемый срок для любого бизнеса. Его выбирают по реальному пути обращения. Если в набор попал посетитель последнего дня, ему нужно дать тот же срок, что и остальным, прежде чем считать его окончательный результат.
Качество обращения оцените отдельно по заранее согласованному правилу. Рост числа полученных запросов не означает рост оплаченных договоров. Если важна пригодность заявки, укажите критерии, ответственного и срок оценки; не переименовывайте незавершённые обращения в неподходящие.
Выберите участников и способ распределения до запуска
Запишите, кто может попасть в эксперимент: например, посетители определённой языковой страницы программы в согласованной среде измерения. Участник должен соответствовать условиям до того, как увидит исследуемое изменение. Нельзя после просмотра результатов оставить в группе B только тех, кто взаимодействовал с новым блоком.
Для упражнения предполагаем устойчивый обезличенный идентификатор участника, случайное распределение с вероятностями 50/50 и сохранение варианта при возвращении. Это явные допущения, а не описание возможностей любого сайта. Технический идентификатор также не гарантирует, что распознан один уникальный человек на всех устройствах.
Единицей распределения может быть пользовательский идентификатор, устройство или другая заранее выбранная сущность. Она должна соответствовать задаче и способу анализа. Microsoft отдельно обращает внимание на устойчивость идентификаторов и ограничения распределения: потеря идентификатора может привести к смене варианта.
Не назначайте A только людям из поиска, а B только посетителям рекламы: тогда различаются и страницы, и аудитории. Проверяйте настройки распределения и сохраняйте назначение варианта вместе с необходимыми данными измерения. Реализацию согласуйте с действующей системой согласия и доступными основаниями обработки; отказ от необязательной аналитики не обходят ради большей выборки.
Если исследование охватывает только согласившихся на аналитику посетителей или один язык, укажите это в выводе. Результат относится к наблюдавшейся аудитории и условиям. Автоматическое обещание того же эффекта для других рынков и всех клиентов выходит за пределы проверки.
Оцените выполнимость теста до его запуска
Универсального ответа «хватит ста посетителей» или «запустим на неделю» нет. Для плана нужны исходная частота результата, минимальный эффект, который важно обнаружить, ожидаемый поток подходящих участников и выбранный статистический метод. Эти параметры определяют требования к данным.
Минимальный обнаруживаемый эффект — параметр расчёта чувствительности теста. Он не является обещанием, что именно такой рост произойдёт. Вместе с аналитиком задайте допустимый риск ошибочного вывода и статистическую мощность, затем оцените нужное число единиц распределения и время их набора.
Считайте доступный поток для выбранной страницы и условий включения. Общая посещаемость всего сайта может сильно отличаться от числа участников конкретного эксперимента. Кроме набора потребуется время на завершение окна результата и проверку данных; календарная дата не заменяет эти условия. В общих рекомендациях NIST выбор объёма также связан с требуемой точностью и практической возможностью собрать данные.
Если расчёт даёт непрактично долгий срок, пересмотрите задачу. Можно вернуться к интервью, проверке понятности или устранению подтверждённых препятствий. Такое решение полезно само по себе. Оно просто не даёт основания публиковать процент причинного роста конверсии.
Не меняйте основную метрику на более частые клики только ради красивой статистики, если вопрос касался полученных обращений. Клики могут стать диагностическим показателем. Для другого основного результата потребуется заново сформулированная задача и план.
Проверьте работу эксперимента и полноту данных
Перед анализом эффекта убедитесь, что обе версии действительно доступны, назначение варианта сохраняется, форма работает и результат одинаково регистрируется. Сравнение становится бессмысленным, если в одном варианте потеряна часть записей или тестовые обращения смешаны с настоящими.
| Что проверить | Что сохранить | Когда остановиться и разобраться |
|---|---|---|
| Показ версии | Адрес, вариант, время, устройство и версия реализации | Показывается не тот блок или вариант меняется при возвращении |
| Регистрация результата | Связь тестового обращения с записью в принимающей системе | Событие есть, а полученного обращения нет, либо правило различается между A и B |
| Состав групп | Ожидаемое распределение и фактические числа единиц | Проверка распределения указывает на необъяснённое расхождение |
| Полнота наблюдения | Доступность записей, завершение окна результата, одинаковые исключения | В одной группе теряются данные или ещё не завершён срок наблюдения |
| Защитные показатели | Ошибки формы, работоспособность важных действий и согласованные пределы ухудшения | Возникает подтверждённая поломка или достигнуто правило аварийной остановки |
Для распределения используют, в частности, проверку Sample Ratio Mismatch, или SRM: согласуется ли наблюдаемое соотношение групп с заданным. При вероятностях 50/50 не требуется механически одинаковое число участников. Важна статистическая проверка с учётом объёма данных; одного взгляда на проценты недостаточно.
Microsoft описывает причины SRM на разных этапах: назначение группы, показ варианта, обработка записей и выбор данных для анализа. Если проверка указывает на проблему, сначала выясните её причину. Нельзя просто удалить лишние строки из большей группы, чтобы таблица стала симметричной.
Одинаковое количество участников тоже не доказывает исправность всего измерения. Например, по двести назначений могут сочетаться с потерей результатов отправки только в B. Поэтому распределение, доставку формы и полноту данных проверяют отдельно.
Учебный расчёт: 6% и 7,5% — что именно изменилось
Зададим вымышленные итоговые числа для упражнения. В каждой группе по 200 устойчиво распознанных участников; условия включения одинаковы, данные полные, семисуточное окно каждого участника завершилось. У 12 участников A и 15 участников B получен хотя бы один запрос. Это арифметический пример, а не обоснование достаточного объёма теста.
| Вариант | Все включённые участники | Участники с полученным запросом | Доля |
|---|---|---|---|
| A — исходная форма | 200 | 12 | 12 / 200 = 6% |
| B — форма с пояснением | 200 | 15 | 15 / 200 = 7,5% |
Абсолютная разница составляет 7,5% − 6% = 1,5 процентного пункта. Относительная разница по отношению к A: (7,5% − 6%) / 6% × 100% = 25%. Формулировки «на 1,5 процентного пункта» и «на 25% относительно A» описывают один расчёт разными способами. «Плюс 25 процентных пунктов» здесь будет ошибкой.
В таблице у B на три участника с запросом больше. Это наблюдаемая разница, а не доказательство трёх дополнительных клиентов, созданных именно текстом. В упражнении нет данных об оплатах, и статистическая оценка неопределённости по этим числам не выполняется.
Отчёт о реальном тесте должен содержать не только две доли, но и оценку разницы с неопределённостью по заранее выбранному методу. Попросите аналитика объяснить, какие улучшения и ухудшения остаются совместимыми с данными и что это означает для решения. Один зелёный значок не заменяет такого объяснения.
Если используется p-value, его нельзя читать как вероятность того, что B лучше A. Американская статистическая ассоциация подчёркивает, что p-value не сообщает вероятность истинности гипотезы и не измеряет величину или практическую важность эффекта. Решение нельзя сводить к прохождению одного порога.
Разделите наблюдение за поломками и выбор победителя
Пока тест работает, нужно следить за ошибками и потерями данных. Но завершать обычный тест при первом удобном сигнале статистической значимости нельзя без соответствующего статистического плана. Повторные проверки результата и ранняя остановка должны учитываться используемым методом.
Microsoft прямо разделяет раннее наблюдение за проблемами и требования к достоверности промежуточных выводов. Если выбран анализ с фиксированным планом, придерживайтесь согласованных условий завершения. Если платформа использует последовательный метод, выясните его правила и ограничения; не переносите его разрешения на обычную таблицу с ежедневным пересчётом.
Заранее назначьте сотрудника, который может остановить тест при подтверждённой неисправности. Например, если вариант B перестал передавать обращения, верните работоспособное состояние и сохраните причину остановки. Это решение по качеству работы сайта, а не объявление A статистическим победителем.
Не продлевайте тест снова и снова только потому, что желаемый вариант ещё не выиграл. Решение об изменении плана, его основания и последствия для анализа должны быть зафиксированы. Иначе команда выбирает момент, когда случайное колебание выглядит убедительнее.
Запишите правило решения до просмотра итогов
Помимо основной метрики, определите защитные показатели: что не должно неприемлемо ухудшиться. Для формы это могут быть частота ошибок и возможность получить обращение; для страницы — работоспособность важных действий. Пределы и способ оценки согласуют под конкретную задачу.
| Состояние | Что означает | Следующее действие |
|---|---|---|
| Данные непригодны для вывода | Нарушено распределение, измерение или сопоставимость вариантов | Разобраться в причине; не объявлять победителя по повреждённым данным |
| Результат остаётся неопределённым | Выбранный анализ не даёт достаточного основания для нужного решения | Зафиксировать неопределённость и пересмотреть следующую проверку |
| Улучшение подтверждено по плану | Есть обоснование полезного эффекта; защитные показатели приемлемы | Согласовать внедрение, ответственного и последующий контроль |
| Обнаружено существенное ухудшение | Изменение не отвечает согласованным условиям | Сохранить или вернуть приемлемую версию и исследовать причину |
Неопределённый результат не равен доказанному отсутствию эффекта. Возможно, данных недостаточно для различия важного для бизнеса размера. А небольшой статистически различимый эффект может не оправдывать стоимость поддержки. Эти вопросы нужно рассматривать вместе, сохраняя определения метрик.
Не ищите победу только в удобном сегменте после того, как общий результат оказался слабым. Неожиданное отличие на одном устройстве может подсказать новую гипотезу. Отметьте исследовательский характер находки и отдельно проверьте её, учитывая множественные сравнения.
Для учебной таблицы честная запись выглядит так: «Наблюдаемая доля составляет 6% в A и 7,5% в B; разница — 1,5 процентного пункта, или 25% относительно A. Выполнен только арифметический расчёт. Причинный рост и решение о внедрении по этому упражнению не установлены».
Сохраните план, результаты и следующий шаг
До запуска соберите одну карточку: основание гипотезы, точное изменение, аудитория, единица распределения, метрика, окно результата, расчёт объёма, метод анализа, защитные показатели и правила остановки. Добавьте владельца задачи и способ вернуться к работоспособной версии.
После завершения приложите версии страниц, даты, фактический состав групп, замечания к данным, расчёты и принятое решение. Сохраните и неудобный результат. История гипотез помогает не запускать тот же вариант повторно под новым названием и отличать проверенное решение от предпочтения команды.
Если новый вариант принят, проверьте его после размещения для всей согласованной аудитории. Уберите завершённый эксперимент по плану, убедитесь в работе формы и оставьте обычное наблюдение за результатами. Итоги одного периода не обещают неизменный эффект при любом будущем трафике.
Salestudia — агентство цифрового маркетинга из Idstein, Германия — помогает искать препятствия на пути к заявке и готовить гипотезы повышения конверсии сайта. Работа может включать анализ данных, варианты текстов и макетов, план и условия эксперимента. Ответственного за внедрение согласуют отдельно; статистически подтверждённый рост не обещают заранее.
Для обсуждения подготовьте адрес страницы, описание затруднения и доступные данные о полученных обращениях. Это позволит определить, нужен ли A/B-тест сейчас и какой вопрос реально можно проверить при имеющемся потоке посетителей.
Официальные и профильные ссылки
Эти материалы дают контекст для данных, правил и рекомендаций на странице.
- GOV.UK — A/B and multivariate testing Источник проверен: 27.10.2026
- Microsoft Research — подготовка эксперимента Источник проверен: 27.10.2026
- Microsoft Research — Sample Ratio Mismatch Источник проверен: 27.10.2026
- Microsoft Research — наблюдение во время эксперимента Источник проверен: 27.10.2026
- ASA — статистическая значимость и p-value, PDF Источник проверен: 27.10.2026
- GOV.UK — измерение результата услуги Источник проверен: 27.10.2026
- NIST — выбор объёма выборки Источник проверен: 27.10.2026
Часто спрашивают
Ответы уточняют объём работ, роли, зависимости и способ оценки результата.
Можно ли сравнить старую страницу за прошлый месяц с новой за текущий?
Такое наблюдение полезно для описания изменений, но само по себе не является одновременным рандомизированным A/B-тестом. Между периодами могли измениться спрос, реклама и аудитория.
Сколько посетителей нужно для A/B-теста?
Число зависит от исходной частоты результата, важного для задачи эффекта, выбранного метода и требований к чувствительности. Учебные 200 участников на вариант в статье не являются рекомендованным минимумом.
Рост с 6% до 7,5% — это плюс 25%?
Относительно исходных 6% — да. Абсолютная разница составляет 1,5 процентного пункта. Этот арифметический расчёт отдельно не доказывает причинный эффект изменения.
Нужно ли ждать завершения теста, если новая форма сломалась?
Нет. Примените согласованное правило аварийной остановки, восстановите рабочее состояние и сохраните причину. Исправление поломки не требует объявления статистического победителя.
Если победителя нет, тест оказался бесполезным?
Не обязательно. Результат может показать, что данных недостаточно для нужного решения или что первоначальную гипотезу стоит пересмотреть. Неопределённость нужно сохранить в выводе, а не заменять обещанием роста.
Удобнее написать напрямую?
Коротко укажите компанию, рынок и задачу — так разговор будет предметнее.