Сплит-тесты в SEO — относительно новый подход. Мы знакомы с тестированием при оптимизации конверсии. Использование этого подхода в SEO — логичный следующий шаг, если вам нужна уверенность, что усилия приведут необходимый трафик на сайт.
В Distilled у нас есть особый инструмент для A/B-тестирования в SEO. Последние три года мы использовали его для тестирования гипотез поисковой оптимизации. За это время мы поняли, как лучше всего такие тестирования проводить.
В этом посте я расскажу о том, как проводить такие тесты, и приведу 5 ошибок, с которыми мы сталкивались.
Что такое сплит-тестирование в SEO
Давайте представим обычный сайт. На нем есть две простые категории — животные и страны. Есть 8 страниц подкатегорий — кошки, собаки, Шотландия и т. д:
- все страницы в подкатегории животных сделаны по одному шаблону;
- страницы со странами — по другому шаблону.
Это важно понять, потому что сплит-тестирование основывается на концепции тестирования изменения шаблонов страниц. Группу страниц, которая использует один и тот же шаблон, можно использовать для сплит-тестирования.
В приведенном выше примере с подкатегорией животных видим, что несмотря на разный контент, шаблон одинаковый. Они содержат:
- H1 вверху страницы;
- текстовый блок с описанием;
- картинку.
Мы можем протестировать такой шаблон.
Или шаблон для стран:
Но объединять два разных шаблона нельзя:
Пример эксперимента
Например, хотим протестировать новый шаблон страницы с животными — заменить изображение на видео и удалить вступительный текст из шаблона:
Чтобы тест был результативным, нам нужен набор неизменных страниц — контрольная группа. Группа страниц с новым дизайном — вариантная. Платформа ODN от Distilled использует сложную математику, чтобы решить, какие URL должны оставаться в шаблоне элемента управления, а какие — в шаблоне варианта страницы.
Для простоты в этом примере условимся, что адреса для шаблонов выбираем случайным образом.
В этом примере для тестирование выберем половину страниц. Можно сделать на большей или меньшей выборке. Во время эксперимента сайт будет выглядеть вот так:
Обратите внимание, что страницы /cats и /badgers теперь имеют новый шаблон, а страницы /dogs и /unicorns — тот же дизайн, что и был.
Результаты
На приведенном ниже графике показан органический трафик на страницы с кошками и барсуками в сравнении с трафиком на страницы про собак и единорогов.
Отметим, что сразу после начала теста результаты по трафику не изменились. Все дело во времени, которое нужно Google для сканирования. Чем больше страниц, тем больше времени нужно системе, чтобы заметить все изменения.
Со временем мы замечаем, что вариантные страницы начинают превосходит по трафику контрольные. Как только тестирование достигает статистической значимости, можно объявить тест успешным и развернуть изменения и на контрольную группу страниц.
Что делать с дополнительными факторами
Если правильно выбрать контрольную и вариантную группы страниц, делать ничего не надо. Мы оцениваем не тенденцию трафика, а разницу между посещаемостью контрольной и вариантной групп.
Если, например, будет тенденция к росту, то она будет сохраняться для обеих групп страниц. Вот пример эксперимента, который, несмотря на тенденцию к росту трафика, мы считаем неудачным. Все дело в том, что разница в трафике на группы страниц минимальна.
Да, посещаемость выросла, но тенденция к росту есть у обоих тестируемых вариантов страниц.
Распространенные ошибки в SEO-тестировании
1. Недостаточное время для тестирования
Как оптимизаторы, мы понимаем, что изменения влияют на ранжирование сайта. Когда мы проводим сплит-тест, это подтверждается данными. На графике ниже видно, для вариантных страниц (черный цвет) нужно 1-2 недели, чтобы можно было увидеть результат в сравнении с контрольной группой (синий цвет).
Поэтому не паникуйте, если тест запустили, а результатов не увидели. Просто еще не прошло достаточно времени.
Еще один фактор, который нужно иметь в виду: чем больше времени длится тестирование, тем больше статистическая достоверность данных. А значит, больше уверенности в результате, который вы видите.
Я уже вижу, как мастера по конверсии будут говорить: нужно строго определять время эксперимента, чтобы получить действительные результаты.
Да, для CRO это необходимо. Но в случае SEO мы используем байесовские статистические метода. Это значит, что тестирование продолжается, пока не достигает нужного уровня значимости, чтобы вы были уверены в полученных данных.
2. Тестирование страниц с недостаточным трафиком (или над которыми преобладает небольшое количество страниц)
Основываясь на собственном опыте, мы разработали эмпирическое правило: если страница получает меньше 1 000 визитов в день, измерить любое влияние в рамках сплит-теста очень трудно. Если у вас меньше трафика, то любой результат тестирования нельзя считать достоверным.
И наоборот. Чем больше трафика у вас есть, тем меньший подъем вы увидите в рамках теста. У нас, например, наименьший эффект, который удалось измерить на сайтах с высокой посещаемостью — всего несколько процентов.
Помимо нахождения разделов с достаточным количеством трафика, убедитесь, что он нормально распределен по большому количеству страниц. Если более половины органического трафика направляется на 3-4 страницы сайта, это значит, что тест уязвим к колебаниям производительности страниц, которые не участвуют в тестировании.
Это может привести к выводу, что изменения, которые вы тестируете, влияют на трафик. Но в действительности вы оцениваете нерелевантный фактор. А если трафик распределен равномерно по страницам, можно гарантировать, что колебания, характерные для каждой страницы, сравняются, т. е. любое изменение оказывает реальное влияние на ранжирование.
3. Произвольное создание страниц
Лучшая практика в CRO — случайное распределение пользователей по тестируемым группам. Так мы гарантируем, что группы пользователей будут идентичны друг другу.
Для разделов сайта с очень большим количеством страниц, где трафик хорошо распределен между ними, такой подход тоже может сработать. Но есть вероятность, что в выборке окажутся страницы, которые получают меньший трафик по сравнению с другими. Кроме того, могут быть страницы, которые зависят от других факторов — например, сезонности.
Чтобы обеспечить статистическое сходство контрольной и вариантной групп страниц, мы создаем их по правилам:
- примерно одинаковый уровень трафика;
- аналогичное распределение трафика между страницами внутри выборки;
- одинаковые тенденции в изменении трафика с течением времени;
- сходство в ряде других статистических показателей.
4. Использование JavaScript для сплит-тестов
Для многих сайтов вносить изменения — само по себе сложно. Еще труднее тестировать эти новшества. Это можно обойти, если использовать Google Tag Manager, который работает на основе JS.
Проблема в том, что страницы на основе JavaScript работают хуже, а Google не всегда принимает во внимание то, что написано при помощи JS. Для этого есть две причины:
- Процесс сканирования, индексации страниц — многоэтапный процесс. Как только поисковый бот обнаружил страницу, он индексирует контент в “сыром HTML”, затем следует задержка перед анализом контента, основанного на JS.
- Даже когда Googlebot обходит версию страницы на JavaScript, после 5 секунд он перестает обрабатывать любой JS-код. Большая часть скриптов выполняется более чем за 5 секунд, а значит, остается неучтенной поисковым роботом.
Это приводит к несогласованности в тестах. Например, мы поменяли формат тегов заголовков с помощью плагина на JS. Может получиться так, что только небольшое количество изменений заметит Google. Соответственно, вы будете пытаться тестировать то, чего нет.
5. Проведение тестов “до и после” вместо A/B
Обычно, когда люди говорит про тестирование в SEO, они подразумевают изменения отдельной страницы (или всего сайта) и последующее отслеживание изменения трафика. Это не сплит-тест. Если вы просто внесли изменение и увидели, что произошло с посещаемостью, анализ будет уязвим для любых внешних факторов, например:
- сезонность;
- апдейты алгоритма;
- активность конкурентов;
- изменение ссылочного профиля сайта;
- другие изменения, которые вы сделали за последнее время.
Поэтому используйте контрольную группу страниц, из которой вы сможете смоделировать ожидаемую производительность изменяемых страниц, и точно знать, что именно ваши изменения дали такой эффект.
