В 2017 году Google потратил около 3 млн долларов на исследования независимых экспертов. Их задачей был поиск уязвимостей во всех сервисах компании.
Том Энтони (Tom Anthony) — руководитель отдела исследований в Distilled Network — нашел эксплойт, который использовал один сайт. Этот ресурс подозрительно быстро поднялся в выдаче, воровал трафик с других. В итоге, портал быстро был проиндексирован поисковой системой, несмотря на высококонкурентные запросы в его СЯ.
Том рассказал, что в GSC он подменил карту сайта, доступную по специальному URL. Т. е. использовал вместо XML-карты своего ресурса файл другого, к которому он не имеет никакого отношения. Он нашел ресурс, на котором были разрешены открытые переадресации. Спарсил контент, который там был. А затем создал дубликат ресурса на тестовом сервере, включая структуру всех страниц и схему внутренней перелинковки. В Google он отправил карту своего сайта, в которой содержались URL выбранного ресурса с директивами hreflang, указывающими на те же адреса, которые теперь были на тестовом домене.
Взлом SERP
Через 48 часов тестовый сайт начал получать трафик. А через неделю сайт попал на первую страницу выдачи по конкурентному запросу. Кроме того, в GSC два домена были помечены как “связанные”. Чужой ресурс был перечислен как ссылающийся на тестовый:
Эта предполагаемая связь позволила Тому так же подменить другие XML-карты.
Почему это получилось
Открытые редиректы — не новая проблема. С 2009 года Google предупреждает вебмастеров о небезопасности. Нужно отметить, что открытая переадресация может использоваться не только для махинации с картами сайтов, но и для эффективного ранжирования совершенно нового портала, без всяких внешних ссылок, без рекламы. А в результате, новый домен может через три недели получить миллион заходов, 10 тыс. уникальных посетителей и 40 тыс. просмотров страниц — заходы были только из поисковой выдачи.
Проблема в представлении карты сайта в GSC. А еще в том, как быстро Google проиндексировал совершенно другой сайт, новый и ненадежный.
Я задала представителям Google несколько вопросов об уязвимости, качестве поисковой выдачи и участии специалистов в устранении проблем. А так же в наказании за подобное использование эксплойта — можно ли вообще отследить вебмастеров, которые воспользовались лазейкой.
“Когда нам сообщили о проблеме, мы уже работали в этом направлении. Конкретно такая уязвимость ранее не была известна. Нет оснований считать, что ею пользовались”.
На вопрос, каких следует ждать изменений в механизме валидации sitemap, работе Google Search Console и ранжировании сайтов, был получен ответ:
“Наша позиция не изменилась: вебмастерам рекомендуется использовать карту сайта, чтобы уведомлять систему о новых либо обновленных страницах сайта. Также новая поисковая консоль использует карту сайта, чтобы получить более узкую информацию о сайте для его индексации. Если карта сайта размещается вне вашего ресурса, для правильного ее использования важно, чтобы оба сайта были подтверждены из одной учетной записи Search Console”.
Я подробно обсудила эту проблему с Томом.
Обсуждаем наболевшее
Когда я спросила, зачем ему все это, Том ответил:
“Я считаю, что успешен тот SEO-специалист, который постоянно экспериментирует и старается понять, как все работает изнутри. Я никогда не использовал черные методы в работе. Для меня это был вызов — найти проблему, которая может использоваться недобросовестными оптимизаторами. Да и потом, это опыт, который я могу использовать для защиты сайтов от таких горе-спецов.
Исследование способов защиты — мое хобби. Вместо исследования всем привычных методов манипулирования выдачей, я решил найти реально неизученную уязвимость в системе”.
Черные методы часто используются, когда внезапно начинает проседать трафик из органической выдачи.
“Все компании — в том числе и Distilled — сталкивались с резкими спадами трафика из выдачи. Многие клиенты сразу говорят, что это — вина оптимизаторов. Но на деле это далеко не всегда так. Распространены атаки на сайт. Но если я начну спамить ссылками на ваш ресурс, вы это легко отследите и исправите. Но проблему манипулирования картой сайта выявить очень сложно. Злоумышленник “похитит” вашу авторитетность в глаза Google, а вы и не узнаете”.
“Моя работа разделилась на два направления. Одно было посвящено открытым редиректам. Они — брешь в стене, которую могут использовать при черном SEO конкурентные ресурсы. Второе направление — попытки заставить ошибиться бота Google”.
Делаем выводы
Как только Том понял, какой ущерб может быть нанесен сайтам, он сразу написал в службу поддержки Google. Метод был ранее неизвестен, но оказался вполне применимым на практике.
“Было бы ужасно, если этой уязвимостью успели воспользоваться. Ее очень сложно отследить. Ресурсу не был бы нанесен ущерб напрямую, если его траст использовался для продвижения в другой стране. Жертвами становятся законные компании, которых внезапно обошел конкурент без видимых оснований. Они даже не смогут понять, почему его сайт вдруг начал настолько хорошо ранжироваться”.
Как было отмечено выше, в Google не считают, что уязвимость кем-то была использована. Но из ответа не ясно, имеются ли вообще данные, которые позволяют найти файлы, используемые для такого мошенничества.
Я попросила рассказать, как же избежать такой проблемы.
“Я пытался понять, насколько сильно сайт злоумышленника должен быть похож на оригинал — в первую очередь имею в виду ссылочный профиль и контент. Я провел несколько экспериментов, чтобы как-то численно измерить отличия. Требуется ли полностью идентичная структура дочернего сайта? Насколько похожим должен быть контент? Могу ли я использовать другие языки в той стране, где зарегистрирован сайт жертвы? В моем случае, думаю, я вполне мог добиться того, что меня не заметили бы”.
“Если бы я не рассказал об этом, думаю, мог использовать такой хак не один год. Если бы вы начали обманывать людей, то все было открылось. Но если бы вы пользовались этой уязвимостью только для продвижения своих или клиентских проектов, то вряд ли бы вас поймали за руку”.
Посмотрите на скриншот ниже. Он показывает, что даже недолгосрочный трафик на тестовый ресурс оказался ценнее, чем тот, который шел на обычный сайт. Это заставляет задуматься, поняли ли в команде Google всю опасность обнаруженного эксплойта.
Но мотивация Тома — почему он сразу и сообщил о баге — основывалась на исследовательской деятельности. Будем честны, это помогло оптимизаторскому сообществу.
Исследование таких проблем — это приобретение нового опыта, обучение, а не использование багов в корыстных целях. Да, иногда мы жалуемся на работу Google. Но для конечного потребителя он предоставляет отличный сервис. И в этом помогают оптимизаторы. Они же понимают, в чем нуждается простой пользователь. Программа поощрения людей, нашедших баги — хороший стимул, чтобы искать, выявлять и сообщать об уязвимостях. А получить награду за такое исследование — тоже приятно.
