Спам-рефереры и призрачный трафик: что это и как убрать

Вы открываете отчёт по источникам и видите переходы с сайтов, о которых никогда не слышали. Переходите — там реклама или мусор. Никакой ссылки на вас, разумеется, нет.

Это спам-рефереры.

Зачем это делают

Расчёт простой: владелец сайта увидит незнакомый источник, заинтересуется и зайдёт посмотреть. Массово, на десятки тысяч сайтов, это даёт трафик и иногда продажи.

Иногда цель другая: попасть в публичные отчёты о посещаемости, которые некоторые сайты выкладывают открыто, и получить ссылку.

Два вида

Обычный. Бот действительно заходит на ваш сайт, подставляя в заголовок Referer чужой адрес. Он реально нагружает сервер, и его видно в логах.

Призрачный. На сайт никто не заходил вовсе. Данные отправляются напрямую в систему статистики: злоумышленник подбирает идентификаторы счётчиков и шлёт им выдуманные визиты. В логах сервера таких обращений нет, а в отчётах они есть.

Различить просто: сопоставьте число визитов из подозрительного источника в статистике с числом запросов в логах. Если в логах пусто — призрак.

Что делать с обычными

Отсечь на уровне сайта. Такие боты редко утруждаются маскировкой: у них нет Accept-Language, они не грузят картинки, ходят по одной странице. Обычные признаки автоматики их ловят.

Не блокировать по домену реферера. Список бесконечен и меняется каждую неделю. Гоняться за ним бессмысленно.

Что делать с призрачными

Заблокировать их на сайте невозможно: на сайт они не заходят. Лечится это только на стороне статистики.

В Метрике: включить фильтрацию роботов, добавить фильтр по адресу сайта. Настройки счётчика позволяют принимать данные только с вашего домена.

В Google Analytics: аналогично, фильтр по имени хоста.

Ключевой приём один и тот же: проверять, что визит пришёл именно с вашего домена. Призрачный трафик подделывает что угодно, кроме этого, потому что не знает, как выглядит ваш сайт.

Почему это стоит внимания

Сами по себе спам-рефереры вредят немного: пара сотен визитов в месяц. Проблема в том, что они искажают источники, а по источникам распределяют бюджет.

И ещё: сайт, на котором завёлся спам-реферер, обычно интересен и другим автоматическим гостям. Спам-рефереры — часто первый заметный симптом того, что вас нашли.