Кого мы не трогаем никогда

Поисковые роботы

Включено по умолчанию. Яндекс, Google и другие проходят всегда — но только после проверки обратным DNS. Тот, кто просто написал в User-Agent «Googlebot», проверку не пройдёт, и для него это, наоборот, станет сильным доводом против.

Выключать не стоит. Заблокированный поисковый робот означает, что страницы начнут выпадать из выдачи в течение нескольких недель, а вернуть позиции намного дольше, чем потерять.

Мониторинги и вебхуки

Включено по умолчанию. Сюда попадают уведомления об оплате от платёжных систем и сервисы контроля доступности. Заблокированный вебхук означает, что заказ оплачен, а вы об этом не узнали.

Краулеры соцсетей

Включено по умолчанию. Telegram, VK, WhatsApp тянут картинку и описание для превью ссылок. Если их заблокировать, ссылки на ваш сайт станут выглядеть как голый адрес.

Проверить их обратным DNS нельзя — они ходят из облаков. Поэтому им выдан бюджет запросов: настоящему краулеру его хватает с большим запасом, а парсер, прикрывшийся его именем, упрётся в потолок и дальше пойдёт по общим правилам.

Мобильный интернет и общие сети

Это не настройка, а свойство движка, которое нельзя отключить. Адреса операторского NAT — те, за которыми через одну точку выходят тысячи абонентов мобильной связи, — не блокируются жёстко никогда. Максимум, что им грозит, — проверка.

Иначе одна блокировка выключала бы сайт для целого города.

Ваши списки

Адреса и пути в белом списке проходят всегда, что бы движок ни думал. Пути поддерживают звёздочку в конце: /api/*.

Это удобно для вебхуков собственных систем и для адресов офиса.