User-Agent
Заголовок запроса, в котором клиент сообщает, кто он: браузер, робот или библиотека. Подделывается одной строкой кода.
Строка вроде Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) Chrome/131.0.0.0
или python-requests/2.31.0. Клиент присылает её сам.
Именно поэтому доверять ей нельзя ни в одну сторону.
Строка Googlebot в User-Agent не означает, что перед вами Google:
подделать её — вопрос одной строки кода, и приём этот стар как сам
интернет. Проверять принадлежность нужно обратным DNS.
Обратное тоже верно: python-requests в User-Agent не всегда враг.
Так ходят самописные интеграции, которые владелец сайта подключил сам
и забыл.
Полезен User-Agent другим: несоответствиями. Свежий Chrome, не приславший ни одного заголовка Sec-Fetch. Заявленный iPhone с отпечатком графики от Linux. Такие противоречия подделывающие обычно не замечают.
Смежные термины
Подробнее в блоге
- Семь ошибок при настройке защиты от ботов Каждая из них выглядит разумно в момент настройки и обнаруживается спустя недели, когда убытки уже посчитаны.
- Как посчитать долю ботов на своём сайте Средние цифры по рынку бесполезны: доля ботов зависит от тематики и от того, кому вы интересны. Как получить свою цифру, а не среднюю по рынку.
- Сайт под атакой ботов: что делать прямо сейчас Короткая инструкция для ситуации, когда разбираться некогда: сайт тормозит или лёг, и подозрение на ботов.