Парсер
Программа, которая обходит сайт и извлекает из страниц данные: цены, описания, характеристики, контакты.
Разница между парсером и покупателем не в том, какие страницы открыты, а в том, в каком порядке и с какой скоростью. Живой покупатель посмотрит пару-тройку товаров и закроет вкладку. Программа обходит каталог подряд, страницу за страницей, не трогая ни картинок, ни стилей.
Самое частое применение — мониторинг цен конкурентами. Второе по частоте — копирование каталога целиком на чужой сайт.
Заметить парсер в логах несложно: высокий темп, последовательные адреса
вида ?page=1, ?page=2, отсутствие сопутствующих запросов за
картинками и шрифтами, часто отсутствие заголовка Referer.
Сложнее отличить его от поискового робота, который ведёт себя похоже. Здесь помогает только проверка принадлежности адреса обратным DNS: настоящий робот резолвится в зону своего оператора.
Смежные термины
Подробнее в блоге
- Семь ошибок при настройке защиты от ботов Каждая из них выглядит разумно в момент настройки и обнаруживается спустя недели, когда убытки уже посчитаны.
- Как посчитать долю ботов на своём сайте Средние цифры по рынку бесполезны: доля ботов зависит от тематики и от того, кому вы интересны. Как получить свою цифру, а не среднюю по рынку.
- Защита интернет-магазина от ботов: что настроить в первую очередь У магазина больше уязвимых мест, чем у обычного сайта, и больше того, что нельзя ломать. Порядок настройки — шаг за шагом.