Обычно у вас есть http-заголовок под названием User-Agent, где (честные) боты должны сказать серверу «эй, я бот», конечно, есть сканеры и боты, которые не идентифицируют себя как ботов, но тете, кого мы пытаемся поймать.Используя много разных методов.Какие именно методы используются в вашей цели, может ответить только системный администратор, отвечающий за эту цель.
Я бы пошел честным путем и назвал себя ботом, но я бы проверил файл robots.txtза ограничение скорости сканирования и соблюдайте его.
Честные боты обычно не проблема, нечестные боты.