Простой ответ: нет.
Вы можете посмотреть на заголовки пользовательских агентов, которые в зависимости от скребка могут показать его и сделать очевидным, однако ничто не мешает мне (или кому-либо еще) сделать пользовательский агентэто идентично обычному браузеру.Клиент, будь то браузер или скрипт, написанный программистом.
Вы можете попробовать белый список, блокируя все, что не на нем, но тогда вы быстро закончите тем, что заблокируете любой не основной браузер, а неОтметим, что вы также можете легко начать блокировать новые версии основных браузеров.Это потребовало бы постоянного обновления и обслуживания, и все еще было бы очень легко обойти.
Черный список просто не работал бы, поскольку вы не можете предсказать, какой пользовательский агент разработчик может "сказать" скребку использовать.
Теперь теоретически вы можете анализировать поведение пользователя и принимать решения на его основе.Однако это потребует приличного объема работы и может очень легко стать помехой для легитимного трафика, в то время как это, скорее всего, не сработает против приличного скребка.