Есть заголовок: User-Agent
, и обычно с его помощью вы можете узнать, браузер это или бот, но ...
Сложность фальсификации этогозаголовок равен 0.
Поэтому, как вы показали, используются дополнительные методы проверки, например, Google.
Но ... Не все боты отображаются как боты.Например, Google имеет тенденцию проверять, отправляется ли другому боту другой контент.
В сумме: Вы можете сделать это, если знаете, что бот принимает его (например, для распространителя ссылок Facebook)