На многих страницах моего сайта есть Google Street View (статическая версия).В результате Googlebot запускает и генерирует большую активность в моей учетной записи API Google, что обуславливает немалые расходы.
Я не хочу останавливать Google, размещая мой сайт или открывая мои собственные изображения, но я хочу как-тоопределить, что бот заходит на сайт, и каким-то образом закомментировать Streetview только для ботов.
Это:
User-agent: Googlebot-Image
Disallow: /images/image.jpg
в этом случае не будет работать, так как Googleвсе еще пауки, но просто не включают результат.