Использование .htaccess для блокировки Googlebot от URL-адресов, заканчивающихся 4-6 цифрами, REGEX?

Question

Как мы можем написать .htaccess, чтобы заблокировать доступ Googlebot UA к URL-адресам, заканчивающимся косой чертой, за которыми следуют 4-6 цифр?

Мы тратим большую часть нашего бюджета на сканирование роботом Googlebot, потому что он сканирует "страницы без индекса.

Планируется использовать .htaccess для блокировки UA от URL, заканчивающихся косой чертой, за которыми следуют 4-6 цифр.

Пример:

https://example.com/folder/folder/12563
https://example.com/folder/folder/125637
https://example.com/folder/folder/1563

Я думаю, что REGEX выглядит примерно так:

\/\d{4,6}$

Но как мне настроить .htaccesss и только для определенного UA (googlebot)?

Спасибо!

Answer 1

Вы можете использовать это:

RewriteEngine on

RewriteCond ℅{HTTP_USER_AGENT} googlebot [NC]
RewriteRule /\d{4,6}$ - [F,L]

Это вернет Forbidden HTTP 403 error для googlebot, если они попытаются получить доступ к ограниченным URL-адресам на вашем сервере.