Как я могу предотвратить нерегулярное засорение Bing моего сайта трафиком?

Question

Bingbot будет каждый день по несколько часов попадать на мой сайт, а в остальное время будет очень легким.

Я бы хотел сгладить сканирование, уменьшить ограничение скорости или полностью заблокировать его.На самом деле он не отправляет через реальных посетителей.

Есть ли способ, которым я могу сгладить его сканирование или ограничить скорость?

Answer 1

Их блог для веб-мастеров говорит, что они поддерживают добавление параметра задержки сканирования в ваш файл robots.txt, чтобы ограничить действия бингбота.

User-agent: msnbot
Crawl-delay: 1

В * есть немного больше объяснений1006 * FAQ для веб-мастеров PDF

Эти другие ссылки также могут быть полезны:
http://www.bing.com/toolbox/webmasters
http://www.bing.com/community/webmaster/f/12252/t/651373.aspx

Answer 2

Вы можете ограничить количество соединений от сканера до f.i. 5, настроив IPTables следующим образом (требуется root-доступ к брандмауэру):

Статья на 2bits.com

настройка IPTables: iptables -I INPUT -p tcp -m connlimit --connlimit-выше 5 -j ОТКЛОНИТЬ

Это ограничивает количество соединений с каждого IP-адреса не более чем 5 одновременными соединениями. Этот тип «рационирует» соединения и не позволяет сканерам одновременно посещать сайт.

Answer 3

Вы можете забанить его IP используя HTACCESS.

order allow,deny
deny from 192.168.44.201
deny from 224.39.163.12
deny from 172.16.7.92
allow from all

Подробнее об этом вы можете прочитать здесь: Блог о блокировке ботов