Моя cPanel AWStats показывает огромный трафик ботов на моем сайте.Это часто приводило к переизбытку ресурсов и становлению сайта недоступным.
Отчет о посетителях роботов / пауков (25 лучших) выглядит следующим образом:
Неизвестный робот (идентифицируется как «бот», за которым следует пробел или один из следующих символов _ +:,.; / -)
Googlebot
Неизвестный робот (идентифицируется как «робот») Googlebot-Image Неизвестный робот (определяется по попаданию в «robots.txt») Сценарий PHP Неизвестный робот (определяется по пустой строке пользовательского агента)
Bing Preview bot
Google Web Preview
Неизвестный робот (идентифицируемый 'bot', которому предшествует пробел или один из следующих символов _ +:,.; / -)
Неизвестный робот (идентифицированныйот 'crawl')
Netcraft
Можно ли заблокировать ВСЕ боты, кроме:
- Googlebot
- Googlebot-Image
- Google Web Preview
В частности, меня беспокоят неизвестные боты, которые идентифицируются ботом, роботом, сканером и т. Д.
Учитывая, что большинство вредоносных ботов на самом деле не заботятся о robots.txtЯ прошу решения .htaccess.Пока что все, что я нашел, - это способы блокировать / заносить в список определенные боты, а не этот обратный подход - блокировать всех ботов и вносить их в белый список.
То, что скажет, заблокирует все запросы от пользовательских агентов, у которых в имени есть бот, паук, робот или сканер, за исключением, например, Googlebot и Googlebot-Image.