Я использую этот фильтр fail2ban (apache -badbots) на моем сервере Ubuntu 18.04, и он работает.
[Definition]
badbotscustom = Yandex|opensiteexplorer|Nimbostratus|Seekport|CheckMarkNetwork|GuzzleHttp|semantic-visions|SJUUPBot|Linespider/1\.1|DomainStatsBot/1\.0|netEstate|SEOkicks|MQQBrowser|LieBaoFast|Mb2345Browser|zh-CN|python-requests|LinkpadBot|MegaIndex|Buck|SemrushBot|SeznamBot|JobboerseBot|AhrefsBot|AhrefsBot/6\.1|MJ12bot|domaincrawler\.com|SemrushBot|cortex|Cliqzbot|Baiduspider|serpstatbot|Go 1\.1 package http|Python-urllib|StormCrawler|archive\.org_bot|CCBot|BLEXBot|ltx71|DotBot|EmailCollector|WebEMailExtrac|Track$
badbots = Atomic_Email_Hunter/4\.0|atSpider/1\.0|autoemailspider|bwh3_user_agent|China Local Browse 2\.6|ContactBot/0\.2|ContentSmartz|DataCha0s/2\.0|DBrowse 1\.4b|DBrow$
failregex = ^<HOST> -.*"(GET|POST|HEAD).*HTTP.*"(?:%(badbots)s|%(badbotscustom)s)"$
ignoreregex =
datepattern = ^[^\[]*\[({DATE})
{^LN-BEG}
Я скопировал тот же фильтр на новый сервер Centos 8, и нет способ заблокировать DotBot например.
1859 Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
2358 Mozilla/5.0 (compatible; DotBot/1.1; http://www.opensiteexplorer.org/dotbot, help@moz.com)
13378 Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
Почему? Каковы различия между Ubuntu и Centos?
в моем файле jail.local, у меня есть это:
[apache-badbots]
enabled = true
port = http,https
logpath = /var/log/httpd/access.log
maxretry = 1