Можно ли заставить fail2ban игнорировать гугл? - PullRequest
Новая
       48

Можно ли заставить fail2ban игнорировать гугл?

2 голосов
/ 11 марта 2020

Мне нужно использовать fail2ban из-за множества попыток атаки на моем сервере, у меня также есть фильтры, которые мне пришлось активировать / создать, чтобы блокировать попытки атаки.

Но теперь я почти уверен, что какой-то ip google попадает в тюрьму моего fail2ban ...

Я добавил несколько ip в директиву ignoreip в файле jail.local, но это только те, которые мне удалось идентифицировать как настоящий google ip в моем доступе .log (у меня также есть много поддельных Google)

Было бы неплохо иметь возможность дать список ip, чтобы игнорировать fail2ban, но Google не выпускает свой список ip, Google говорит: https://support.google.com/webmasters/answer/80553?hl=en

Таким образом, вопрос заключается в следующем: можно ли сделать обратный DNS, чтобы понять, принадлежит ли ip к google и сказать fail2ban игнорировать его?

Можно ли это сделать через fail2ban? Вам нужен какой-нибудь внешний скрипт? Может ли он быть слишком тяжелым, длинным и утомительным для сервера?

Ответы [ 2 ]

1 голос
/ 19 марта 2020

да, вы можете идентифицировать ботов Google, используя обратный поиск IP. все роботы-сканеры оканчиваются на xxxxxx.google.com или xxxxxxx.googlebot.com 

for e.g. crawl-203-208-60-1.googlebot.com

, но в fail2ban невозможно определить, но вы можете внести IP-адрес в белый список, если знаете, что это робот Google. .

Есть много способов выполнить просмотр обратного IP.

Вы можете использовать Python, Ruby или bash, чтобы узнать. проверьте следующую статью.

http://searchsignals.com/tutorials/reverse-dns-lookup/

существуют веб-сайты, которые могут найти вам обратный поиск IP.

https://dnschecker.org/reverse-dns.php

http://reverseip.domaintools.com/

Если вы можете кодировать в python, вы легко сбросите данные обратного IP в файл из списка IP-адресов.

0 голосов
/ 11 марта 2020

У Google действительно есть страница о проверке адресов GoogleBot путем обратного просмотра IP-адреса и проверки того, что он идет с заданного c имени хоста (тогда вы получите IP этого адреса хост, чтобы перепроверить, он возвращается к соответствующему исходному IP).

Существуют также записи DNS TXT, которые определяют диапазоны IP для SPF (электронные письма), Google Compute Cloud и более широкие IP-адреса Google, которые могут использоваться (многие из которых будут использоваться виртуальными машинами пользователей GCP и другими службами).

  • dig @8.8.8.8 +short TXT _spf.google.com
  • dig @8.8.8.8 +short TXT _cloud-netblocks.google.com
  • dig @8.8.8.8 +short TXT _cloud-netblocks.googleusercontent.com

Первый запрос вернет что-то вроде этого:

"v=spf1 include:_netblocks.google.com include:_netblocks2.google.com include:_netblocks3.google.com ~all"

И затем вы проанализируете его, чтобы получить диапазоны IP-адресов, или выполните вспомогательный запрос. запрос к include:_netblocks.google.com et c для получения других наборов.

Информация, содержащаяся в этих записях, не является фиксированной и может регулярно изменяться. (AWS публикует, например, файл. JSON с несколькими обновлениями в неделю).

Я работаю над системой автоматического обнаружения «лежащих пользовательских агентов», с этими и некоторыми другими методы.

...