Как настроить брандмауэр Cloudflare для блокировки поддельных ботов Google - PullRequest
Новая
       65

Как настроить брандмауэр Cloudflare для блокировки поддельных ботов Google

1 голос
/ 09 апреля 2019

Я знаю, что эти ip - это поддельные боты Google, и я бы хотел их заблокировать.Ip не статичен, поэтому я бы хотел заблокировать диапазон в Cloudflare.

Однако это не работает.Вот пример журнала поддельного бота Google: https://gyazo.com/f4bd7182923c6caa92cf95a7f84116cd

Вот IP-адреса поддельных ботов: 

162.158.74.61
162.158.74.175
162.158.75.188
162.158.75.68
162.158.75.230
162.158.75.242
162.158.75.26
162.158.74.205
172.68.58.213
172.68.58.141
172.68.58.21
172.68.59.40
172.68.59.184
108.162.216.176
108.162.216.248
108.162.216.92

Вот моя текущая конфигурация Cloudflare: https://gyazo.com/91af7d0964621c95d5cc5a462724cb9a

Есть идеи, как это сделать?

Ответы [ 2 ]

0 голосов
/ 09 апреля 2019

Добавить к /etc/nginx/nginx.conf в блоке http: 

geo $fakebotip {
    default 0;
    108.162.0.0/16 1;
    141.101.0.0/16 1;
    162.158.0.0/16 1;
    172.68.0.0/16 1;
    172.69.0.0/16 1;
}

А затем к /etc/nginx/sites-available/your-site.pl: 

if ($fakebotip = 1) {
    set $naughtyBot A;
}
if ($http_user_agent ~ (Googlebot|SemrushBot|AhrefsBot|bingbot|Qwantify|YandexBot|YandexImages|DotBot|linkfluence|Mediatoolkitbot|BoardReader) ) {
    set $naughtyBot "${naughtyBot}B";
}
if ($naughtyBot = AB) {
    return 404;
}

Проверить конфигурацию nginx: sudo nginx -t

Если все хорошо, перезагрузите nginx: sudo systemctl reload nginx

0 голосов
/ 09 апреля 2019

Вы можете заблокировать всех ботов через robots.txt и поставив этот 

User-agent: * 
Disallow: /

Он заблокирует всех ботов, просматривающих ваш сайт

Также, если вы хотите, чтобы бот, например, googlebot поставил это 

User-agent: Googlebot
Allow: /
...