Странные запросы к веб-серверу

Question

У меня есть VPS под управлением Nginx, который в настоящее время обслуживает только статическое содержимое.

Однажды я посмотрел журнал и заметил несколько странных запросов:

216.244.66.239 - - [03/Jan/2019:15:04:26 +0100] "GET /en/profile/Souxy HTTP/1.1" 200 4650 "-" "Mozilla/5.0 (compatible; DotBot/1.1; http://www.opensiteexplorer.org/dotbot, help@moz.com)"
216.244.66.239 - - [03/Jan/2019:15:04:28 +0100] "GET /en/view/8gIi2vad8Y HTTP/1.1" 200 4650 "-" "Mozilla/5.0 (compatible; DotBot/1.1; http://www.opensiteexplorer.org/dotbot, help@moz.com)"

Answer 1

это гусеничный.По этой ссылке есть дескрипт https://moz.com/help/moz-procedures/crawlers/dotbot. Возможно, он индексирует ваш сайт.

Вы можете заблокировать эти запросы на брандмауэре или добавить файл robots.txt с содержимым

User-agent: dotbot
Disallow: /