https://developers.google.com/+/web/snippet/ Это бот-краулер

Question

Я вижу значительный трафик c, исходящий от этого бота, когда мы отправляем SMS пользователям. Я пытаюсь получить более подробную информацию об этом боте. Любые указатели, описывающие, что он делает, насколько это важно, и можем ли мы заблокировать это, будут оценены. Полный пользовательский агент:

Mozilla / 5.0 (X11; Linux x86_64) AppleWebKit / 537.36 (K HTML, как Gecko) Chrome / 56.0.2924.87 Safari / 537.36 Google (+ https://developers.google.com/+/web/snippet/)

Answer 1

SMS-приложение Google на Android использует этот пользовательский агент при сканировании общего URL-адреса для создания предварительного просмотра внутри чата. Обычно это хорошо, потому что ваши клиенты будут видеть изображение предварительного просмотра и заголовок страницы, а не просто ссылку. Поэтому я бы не рекомендовал его блокировать.

Answer 2

Вы можете заблокировать ботов Google в конфигурации nginx. Внутри раздела server {} добавьте следующее:

if ($http_user_agent ~* "developers\.google\.com/\+/web/snippet") {
    return 403;
}