Как запретить Googlebot перегружать сайт?

Question

Я управляю сайтом с большим количеством контента, но небольшим трафиком, на выделенном сервере в середине пути.

Иногда Googlebot пугает нас, в результате чего Apache максимально использует свою память и приводит к сбою сервера.

Как мне этого избежать?

Answer 1

Вы можете настроить сканирование своего сайта с помощью инструментов Google для веб-мастеров. В частности, посмотрите на эту страницу: Изменение скорости сканирования Google

Вы также можете ограничить страницы, которые ищет робот Google, используя файл robots.txt. Существует настройка, доступная для crawl-delay, но, похоже, она не соблюдается от Google.

Answer 2

• Зарегистрируйтесь в инструментах Google для веб-мастеров, подтвердите свой сайт и отключите бот Google
• отправить карту сайта
• прочитайте google guildelines: (if-Modified-Since HTTP header)
• используйте robot.txt , чтобы ограничить доступ бота к некоторым частям сайта
• создайте скрипт, который изменяет robot.txt каждый $ [период времени], чтобы убедиться, что бот никогда не сможет сканировать слишком много страниц одновременно, и при этом убедиться, что он может сканировать весь контент в целом

Answer 3

Обратите внимание, что вы можете установить скорость сканирования с помощью Инструментов Google для веб-мастеров (в разделе "Настройки сайта"), но они действуют только в течение шести месяцев! Таким образом, вы должны войти в систему каждые шесть месяцев, чтобы установить его снова.

Этот параметр был изменен в Google. Настройка сохраняется только в течение 90 дней (3 месяца, а не 6).

Answer 4

Зарегистрируйте свой сайт с помощью Инструментов Google для веб-мастеров, которые позволяют указать, как часто и сколько запросов в секунду робот Google должен пытаться проиндексировать на вашем сайте. Инструменты Google для веб-мастеров также могут помочь вам создать файл robots.txt, чтобы уменьшить нагрузку на ваш сайт

Answer 5

Чтобы ограничить скорость сканирования:

• На домашней странице консоли поиска выберите нужный сайт.

• Щелкните значок шестеренки «Настройки», затем нажмите «Настройки сайта».

• В разделе Скорость сканирования выберите нужный параметр, а затем ограничьте требуемую скорость сканирования.

Новая скорость сканирования будет действительна в течение 90 дней.

Answer 6

Вы можете настроить скорость сканирования в инструментах Google для веб-мастеров.