Как и в заголовке, каково максимальное значение, на которое может быть установлена задержка сканирования в файле robots.txt?
Я получаю очень мало обращений от bing, но bing потребляет гораздо больше ресурсов, чем Google на моем сервере.
Так что я вообще не хочу блокировать bing (потому что это нехорошо), но мне нужно ограничить доступ bing к моему серверу.
Я видел, как кто-то использовал задержку сканирования: 120, но потом я прочитал, что, возможно, bing понимает только задержку сканирования от 10 до 30.
Я выполнил несколько тестов на моем robots.txt, первоначально он, кажется, работает, но через некоторое время я начинаю получать много запросов от bing.
Я также пытался установить частоту сканирования в инструментах bing для веб-мастеров, но она не сильно изменилась.
То же самое, что я хотел бы сделать для Яндекса, я не могу получать 250000 обращений в день в обмен на десять посещений в месяц, но я не хочу полностью его блокировать.
Подводя итог, какие максимальные значения задержки сканирования можно использовать для bing и yandex?