Привет Я недавно получил супер высокие пики в использовании процессора Apache, использовании памяти Apache и использовании памяти MySQL. Оказывается, сканеры очень агрессивно обращались к моему сайту, особенно к Facebook. Я попытался добавить задержку сканирования для сканера facebook в файл robot.txt, как показано ниже:
User-agent: Facebot
Disallow:
Crawl-delay: 5
но я все еще вижу высокие пики использования. Это из-за неверного кода или есть лучший способ остановить сканеры, использующие так много ресурсов моего сервера?
Любая помощь очень ценится.