Файл robots.txt перезаписывается / вводится из внешнего источника?

Question

У нас есть пара сайтов Wordpress с этой же проблемой. Похоже, у них есть файл "robots.txt" со следующим содержимым:

User-Agent: *
Crawl-Delay: 300
User-Agent: MJ12bot
Disallow: /
User-agent: MegaIndex.ru
Disallow: /
User-agent: megaindex.com
Disallow: /

Мы абсолютно не знаем, откуда этот файл robots.txt.

Мы смотрели и определенно нет файла "robots.txt" в папке public_ html root или в любой подпапке, которую мы видим.

Мы деактивировали каждый плагин на сайте и даже изменили темы, но файл robots.txt остается точно таким же. Кажется, что он каким-то образом внедряется в сайт из внешнего источника!

Мы были уверены, что это не может быть получено из Google Tag Manager.

Просто интересно, кто-нибудь случается так, что распознает вышеуказанное содержимое robots.txt и знает, как оно существует на наших сайтах ???

Answer 1

Оказывается, это был общий файл c robots.txt, который администратор нашего сервера настроил для внедрения в каждый сайт на нашем сервере, чтобы предотвратить атаку и перегрузку нашего сервера этими конкретными ботами (которые у нас были проблемы с).

Answer 2

У вас есть несколько возможностей.

Некоторые плагины безопасности (WordFence, iTheme et c) фактически добавляют файлы на ваш сайт. Эти файлы обычно не исчезают, когда вы просто «отключаете» плагины. Они должны быть фактически удалены / удалены, а иногда вам нужно вручную go и сделать это.

WordPress создаст виртуальный файл robots.txt.

Если Google это кеширует. Вы можете go войти и сказать Google, чтобы он снова посмотрел robots.txt.

Вы также можете перезаписать его, создав свой собственный, просто сделав файл robots.txt и поместив его в root или использовать другой плагин для этого.