Субдомен запрещает поисковым ботам через robots.txt

Question

Я хочу запретить поисковым роботам получать доступ ко всему домену, включая субдомены, используя Robots.txt и, возможно, .htaccess

Я хочу убедиться, что любые новые субдомены в будущем будут заблокированы без необходимости каждый раз создавать его в корне субдомена.

Возможно ли это?

Answer 1

Если вы хотите заблокировать роботов через robots.txt, вам придется создать их для каждого субдомена. Я предлагаю сценарий, который отслеживает ваш файл зоны, а затем автоматически создает его.

Другим решением является использование HTTP Basic Auth . Он заблокирует доступ всех ботов к CNAME, но потребует от пользователей ввода имени пользователя и пароля.

Или вы можете использовать таблицы IP для ограничения доступа по диапазону IP.

Существует несколько решений, которые можно использовать для предотвращения доступа роботов к вашим CNAME, и еще больше решений, которые не позволяют поисковым системам добавлять ваши страницы в свой индекс.

Это будет зависеть от того, кого вы хотите впустить (хороших ботов, плохих ботов, пользователей и т. Д.), От которых зависит, какие решения вы будете использовать.