Укажите robots.txt, используя IIS для разных поддоменов.

Question

У меня есть сайт, скажем, www.example.com, а также две промежуточные платформы на beta.example.com и preview.example.com, и мне нужен способ установить разные robots.txt для каждого с использованием IIS или чего-то подобного

Причина этого в том, что я хочу запретить паукам все, кроме домена www, так как они дублируют дублирующийся контент

Кто-нибудь знает, возможно ли это?

Answer 1

Есть ли причина, по которой вы не можете просто иметь 3 разных файла robots.txt, по одному для каждого хоста?

Если вам нужно обработать это автоматически, я бы предложил HTTPHandler, который обрабатывает запросы для robots.txt. Если Request.Url.Host это www.example.com, верните robots.allow.txt, если нет, верните robots.deny.txt.

Если вы заинтересованы в этой идее и вам нужен пример кода, чтобы начать, сообщите мне.