Robots.txt с несколькими записями карты сайта домена - PullRequest
Новая
       65

Robots.txt с несколькими записями карты сайта домена

0 голосов
/ 29 июня 2018

На нашем сайте много доменных имен, таких как: 

example.co.uk
example.in
example.co.eg
...

То есть в robots.txt должна быть запись, показывающая, где находится наш файл карты сайта.

Итак, мой вопрос:

У нас есть много файлов Sitemap для каждого домена, так как же в один файл robots.txt мы можем поместить эти записи соответственно для каждого домена?

1 Ответ

0 голосов
/ 29 июня 2018

Предполагая, что у вас одинаковые правила роботов для всех доменов, поместите ваш единственный файл robots.txt в корень и вставьте в него все ссылки на карту сайта. Я думаю, что ссылки на карту сайта будут выглядеть как

http://www.example.co.uk/sitemap.xml http://www.example.in/sitemap.xml http://www.example.co.eg/sitemap.xml

Или вы можете установить конструкцию типа

/robots/co-uk.txt /robots/in.txt /robots/co-eg.txt

вставьте в них ссылки на карту сайта и доставьте их динамически в соответствии со страной пользователя с помощью

<ifModule mod_geoip.c> GeoIPEnable On RewriteCond %{ENV:GEOIP_COUNTRY_CODE} ^UK$ RewriteRule ^robots\.txt$ robots/co-uk.txt [L] </ifModule>

Для этого у вас должны быть установлены mod_geoip или ip2location. При использовании ip2location замените GEOIP_COUNTRY_CODE на IP2LOCATION_COUNTRY_SHORT.

...