Список файлов Sitemap и индексных файлов Sitemap в файле robots.txt?

Question

Мой сайт состоит из 3 основных разделов: Обзоры, Форум и Блог. У меня есть плагины для форума и блога, которые автоматически генерируют для них карты сайта. Плагин forum генерирует файл INDEX карты сайта, указывающий на несколько индексов, а плагин blog генерирует обычный файл sitemap, содержащий все содержимое моего блога. Вот их записи из robots.txt:

Sitemap: http://www.datesphere.com/forum/sitemap-index.xml
Sitemap: http://www.datesphere.com/blog/sitemap.xml

Я только что создал файл Reviews sitemap.xml, который содержит весь контент в разделе Отзывы. Я планировал просто добавить строку в robots.txt, чтобы все выглядело так:

Sitemap: http://www.datesphere.com/forum/sitemap-index.xml
Sitemap: http://www.datesphere.com/blog/sitemap.xml
Sitemap: http://www.datesphere.com/reviews-sitemap.xml

ЗДЕСЬ МОЙ ВОПРОС: Я знаю, что вы можете перечислить несколько файлов Sitemap в robots.txt, но нормально ли иметь индексный файл карты сайта, а также несколько файлов Sitemap в списке? Будет ли робот Googlebot игнорировать другие файлы карты сайта, если найдет файл sitemap-index.xml в файле robots.txt? Если это так, нужно ли мне помещать свой блог и обзоры файлов Sitemap в другой индексный файл карты сайта и просто указать это в файле robots.txt?

Я проверил, но могу найти ответы только на вопрос «могу ли я перечислить несколько карт сайта?»

Answer 1

Googlebot не будет игнорировать любые файлы Sitemap, перечисленные вами в robots.txt, даже если вы также перечислите их родительский индекс Sitemap.Мы следим почти за каждой найденной ссылкой, и если нам будет позволено, мы просканируем их.Лично я бы, вероятно, перечислил только индексы Sitemap, хотя только для удобства управления, но вам решать, робот Google не будет возражать, если вы перечислите и индексы, и файлы Sitemap.

Answer 2

Если у вас есть несколько файлов Sitemap, вы можете указать URL файла индекса сайта в файле robots.txt, как показано в примере ниже:

// robots.txt
Sitemap: http://www.example.com/sitemap_index.xml 
User-agent:* 
Disallow: /some/disallowed/path

Или вы можете указать отдельные URL-адреса ваших файлов Sitemap, как показано в следующем примере:

// robots.txt
Sitemap: http://www.example.com/sitemap_host1.xml 
Sitemap: http://www.example.com/sitemap_host2.xml 
User-agent:* 
Disallow: /some/disallowed/path

Наконец, на это нужно обратить внимание при добавлении директивы Sitemap в файл robots.txt.