Карта сайта для сайта с большим количеством динамических поддоменов

Question

Я управляю сайтом, который позволяет пользователям создавать субдомены.Я хотел бы отправить эти пользовательские поддомен в поисковые системы через файлы Sitemap.Однако в соответствии с протоколом файлов Sitemap (и инструментами Google для веб-мастеров) одна карта сайта может содержать URL-адреса только с одного хоста.

Каков наилучший подход?

На данный момент у меня есть следующая структура:

1. Индекс Sitemap, расположенный по адресу example.com/sitemap-index.xml, в котором перечислены файлы Sitemap для каждого субдомена (но расположены в том же самом месте).host).
2. Каждый поддомен имеет свою собственную карту сайта, расположенную по адресу example.com/sitemap-subdomain.xml (таким образом, индекс карты сайта включает URL-адреса только с одного хоста).
3. Карта сайта длясубдомен содержит URL-адреса только из субдомена, т.е. subdomain.example.com/*
4. Каждый поддомен имеет файл subdomain.example.com/robots.txt:

-

User-agent: *
Allow: /

Sitemap: http://example.com/sitemap-subdomain.xml

-

Я думаю, что этот подход соответствует протоколу файлов Sitemap, однако Инструменты Google для веб-мастеров выдают ошибки для файлов сайтов поддоменов: "URL-адрес не разрешен. Этот URL-адрес недопустим для файла Sitemapв этом месте. "

Я также проверил, как это делают другие сайты.Например, Eventbrite создает карты сайтов, содержащие URL-адреса из нескольких поддоменов (например, см. http://www.eventbrite.com/events01.xml.gz).. Однако это не соответствует протоколу файлов сайтов.

Какой подход вы рекомендуете для файлов сайтов?

Answer 1

Я недавно прошел через это и наконец заработал. Смотрите эту тему для более подробной информации:

http://www.google.com/support/forum/p/Webmasters/thread?tid=53c3e4b3ab8d9503&hl=en&fid=53c3e4b3ab8d9503000497bd04ba63cf

Описание:

• Используйте DNS-подтверждение для проверки вашего сайта и все его поддоменов одним махом
• заставьте файл robots.txt на всех ваших поддоменах указывать на главную карту сайта вашего домена www
• Возможно, вам придется подождать несколько дней, пока Google обновит свои кэшированные копии robot.txt на всех ваших поддоменах. До сих пор будут отображаться ошибки.

Answer 2

Да, ограничение субдомена указано в спецификации sitemaps.org, но Google установил некоторые исключения:

1. Проверьте все субдомены в своей учетной записи инструментов Google для веб-мастеров http://www.google.com/support/webmasters/bin/answer.py?answer=75712 перекрестная отправка XML-файлов Sitemap с помощью инструментов Google для веб-мастеров - если они отправлены через корень вашего домена - не приведет к ошибкам для Google

2. в пределах robots.txt субдомена, который выможет указывать на файлы Sitemap XML в других доменах.не будет ошибок перекрестной отправки - для Google

Answer 3

Если у вас есть веб-сайт, позволяющий пользователям создавать субдомен на вашем сайте, вам будет проще упростить этот процесс, создав и отправив карты сайта для каждого субдомена, создав одну карту сайта.Это включает в себя URL карты сайта для всех ваших поддоменов и сохранение этой карты сайта в одном месте.Но для этого все сайты должны быть проверены в инструментах для веб-мастеров.Вы можете определить одну карту сайта как:

http://example.com/sitemap.xml

Определите все ваши карты сайта поддомена для всех URL-адресов субдомена в этом дереве документов.

Вы можете определитьнесколько файлов Sitemap до 50000 URL-адресов и размером файла 10 мегабайт на карту сайта.Файлы Sitemap можно сжать с помощью gzip, чтобы уменьшить пропускную способность.Таким образом, у вас нет проблем с определением карты сайта таким образом.