Есть ли способ обнаружить карту сайта, если ее нет в robots.txt?

Question

Я работаю на простого бота для проекта и заметил, что на многих сайтах нет файлов sitemaps в их файлах robot.txt.Конечно, есть возможность просто проиндексировать рассматриваемые сайты и просканировать все возможные страницы, но это часто занимает гораздо больше времени, чем просто загрузка карты сайта.

Как лучше всего определить карту сайта, если она не упомянутав robots.txt?

Answer 1

Вы можете использовать этот онлайн-инструмент для сканирования вашего сайта и создания специального файла sitemap.xlm для вашего сайта.

Чтобы помочь вашей карте сайта быть обнаруженной через robot.txt, добавьте URL своей карты сайта в самый верх вашего файла robot.txt (см. Пример ниже).

Итак, файл robots.txt выглядит так:

Sitemap: http://www.example.com/sitemap.xml
User-agent:*
Disallow:

Answer 2

Обычно его следует поместить в корневой каталог домена, например xydomain.xyz/sitemap.xml.

Я бы добавил карту сайта в файл роботов, только если он находится в другом месте.Если сайт использует более одной карты сайта, расположенной в другом месте, это должно быть отмечено в индексной карте .