Как найти карту сайта в каждом домене и субдомене, используя python - PullRequest
0 голосов
/ 27 октября 2019

Я хочу знать, как найти карту сайта в каждом домене и субдомене, используя python? Некоторые примеры:

abcd.com/sitemap.xml
abcd.com/sitemap.html
abcd.com/sitemap.html
sub.abcd.com/sitemap.xml

и т. Д.

Каковы наиболее вероятные названия, местоположения и расширения карты сайта?

1 Ответ

1 голос
/ 27 октября 2019

Пожалуйста, сначала посмотрите на файл robots.txt. Это то, что я обычно делаю.

Некоторые домены предлагают более одной карты сайта, и есть случаи с более чем 200 xml-файлами.

Пожалуйста, помните, что в соответствии с FAQ на карта сайта. org , файл карты сайта может быть распакован. Следовательно, вы можете рассмотреть sitemap.xml.gz тоже!

...