У меня есть ссылка на карту сайта, на которой есть много sitemap_urls (например, вложенные карты сайта). Теперь я хочу пройти по всему дереву и получить все URL в целом дереве файлов Sitemap. Как это сделать с помощью scrapy?
Просто нужны все URL-адреса из целого дерева карт сайта.
class MySpider(SitemapSpider):
name = "link"
sitemap_urls = ['https://xyz/sitemap.xml']