Я хочу использовать scrapy для сканирования ссылок на карте сайта. Я не знаю много об этом приложении, поэтому я был бы заинтересован в любых ссылках / информации / документации, которые вы могли бы предоставить.
Спасибо
Для этой цели в ствол Scrapy был добавлен новый универсальный паук.Он будет доступен в следующем выпуске (Scrapy 0.14)
Вся документация находится на http://doc.scrapy.org/. Учебные руководства также можно найти на scrapy.org.
Что касается вашего вопроса, см. Следующий вопрос: как проанализировать файл sitemap.xml с помощью scml's XmlFeedSpider?