Поэтому мы пытаемся создать несколько тестов для наших сканеров, используя набор тестов для сравнения результатов сканирования для определенных c URL-адресов. Я знаю, что могу использовать
scrapy parse https://www.url.com/some-website.html --callback=parse_item --spider=some_spider --nolinks
для сканирования одного URL. К сожалению, я не смог найти что-то подобное для python API, чтобы интегрировать его в наш код unittest. Я мог бы, возможно, загрузить страницы и загрузить их, как указано в этом вопросе: Scrapy Unit Testing Но я хотел спросить, знает ли кто-нибудь прямое решение. Не могу поверить, что нет способа отправить паука прямо на URL.