Сделайте некоторую дополнительную обработку в экспортерах скрапа - PullRequest
0 голосов
/ 06 апреля 2020

Мне нужно сделать внешний вызов API для каждого элемента, чтобы заполнить некоторые данные в scrapy.Item.

Я могу сделать это в Pipeline в методе process_item, но есть ли хороший способ или место для получения все очищенные элементы и обработать их один раз?

Потому что сторонний API поддерживает список входных данных, и я могу уменьшить сумму по запросу с N до 1.

Спасибо.

...