Как записать зашифрованные данные на Scrapy (используя Feed Export)? - PullRequest
0 голосов
/ 17 апреля 2020

Я довольно новичок в Scrapy, начал использовать неделю go, и я использую свойство -o в командной строке для генерации файла, и я хотел бы, чтобы этот файл был зашифрован. Я считаю, что мне нужно написать собственный экспортер каналов (вместо Item Exporter, потому что мне нужно шифровать весь файл, а не каждый элемент в отдельности), но я, честно говоря, понятия не имею, как. Я в некотором роде потерян, я читаю документы по scrapy, но они не очень четкие и подробные.

Примечание: я также использую пользовательские настройки, такие как 'FEED_EXPORT_FIELDS', которые я хотел бы продолжать работать.

1 Ответ

0 голосов
/ 29 апреля 2020

Для тех, кто пытается решить эту проблему в будущем, я создал собственный конвейер. Я создаю экземпляр exporter в open_spider, а в close_spider я вызываю exporter.finish_exporting (), и когда я получаю доступ к файлу после метода, все записанные элементы записываются в нем. Перед возвратом я читаю все данные из файла, усекаю файл, шифрую данные и затем записываю его снова. Затем я просто закрываю файл и передаю.

...