Передайте Аргументы Паука в custom_settings в scrapy - PullRequest
0 голосов
/ 15 февраля 2019
class MySpider(scrapy.Spider):
    name = 'Random'
    start_urls = ["http://someRandomsite.aspx"]
    custom_settings = {
        'FEED_URI': 'file://%(data_dir_path)s/data.csv',
        'FEED_TEMPDIR': '%(raw_dir_path)s'
    }

    def __init__(self, data_dir_path='/home/data', raw_dir_path='/home/raw', url=None, *args, **kwargs):
        self.data_dir_path = data_dir_path
        self.raw_dir_path = raw_dir_path
        super(MySpider, self).__init__(*args, **kwargs)

Я пытаюсь передать аргументы в пользовательских настройках, но в переопределенных настройках это не отображается.

Я перешел по этой ссылке Как передать аргументы (для FEED_URI) в Scrapyэкземпляр паука для динамического именования выходного файла

1 Ответ

0 голосов
/ 15 февраля 2019

Не отображается в настройках переопределения, но применяется.Когда я использую ваш код, я получаю это в журнале:

PermissionError: [Errno 13] Permission denied: '/home/data'

Это указывает на то, что он пытался использовать это для пути подачи.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...