Как правильно передать доводы пауку-скраперу на скребке?

Question

Я пытаюсь передать параметры моему пауку (в идеале, Dataframe или CSV) с помощью:

self.client = ScrapinghubClient(apikey)
self.project = self.client.get_project()
job = spider.jobs.run()

Я пытался использовать тип аргумента * args и ** kwargs, но каждый раз получал только последний результат. Например:

data = ["1", "2", "3"]
job = spider.jobs.run(data=data)

Когда я пытаюсь напечатать их изнутри моего паука, я получаю только элемент 3:

def __init__(self, **kwargs):
     for key in kwargs:
        print kwargs[key]



2018-05-17 08:39:28 INFO    [stdout] 3 

Я думаю, что есть простое объяснение, которое я просто не могу понять.

Заранее спасибо!

Answer 1

Для передачи аргументов и тегов вы можете сделать вот так

priority = randint(0, 4)
job = spider.jobs.run(
                        units=1,
                        job_settings=setting,  
                        add_tag=['auto','test', 'somethingelse'], 
                        job_args={'arg1': arg1,'arg2': arg2,'arg3': arg3},
                        priority=priority
                    )