Как создать отдельные файлы журналов для пауков Scrapy при запуске в качестве скрипта - PullRequest
Новая
       8

Как создать отдельные файлы журналов для пауков Scrapy при запуске в качестве скрипта

0 голосов
/ 26 января 2019

Я использую Scrapy из сценария.Из документации: https://docs.scrapy.org/en/latest/topics/practices.html#run-scrapy-from-a-script, Я знаю, что могу получить настройки проекта с помощью get_project_settings ().Итак, мой код такой: 

process = CrawlerProcess(get_project_settings())
process.crawl(Spider1)
process.crawl(Spider2)
process.start()

Но теперь я хочу создать отдельные файлы журнала для Spider1 и Spider2.Я попытался установить конфигурации журнала непосредственно в классах Spider1 и Spider2.Однако при запуске скрипта Scrapy создайте два файла журнала, но все записывается в первый созданный файл журнала.

class Spider1(scrapy.Spider):
     custom_settings = {
    'LOG_FILE': 'spider1.log',
    'LOG_LEVEL': 'WARNING',
    'LOG_STDOUT': True
    }
class Spider2(scrapy.Spider):
     custom_settings = {
    'LOG_FILE': 'spider2.log',
    'LOG_LEVEL': 'WARNING',
    'LOG_STDOUT': True
    }

Может кто-нибудь сказать, пожалуйста, что я делаю не так в этом сценарии.

...