Как генерировать поля динамически

Question

Когда я сверился с официальной документацией по смете, я обнаружил, что поля можно добавлять динамически, но я не знаю, как это сделать

Я пробую демонстрацию для ItemLoader, она работала успешно, как тестовый код:

Я передаю field_name_list для ItemLoader, например, один код:

когда я смотрю из ItemClass, как два кода:

Когда я запускаю код, он говорит мне об ошибке, но я печатаю аргументы, он прошел успешно, как три кода:

Я забыл пройти код запуска, как четыре кода:

Мое поле себя, вот так:

"field": {
    "content": [
      {
        "expression": [
          "//td[@id='article_content']//text()"
        ],
        "method": "xpath"
      }
    ],
    "datetime": [
      {
        "expression": [
          "//p[@class='xg1']/text()"
        ],
        "method": "xpath",
        "re" : "\\d{2,4}年\\d{1,2}月\\d{1,2}日|\\d{1,2}月\\d{1,2}日|\\d{2,4}[-|/|.]\\d{1,2}[-|/|.]\\d{1,2}"
      }
    ],

# Test Code
class Test(Item):
    field_list = ["title", "urls", "image", "content","name", "source","pubdate"]
    fields = {field_name: Field() for field_name in field_list}

# one code
field_list = []
        for key, value in field.items():
            field_list.append(key)
        loader = ItemLoader(item=Demo(field_list), response=response)

# two code
class Demo(Item):

    def __init__(self, *args, **kwargs):
        print(args,1111111111111111111111111111111111111111111111111111)
        self._values = {}
        if args or kwargs:  # avoid creating dict for most common case
            for k, v in six.iteritems(dict(*args, **kwargs)):
                self[k] = v

        # super(Demo, self).__init__()



    # fields = {field_name: Field() for field_name in field_list}

# three code
2019-04-02 17:57:13 [scrapy.core.scraper] ERROR: Spider error processing <GET http://news.wmxa.cn/beilin/201904/615036.html via http://192.168.99.100:8050/render.html> (referer: None)
Traceback (most recent call last):
  File "D:\python\Scripts\test\lib\site-packages\scrapy\utils\defer.py", line 102, in iter_errback
    yield next(it)
  File "D:\python\Scripts\test\lib\site-packages\scrapy_splash\middleware.py", line 156, in process_spider_output
    for el in result:
  File "D:\python\Scripts\test\lib\site-packages\scrapy\spidermiddlewares\referer.py", line 339, in <genexpr>
    return (_set_referer(r) for r in result or ())
  File "D:\python\Scripts\test\lib\site-packages\scrapy\spidermiddlewares\urllength.py", line 37, in <genexpr>
    return (r for r in result or () if _filter(r))
  File "D:\python\Scripts\test\lib\site-packages\scrapy\spidermiddlewares\depth.py", line 58, in <genexpr>
    return (r for r in result or () if _filter(r))
  File "D:\python\Scripts\test\lib\site-packages\scrapy\spiders\crawl.py", line 78, in _parse_response
    for requests_or_item in iterate_spider_output(cb_res):
  File "F:\Newspider\news_project\news\news\spiders\newspider.py", line 141, in parse_item
    loader = ItemLoader(item=Demo(field_list), response=response)
  File "F:\Newspider\news_project\news\news\items.py", line 70, in __init__
    for k, v in six.iteritems(dict(*args, **kwargs)):
TypeError: dict expected at most 1 arguments, got 8
2019-04-02 17:57:14 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://news.wmxa.cn/beilin/201904/615065.html via http://192.168.99.100:8050/render.html> (referer: None)
(['title', 'content', 'blei', 'image', 'pay', 'pubdate', 'source', 'url'],) 1111111111111111111111111111111111111111111111111111

# four code
 field = self.field
        loader = ItemLoader(item=Demo(field_list), response=response)

        for key, value in field.items():
            for extractor in value:
                try:
                    if extractor.get("method") == "xpath":
                        loader.add_xpath(key, *extractor.get("expression"), **{"re": extractor.get("re")})
                    if extractor.get("method") == "css":
                        loader.add_css(key, *extractor.get("expression"), **{"re": extractor.get("re")})
                    if extractor.get('method') == 'attr':
                        loader.add_value(key, getattr(response, *extractor.get('expression')))

Я хочу, чтобы он генерировался динамически, что мне делать?

Answer 1

Если вам нужны динамические элементы, используйте словари.

Вместо загрузчика предметов вы можете использовать функцию.

def build_item(fields, response):
    item = {}
    for key, value in fields.items():
        if key in item:
            continue
        for extractor in value:
            if extractor.get("method") == "xpath":
                data = response.xpath(extractor.get("expression")).re(extractor.get("re"))
                if data:
                    item[key] = data
                    break
            # …
    return item

Answer 2

Существует очень простой способ использования ItemLoader, с помощью которого вы сможете добавлять любые данные из ответа к ItemLoader при анализе ответа.

from scrapy import Item
from scrapy.loader import ItemLoader


def parse(self, response):
    l = ItemLoader(item=Item(), response=response) #first arg can be scrapy.Item object
    for item in response:
        l.add_value(item, response[item]) # you can also use literal values
    return l.load_item()

Примечание: ItemLoader также поддерживает add_xpath и add_css в дополнение к вышеупомянутому add_value