Контент, который я получаю с сайта Dmoz.for loop
, который я сделал, я не хочу повторять это каждый раз.Вместо этого я хочу найти способ не повторять каждую функцию.Есть много функций, которые я создал.Я поделился одним, чтобы показать вам, что zip
связывает значения имен и искателей.И я не хочу, чтобы for loop
повторялось в каждой функции.
def parse_about(self, response):
# do your stuff on second page
items = response.meta['items']
names = {'name1': 'Headings',
'name2': 'Paragraphs',
'name3': '3 Projects',
'name4': 'About Dmoz',
'name5': 'Languages',
'name6': 'You can make a differnce',
'name7': 'Further Information'
}
finder = {'find1': 'h2::text , #mainContent h1::text',
'find2': 'p::text',
'find3': 'li~ li+ li b a::text , li:nth-child(1) b a::text',
'find4': '.nav ul a::text , li:nth-child(2) b a::text',
'find5': '.nav~ .nav a::text',
'find6': 'dd::text , #about-contribute::text',
'find7': 'li::text , #about-more-info a::text'
}
for name, find in zip(names.values(), finder.values()):
items[name] = response.css(find).extract()
yield items