Как разобрать RSS ссылку (получить ulr to RSS) со страницы в Python framework Scrapy? - PullRequest
Новая
       18

Как разобрать RSS ссылку (получить ulr to RSS) со страницы в Python framework Scrapy?

1 голос
/ 29 июля 2010

Я хочу разобрать поиск Google и получить ссылки на RSS из каждого элемента из результатов поиска.Я использую Scrapy.Я попробовал эту конструкцию, 

...
def parse_second(self, response):
    hxs = HtmlXPathSelector(response)
    qqq = hxs.select('/html/head/link[@type=application/rss+xml]/@href').extract()
    print qqq
    item = response.request.meta['item']
    if len(qqq) > 0:
        item['rss'] = qqq.pop()
    else:
        item['rss'] = ''    
    yield item
...

, но "print qqq" дает мне 

[]

1 Ответ

1 голос
/ 29 июля 2010

Нашли ошибку: 

qqq = hxs.select("/html/head/link[@type='application/rss+xml']/@href").extract()

, которая работает

...