Функции не вызывают scrapy / webcrawler - PullRequest
Новая
       8

Функции не вызывают scrapy / webcrawler

0 голосов
/ 26 мая 2020

Кто-нибудь может сказать мне, почему не вызываются ParseLinks и ParseContent? Остальное запускается и печатает / добавляет / делает что-то, но я получаю перекати-поле от функций синтаксического анализа teo. Также приветствуются любые дополнительные сведения об ошибках / советы. 

import scrapy
import scrapy.shell
from scrapy.crawler import CrawlerProcess


Websites = ("https://www.flylevel.com/", "https://www.latam.com/en_us/")
links = []
D = {}
#D = {main website: links: content}
def dictlayout():
    for W in Websites:
        D[W] = []

dictlayout()

class spider(scrapy.Spider):
    name = "spider"
    start_urls = Websites
    print("request level 1")
    def start_requests(self):
        print("request level 2")
        for U in self.start_urls:
            print("request level 3")
            yield scrapy.Request(U, callback = self.ParseLinks)
            print("links: ")
            print(links)


    def ParseLinks(self, response):
        Link = response.xpath("/html//@href")
        Links = link.extract()
        print("parser print")
        print(link)
        for L in Links:
            link.append(L)
            D[W]=L
            yield response.follow(url=L, callback=self.ParseContent)

    def ParseContent(self, response):
        content = ParseLinks.extract_first().strip()
        D[W][L] = content
        print("content")
        print(content)

print(D)
print(links)


process = CrawlerProcess()
process.crawl(spider)
process.start()

1 Ответ

1 голос
/ 26 мая 2020

Я думаю, что ParseLinks действительно называется. Дело в том, что вы пытаетесь извлечь href из тега html. Эта строка Link = response.xpath("/html//@href"), вероятно, нарушает ваш код. Попробуйте вместо этого Link = response.xpath("//a/@href").

...