Сложность получения кода контрольного элемента через scrapy - PullRequest
Новая
       105

Сложность получения кода контрольного элемента через scrapy

0 голосов
/ 20 июня 2020

Я написал небольшой код для удаления кода элемента проверки для применения css или селекторов xpath с этого веб-сайта https://www.marinetraffic.com/en/ais/home/centerx: - 12.0 / centery: 25.0 / zoom: 4 . Теперь я не могу получить этот код, вместо этого я получаю исходный код страницы. Так как, я новичок в Python, не могу понять, что делать. Я прикрепляю сюда свой код. 

import scrapy 
class MarineSpider(scrapy.Spider):
    name = "marine"
    start_urls = ['http://quotes.toscrape.com/page/1/']
    def start_requests(self):
        headers = {'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64; rv:48.0) Gecko/20100101 Firefox/48.0'}
        for url in self.start_urls:
            yield scrapy.Request(url = url, headers=headers)
    def parse(self, response):
        file_name = 'innercode.html'
        with open(file_name, 'wb') as f:
            f.write(response.body)
...