Запрос Scrapy GET url, Как я могу добавить ключевое слово в URL?

Question

У меня есть этот URL www.example.com.Мне нужно отправить этот URL в методе scrapy Request. Как я могу этого достичь?url_final = https://www.example.com/sch/i.html?_from=R40&_trksid=m570.l1313&_nkw=MYSEARCHKEY&_sacat=0

url = 'httpss://www.example.com/'
MYSEARCHKEY = 'MYSEARCHKEY'
yield Request(url_final, callback=self.parse_new)

Answer 1

Вы можете использовать библиотеку python для urlencoding для создания окончательного URL.

from urllib.parse import urlencode
params={'_from':'R40',
        '_trksid':'m570.l1313',
        '_nkw':'MYSEARCHKEY',
        '_sacat':0}
base_url=' https://www.example.com/sch/i.html'
final_url= '{}?{}'.format(base_url,urlencode(params))