найти jsons в YouTube ajax ответ - PullRequest
0 голосов
/ 30 марта 2020
# -*- coding: utf-8 -*-
import scrapy
from scrapy_splash import SplashRequest
from scrapy.utils.response import open_in_browser
from urllib.parse import unquote,urlparse
import re
class TestSpider(scrapy.Spider):
    name = 'test'
    def start_requests(self):
        urls= ['https://www.youtube.com/results?search_query=workout']
        for url in urls:
            yield SplashRequest(url=url,callback=self.parse,endpoint="render.html",args={'wait': '0.5'})


    def parse(self,response):
        print(response.url)
        open_in_browser(response)
        #x=set(re.findall('videoId":"(.*?)"',response.text)) video ids

Я пытаюсь найти регулярное выражение, которое должно давать список диктовок для всех доступных видео, я смог найти идентификаторы видео, которые являются частью dict, который я ищу. (html, который получает spla sh, представляет собой html)

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...