# -*- coding: utf-8 -*-
import scrapy
from scrapy_splash import SplashRequest
from scrapy.utils.response import open_in_browser
from urllib.parse import unquote,urlparse
import re
class TestSpider(scrapy.Spider):
name = 'test'
def start_requests(self):
urls= ['https://www.youtube.com/results?search_query=workout']
for url in urls:
yield SplashRequest(url=url,callback=self.parse,endpoint="render.html",args={'wait': '0.5'})
def parse(self,response):
print(response.url)
open_in_browser(response)
#x=set(re.findall('videoId":"(.*?)"',response.text)) video ids
Я пытаюсь найти регулярное выражение, которое должно давать список диктовок для всех доступных видео, я смог найти идентификаторы видео, которые являются частью dict, который я ищу. (html, который получает spla sh, представляет собой html)