В Python / Selenium, Как просканировать весь комментарий на YouTube?

Question

Я хочу проанализировать корреляцию с комментариями YouTube и страной с помощью Python / selenium

Если в Mov ie YouTube слишком много комментариев, мы прокручиваем chrome для поиска следующего комментария. Поэтому я останавливаюсь 3 секунды до загрузки комментариев.

last_page_height = driver.execute_script("return document.documentElement.scrollHeight")

while True:
    driver.execute_script("window.scrollTo(0, document.documentElement.scrollHeight);")
    time.sleep(3.0)
    new_page_height = driver.execute_script("return document.documentElement.scrollHeight")
    if new_page_height == last_page_height:
        break
    last_page_height = new_page_height

html_source = driver.page_source
driver.close()
soup = BeautifulSoup(html_source, 'lxml')

, но этот код не сканирует целые комментарии, только около 1500 комментариев.

Answer 1

Youtube имеет ограничение в 1500 комментариев на квоту. С помощью Api можно получить больше результатов, например: Api Youtube Data