Как вычистить 10 тысяч записей в день с YouTube, используя Google API - PullRequest
0 голосов
/ 15 апреля 2019

Я использую Google API для очистки данных с YouTube с помощью YouTube v3.Основываясь на поисковом слове, я пытаюсь отбросить данные, такие как лайксчет, ракурс, дислайкстук и т. Д.

Проблема в том, что по умолчанию мы можем получить до 50 записей.Мне нужно получить больше записей, и мы можем добиться этого, используя нумерацию страниц.

В 11 января 2019 года Google снизился с 1 млн. Записей до 10 КБ в день.Чтобы запросить 10 тыс. Записей в день, нам нужно выполнить нумерацию страниц, и я не уверен, как установить нумерацию страниц в моем коде.

from apiclient.discovery import build
import argparse
import csv
import unidecode

DEVELOPER_KEY = "xxxxxxx"
YOUTUBE_API_SERVICE_NAME = "youtube"
YOUTUBE_API_VERSION = "v3"

def youtube_search(options):

    youtube = build(YOUTUBE_API_SERVICE_NAME, YOUTUBE_API_VERSION, developerKey=DEVELOPER_KEY)

    search_response = youtube.search().list(q=options.q,part="id,snippet",maxResults=options.max_results).execute()

    videos = []
    channels = []
    playlists = []

    csvFile = open('checking_for_no_of_records.csv','w')
    csvWriter = csv.writer(csvFile)
    csvWriter.writerow(["title","videoId","viewCount","likeCount","dislikeCount", "commentCount","favoriteCount"])

    for search_result in search_response.get("items", []):
        if search_result["id"]["kind"] == "youtube#video":
            title = search_result["snippet"]["title"]
            title = unidecode.unidecode(title)
            videoId = search_result["id"]["videoId"]
            video_response = youtube.videos().list(id=videoId,part="statistics").execute()
            for video_result in video_response.get("items",[]):
                    viewCount = video_result["statistics"]["viewCount"]
                    if 'likeCount' not in video_result["statistics"]:
                            likeCount = 0
                    else:
                            likeCount = video_result["statistics"]["likeCount"]
                    if 'dislikeCount' not in video_result["statistics"]:
                            dislikeCount = 0
                    else:
                            dislikeCount = video_result["statistics"]["dislikeCount"]
                    if 'commentCount' not in video_result["statistics"]:
                            commentCount = 0
                    else:
                            commentCount = video_result["statistics"]["commentCount"]
                    if 'favoriteCount' not in video_result["statistics"]:
                            favoriteCount = 0
                    else:
                            favoriteCount = video_result["statistics"]["favoriteCount"]
            csvWriter.writerow([title,videoId,viewCount,likeCount,dislikeCount, commentCount,favoriteCount])

    csvFile.close()  


if __name__ == '__main__':
  parser = argparse.ArgumentParser()
  parser.add_argument('--q', help='Search term', default='Google')
  parser.add_argument('--max-results', help='Max results',default = 50)
  args = parser.parse_args()

  youtube_search(args)

С помощью этого кода выше я могу получить только 50 записей.получать 10 тыс. записей в день.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...