NamedTuple to Dataframe - PullRequest
Новая
       8

NamedTuple to Dataframe

0 голосов
/ 04 июля 2018

Я работаю над извлечением метаданных из каналов YouTube и их видео.

Все идет хорошо, но в настоящее время я пытаюсь поместить всю информацию в dataframe, который мне нужен. Вот следующий код, который я использую из этого github https://gist.github.com/andkamau/0d4e312c97f41a975440a05fd76b1d29

import urllib.request
import json
from bs4 import BeautifulSoup
from collections import namedtuple
import pafy
from pandas import *
import pandas as pd

df = pd.DataFrame() 
Video = namedtuple("Video", "video_id title duration views thumbnail Description")

def parse_video_div(div):
    video_id = div.get("data-context-item-id", "")
    title = div.find("a", "yt-uix-tile-link").text
    duration = div.find("span", "video-time").contents[0].text
    views = str(div.find("ul", "yt-lockup-meta-info").contents[0].text.rstrip(" views").replace(",", ""))
    img = div.find("img")
    videoDescription = pafy.new("https://www.youtube.com/watch?v="+video_id)
    thumbnail = "http:" + img.get("src", "") if img else ""
    Description = videoDescription.description
    l = Video(video_id, title, duration, views, thumbnail, Description)

     # storing in the dataframe

    df = pd.DataFrame(list(Video(video_id, title, duration, views, thumbnail, Description)))
    return Video(video_id, title, duration, views, thumbnail, Description)

def parse_videos_page(page):
    video_divs = page.find_all("div", "yt-lockup-video")
    return [parse_video_div(div) for div in video_divs]

def find_load_more_url(page):
    for button in page.find_all("button"):
        url = button.get("data-uix-load-more-href")
        if url:
            return "http://www.youtube.com" + url

def download_page(url):
    print("Downloading {0}".format(url))
    return urllib.request.urlopen(url).read()

def get_videos(username):
    page_url = "http://www.youtube.com/channel/{0}/videos".format(username)
    page = BeautifulSoup(download_page(page_url))
    videos = parse_videos_page(page)
    page_url = find_load_more_url(page)
    while page_url:
        json_data = json.loads(str(download_page(page_url).decode("utf-8")))
        page = BeautifulSoup(json_data.get("content_html", ""))
        videos.extend(parse_videos_page(page))
        page_url = find_load_more_url(BeautifulSoup(json_data.get("load_more_widget_html", "")))
    return videos

if __name__ == "__main__":
    videos = get_videos("UC-M9eLhclbe16sDaxLzc0ng")
    for video in videos:
        print(video)
    print("{0} videos".format(len(videos)))

Функция parse_video_div(div) имеет всю информацию и мой dataframe. Но, к сожалению, dataframe ничего не возвращает. Может быть, мне нужно как-то зациклить namedtuple.

Есть ли у вас какие-либо подсказки о том, как мне добиться dataframe просмотра моих данных?

Заранее спасибо.

1 Ответ

0 голосов
/ 04 июля 2018

pd.DataFrame идеально сочетается с namedtuple и фактически создает столбцы.

Пример данных: 

In [21]: Video = namedtuple("Video", "video_id title duration views thumbnail De
    ...: scription")
In [22]: In [20]: pd.DataFrame(data=[Video(1, 'Vid Title', 5, 10, 'Thumb',' Des'
    ...: )])
Out[22]: 
   video_id      title  duration  views thumbnail Description
0         1  Vid Title         5     10     Thumb         Des

Поскольку ваша функция на самом деле не возвращает df и не использует его где-либо еще в коде, как вы можете быть уверены, что она пуста?

Обновление

Вам просто нужно отредактировать возвращаемый результат parse_video_div, чтобы вернуть pd.DataFrame, и объединить список в одну pd.DataFrame в get_videos функцию.

Вот выделенные правки. 

def parse_video_div(div):


    #####
    return pd.DataFrame(data=[Video(video_id, title, duration, views, thumbnail, Description)])
    # shorter version
    # return pd.DataFrame(data=[l])

def get_videos(username):
    ####
    videos_df = pd.concat(videos, ignore_index=True)
    return videos_df # return the DataFrame

Вам нужна функция конкатенации в конце. в parse_page_div вы можете вернуть любой ввод pd.DataFrame, пусть это будет dict, pd.Series, namedtuple или даже список. В этом примере я выбрал pd.DataFrame, чтобы упростить процесс, однако с точки зрения производительности он может добавить несколько миллисекунд к вашей обработке.

...