Передача вывода панды через python в следующем коде - PullRequest
0 голосов
/ 12 июня 2019

У меня есть следующий код, который работает:

import requests
import pandas as pd

resp = requests.get("https://thisiscriminal.com/wp-json/criminal/v1/episodes?posts=1000000&page=1").json()
df = pd.DataFrame(resp['posts'], columns=['episodeNumber','title','image','excerpt','audioSource'])
df.to_csv("output9.html",encoding='utf-8')

Мне нужно, чтобы эти поля были введены в следующий код - очевидно, что необходимо изменить изображение, заголовок, ссылки на аудио ссылки и т. Д., И не все они находятся под заголовком, как в этом коде. Как бы я изменил вывод из файла CSV, чтобы передать его без необходимости писать отдельный файл?

Любая помощь будет принята с благодарностью.

import requests
import re
from bs4 import BeautifulSoup

def get_soup(url):
    """
    @param: url of site to be scraped
    """
    page = requests.get(url)
    soup = BeautifulSoup(page.text, 'html.parser')

    print "type: ", type(soup)
    return soup

get_soup("http://abc.net.au/radionational/podcasts")

def get_playable_podcast(soup):
    """
    @param: parsed html page            
    """
    subjects = []

    for content in soup.find_all('div', class_= "cs-teaser"):

        try:        
            link = content.find('a', {'class': 'ico ico-download'})
            link = link.get('href')
            print "\n\nLink: ", link

            title = content.find('h3', {'class': 'title'})
            title = title.get_text()

            desc = content.find('div', {'class': 'summary'})
            desc = desc.get_text()


            thumbnail = content.find('img')
            thumbnail = thumbnail.get('src')
        except AttributeError:
            continue


        item = {
                'url': link,
                'title': title,
                'desc': desc,
                'thumbnail': thumbnail
        }

            subjects.append(item) 

    return subjects
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...