У меня есть следующий код, который работает:
import requests
import pandas as pd
resp = requests.get("https://thisiscriminal.com/wp-json/criminal/v1/episodes?posts=1000000&page=1").json()
df = pd.DataFrame(resp['posts'], columns=['episodeNumber','title','image','excerpt','audioSource'])
df.to_csv("output9.html",encoding='utf-8')
Мне нужно, чтобы эти поля были введены в следующий код - очевидно, что необходимо изменить изображение, заголовок, ссылки на аудио ссылки и т. Д., И не все они находятся под заголовком, как в этом коде. Как бы я изменил вывод из файла CSV, чтобы передать его без необходимости писать отдельный файл?
Любая помощь будет принята с благодарностью.
import requests
import re
from bs4 import BeautifulSoup
def get_soup(url):
"""
@param: url of site to be scraped
"""
page = requests.get(url)
soup = BeautifulSoup(page.text, 'html.parser')
print "type: ", type(soup)
return soup
get_soup("http://abc.net.au/radionational/podcasts")
def get_playable_podcast(soup):
"""
@param: parsed html page
"""
subjects = []
for content in soup.find_all('div', class_= "cs-teaser"):
try:
link = content.find('a', {'class': 'ico ico-download'})
link = link.get('href')
print "\n\nLink: ", link
title = content.find('h3', {'class': 'title'})
title = title.get_text()
desc = content.find('div', {'class': 'summary'})
desc = desc.get_text()
thumbnail = content.find('img')
thumbnail = thumbnail.get('src')
except AttributeError:
continue
item = {
'url': link,
'title': title,
'desc': desc,
'thumbnail': thumbnail
}
subjects.append(item)
return subjects