Я хочу взять RSS-канал из http://www.reddit.com/new/.rss?sort=new и поместить его в таблицу SQL.
Мне удалось получить RSS-канал в python (код ниже)
Я просто не знаю, как отсюда импортировать это в базу данных SQL?
Я работаю над ноутбуком Jupyter и мне просто нужна помощь, чтобы начать этот проект с нуля. Я также хочу убедиться, что все DISTINCT и не продублировано.
import feedparser
a_reddit_rss_url = 'http://www.reddit.com/new/.rss?sort=new'
feed = feedparser.parse( a_reddit_rss_url )
if (feed['bozo'] == 1):
print("Error Reading/Parsing Feed XML Data")
else:
for item in feed[ "items" ]:
print(item) ```
``` python
import feedparser
from bs4 import BeautifulSoup
from bs4.element import Comment
def tag_visible(element):
if element.parent.name in ['style', 'script', 'head', 'title', 'meta', '[document]']:
return False
if isinstance(element, Comment):
return False
return True
def text_from_html(body):
soup = BeautifulSoup(body, 'html.parser')
texts = soup.findAll(text=True)
visible_texts = filter(tag_visible, texts)
return u" ".join(t.strip() for t in visible_texts)
# Define URL of the RSS Feed I want
a_reddit_rss_url = 'http://www.reddit.com/new/.rss?sort=new'
feed = feedparser.parse( a_reddit_rss_url )
if (feed['bozo'] == 1):
print("Error Reading/Parsing Feed XML Data")
else:
for item in feed[ "items" ]:
dttm = item[ "date" ]
title = item[ "title" ]
summary_text = text_from_html(item[ "summary" ])
link = item[ "link" ]
print("====================")
print("Title: {} ({})\nTimestamp: {}".format(title,link,dttm))
print("--------------------\nSummary:\n{}".format(summary_text))
Таблица / база данных SQL с датой, заголовком, сводкой и ссылками - все имеют собственный столбец.