База данных RSS в SQL - PullRequest
       3

База данных RSS в SQL

0 голосов
/ 04 ноября 2019

Я хочу взять RSS-канал из http://www.reddit.com/new/.rss?sort=new и поместить его в таблицу SQL.

Мне удалось получить RSS-канал в python (код ниже)

Я просто не знаю, как отсюда импортировать это в базу данных SQL?

Я работаю над ноутбуком Jupyter и мне просто нужна помощь, чтобы начать этот проект с нуля. Я также хочу убедиться, что все DISTINCT и не продублировано.


    import feedparser

    a_reddit_rss_url = 'http://www.reddit.com/new/.rss?sort=new'

    feed = feedparser.parse( a_reddit_rss_url )

    if (feed['bozo'] == 1):
        print("Error Reading/Parsing Feed XML Data")    
    else:
        for item in feed[ "items" ]:
            print(item) ```

``` python

    import feedparser
    from bs4 import BeautifulSoup
    from bs4.element import Comment


    def tag_visible(element):
        if element.parent.name in ['style', 'script', 'head', 'title', 'meta', '[document]']:
            return False
        if isinstance(element, Comment):
            return False
        return True

    def text_from_html(body):
        soup = BeautifulSoup(body, 'html.parser')
        texts = soup.findAll(text=True)
        visible_texts = filter(tag_visible, texts)  
        return u" ".join(t.strip() for t in visible_texts)

    # Define URL of the RSS Feed I want
    a_reddit_rss_url = 'http://www.reddit.com/new/.rss?sort=new'

    feed = feedparser.parse( a_reddit_rss_url )

    if (feed['bozo'] == 1):
        print("Error Reading/Parsing Feed XML Data")    
    else:
        for item in feed[ "items" ]:
            dttm = item[ "date" ]
            title = item[ "title" ]
            summary_text = text_from_html(item[ "summary" ])
            link = item[ "link" ]


            print("====================")
            print("Title: {} ({})\nTimestamp: {}".format(title,link,dttm))
            print("--------------------\nSummary:\n{}".format(summary_text))

Таблица / база данных SQL с датой, заголовком, сводкой и ссылками - все имеют собственный столбец.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...