Как я могу получить статью автора: дату, когда она была загружена и обновлена? - PullRequest
Новая
       47

Как я могу получить статью автора: дату, когда она была загружена и обновлена?

0 голосов
/ 20 февраля 2019

Это моя функция, которая очищает статьи, и сейчас я пытаюсь выяснить, как я могу очистить имя автора, дату его загрузки и дату его обновления.Какие подходы я могу использовать, чтобы работать над многочисленными статьями по летописи SF? 

from urllib.request import urlopen as uReq
from bs4 import BeautifulSoup as soup
# Initializing our title key
title_key = 'title'
dictionary.setdefault(title_key, [])

# Initializing our url key
url_key = 'url'
dictionary.setdefault(url_key, [])

# Initializing our author key
author_key = 'author'
dictionary.setdefault(text_key, [])

# Initializing our date key
author_key = 'date'
dictionary.setdefault(text_key, [])

# Initializing our date updated key
author_key = 'date_updated'
dictionary.setdefault(text_key, []) 

def article_scraper(url):
    # Opening up the connection, grabbing the page
    uClient = uReq(url)
    page_html = uClient.read()
    uClient.close()

    # HTML parsing
    page_soup = soup(page_html, "html.parser")

    dictionary['url'].append(url)
    dictionary['title'].append(page_soup.title.string)
    dictionary['author'] = page_soup.select("author.name")
    return(dictionary)

articles[0] = 'https://www.sfchronicle.com/news/bayarea/heatherknight/article/Special-education-teacher-a-prime-example-of-13560483.php'
article0 = article_scraper(articles[0])

1 Ответ

0 голосов
/ 20 февраля 2019

Для имени автора: 

author = soup.findAll("div", {"class": ""header-authors-name"})
...