WebScraping значение даты, которое появляется как январь 1970 вместо истинного значения с Python

Question

Я застреваю в проекте создания веб-страниц, я хотел бы создать веб-сайт на следующем веб-сайте и датах каждого из обзоров.Однако я получаю «январь 1970» на все даты.https://fairygodboss.com/company-reviews/ebay-inc

Вот мой код:

page_link = 'https://fairygodboss.com/company-reviews/ebay-inc' # for work/life balance for EBAY
page_response = requests.get(page_link, verify=False, headers={'User-Agent': randomUserAgents()})
soup = BeautifulSoup(page_response.content, 'html.parser')
soup.find_all(class_='textColor6 w-700 p-b-10')

Большое спасибо!

Answer 1

Я считаю, что ваша проблема в том, что, когда вы делаете запрос, вы не вошли в систему. Когда пользователь не вошел в систему, все даты отображаются как январь 1970 года, пока вы не будете перенаправлены на страницу входа. Сначала вам нужно будет войти в систему.

Это может быть сложной задачей, но есть библиотека для python, которая называется twill, которая может работать для вас: http://twill.idyll.org

Кроме того, вы можете использовать что-то вроде библиотеки Mechanize, на которой основан твил.

Этот вопрос StackOverflow должен помочь вам: Как очистить веб-сайт, который требует входа в систему сначала с Python