Я не могу найти элемент с помощью BeautifulSoup? - PullRequest
0 голосов
/ 05 июля 2018

Я пытаюсь заставить бота очистить эту страницу http://www.skysports.com/transfer-centre, при открытии в Chrome я вижу нужный элемент в инструменте разработчика

element

но когда я использую код ниже, он возвращает None:

import requests
from bs4 import BeautifulSoup

page = requests.get('http://www.skysports.com/transfer-centre').text
soup = BeautifulSoup(page, 'lxml')
print(soup.find('time'))

Я что-то упустил?

1 Ответ

0 голосов
/ 05 июля 2018

для извлечения времени из предоставленного URL, https://data.livefyre.com/bs3/v3.1/bskyb.fyre.co/363166/MTAwMDk1MTI=/init URL, который я получил от http://www.skysports.com/transfer-centre

import requests
import time
import json

page = requests.get('https://data.livefyre.com/bs3/v3.1/bskyb.fyre.co/363166/MTAwMDk1MTI=/init').json()
contents = page['headDocument']['content']
for content in contents:
    c = content['content']
    t = c['updatedAt']
    tt = time.strftime('%H:%M', time.localtime(t))
    authorId = c['authorId']
    bodyHtml = c['bodyHtml']
    print('time : {} , auther: {}'.format(tt, authorId))
    print('------------')
    print('bodyHtml: {}' , json.dumps(bodyHtml, None, 4))
    print('-----------\n\n')
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...