Извлеките DOI с сайта IEEEXplore, используя код Python

Question

Невозможно извлечь полевые данные с веб-страницы, это не распространенная проблема утилизации веб-страниц.Это связано с javascript, а также.Я пытался и с python-запросами, но не смог решить проблему.

Я пытаюсь извлечь doi из веб-страницы.Дои лежит в JavaScript.Я могу прочитать страницу, и код работает до {печать (суп)}.Когда я пытаюсь извлечь значение doi (в данном коде для примера веб-страницы doi выглядит следующим образом: "doi": "10.1109 / LAWP.2014.2364296") я хотел напечатать "10.1109 / LAWP.2014.2364296", чтоизвлечено из веб-страницы.

import urllib
from bs4 import BeautifulSoup
web_page = 'https://ieeexplore.ieee.org/document/6933872'
page = urllib.request.urlopen(web_page)
soup = BeautifulSoup(page, 'html.parser')        
print(soup)
soup.body.findAll(text='doi')

При использовании веб-страницы "https://ieeexplore.ieee.org/document/6933872" вывод 10.1109 / LAWP.2014.2364296. Как я могу?

Answer 1

Возможное решение, которое просто пропускает проблему очистки веб-страниц Javascript, - это использование IEEE API (https://developer.ieee.org/).Хотя для получения ключа API требуется регистрация и одобрение, после его получения гораздо проще будет отправить несколько номеров статей IEEE и получить их DOI и другие метаданные в структурированном виде.