Разбор таблицы на веб-странице, созданной скриптом, с использованием Python

Question

Я пытаюсь очистить данные, содержащиеся в таблице на https://www.bop.gov/coronavirus/. Однако при первом посещении страницы таблица скрывается за ссылкой (https://www.bop.gov/coronavirus/#), которая ведет на ту же страницу, но расширяет скрытую таблицу на странице. Тем не менее, я не могу найти по этой ссылке в исходном коде веб-страницы или использовании селена для расширения таблицы и очистки ее данных. Как я могу go получить доступ к данным в этой таблице, используя python?

Answer 1

Конечная точка, из которой данные загружаются на страницу, доступна на вкладке сеть Средства разработчика . Необходимые данные загружаются из

• https://www.bop.gov/coronavirus/json/final.json

Возможно, вы также захотите взглянуть на

• https://www.bop.gov/coronavirus/data/locations.json

, поскольку первая ссылка содержит только краткие коды для имен.

Answer 2

Данные таблицы легко доступны в div с id="totals_breakdown".

. Вы можете напрямую вызывать page_source и анализировать данные для этого элемента с BeautifulSoup без необходимости «показывать» элемент.

Если по какой-то причине вы ДОЛЖНЫ показать элемент, вам просто нужно удалить класс closed из div с помощью id="totals_breakdown"