Я пытаюсь извлечь данные из графика Dynami c highcharts (пользователи могут выбрать диапазон дат для отображения), и пока мне не повезло. (Отказ от ответственности - я новичок в этом. Ура!)
Этот - это веб-сайт, на котором я хотел бы извлечь данные о дождевых осадках.
И похоже, это:
Вручную я могу легко сделать это, проверив веб-инспектор и скопировав соответствующие биты в файл json, а затем используя сценарий Python для их преобразования.
Однако, поскольку я планирую извлечь несколько серий осадков и для довольно большого количества станций, я хотел бы автоматизировать процесс, чтобы oop я мог пропустить его через все станции здесь . К сожалению, я не могу понять это правильно.
Я не могу получить доступ к файлам json напрямую - они находятся в защищенном паролем API. 1020 и ничего по интересующим меня элементам.
from bs4 import BeautifulSoup
import requests
import re
html=requests.get("https://portal.mrcmekong.org/time-series/chartts=24c97a09e761497098a32687a00cf86e").text
soup=BeautifulSoup(html,'html.parser')
print(soup)
items=soup.find_all('div',class_='highcharts-container')
print(items)
До сих пор я использовал Jupyter Notebooks для этой операции.
Итак, я был бы очень благодарен, если бы вы могли дать мне какие-либо советы или указать на полезные ресурсы. Вот те темы, которые я пробовал до сих пор, но безуспешно: Могу ли я очистить необработанные данные из highcharts. js? Интерактивная диаграмма Webscrape в Python, используя красивый суп с циклы Как очистить диаграмму с помощью Python? Как очистить диаграммы с веб-сайта с помощью python? (не удалось заставить селен работать в этом ответ)
Буду очень, очень признателен за помощь!
Заранее спасибо!
Хорошего дня!