Web Scraping Проблема с использованием BS4 - Нужна историческая информация о погоде - Текст отключен - PullRequest
Новая
       60

Web Scraping Проблема с использованием BS4 - Нужна историческая информация о погоде - Текст отключен

0 голосов
/ 15 января 2020

Я собираюсь почистить исторические данные о погоде из метеостата. net. Тебе нужен ключ, который у меня есть. Когда я вычищаю и кодирую код, текст отключается для температуры. Он останавливается на сайте, вы можете увидеть текст температуры, когда вы проверяете html сайта, но когда я пишу код в Notebook, html не отображается так, как на сайте. Может кто-нибудь помочь мне очистить его, чтобы текст не был приглушен? Все, что мне нужно, это верхняя часть сайта с температурой, как на картинке, которую я прикрепил. eb Буду рад любой помощи, которую я могу получить !! Большое спасибо !!

введите описание изображения здесь

1 Ответ

1 голос
/ 15 января 2020

Вероятно, что веб-сайт загружает информацию о погоде , после она изначально загружена, вероятно, через какую-то структуру Javascript. Веб-сайт Meteostat, на который вы ссылаетесь, похоже, имеет json API, который полностью бесплатен и хорошо документирован здесь . Вместо использования BS4 вы могли бы просто использовать их API для вызовов информации о погоде. Возьмем, к примеру, следующее: 

https://api.meteostat.net/v1/history/hourly?station=03772&start=2019-05-02&end=2019-05-11&time_zone=Europe/London&time_format=Y-m-d%20H:i&key=[YOUR KEY HERE]

вернет что-то вроде этого: 

{
    "time": "2019-05-01 23:00:00",
    "time_local": "2019-05-02 00:00",
    "temperature": 12.2,
    "dewpoint": 7.9,
    "humidity": 75,
    "precipitation": 0.1,
    "precipitation_3": null,
    "precipitation_6": null,
    "snowdepth": null,
    "windspeed": 9.3,
    "peakgust": 16.7,
    "winddirection": 270,
    "pressure": 1016,
    "condition": 4
}

Вы сможете использовать модули requests и json для сбора и загрузки эти данные.

...