Python 3: обнаружение запросов ajax

Question

Я пытаюсь очистить некоторые веб-сайты с помощью Python и BeautifulSoup.
Когда веб-сайт использует запрос ajax с URL-адресами такого типа:

https://techcrunch.com/wp-json/tc/v1/magazine?page=2&_embed=true,

Я могуполучить контент JSON и проанализировать его.Но как я могу обнаружить эти ссылки, чтобы автоматически выполнить запрос для получения содержимого JSON?

Спасибо, Рата

Answer 1

Я рекомендую использовать библиотеку запросы в дополнение к BeautifulSoup, если вы этого еще не сделали.

Если у вас есть надежный способ очистки этих URL, вы можете сделать что-то вроде:

    import requests

    # ...

    response = requests.get('https://techcrunch.com/wp-json/tc/v1/magazine?page=2&_embed=true')

    try:
      json_response = response.json()
      # GET request returned a JSON response
      # ...

    except ValueError:
      # GET request did not return JSON response
      # ...