У меня проблема с использованием Python и BeautifulSoup для извлечения URL-адресов из поисковой системы Bing. Я хочу извлечь содержимое из тегов <div class="b_title">, но когда я запускаю этот код, переменная urls пуста:
import requests, re
from bs4 import BeautifulSoup
payload = { 'q' : 'sport', 'first' : '11' }
headers = { 'User-agent' : 'Mozilla/11.0' }
req = requests.get( 'https://www.bing.com/search', payload, headers=headers )
soup = BeautifulSoup( req.text, 'html.parser' )
urls = soup.find_all('div', class_="b_title")
print urls