распараллелить красивый скребок для супа в питоне

Question

Я хотел бы распараллелить мой скриптовый скрипт, который написан на python с использованием красивого супа.Несмотря на то, что я читал об этом, я не понимаю, как заставить его работать в моем коде.Сейчас я хочу взять список ссылок в качестве входных данных и открыть несколько браузеров / вкладок, чтобы использовать эти URL-адреса в качестве входных данных.Позже, очевидно, я хочу включить весь мой код и очистить с каждой из сторон.Но я не могу заставить этот первый шаг работать.

Вот моя попытка:

Test_links = ['https://www.google.com/maps', 'https://www.google.co.uk/? 
gfe_rd=cr&dcr=0&ei=3vPNWpTWOu7t8weBlbXACA', 'https://scholar.google.de/']

def get_URL(Link):
    browser = webdriver.Chrome(chrome_options = options)
    browser.get(Link)

if __name__ == '__main__':
    pool = Pool(processes=5)
    pool.map(get_URL, Link)

Answer 1

Я не уверен, будет ли это работать для вас, но я думаю, что есть проблема с вашим наименованием.Старайтесь держаться подальше от заглавных букв, потому что я думаю, что они путаются с объектами.Вы можете попробовать что-то вроде этого, чтобы убедиться, что эта теория верна.

test_links = ['https://www.google.com/maps', 'https://www.google.co.uk/? 
gfe_rd=cr&dcr=0&ei=3vPNWpTWOu7t8weBlbXACA', 'https://scholar.google.de/']

def get_URL(test_links_list):
    browser = webdriver.Chrome(chrome_options = options)
    browser.get(test_links_list)

if __name__ == '__main__':
    pool = Pool(processes=5)
    pool.map(get_URL, test_links)

Я не уверен, что browser.get () примет список, возможно, вам придется перебирать список, вызывая браузер.