Разобрать несколько ссылок с помощью API Python Multi Threading Pool - PullRequest
Новая
       72

Разобрать несколько ссылок с помощью API Python Multi Threading Pool

0 голосов
/ 07 июня 2019

Я использую API / функцию многопоточного пула Python: 

p = multithreading.pool( NO.OF REQUESTS AT A TIME ) 
p.map ( function , iterator )

Согласно моим исследованиям, параметр внутри функции пула говорит нам «сколько запросов вы хотите проанализировать за раз»,Поэтому я хочу знать точное значение / объяснение этого одного параметра «НЕТ ЗАПРОСОВ В ТЕЧЕНИЕ ВРЕМЕНИ», помните, что это значение, согласно моим исследованиям, может быть неверным.

На самом деле, у меня 1500 URLи я хочу анализировать / извлекать информацию за действительно меньшее время, потому что при обычном подходе это отнимает слишком много времени.

Я пытался с 0-50 разбором / запросом за раз, и это работало очень хорошо, но когдаЯ пытаюсь сделать немного выше, это не даст мне такой быстрый результат. 

#!/usr/bin/python
# -*- coding: utf-8 -*-


def prices_models_location(i):

    prices = []
    models = []
    location = []
    req = requests.get(i)
    soup = BeautifulSoup(req.content, 'html.parser')
    price = soup.find('span', {'itemprop': 'price'})
    model = soup.find('h2', {'itemprop': 'model'})
    loc = soup.find('span', {'itemprop': 'availableAtOrFrom'})

    return (prics, loc, model)
p = pool.Pool(50)
Price_location_model = [p.map(prices_models_location, user_sec[0])]

# p.terminate()
# p.join()
...