Используйте многопроцессорность или многопоточность для повышения скорости очистки в Python - PullRequest
Новая
       111

Используйте многопроцессорность или многопоточность для повышения скорости очистки в Python

1 голос
/ 09 июля 2020

У меня есть следующий код сканера: 

import requests
import json
import pandas as pd
import numpy as np
from bs4 import BeautifulSoup
import re
from datetime import datetime

def crawl(id):
    try:
        url = 'https://www.china0001.com.cn/project/{0:06d}.html'.format(id)
        print(url)
        content = requests.get(url).text
        soup = BeautifulSoup(content, 'lxml')
        tbody = soup.find("table", attrs={"id":"mse_new"}).find("tbody", attrs={"class":"jg"})
        tr = tbody.find_all("tr")
        rows = []
        for i in tr[1:]:
            rows.append([j.text.strip() for j in i.findAll("td")])
        out = dict([map(str.strip, y.split('：')) for x in rows for y in x])
        return out

    except AttributeError:
        return False

data = list()
for id in range(699998, 700010):
    print(id)
    res = crawl(id)
    if res:
        data.append(res)

if len(data) > 0:
    df = pd.DataFrame(data)
    df.to_excel('test.xlsx', index = False)

Он работает, но когда я увеличиваю интервал range, требуется очень много времени, поэтому я думаю, что мне нужно использовать multithreading или multiprocessing или разделить range() на несколько блоков, чтобы улучшить скорость очистки, но я не знаю, как это сделать.

Кто-нибудь может помочь? Заранее большое спасибо.

Обновления: 

MAX_WORKERS = 20 #play with it to get an optimal value
ids = list(range(699998, 700050))
workers = min(MAX_WORKERS, len(ids))

data = list()
for id in ids:
    print(id)
    res = crawl(id)
    if res:
        with futures.ThreadPoolExecutor(workers) as executor:
            res = executor.map(crawl, ids)
            data.append(res)

1 Ответ

1 голос
/ 09 июля 2020

Вот как я go об этом: 

from concurrent import futures

MAX_WORKERS = 20 #play with it to get an optimal value
ids = list(range(0, 10000))
workers = min(MAX_WORKERS, len(ids))
data = list()


with futures.ThreadPoolExecutor(workers) as executor:
    res = executor.map(crawl, ids)
    data.append(res)

Я не тестировал это. Но, надеюсь, это поможет вам получить направление для исследования.

...