Запустить сеанс параллельного запроса в Python - PullRequest
Новая
       21

Запустить сеанс параллельного запроса в Python

0 голосов
/ 26 февраля 2019

Я пытаюсь открыть несколько веб-сессий и сохранить данные в CSV. Я написал свой код, используя параметры для loop & запросы.get, но это занимает так много времени, чтобы получить доступ к 90 номерам в Интернете.Может кто-нибудь дать мне знать, как весь процесс работает параллельно для loc_var:

Код работает нормально, только проблема выполняется один за другим для loc_var, и заняла так много времени.

Хотите получить доступ ко всем URL-адресам цикла for__loc_var параллельно и операции записи CSV

Ниже приведен код: 

import pandas as pd
import numpy as np
import os
import requests
import datetime
import zipfile
t=datetime.date.today()-datetime.timedelta(2)
server = [("A","web1",":5000","username=usr&password=p7Tdfr")]
'''List of all web_ips'''
web_1 = ["Web1","Web2","Web3","Web4","Web5","Web6","Web7","Web8","Web9","Web10","Web11","Web12","Web13","Web14","Web15"]
'''List of All location'''
loc_var =["post1","post2","post3","post4","post5","post6","post7","post8","post9","post10","post11","post12","post13","post14","post15","post16","post17","post18"]

for s,web,port,usr in server:
    login_url='http://'+web+port+'/api/v1/system/login/?'+usr
    print (login_url)
    s= requests.session()
    login_response = s.post(login_url)
    print("login Responce",login_response)
    #Start access the Web for Loc_variable
    for mkt in loc_var:
        #output is CSV File
        com_actions_url='http://'+web+port+'/api/v1/3E+date(%5C%22'+str(t)+'%5C%22)and+location+%3D%3D+%27'+mkt+'%27%22&page_size=-1&format=%22csv%22'
        print("com_action_url",com_actions_url)
        r = s.get(com_actions_url)
        print("action",r)
        if r.ok == True:            
            with open(os.path.join("/home/Reports_DC/", "relation_%s.csv"%mkt),'wb') as f:
                f.write(r.content)  

        # If loc is not aceesble try with another Web_1 List
        if r.ok == False:
            while r.ok == False:
                for web_2 in web_1:
                    login_url='http://'+web_2+port+'/api/v1/system/login/?'+usr
                    com_actions_url='http://'+web_2+port+'/api/v1/3E+date(%5C%22'+str(t)+'%5C%22)and+location+%3D%3D+%27'+mkt+'%27%22&page_size=-1&format=%22csv%22'
                    login_response = s.post(login_url)
                    print("login Responce",login_response)
                    print("com_action_url",com_actions_url)
                    r = s.get(com_actions_url)
                    if r.ok == True:            
                        with open(os.path.join("/home/Reports_DC/", "relation_%s.csv"%mkt),'wb') as f:
                            f.write(r.content)  
                        break

1 Ответ

0 голосов
/ 26 февраля 2019

Существует несколько подходов, которые можно использовать для одновременных HTTP-запросов.Два, которые я использовал, это (1) несколько потоков с concurrent.futures.ThreadPoolExecutor или (2) отправка запросов асинхронно с использованием asyncio/aiohttp.

Чтобы использовать пул потоков для параллельной отправки ваших запросов, вы сначала должны сгенерировать список URL-адресов, которые вы хотите получать параллельно (в вашем случае создайте список login_urls и com_action_urls),и затем вы одновременно запросите все URL-адреса следующим образом: 

from concurrent.futures import ThreadPoolExecutor
import requests

def fetch(url):
    page = requests.get(url)
    return page.text
    # Catch HTTP errors/exceptions here

pool = ThreadPoolExecutor(max_workers=5)

urls = ['http://www.google.com', 'http://www.yahoo.com', 'http://www.bing.com']  # Create a list of urls

for page in pool.map(fetch, urls):
    # Do whatever you want with the results ...
    print(page[0:100])

Использование asyncio / aiohttp обычно быстрее, чем приведенный выше многопоточный подход, но кривая обучения более сложна.Вот простой пример (Python 3.7 +): 

import asyncio
import aiohttp

urls = ['http://www.google.com', 'http://www.yahoo.com', 'http://www.bing.com']

async def fetch(session, url):
    async with session.get(url) as resp:
        return await resp.text()
        # Catch HTTP errors/exceptions here

async def fetch_concurrent(urls):
    loop = asyncio.get_event_loop()
    async with aiohttp.ClientSession() as session:
        tasks = []
        for u in urls:
            tasks.append(loop.create_task(fetch(session, u)))

        for result in asyncio.as_completed(tasks):
            page = await result
            #Do whatever you want with results
            print(page[0:100])

asyncio.run(fetch_concurrent(urls))

Но если вы не собираетесь делать огромное количество запросов, многопоточный подход, вероятно, будет достаточным (и намного более простым в реализации).

...