Безопасно ли использовать многопоточность в запросах Python? - PullRequest
Новая
       40

Безопасно ли использовать многопоточность в запросах Python?

0 голосов
/ 02 марта 2019

Я использую этот код (ниже), который размещен здесь , с небольшими изменениями, чтобы сделать его работоспособным в python 3.6.5 (изменение import Queue на import queue и т. Д.).

Я изменил код ниже, чтобы использовать requests.get(host) вместо urlib2, и добавил, конечно, import requests.Но логика почти та же.

Мои вопросы:

  1. Безопасен ли приведенный ниже код многопоточности для использования с модулем requestsurlib2?

  2. Является ли строка: self.queue = q правильной?Потому что в исходном посте строка была:

    self.queue = queue

, а у кода операции queue = Queue.Queue()

Но я изменилсяэто: 

self.queue = q

как у меня q = queue.Queue()

Я не уверен, правильно ли я делаю.Соглашения об именах в старом коде сбивают с толку, учитывая тот факт, что модуль Queue был назван queue в 3.6.5.Поэтому я изменил их переменную queue на q.Но я не уверен, правильно ли я обновил код.Можете ли вы проверить и подтвердить мне? 

import queue
import threading
import urllib2
import time

hosts = ["http://yahoo.com", "http://google.com", "http://amazon.com",
"http://ibm.com", "http://apple.com"]

q = queue.Queue()

class ThreadUrl(threading.Thread):
  """Threaded Url Grab"""
  def __init__(self, q):
    threading.Thread.__init__(self)
    self.queue = q

  def run(self):
    while True:
      #grabs host from queue
      host = self.queue.get()

      #grabs urls of hosts and prints first 1024 bytes of page
      url = urllib2.urlopen(host)
      print url.read(1024)

      #signals to queue job is done
      self.queue.task_done()

start = time.time()
def main():

  #spawn a pool of threads, and pass them queue instance 
  for i in range(5):
    t = ThreadUrl(q)
    t.setDaemon(True)
    t.start()

  #populate queue with data   
  for host in hosts:
    q.put(host)

  #wait on the queue until everything has been processed     
  q.join()

main()
print "Elapsed Time: %s" % (time.time() - start)
...