Использование ftplib для многопоточной загрузки - PullRequest
Новая
       8

Использование ftplib для многопоточной загрузки

2 голосов
/ 31 марта 2010

Я пытаюсь сделать многопоточную загрузку, но получаю ошибки. Я догадался, что может быть невозможно использовать многопоточность с ftplib?

Вот мой код: 

    class myThread (threading.Thread):
    def __init__(self, threadID, src, counter, image_name):
        self.threadID = threadID
        self.src = src
        self.counter = counter
        self.image_name = image_name
        threading.Thread.__init__(self)
    def run(self):
        uploadFile(self.src, self.image_name)

def uploadFile(src, image_name):
    f = open(src, "rb")            
    ftp.storbinary('STOR ' + image_name, f)
    f.close()

ftp = FTP('host')   # connect to host, default port
ftp.login()               # user anonymous, passwd anonymous@   
dirname = "/home/folder/"
i = 1   
threads = []

for image in os.listdir(dirname):
    if os.path.isfile(dirname + image):
        thread = myThread(i , dirname + image, i, image )   
        thread.start()
        threads.append( thread )        
        i += 1  

for t in threads:
    t.join()

Получить кучу ошибок ftplib, таких как

повысить error_reply, соответственно error_reply: 200 Тип установлен в I

Если я пытаюсь загрузить одну за другой, все работает нормально

1 Ответ

5 голосов
/ 31 марта 2010

Вы пытались вставить код подключения в поток?

Другими словами, заставьте каждый поток устанавливать свое отдельное соединение с FTP.host () и FTP.login (). Серверу может не понравиться несколько загрузок одновременно на одном соединении, потому что он может анализировать команды по одной за раз и не может обработать вторую загрузку или команду «STOR». Но если вы можете сделать несколько подключений с одного IP-адреса, у вас будет отдельный сеанс для выполнения команды 'STOR'.

Вот пример: 

    class myThread (threading.Thread):
        def __init__(self, threadID, src, counter, image_name):
             ###############
             #Add ftp connection here!
             self.ftp = FTP('host')   # connect to host, default port
             self.ftp.login()               # user anonymous, passwd anonymous@   
             ################
             self.threadID = threadID
             self.src = src
             self.counter = counter
             self.image_name = image_name
             threading.Thread.__init__(self)
        def run(self):
             uploadFile(self.src, self.image_name)

    def uploadFile(src, image_name):
          f = open(src, "rb")            
          self.ftp.storbinary('STOR ' + image_name, f)
          f.close()

     dirname = "/home/folder/"
     i = 1   
     threads = []

     for image in os.listdir(dirname):
          if os.path.isfile(dirname + image):
             thread = myThread(i , dirname + image, i, image )   
             thread.start()
             threads.append( thread )        
             i += 1  

      for t in threads:
          t.join()

Посмотрите, будет ли это лучше.

P.S. Не уверен, что все мои вкладки выровнены.

...