Используйте os.scandir (), чтобы сканировать очень большой каталог и отправлять файлы в многопроцессорную очередь, как обнаружено - PullRequest
Новая
       7

Используйте os.scandir (), чтобы сканировать очень большой каталог и отправлять файлы в многопроцессорную очередь, как обнаружено

0 голосов
/ 20 мая 2018

У меня очень большой каталог, и я хочу пройти через него, отправляя файлы в многопроцессорную очередь, обнаруженные для параллельной обработки. 

PATH = "/mnt/large_directory"

def main():

#Initialize
print("Starting the scanner in root " + PATH)

with os.scandir(PATH) as it:
  for entry in it:
      if not entry.name.startswith('.') and entry.is_file():
          print(entry.name)
          print(entry.path)

У меня есть функция, которую нужно использовать для выполнения работыкаждый файл: 

def doWork()
//Calculates md5 sum and other check sums

Как правильно сделать это, чтобы файлы добавлялись в многопроцессорную очередь, обнаруженную, когда рабочий поток становится доступным?

...