Очередь подпроцесса Python Watchdog - PullRequest
0 голосов
/ 04 декабря 2018

Я скопировал сторожевой скрипт Python со следующего веб-сайта: https://www.michaelcho.me/article/using-pythons-watchdog-to-monitor-changes-to-a-directory

import time
from watchdog.observers import Observer
from watchdog.events import FileSystemEventHandler


class Watcher:
    DIRECTORY_TO_WATCH = "/path/to/my/directory"

    def __init__(self):
        self.observer = Observer()

    def run(self):
        event_handler = Handler()
        self.observer.schedule(event_handler, self.DIRECTORY_TO_WATCH, recursive=True)
        self.observer.start()
        try:
            while True:
                time.sleep(5)
        except:
            self.observer.stop()
            print "Error"

        self.observer.join()


class Handler(FileSystemEventHandler):

    @staticmethod
    def on_any_event(event):
        if event.is_directory:
            return None

        elif event.event_type == 'created':
            # Take any action here when a file is first created.
            print "Received created event - %s." % event.src_path
            # Build up queue of subtasks here and let another thread/process 
            # take care of it so that main process can continue.

        elif event.event_type == 'modified':
            # Taken any action here when a file is modified.
            print "Received modified event - %s." % event.src_path


if __name__ == '__main__':
    w = Watcher()
    w.run()

Этот скрипт отлично работает для меня, но у меня есть некоторые дополнительные требования.

  1. Вместо печати текста я хотел бы запустить дополнительный процесс (скрипт Python), который может занять несколько минут.Главный сценарий не должен ждать завершения этого процесса, а вместо этого продолжает проверять новые или измененные файлы.

  2. Запущенные вторичные процессы не могут обгонять друг друга, поэтомубыть помещенным в какую-то очередь, которая должна обрабатываться последовательно.

Какой метод / пакет является хорошим способом для удовлетворения этих требований?Я кратко рассмотрел многопроцессорность и асинхронность, но не уверен насчет правильной реализации.

Моя общая идея заключается в том, что отдельный процесс / поток должен запускаться при типе события, который проверяет очередь и отправляетсячерез одного за другим.В идеале этот вторичный поток / процесс заканчивает оставшуюся очередь, когда основной процесс закрывается.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...