Вот несколько советов сразу:
Если вам просто нужно вести журнал того, какие файлы были добавлены, статус обработки и т. Д. c:
так как вы выполняете много операций ввода-вывода, вы можете добавить другой файл (например: named_queue) и добавить имена файлов по одному на строку. Позже вы можете добавить дополнительные детали (в стиле CSV) о каждом файле (было бы немного сложно найти его, если этот файл станет большим).
, относящихся к первой идее, если количество файлов не является проблемой, вы можете создать файл (например, файл .lock) для каждого обработанного файла и, возможно, сохранить в нем все детали обработки (и его будет легко найти).
- , если ваше приложение подключено к базе данных, создайте таблицу (например: named_queue) и вставьте по одной строке на каждый файл. Позднее вы можете добавить дополнительные столбцы в таблицу для хранения дополнительной информации о каждом файле.
Если вы ищете администратора очередей, есть несколько решений, просто "поиск по очереди в Google" python. Я лично использовал RabbitMQ.
Надеюсь, это поможет, ура!