Как создать систему очередей, которую можно изменять во время выполнения, пока из этой очереди запускаются процессы

Question

Я хочу создать систему очередей, которая позволит ставить в очередь некоторые команды, которые будут выполняться из командной консоли.Это команды обучения нейронных сетей, поэтому их выполнение займет много времени.Проблема здесь в том, что он должен быть редактируемым во время выполнения, чтобы я мог поставить в очередь больше процессов, которые будут запущены после завершения последнего в очереди.Это необходимо из-за того, что обучение нейронной сети занимает много времени, и я хотел бы иметь возможность тратить меньше времени и тренировать более 1 нейронной сети в ночное время.

Я пробовал несколько многопроцессорных учебников, но ни один из них не помог мне решить эту проблему.

Answer 1

Я принял решение, и оно проще, чем я думал.

Просто используйте файлы!.

ЕслиЯ создаю csv с 1 столбцом, который является командой, которую я хочу выполнить, я могу просто создать скрипт для добавления новых команд или, вернее, изменить его сам.Затем, прежде чем приступить к выполнению новой команды, я читаю CSV с библиотекой pandas, извлекаю первую строку, выполняю эту команду, удаляю ее, когда она заканчивается, и все!