Вопрос:
У меня есть несколько сельдерей задач, которые обрабатывают большие файлы (размером от 500 МБ до 1 ГБ).Есть несколько задач, обрабатывающих один и тот же файл (несколько типов обработки).Задачи, обрабатывающие один и тот же файл, могут выполняться на разных компьютерах.Файл должен быть загружен только на каждом узле.Некоторые задачи могут делиться ресурсами.Как этого добиться?
Идеи:
Монтирование одинакового сетевого хранилища на всех узлах.
Одна задача обработки - загрузка файла перед обработкой.Другие задачи обработки будут ждать.Как они могут ждать?-> возможно изменение файла сигнала или опроса
Проблема: узлы находятся в разных местах / сетях (возможно, их сложно монтировать и они неэффективны из-за трафика)
Так что, по вашему мнению, является лучшим подходом