Сельдерей с (bind = True) в сумерках или драматург?

Question

Я уже некоторое время пользуюсь сельдереем, но ищу альтернативу из-за отсутствия поддержки окон.

Лучшие конкуренты - dask и dramatiq.Что я действительно ищу, так это то, что может распределить 1000 долго выполняемых задач на 10 машин.Каждый должен забрать следующее задание, когда выполнит задачу, и выполнить обратный вызов с обновлениями (в сельдерее это может быть легко достигнуто с помощью @task (bind = True), поскольку к самому экземпляру задачи можно получить доступ, и я могу отправитьстатус к экземпляру, который отправил его с обновлением).

Имеются ли аналогичные функции в dramatiq или dask?Любые предложения будут оценены.

Answer 1

На стороне Dask вы, вероятно, ищете интерфейс фьючерсов: https://docs.dask.org/en/latest/futures.html

Фьючерсы имеют базовый статус, такой как «завершен» или «ожидает» или «ошибка», который вы можете проверить в любое время.Если вам нужны более сложные сообщения, вам следует изучить Dask Queues, PubSub или другие механизмы межзадачного взаимодействия, также доступные на этой странице документации.