Мне было интересно, как подключиться к сериализации в Dask.Вариант использования: я хочу, чтобы Dask управлял многоузловыми задачами, когда узлы общаются друг с другом через MPI.
Реализация включает в себя написание оболочки, гарантирующей, что корневая задача - единственная, которая регистрируется в планировщике.,Корень получает задачу из Dask, транслирует ее на другие узлы (с MPI), а затем каждый выполняет один и тот же код.Используя декоратор, я могу выполнить необходимую сериализацию и трансляцию, но я бы хотел использовать сериализацию, уже имеющуюся в Dask, а не свою собственную.
Итак, вкратце, кто-то может указать мне пример /реализация, использующая сериализаторы dask для сериализации / десериализации
my_func(my_data, my_other_data, my_kwarg=foo, my_other_kwarg=bar)
Я новичок в dask и не могу понять это из источника.