Размер сообщений, которыми обмениваются рабочие - PullRequest
1 голос
/ 11 июля 2020

При использовании Dask Distributed на нескольких компьютерах происходит обмен данными между исполнителями, клиентом и планировщиком. Эти данные разбиты на сообщения размером 64 МБ (по-видимому). Можно ли изменить это значение? Если да, то какой вариант конфигурации для этого подходит? Если такой возможности нет, может ли кто-нибудь указать на соответствующий исходный код, где это можно изменить. Я задаю этот вопрос для приложения NumPy.

1 Ответ

1 голос
/ 12 июля 2020

Это значение устанавливает следующий флаг в распределенном / protocol / utils.py:

BIG_BYTES_SHARD_SIZE = 2 ** 26

...