Исключение возникает при использовании client.scatter (df) в Dask.distributed - PullRequest
0 голосов
/ 22 февраля 2019

Я работаю с Dask в Kubernetes, используя Helm Chart в хранилище stable / dask.При использовании распределенного клиента и вызове client.scatter (ddf) я получаю и следующее исключение:

Исключение: нет модуля с именем 'pandas.core.internals.managers';'pandas.core.internals' не является пакетом

Обзор установленных пакетов показывает Pandas == 0.24.1 & dask-core == 1.1.1 на Python 3.7.

Анализ потребления памяти рабочими показывает, что рабочим ничего не отправляется, и когда я добавляю ключевое слово = 'broadcast', я могу наблюдать кратковременное увеличение использования памяти вторым работником., но потом я получаю сообщение об ошибке, приведенное выше.

Любые предложения о том, что я делаю неправильно, или это проблема с Dask / Pandas?

Спасибо.

1 Ответ

0 голосов
/ 23 февраля 2019

Я предполагаю, что версии Pandas, которые у вас есть на разных машинах, отличаются.Вы можете проверить это с помощью следующей команды.

client.get_versions(check=True)
...