У меня проблема с отладкой ошибки, полученной при распространении dask. Я использую lo c для извлечения небольшого информационного кадра из больших ~ 100M строк и преобразования в daskArray. только когда я хочу получить данные из кластера, я столкнулся с этой проблемой.
См. предостережения в документации: http://pandas.pydata.org/pandas-docs/stable/user_guide/indexing.html#returning -a-view-versus-a -copy ошибки = ошибки, * Наконец, когда мои данные готовы быть вынутыми с ddf2local = client.gather (chunkDelayedDB.result ())
* Рабочий содержит данные это будет d ie, и я получаю следующее сообщение. На одной машине с 32 ГБ она отлично работает
Файл "/home/yousef/pipy/lib/python3.6/site-packages/distributed/client.py", строка 244, в _result result = await self.client._gather ([self])
Файл "/home/yousef/pipy/lib/python3.6/site-packages/distributed/client.py", строка 1761, в _gather response = ожидание будущего
Файл "/home/yousef/pipy/lib/python3.6/site-packages/distributed/client.py", строка 1813, в _gather_remote response = await self.scheduler. собрать (ключи = ключи)
Файл "/home/yousef/pipy/lib/python3.6/site-packages/distributed/core.py", строка 748, в send_recv_from_rpc result = await send_recv ( comm = comm, op = key, ** kwargs)
Файл "/home/yousef/pipy/lib/python3.6/site-packages/distributed/core.py", строка 547, в send_recv повысить ex c .with_traceback (tb)
Файл "/home/admin/mypy36/lib/python3.6/site-packages/distributed/core.py", строка 403, в handle_comm
Файл "/home/admin/mypy36/lib/python3.6/site-packages/distributed/scheduler. py ", строка 2561, в сборе
KeyError: 'delayedDB-42a099cc4ddd139877f60c67295ab09a' Я отслеживаю память убитого работника в порядке, пока не получим данные (также у них было много данных.)
Я бы признал любую поддержку, которая может так сильно помочь.