Советы по отладке планировщика Dask - PullRequest
0 голосов
/ 13 апреля 2019

Я работаю над ноутбуком на базе binderhub , чтобы запустить несколько примеров для моей библиотеки, в которой используются dask и xarray. Я обнаружил, что в определенных ситуациях / вычислениях поточный планировщик просто зависает и останавливает обработку. Я знаю о профилировании, но так как оно зависает и мне приходится его убивать, я не уверен, что это приемлемый вариант. Я также прочитал отладочную информацию здесь , но, похоже, информация журналирования предназначена для распределенных или многопроцессорных планировщиков. Расчеты лучше всего выполнять на поточном планировщике, а некоторые операции не являются многопроцессорными. Ноутбук работает локально, что затрудняет его отладку.

У кого-нибудь есть другие идеи, как я могу это отладить?

1 Ответ

0 голосов
/ 15 апреля 2019

Я никогда не видел сам по себе тупиковый тупиковый планировщик. Моим первым предположением будет то, что ваши функции чувствительны к работе с другими.

Для отладки вы можете распечатать набор текущих выполняемых задач при каждом переходе. Это может помочь вам определить шаблон, когда ваша система блокируется. Для этого вы можете посмотреть пользовательские обратные вызовы

...