Я использую только базовую c функциональность joblib:
Parallel(n_jobs=-1)(delayed(function)(arg) for arg in arglist)
Я часто получаю предупреждение:
UserWarning: A worker stopped while some jobs were given to the executor. This can be caused by a too short worker timeout or by a memory leak.
Это говорит мне, что одна из возможных причин слишком короткий тайм-аут рабочего. Поскольку я не устанавливал тайм-аут рабочего, а по умолчанию None
, это не может быть проблемой. Как мне go найти утечку памяти? Или я могу что-то сделать, чтобы избежать этого предупреждения? Некоторые части не были выполнены? Или мне просто не беспокоиться об этом?