У меня проблема при прогнозировании на pandas dataframe:
model = joblib.load(f"models/{MODEL}_{FOLD}.pkl")
preds = model.predict(df)
joblib.dump(preds, f"models/predictions_{FOLD}.pkl")
В l oop из 5 FOLDS, 2/5 итераций успешны, и после начала 3-го я получаю это:
Parallel(n_jobs=8): Using backend ThreadingBackend with 8 concurrent workers.
Killed
И программа прерывается. Что может быть причиной?
РЕДАКТИРОВАТЬ: вот что я нашел в / var / log / syslog:
oom-kill:constraint=CONSTRAINT_NONE,nodemask=(null),cpuset=/,mems_allowed=0,global_oom,task_memcg=/system.slice/code-server.service,task=python,pid=1133,uid=0
Mar 29 20:26:56 master kernel: [40821.605552] Out of memory: Killed process 1133 (python) total-vm:8036372kB, anon-rss:6906304kB, file-rss:0kB, shmem-rss:4kB
Mar 29 20:26:56 master kernel: [40821.852558] oom_reaper: reaped process 1133 (python), now anon-rss:0kB, file-rss:0kB, shmem-rss:4kB
РЕШЕНИЕ: как указано в комментариях Ондрей К. , проблема связана с вызовом процесса OOM. Закрытие некоторых приложений, подключенных к inte rnet, решило проблему.