«C использование стека [большое число] слишком близко к пределу» после многократного запуска catboost - PullRequest
0 голосов
/ 19 апреля 2020

У меня есть модель в RStudio, которая запускает разные библиотеки повышения градиента (lgbm, xgboost, catboost). Он выбирает набор данных, строит модель, прогнозирует и повторяет для другого набора данных. С xgb или lightgbm у меня нет проблем, с catboost, после нескольких запусков модели (несколько тысяч) он прерывается и говорит мне: «C использование стека [большое число] слишком близко к пределу». [Большое число] каждый раз отличается, но эквивалентно нескольким 100 ГБ памяти. Обычно один прогон модели потребляет менее 1 ГБ ОЗУ. Однако после этого сообщения об ошибке Rstudio отвечает, но не выполняет еще один вызов catboost. После перезапуска Rstudio модель запускается снова, но только несколько десятков раз, а затем прерывается с тем же сообщением об ошибке, но с другим [большим числом]. После перезагрузки машина снова запускается несколько тысяч, в следующий раз - десятки и так далее. К сожалению, он не воспроизводится, иногда он запускается 10 раз, иногда 100. Для устранения неполадок я пробовал следующее, но ни один из них не работал:

- изменяет драйвер nvidia с 440 до 435.

- обновляет до последняя версия catboost.

- изменил все параметры обучения catboost.

-run detached () и library () для catboost, каждый раз, когда я обучал модель.

Any помощь оценена!

...