Недавно я попытался запустить ноутбук Jupyter для анализа данных и машинного обучения в облаке IBM. Я использовал сервис lite и выбрал 4vCPU и 16 ГБ оперативной памяти. Матрица, которую я пытался вставить в модель машинного обучения XGBoost, составляет около 2 ГБ. Я также снимаю все остальные ненужные переменные и собираю их в мусорное ведро. Однако ядро внезапно погибало, когда я запускаю модель машинного обучения, и я теряю все данные обучения. Я подозреваю, что это из-за переполнения памяти, так как ядро также умерло, когда я выбрал среду 4vCPU и 8 ГБ ОЗУ, но на более ранней стадии, когда я все еще пытаюсь добавить больше функций в матрицу обучения.
Странная вещь Я пытался запустить код на своем компьютере с 8 ГБ ОЗУ, он действительно прошел, и использование ОЗУ увеличилось до 6 ГБ в начале процесса ML. Я решил использовать бесплатный облачный сервис IBM, так как мне нужен мой компьютер для других задач, и я не хочу перегружать его, когда мне нужно добавить больше функций.
Случалась ли с вами подобная ситуация и как вы ее обошли? Есть ли способ проверить использование оперативной памяти в облаке IBM в режиме реального времени?
Спасибо!