Я получаю сообщение об ошибке ядра при попытке получить данные из API, который содержит 100 страниц. Размер данных огромен, но код работает хорошо при выполнении на Google Colab или на локальной машине.
Я вижу в окне ошибку:
Перезапуск ядра Ядро умер. Он перезапустится автоматически.
Я использую машину ml.m5.xlarge с объемом памяти 1000 ГБ, и в экземпляре нет предварительно сохраненных наборов данных. Кроме того, ожидаемый размер данных составляет около 60 ГБ, разбитых на несколько наборов данных по 4 ГБ каждый.
Кто-нибудь может помочь?