Сбой сеанса по неизвестной причине при использовании pickle.dump в Google Colab

Question

Я работаю в среде Google Colab, чтобы создать сиамскую сеть с использованием Keras.Я использовал этот код из GitHub .Но я получаю ошибку, когда пытаюсь запустить код pickle.dump:

with open(os.path.join(save_path,"train.pickle"), "wb") as f:
    pickle.dump((X,c), f)

Ошибка: OverflowError: cannot serialize a bytes object larger than 4 GiB

Итак, я использовал Use pickle с протоколом = 4

pickle.dump((X,c), f, protocol=4)

но сеанс остановился во время выполнения этого кода, и я получил это сообщение "Session crash for an unknown reason " и Your session crashed after using all available RAM

Как я могу решить эту проблему?

Answer 1

Я предполагаю, что во время выполнения происходит сбой памяти.

Мне удалось выделить 4 ГБ данных, но для этого потребовалось ~ 8 ГБ памяти в Python.

Вы можете просмотреть журналы времени выполнения с помощью «Просмотр журналов времени выполнения» для меню времени выполнения.Это часто имеет намеки о сбоях.В этом случае он сообщает о большом количестве выделенных ресурсов.

Пример:

Диспетчер сеансов покажет память.В моем случае, ничего не делая: