не может сериализовать объект байтов больше 4 ГиБ в глубоком обучении - PullRequest
Новая
       38

не может сериализовать объект байтов больше 4 ГиБ в глубоком обучении

0 голосов
/ 10 марта 2019

Я работаю в среде Google Colab , чтобы создать сиамскую сеть с использованием Keras для проверки изображений. Я использовал этот код из GitHub. Но я получаю сообщение об ошибке при попытке запустить код pickle.dump: 

with open(os.path.join(save_path,"train.pickle"), "wb") as f:
    pickle.dump((X,c),f)

Сообщение об ошибке: 

---------------------------------------------------------------------------
OverflowError                             Traceback (most recent call last)
<ipython-input-7-af9d0618d385> in <module>()
      3 
      4 with open(os.path.join(save_path,"train.pickle"), "wb") as f:
----> 5         pickle.dump((X,c),f)
      6 
      7 

OverflowError: cannot serialize a bytes object larger than 4 GiB

Я нашел несколько связанных вопросов на этом сайте, но не смог найти полезного ответа. Как я могу решить эту ошибку?

1 Ответ

1 голос
/ 10 марта 2019

Используйте рассол с protocol=4, например, 

pickle.dump((X,c), f, protocol=4)
...