Ошибка памяти при попытке загрузить файл .pkl или .sav с помощью joblib / pickle - PullRequest
Новая
       163

Ошибка памяти при попытке загрузить файл .pkl или .sav с помощью joblib / pickle

0 голосов
/ 06 августа 2020

Я обучил линейную модель SV C. Пробовал нормально сохранить через файл .sav или файл .pkl. При этом выяснил, что размер обученной модели составляет 450 мб. Загрузка, которая вызвала ошибку памяти. Затем я попытался сжать файл, а затем сохранить и загрузить его. 

import joblib
filename = 'linear_svc.pkl'
joblib.dump(classifier, filename,compress=True) 

loaded_model = joblib.load('linear_svc.pkl')

После сжатия файл стал 30 МБ, но я все равно получаю ошибку памяти. Есть идеи, как это исправить. Прикрепление трассировки для справки 

Traceback (most recent call last):

  File "<ipython-input-3-896775683223>", line 1, in <module>
    loaded_model = joblib.load('linear_svc.pkl')

  File "C:\Users\km\Anaconda3\lib\site-packages\joblib\numpy_pickle.py", line 585, in load
    obj = _unpickle(fobj, filename, mmap_mode)

  File "C:\Users\km\Anaconda3\lib\site-packages\joblib\numpy_pickle.py", line 504, in _unpickle
    obj = unpickler.load()

  File "C:\Users\km\Anaconda3\lib\pickle.py", line 1085, in load
    dispatch[key[0]](self)

  File "C:\Users\km\Anaconda3\lib\site-packages\joblib\numpy_pickle.py", line 342, in load_build
    self.stack.append(array_wrapper.read(self))

  File "C:\Users\km\Anaconda3\lib\site-packages\joblib\numpy_pickle.py", line 187, in read
    array = self.read_array(unpickler)

  File "C:\Users\km\Anaconda3\lib\site-packages\joblib\numpy_pickle.py", line 133, in read_array
    array = unpickler.np.empty(count, dtype=self.dtype)

MemoryError
...