Я имею дело с довольно большим набором текстовых данных (5,4 миллиона коротких текстов) и пытаюсь провести анализ настроений на 16 ГБ ОЗУ.
У меня постоянно заканчивается память, когда я пытаюсьдля построения языковой модели:
data_lm = text_data_from_csv(DATASET_PATH, data_func=lm_data, chunksize=4000)
# Out of memory
data_clas = text_data_from_csv(DATASET_PATH, data_func=classifier_data, vocab=data_lm.train_ds.vocab, chunksize=500)
Я поиграл с размером фрагмента, но со временем потребление памяти, похоже, продолжает расти и в итоге приводит к ошибке памяти.
Есть ли какие-либоспособ обойти это?