У меня есть этот обучающий набор размером около 1,4 ГБ, но я не могу загрузить его в набор TabularDataset.
>>> REF = data.Field(lower=True, tokenize=tokenize_char, init_token='<sos>',eos_token='<eos>')
>>> SRC = data.Field(lower=True, tokenize=tokenize_char)
>>> train = data.TabularDataset('./train.csv', format='csv', fields= [('src', SRC), ('ref', REF)])
Killed
Для небольшого набора данных этот код работает нормально.Я не очень понимаю, почему процесс был убит, так как набор данных не очень большой.Любая идея, как я могу загрузить этот файл?спасибо!