Ошибка Python «неверный аргумент» при чтении большого текстового файла

Question

Я пытаюсь предварительно обработать большой .txt файл размером около 12 ГБ.
Следующий код выдает

Неверный аргумент

.Я думаю, это происходит из-за того, что данные слишком велики.
Есть ли способ прочитать такой большой документ?
Нужны ли мне эти большие данные, чтобы обучать слова генерировать векторы слов?
Или есть какие-тодругая ошибка?

with open('data/text8') as f:
    text = f.read()

Answer 1

В зависимости от того, какой тип обработки текста вы намереваетесь, может быть достаточно чтения по одной строке за раз:

f = open("data/text8", "r")
for line in f:
    # process the string 'line' as desired (it's a single line of the document you opened)

f.close()