Производительность FileIO.read () очень плохая - PullRequest
0 голосов
/ 24 января 2020

Я пытаюсь прочитать файлы BZIP2 объемом 1,6 ТБ с помощью FileIO (поскольку TextIO не смог их прочитать из-за некоторых проблем, связанных с разбиениями), но производительность очень плохая, и он буквально читает со скоростью 5 элементов. / с c.

TextIO.read () сравнительно намного быстрее, но, к сожалению, я не могу его использовать.

Что мне делать в этом случае? Есть ли способ повысить производительность FileIO?

...