Запись в файл TXT зависает после превышения 630 мегабайт - PullRequest
0 голосов
/ 20 сентября 2019

Я собираю большое количество данных из сети и записываю их в файл TXT для последующего анализа.Я пишу в файл, как показано ниже:

from time import sleep
import json
with open("big_txt.txt", 'w') as opened_file:
    while True:
        data = {"data" : "Some Important Data"}
        json.dump(data, opened_file)
        opened_file.write("\n")
        sleep(0.001)

Однако, когда размер файла превышает 630 мегабайт, (я пробовал это 3 раза), запись в файл зависает без ошибок.Я ищу в Интернете максимальный размер файла в NTFS (я использую NTFS) и обнаружил следующее в статье базы знаний Microsoft: Статья Microsoft NTFS В которой говорится следующее: Ограничения размера NTFS

Максимальный размер файла Архитектурно: 16 экзабайт минус 1 КБ (264 байта минус 1 КБ) Реализация: 16 терабайт минус 64 КБ (244 байта минус 64 КБ)

Максимальный размер тома Архитектурно: 264 кластера минус 1 кластер. Реализация: 256 терабайт минус 64 КБ (232 кластера минус 1 кластер).

Я думаю, что это делает проблему очень интересной, поскольку размер файла не превышает установленный предел.Однако вы можете попробовать на своем компьютере (при условии, что вы используете NTFS, и у вас есть достаточно времени, чтобы заполнить текст), и вы получите те же результаты.В чем причина этого и как лучше всего преодолеть эту проблему?Любая идея приветствуется.

...