Я собираю большое количество данных из сети и записываю их в файл TXT для последующего анализа.Я пишу в файл, как показано ниже:
from time import sleep
import json
with open("big_txt.txt", 'w') as opened_file:
while True:
data = {"data" : "Some Important Data"}
json.dump(data, opened_file)
opened_file.write("\n")
sleep(0.001)
Однако, когда размер файла превышает 630 мегабайт, (я пробовал это 3 раза), запись в файл зависает без ошибок.Я ищу в Интернете максимальный размер файла в NTFS (я использую NTFS) и обнаружил следующее в статье базы знаний Microsoft: Статья Microsoft NTFS В которой говорится следующее: Ограничения размера NTFS
Максимальный размер файла Архитектурно: 16 экзабайт минус 1 КБ (264 байта минус 1 КБ) Реализация: 16 терабайт минус 64 КБ (244 байта минус 64 КБ)
Максимальный размер тома Архитектурно: 264 кластера минус 1 кластер. Реализация: 256 терабайт минус 64 КБ (232 кластера минус 1 кластер).
Я думаю, что это делает проблему очень интересной, поскольку размер файла не превышает установленный предел.Однако вы можете попробовать на своем компьютере (при условии, что вы используете NTFS, и у вас есть достаточно времени, чтобы заполнить текст), и вы получите те же результаты.В чем причина этого и как лучше всего преодолеть эту проблему?Любая идея приветствуется.