Вставить большой JSON / файловую систему в БД или сжатие - PullRequest
0 голосов
/ 22 января 2019

Я работаю с другим API и мне нужно регистрировать все эти запросы / ответы. На данный момент я создаю файловую систему для запросов / ответов, и она превышает 1 ГБ в минуту. Средний размер каждого файла составляет около 7 МБ. Поскольку я создаю файловую систему для журналов, у меня нет задержек для их создания, но у меня проблема с использованием процессора.

У меня есть 2 проблемы здесь:

1 - создание файловой системы занимает много места. У меня есть расписание для сжатия с Gzip каждые 5 минут до 1000 файлов. 2. Похоже, сжатие требует много ресурсов процессора.

Я ищу оптимизированный / более быстрый способ регистрации всех этих ответов.

Спасибо, Soheil

...