Обработка большого файла JSON перед добавлением в mongoDB - PullRequest
0 голосов
/ 24 января 2019

У меня большой размер файла json около 20 ГБ, я хочу внести некоторые изменения в данные, например, форматировать и изменять содержимое, а затем вставлять в mongodb.Этот файл содержит около 10 миллионов записей, поэтому я хочу знать, что является важным фактором, на который я должен обратить внимание при выполнении вышеуказанной задачи.Этот процесс импорта Datadase я должен выполнять ежедневно, поэтому моей основной задачей является общее время обработки (в настоящее время только импорт файла json в mongodb занимает несколько часов).

Пожалуйста, помогите мне найти инструмент, технологии и инфраструктуру.требования для выполнения задачи.

...