Как сохранить неограниченные данные в коллекцию mongodb

Question

Я пытаюсь сохранить данные из API coinbase pro. Цикл будет выполняться до тех пор, пока все данные не будут выбраны и сохранены в коллекцию mongodb. Но главная проблема в том, что когда мы достигаем 16 МБ, сценарий не выполняется.

Мне нужно жизнеспособное решение для сохранения неограниченного количества данных в коллекцию mongodb и их использования.

Answer 1

Документы MongoDB имеют максимальный размер 16 МБ в соответствии с документацией

"Максимальный размер документа BSON составляет 16 мегабайт.

Максимальный размер документа помогает гарантировать, что один документ не может использовать чрезмерный объем ОЗУ или, во время передачи, чрезмерный объем полосы пропускания. Для хранения документов, размер которых превышает максимальный, MongoDB предоставляет GridFS API ... » (https://docs.mongodb.com/manual/reference/limits/)

Возможно, стоит проверить этот GridFS API (но я еще не сделал).

Вы пытаетесь вставить ОДИН документ объемом более 16 МБ? или вы пытаетесь вставить НЕСКОЛЬКО документов размером до 16 МБ +?