У меня есть конечная точка API для хранилища событий, в которую я могу запросить запрос get и получить поток событий в формате ndjson.Мне нужно автоматизировать сбор этих событий и сохранить их в базе данных.Поскольку эти события находятся во вложенной структуре json, где некоторые события имеют сложную структуру, я думал о том, чтобы сохранить их в базе данных документов.Не могли бы вы помочь мне с опциями, которые у меня есть для захвата этих событий и их хранения в библиотеках / фреймворках python, которые я могу использовать для достижения этой цели?Чтобы понять события, я смог использовать библиотеку ЗАПРОСОВ и получить события.Я также пробовал asyncio и aiohttp, чтобы попытаться получить эти события асинхронно, но это происходило медленнее, чем запросы.Можем ли мы создать какой-либо конвейер, чтобы получать эти события от конечной точки через определенные промежутки времени?Также некоторые из этих вложенных ключей JSON имеют точки, MongoDB не позволяет их хранить.Я также попробовал CosmosDB, и он работал нормально (единственное, что было, если у json есть ключ "ID", он должен быть уникальным. Поскольку у этих каналов json есть ID-ключ, который не является уникальным, мне пришлось переименовать ключ dictперед сохранением в cosmosdb).
Спасибо, Срикант