Как передавать данные из базы данных через REST API?

Question

У меня есть большие данные, хранящиеся в базе данных Postres, и мне нужно отправить данные клиенту через REST API с использованием Django.Требуется отправить данные порциями и не загружать весь контент сразу в память.Я понимаю, что в Django есть класс StreamingHttpResponse, который я буду исследовать.Но есть ли другие лучшие варианты?Я слышал о Kafka и Spark для потоковых приложений, но уроки, которые я проверил по этим двум, обычно связаны с потоковой передачей данных в реальном времени, такими как взаимодействие с данными Twitter и т. Д. Но возможно ли передавать данные из базы данных любым из этих двух способов?Если да, то как мне затем интегрировать его с REST, чтобы клиенты могли взаимодействовать с ним?Любые выводы будут оценены.Спасибо.

Answer 1

Вы можете использовать debezium или apache-kafka-connect для массовой загрузки вашей базы данных в Kafka.

Как только данные появятся, вы можете либо поместитьПотребитель Kafka в вашем приложении Django или вне его и делает REST-запросы по мере использования сообщений.Spark не является абсолютно необходимым и не должен использоваться в Django