У меня есть ситуация, когда мне нужно делиться огромными данными (вероятно, миллиардами) по REST. Любой конкретный шаблон дизайна для подражания. Я прочитал кое-что о свитках, доступных в Elasti c, где мы можем инициализировать прокрутку один раз, а затем использовать ее для извлечения последующих данных в пакетах.
Я использую базу данных MySQL, где хранятся все мои данные и мне нужно поделиться всеми данными через службы REST. Я использую Spring BOOT для REST.
Я подумал о том, как открыть соединение и начать получать данные и писать в очередь блокировки в шаблоне потребителя производителя, а затем возвращать дескриптор (идентификатор) клиенту для последующих вызовов, чтобы получить следующую партию.
Есть ли лучший способ добиться того же.