Прочитать из конечной точки GET и отправить в POST, используя Apache Kafka

Question

Мне нужно реализовать программу, в которой я должен читать данные с двух разных конечных точек GET, выполнять манипуляции с данными (часть бизнес-логики c) и отправлять данные в конечную точку POST. Идея, похоже, заключается в реализации apache kafka.

Подвох - Как только обе конечные точки GET выпускают полные данные (может быть 10000 записей или более), где конец данных представляется специальным json сообщение. Конечная точка POST остается доступной только в течение 10 секунд.

Мой вопрос-

1. Как я могу сделать запрос GET, пока не будет получен конец сообщения (какой-то пример программы будет приветствуется)

2. Могу ли я достичь цели без реализации apache kafka или можно сделать только через apache kafka (опять-таки, некоторые примеры программы будут оценены)

Answer 1

можно ли сделать запрос GET до получения конца сообщения

Запрос GET по своей сути блокируется. Вы должны получить полный ответ уже.

Могу ли я достичь цели без реализации apache kafka или можно сделать только через apache kafka

Не совсем понятно, какова цель. Похоже, у вас типичная проблема с ETL. Кафка не выполняет GET / POST

Идея, похоже, заключается в реализации apache kafka.

Не совсем. Веб-сервер будет генерировать свои собственные события, нижестоящий сервер будет извлекать эти события и / или другие самостоятельно. Вы бы не "pu sh" что-либо в "сервер POST" здесь.