Это может быть старый вопрос. Но я не смог найти никаких решений. Я могу получить ответ на запрос-ответ от синхронной кафки. Но мне нужно получить тот же ответ от приложения spark, где я вычисляю агрегаты. Как добиться это?
Существует проект инкубатора Apache, который называется Livy именно для этой цели. Их документация неплохая, довольно простая и понятная.