Я использую spark- sql -2.4.1v, kafka-client 10.x с java8. Мне нужно передать некоторую информацию о конфигурации / метаданных в мое приложение spark.
, в настоящее время использующее потоковую структурированную искру, в моем приложении каждые несколько данных будут меняться мои метаданные, т.е. добавляются новые записи или информация о текущих записях изменено.
Поскольку это потоковое приложение, я запускаю приложение / иск-задание только один раз, когда загружаю все эти метаданные и транслирую их.
Через несколько дней что-то в мета -данные изменения, как загрузить и заполнить эти изменения для каждого исполнителя, т.е. как обновить sh метаданные для каждого исполнителя?