Я ищу способ интерактивной работы с искровыми кластерами блоков данных. Есть ли способ настроить spark-jobserver с лазурными блоками данных?
Основная цель - уменьшить время, затрачиваемое искровым заданием на обход блоков данных. Я хотел бы исключить время, затрачиваемое заданием на создание sparkcontext при каждом запуске задания.
Я пытаюсь создать виртуальный советник, в котором мне нужно интерактивно взаимодействовать с искровым кластером и поддерживать контекст искры в течение всего сеанса.