Как я могу добавить банку в контекст работающей искры?

Question

Чтобы уточнить, я использую livy для создания сеанса spark, а затем отправляю свои задания клиенту livy, который запускает их в том же сеансе spark. Теперь, если мне нужно добавить новую банку в качестве зависимости в одном из заданий, есть ли способ поместить банку в сеанс работающей искры?

Я пробовал spark.jars, но он читается только при создании сеанса, а не в уже запущенном.

Спасибо

Answer 1

Я так не думаю. Я не думаю, что вы могли бы сделать это и в искровой оболочке. Если бы вы могли, метод для Ливий может стать ясно. Попробуйте поискать в Google, как это сделать в Spark-Shell, и посмотрите, удастся ли вам получить ответы.