Я работаю со Spark в Zeppelin в среде совместной работы.Таким образом, у нас есть только один переводчик, и многие пользователи используют этот переводчик.По этой причине я определил его, используя instantiation per user в scoped mode.
В этой конфигурации пользовательское задание X ожидает ресурс, выделенный заданиями других пользователей.
Чтобы изменить это поведение и разрешить одновременное выполнение заданий от разных пользователей, я определилКонфигурация Spark (в конфигурациях интерпретатора Zeppelin) spark.scheduler.mode равна FAIR.Чтобы добиться желаемого эффекта, пользователю необходимо вручную указать в своей записной книжке свой собственный пул Spark (задания из разных пулов могут выполняться одновременно: https://spark.apache.org/docs/latest/job-scheduling.html#scheduling-within-an-application) с этим кодом:
sc.setLocalProperty("spark.scheduler.pool", "pool1")
Ps .: Через час интерпретатор выключается. Если пользователи забывают выполнить эту команду в следующий раз, они попадают в пул по умолчанию, что нехорошо.
Что я хочу знать: ЕстьМожно ли автоматически устанавливать пул пользователей Spark, когда он каждый раз выполняет ваши абзацы без ручного труда?
Если есть другой способ сделать это, пожалуйста, дайте мне знать, если это возможно.