Как изолировать спарк-сессию для каждого пользователя на jupyterhub?

Question

У меня есть подключаемый модуль AD, подключенный к моей установке JupyterHub, так что пользователи будут проходить аутентификацию на JupyterHub через разъем AD.

Проблема в том, что если разные пользователи отправляют свои задания Spark через Блокнот Jupyter на JupyterHub в общий базовый механизм Spark, есть ли способ, чтобы у каждого пользователя была отдельная сессия Spark вместо общей?

Заранее большое спасибо!

Answer 1

Используя этот режим развертывания:

• Пользователи будут подключаться к общему JupyterHub , привязанному к AD
• Если они аутентифицированы, новые Jupyter Notebook (сервер) будет порожден
• Затем в своем ноутбуке Jupyter они будут использовать Spark либо в локальном, либо в кластерном режиме в соответствии с вашим развертыванием.В обоих случаях драйвер предназначен для их использования (не используется совместно).

В этом типичном развертывании ничто не используется совместно, кроме Spark Cluster (если есть).Каждый пользователь сможет получить и управлять новым SparkSession.

См. Эту диаграмму из jupyterhub-deploy-docker .