Насколько я знаю (проверено на дистрибутиве HDP), по умолчанию сервер Livy создаст другой драйвер Spark и, следовательно, разные сессии для каждого пользователя.Сервер доступен через Kerberized HTTP-интерфейс, поэтому пользователь должен прийти с действительным билетом, и соответствующий сеанс будет запущен под его именем.Похоже, это путь, так как в этом случае пользователь будет иметь доступ к своим собственным ресурсам (данные, очередь YARN и т. Д.).В этом случае сервер livy олицетворяет пользователя , он запускает задание Spark, как если бы он был пользователем (см. Предоставление Livy возможности олицетворения .
Byпроверка в doc Я видел, что вы можете точно таким же образом настроить сервер Livy в EMR.
По умолчанию задания YARN, отправленные таким образом, запускаются как пользователь livyнезависимо от пользователя, инициировавшего задание. Установив олицетворение пользователя, пользовательский идентификатор пользователя ноутбука также может быть связан с заданием YARN. Вместо того, чтобы задания, инициированные как Ширли, так и Диего, были связаны сlivy пользователя, задания, которые каждый пользователь инициирует, связаны с shirley и diego соответственно . Это помогает вам контролировать использование Jupyter и управлять приложениями в вашей организации.
Таким образом, у вас есть выбор - использоватьолицетворение (запуск от имени отдельных пользователей) или нет (запуск от имени livy пользователя).