Знает ли hdfs о контексте безопасности umi при запуске с рабочих узлов hdi?

Question

У нас есть кластер Azure HDI (рабочие узлы Linux) с основной учетной записью хранения, связанной с хранилищем ADLS gen2. Мы используем идентификацию пользователя (umi) для подключения кластера hdi к его первичному хранилищу. Все отлично работает, кластер успешно работает и создает некоторые системные данные в хранилище. Мы можем видеть это. Так что аутентификация umi отлично работает в этом контексте.

Одна вещь, которую я до сих пор не могу понять, могу ли я использовать тот же umi для прямого доступа к хранилищу из рабочего узла :

1. ssh worker_node
2. hdfs dfs -ls abfss://$adls-gen2-url

Где $adls-gen2-url - это URL хранилища ADLS gen2.

Мое предположение, я не могу - потому что рабочая ОС Linux не имеет ничего общего с umi, используемым для связи самого кластера и хранилища ADLS gen2. Поэтому мы должны явно проходить аутентификацию при запуске команд непосредственно с узлов кластера.

Answer 1

Вы можете получить доступ к хранилищу напрямую с рабочего узла.

Пример: Файловая система по умолчанию: hdfs dfs -ls abfss://chepra-2019-05-10t09-29-14-031z@chepra.dfs.core.windows.net/

Другойфайловая система в хранилище озера данных gen2: hdfs dfs -ls abfss://input@chepra.dfs.core.windows.net/

Для получения дополнительной информации см. « Использование хранилища озера данных AzureGen2 с Azure HDInsight".

Надеюсь, это поможет.