Невозможно открыть pyspark в HDInsight и ADLS Gen 2 с разрешениями участника учетной записи хранения

Question

Я вижу следующую ошибку при запуске команды pyspark, чтобы открыть сеанс спарка в HDInsight 4.0, подключенном к ADLS Gen 2 (Hierarchical NS)

Py4JJavaError: An error occurred while calling None.org.apache.spark.api.java.JavaSparkContext.
: Operation failed: "This request is not authorized to perform this operation using this permission.", 403, PUT, https://<account>.dfs.core.windows.net/<cluster>/user/<username>/.sparkStaging/application_1584094668947_0135?action=setAccessControl&timeout=90, AuthorizationPermissionMismatch, "This request is not authorized to perform this operation using this permission.

У моего пользователя включены разрешения «Участник хранилища BLOB-объектов». Эта команда работает при использовании роли «Владелец хранилища BLOB-объектов», однако я хочу избежать предоставления этого уровня всем нашим разработчикам. Есть ли решение этой проблемы?

Answer 1

Это ожидаемое поведение. Вы можете проверить мою MSDN ветку, в которой решается та же проблема.

Примечание: При выполнении шагов в Присвоить приложение роли, убедитесь, что назначьте роль Хранилище данных хранилища BLOB-данных субъекту службы.

Только роли, явно определенные для доступа к данным, позволяют субъекту безопасности получать доступ к данным BLOB-объекта или очереди. Роли, такие как Владелец , Участник и Участник учетной записи хранения позволяют субъекту безопасности управлять учетной записью хранения , , но не не предоставлять доступ к данным большого двоичного объекта или очереди в этой учетной записи.

Доступ к данным большого двоичного объекта или очереди на портале Azure может быть авторизован с использованием учетной записи Azure AD или доступа к учетной записи хранения. ключ. Дополнительную информацию см. В разделе Использование портала Azure для доступа к данным большого двоичного объекта или очереди.

Для более подробного понимания вы можете go указать учетную запись хранения => Контроль доступа (IAM) => Роли => Нажмите (…) => Разрешения

Разрешения на оформление заказа для владельца :

Разрешения на оформление заказа для хранилища данных BLOB-участника: