Блоки данных Azure: доступ к хранилищу BLOB-объектов за брандмауэром

Question

Я читаю файлы в учетной записи хранилища BLOB-объектов Azure (поколение 2) из ​​записной книжки Azure Databricks.Обе службы находятся в одном регионе (Западная Европа).Все работает нормально, кроме случаев, когда я добавляю брандмауэр перед учетной записью хранилища.Я решил разрешить «доверенные службы Microsoft»:

Однако при запуске ноутбука теперь возникает ошибка отказа в доступе:

com.microsoft.azure.storage.StorageException: This request is not authorized to perform this operation.

Я попытался получить доступ к хранилищу напрямую из Spark и смонтировать его с помощью dbutils, но то же самое.

Я бы предположил, что блоки данных Azure считаются доверенной службой Microsoft?Кроме того, я не смог найти достоверную информацию о диапазонах IP-адресов для областей Databricks, которую можно было бы добавить в правила брандмауэра.

Answer 1

Описанный сценарий работает только при развертывании блоков данных Azure в собственной виртуальной сети Azure (vnet). Благодаря этому вы можете использовать конечные точки службы, поэтому можете добавить свою виртуальную сеть Databricks в хранилище BLOB-объектов. При развертывании по умолчанию это не поддерживается и невозможно. См. Следующую Документацию для получения более подробной информации и описания, как включить функцию инъекции vnet.

Включение указанного исключения не работает, поскольку блоки данных Azure отсутствуют в списке доверенных служб для хранилища BLOB-объектов. См. Документация . Какие службы по-прежнему могут обращаться к учетной записи хранения с включенным исключением.

Answer 2

Да, блоки данных Azure не считаются доверенными службами Microsoft. Вы можете увидеть поддерживаемые доверенные службы Microsoft с брандмауэром учетной записи хранения.

Из сети, вот два предложения:

1. Найдите IP-адрес центра данных Azure и укажите область, в которой находятся ваши блоки данных Azure. Белый список IP-адресов в брандмауэре учетной записи хранения.

2. Разверните блоки данных Azure в виртуальной сети Azure (предварительная версия) , затем внесите в белый список диапазон адресов виртуальной сети в брандмауэре учетной записи хранения. Вы можете обратиться к настроить брандмауэры хранилища Azure и виртуальные сети. Кроме того, у вас есть NSG для ограничения входящих и исходящих потоков из этой виртуальной сети Azure. Примечание. Вам необходимо развернуть блоки данных Azure на вашей собственной виртуальной сети .

Надеюсь, это поможет.