Не удается запустить Azure кластер Databricks - PullRequest
0 голосов
/ 04 марта 2020

Я новичок в MS Azure. Я пытаюсь загрузить Microsoft Academi c Graph для различного анализа, и они не предлагают массовую загрузку структурированного набора данных. Внешние источники, такие как openacademicgraph, на самом деле не были полезны, поэтому я подумал, что могу попробовать загрузить данные через Azure.

К счастью, для этого были руководства: «Получить Microsoft Academi c Graph on Azure хранилище - docs.microsoft.com/en-us/academic-services/graph/get-started-setup-provisioning".

Я выполнил шаги в руководстве, чтобы создать Azure учетная запись для MAG, получая следующее электронное письмо от Academi c Knowledge API -


Добро пожаловать в предварительный просмотр Microsoft Academi c Graph (MAG) Azure Storage (AS) , Обратите внимание, что этот дистрибутив находится в стадии бесплатного предварительного просмотра. Структура цен может быть изменена.

Ваше Azure Хранилище успешно настроено для получения обновления MAG через Azure Фабрика данных. Каждый набор данных MAG предоставляется в отдельный контейнер с именем «mag-yyyy-mm-dd». Набор данных 2020-02-14 был помещен в ваше Azure хранилище.

Поскольку MAG поставляется с лицензией OD C -BY, вы получаете права на добавление значений и перераспределение. производные на основе условий лицензии на открытые данные, например, приписывание MAG в ваших продуктах, услугах или событиях сообщества.

Каждый снимок MAG будет отображаться в вашем Azure Хранение как отдельный контейнер. В документации Microsoft Academi c Graph вы можете найти образец для извлечения знаний из MAG для вашего приложения с использованием Azure Databricks. Также есть пример с использованием U- SQL, члена Azure Data Lake Analyti c Framework.

Мы также собрали отличные образцы аналитики и визуализации, которые мы использовали для нашего WWW Conference сообщения в блоге Analytics. Мы надеемся, что это поможет ускорить процесс разработки и пробудить воображение!


Следующим шагом было «Настройка Azure Базы данных для Microsoft Academi c Graph - docs.microsoft.com/en -us / academi c -services / graph / get-start-setup-databricks ", за которой я следовал. Мне удалось создать Azure Databricks для MAG (я понятия не имею, что это такое, поскольку я новичок в этом), но теперь я не могу заставить его работать.

Ниже приведено сообщение об ошибке I get:


Сообщение

Кластер прекращен. Причина: ошибка запуска облачного провайдера

Ошибка облачного провайдера при запуске рабочих узлов. Для получения дополнительной информации см. Руководство по базе данных.

Azure код ошибки: OperationNotAllowed

Azure сообщение об ошибке: Операция не может быть завершена так как это приводит к превышению утвержденной квоты общих региональных ядер. Дополнительные сведения - Модель развертывания: Диспетчер ресурсов, Расположение: centralus, Текущий лимит: 4, Текущее использование: 4, Требуется дополнительное: 4, (Минимум) Требуется новый лимит: 8. Подать запрос на увеличение квоты в https://aka.ms/ProdportalCRP/?#create /Microsoft.Support/Parameters/~~~, указав параметры, перечисленные в разделе «Сведения» для успешного развертывания. Пожалуйста, прочитайте больше об ограничении квоты в https://docs.microsoft.com/en-us/azure/azure-supportability/regional-quota-requests.


Я не уверен, что я должен делать.

"Итого Превышена квота региональных ядер ", а не моя личная подписка et c. Как бы я попросил увеличить квоту на весь регион? Они говорят, что мне нужно подать заявку на большую квоту, чего нельзя сделать с помощью бесплатного пробного аккаунта, который я создал в соответствии с руководством. Означает ли это, что руководство неверно, и я должен стать Pay-As-You- Go? «Текущее использование: 4», но сейчас я ничего не использую. Все, что у меня есть, это Azure хранилище и кластер Databrick, которые не работают. Я снова попытался запустить кластер, и во второй раз он был успешно запущен, но через пару минут отключился с тем же сообщением об ошибке.

Я не собираюсь делать какие-либо сложные запросы и прочее - это будет довольно дорого. Будучи плохим исследованием и тому подобным, все, что я хочу получить, - это набор данных, следующий за схемой MAG; Я проведу любой анализ на своем рабочем столе, который будет бесплатным, но медленнее. Любая помощь будет очень признательна.

Ответы [ 3 ]

0 голосов
/ 04 марта 2020

Чтобы попробовать Azure Базы данных, вам нужна подписка «Pay-As-You-Go».

Azure Free Trail имеет ограничение в 4 ядра, и вы не можете создать кластер Azure Databricks, используя бесплатную пробную подписку, потому что для создания искрового кластера требуется более 4 ядер.

Если у вас есть бесплатный аккаунт, go в своем профиле и измените подписку на pay-as-you- go. Затем снимите лимит расходов и запросите увеличение квоты для vCPU в вашем регионе. При создании рабочей области Azure Databricks вы можете выбрать ценовой уровень Trial (Premium - 14-дневные бесплатные DBU), чтобы предоставить рабочему пространству доступ к бесплатным DBU Premium Azure Databricks на 14 дней.

Для подробнее см. " Зарегистрируйтесь для бесплатной Azure пробной версии Databricks ".

0 голосов
/ 05 марта 2020

Вы можете попробовать большинство примеров с редакцией сообщества databricks:

https://community.cloud.databricks.com/login.html

0 голосов
/ 04 марта 2020

Ваша подписка имеет ограничение в 4 ядра в целом. На рисунке в вашем руководстве (https://docs.microsoft.com/en-us/academic-services/graph/get-started-setup-databricks) показана настройка кластера блоков данных с использованием виртуальных машин размера Standard_DS3_v2 с минимум двумя рабочими. Далее на рисунке показано, что DS3 vm имеет 4 ядра, поэтому 2x4 = 8 ядер для вашей подписки.

Вам необходимо иметь как минимум 1 работника или использовать меньший размер виртуальной машины. Я также рекомендую отключить автоматическое масштабирование, чтобы избежать проблем.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...