Не удалось создать кластер Azure Databricks из-за недоступных экземпляров

Question

Я пытаюсь создать кластер в Azure Databricks и получаю сообщение об ошибке.

Resources were not reachable via SSH. If the problem persists, this usually indicates a network environment misconfiguration. Please check your cloud provider configuration, and make sure that Databricks control plane can reach Spark clusters instances.

У меня есть такая конфигурация по умолчанию:

Режим кластера: Standard

Пул: None

Версия времени выполнения: 5.5 LTS

Автоматическое масштабирование включено

Тип работника: Standard_DS3_v2

Тип драйвера:Standard_DS3_v2

Из Logs Analytics я вижу, что Azure пытался создать виртуальные машины и без всякой причины (я полагаю, потому что они были недоступны) должен был удалить все из них.

Кто-нибудь сталкивался с такой проблемой

Answer 1

Проблема: Экземпляры недоступны: ресурсы не были доступны через SSH.

Возможная причина: трафик от плоскости управления к работникам заблокирован. Если вы развертываете в существующей виртуальной сети, подключенной к локальной сети, просмотрите настройки, используя информацию, предоставленную в Подключите свое рабочее пространство Azure Databricks к локальной сети .

Ссылка: Azure Databricks - Устранение неполадок

Надеюсь, это поможет.

Answer 2

Если проблема временная, это может быть вызвано отключением драйвера виртуальной машины или сетевыми проблемами, так как Azure Databricks смог запустить кластер, но потерял соединение с экземпляром, на котором размещен драйвер Spark, ссылаясь на это . Вы можете попытаться удалить его и снова создать кластер.

Если проблема не исчезнет, ​​это может произойти, если у вас есть рабочее пространство Azure Databricks, развернутое в вашей собственной виртуальной сети . Если виртуальная сеть, в которой развернуто рабочее пространство, уже подключена или имеет подключение ExpressRoute к локальным ресурсам, виртуальная сеть не может установить соединение ssh с узлом кластера, когда блоки данных Azure пытаются создать кластер. Можно добавить пользовательский маршрут (UDR), чтобы предоставить плоскости управления Azure Databricks ssh доступ к экземплярам кластера.

Подробные инструкции по UDR см. В Шаг 3. Создайте пользовательские маршруты и свяжите их с подсетями виртуальной сети Azure Databricks . Для получения дополнительной информации об устранении неполадок, связанных с VNet, см. Устранение неполадок

Надеюсь, это поможет вам.