Как настроить блоки данных Azure для использования VSTS для контроля версий - PullRequest
0 голосов
/ 03 июня 2018

Я недавно начал использовать блоки данных Azure и сравнивать их с ноутбуками Jupyter, работающими в HDInsight.Я искал и читал документацию, пытаясь узнать, как заставить ADBricks использовать VSTS git для контроля версий.Однако я не нашел решение, которое работает.

Я нашел инструкции по использованию других провайдеров git, но я хочу пояснить, что это не вариант для этого варианта использования, поэтому, пожалуйста, воздержитесь от этих типов ответов.

HDInsight имеет аналогичныеограничения, но я мог бы обойти через ssh / rsync, и это было прекрасно, потому что я развертывал на удаленном сервере, так же, как сборка, и был способен к сине-зеленым развертываниям и так же, как сборка.

Для ADBricks кластер по требованию удивителен, но есть предположение, что вы разрабатываете в ноутбуках «в кластере» и фактически находитесь в режиме непрерывной доставки.Это нормально для меня (за исключением неадекватной разработки ноутбуков с высокой задержкой), но мне все еще нужно периодически автоматизировать получение кода в VSTS для сохранения состояния / резервного копирования, как это должен делать хороший кодер:).

Ответы [ 3 ]

0 голосов
/ 04 августа 2018

Обычно для полного CI / CD в Azure Databricks мы используем API рабочей области для извлечения и переноса целых записных книжек или каталогов из Databricks на локальный компьютер пользователя или сервер сборки.https://docs.azuredatabricks.net/api/latest/workspace.html

Блок данных также имеет интерфейс командной строки, который использует API рабочей области для более простых команд более высокого уровня: https://docs.azuredatabricks.net/user-guide/dev-tools/databricks-cli.html

Рабочий процесс для этого выглядит примерно так: enter image description here

Вот блог от Databricks, который более подробно рассматривается: https://databricks.com/blog/2017/10/30/continuous-integration-continuous-delivery-databricks.html

0 голосов
/ 24 января 2019

Теперь есть встроенная поддержка для Azure DevOps, или VSTS:

https://docs.azuredatabricks.net/user-guide/notebooks/azure-devops-services-version-control.html

0 голосов
/ 04 июня 2018

В настоящее время нет таких соединений между Azure Databricks и VSTS git repo.

Но есть голос пользователя Добавить поддержку Git для Visual Studio Team Services для Azure databricks , что предполагаетсвязи, вы можете голосовать и следить там.И там вы можете описать ваши требования к деталям (например, записные книжки для контроля версий, интеграция с VSTS CI, CD и т. Д.).

...