Как добавить все приложение python в azure блоки данных и запустить его? - PullRequest
0 голосов
/ 09 января 2020

у нас есть функциональная модель, написанная на Python. Я хотел бы скопировать весь код сразу и запустить его из azure блоков данных - я видел, что есть способ запустить python код из azure фабрики данных, но я вижу его только для одного python файла, это правильно?

Я знаю, я мог бы загрузить колесо или яйцо, но таким образом мне, вероятно, придется импортировать его в блокнот. я смогу получить доступ к этому колесу через CLI или фабрику данных azure? Потеряю ли я возможность устанавливать параметры?

Мы используем gitlab, так что пока эта опция вне таблицы.

Большое спасибо

Правка Я хочу обобщить то, что я обнаружили, что некоторые из приведенных ниже могут быть действительно неправильными.

  • Я могу загрузить колесо и использовать приложение python в качестве библиотеки -> Я могу переписать основное приложение для CLI в блокнот и просто импортируйте библиотеку.
  • Я могу переписать весь код в записную книжку -> это может быть лучшим способом, но для существующего приложения с небольшим размером это болезненно
  • Я могу создавать папки и загружать python код в FS, для имитации проекта Python и вызова в записной книжке ... (еще не пробовал)
  • Я могу использовать github для импорта кода (я еще не пробовал, я не могу переместить код из gitlab в github из-за nda)
  • Я могу запустить код из майской среды IDE, связанной с блоками данных
  • Я могу запустить сценарий запуска python в Data azure конвейер, но я не уверен насчет колеса.
  • Я могу , вероятно, использовать другой модуль azure (какой? Куда положить код?), Тогда блоки данных для запуска python кода из CLI -> но в случае python spark это не имеет смысла (я еще не пробовал из-за этого)
  • I может вероятно запустить из ноутбука через% sh скрипт, python где-то сохраненный в пространстве azure (опять же, где это будет?) и передать параметры. (Я еще не пробовал

1 Ответ

0 голосов
/ 11 января 2020

Вы можете скопировать код python и вставить его в ячейку в записной книжке Databricks и запускать его таким образом.

Вы также можете использовать интерфейс командной строки Databricks для загрузки импортируемого файла в рабочую область Databricks.
См. https://docs.databricks.com/dev-tools/cli/workspace-cli.html

Databricks python ноутбуки просто В любом случае .py файлы с некоторыми специальными комментариями.

...