Azure Databricks со скриптами Python - PullRequest
Новая
       14

Azure Databricks со скриптами Python

0 голосов
/ 24 октября 2019

Я новичок в Python. Нужна помощь с блоками данных Azure.

Сценарий:

В настоящее время я работаю над проектом, который использует кластер HDInsight для отправки заданий спарк, и они используют скрипт Python с классами и функциями [.py], который находитсяв папке / bin / на граничном узле.

Мы предлагаем использовать блоки данных вместо кластера HDInsight, а PoC требует минимальных усилий.

Сомнения:

  1. В кластере HDInsight все сценарии python хранятся в папке / bin / и файлы conf с .yml в папке / conf /.

Можем ли мы повторить ту же структуру в DBFS блоков данных, чтобы минимальные измененияв коде для репликации местоположения.

2.Я новичок в Python, у меня есть несколько скриптов в папке / bin /. Как я могу загрузить или установить эти сценарии в блоках данных.

Я предполагаю, что мне нужно создать пакет и установить в кластер как библиотеку. Поправь меня, если я ошибаюсь.

Как запустить скрипты Python из Databricks.

1 Ответ

0 голосов
/ 24 октября 2019

@ Sathya. Можете ли вы предоставить больше информации о том, что делают различные сценарии Python, а также файлы конфигурации?

Что касается сценариев Python, в зависимости от их функций вы можете создать один или несколько Python. записные книжки в Databricks и скопируйте содержимое в них. Затем вы можете запускать эти записные книжки как часть работы или ссылаться на них в других записных книжках с помощью %run /path/to/notebook

...