Как выполнить python класс / метод колеса (не сценарий) в Azure фабрике данных, используя действие Azure Databricks? - PullRequest
1 голос
/ 10 января 2020

Можно ли выполнить python класс / метод колеса (не сценарий) в Azure фабрике данных, используя операцию Azure Databricks, как если бы это был упакованный метод java в. банка? В отличие от скрипта, он может возвращать значение (я), не делая ничего, кроме как похоронить их стандартный вывод.

Мне не удалось ничего найти, и я попытался использовать активность jar, но не повезло, что меня не удивило, но стоило попробовать.

Если нет, то, что я ищу способ использовать Azure Databricks вычислять и возвращать небольшой набор значений обратно из задания python. Я успешно использовал действие ADF для скрипта данных python.

TIA!

1 Ответ

0 голосов
/ 10 января 2020

Да. Добавьте колесо в качестве библиотеки на кластере. Затем создайте файл .py, который импортирует библиотеку и вызывает нужный метод. Сохраните файл py на томе dbfs.

Создайте конвейер фабрики данных, который использует задачу python, и укажите его в своем файле py. Вы также можете передать аргументы.

Вы также можете сделать это с ноутбуком, который импортирует библиотеку.

Этот пост (и серия, в которой он находится) должен помочь https://datathirst.net/blog/2019/9/20/building-pyspark-applications-as-a-wheel

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...