Azure Фабрика данных, Как получить вывод из scala (jar job)? - PullRequest
0 голосов
/ 16 января 2020

У нас есть конвейер фабрики данных Azure, и один шаг - это jar-задание, которое должно возвращать выходные данные, использованные на следующих шагах. Можно получить вывод из ноутбука с помощью dbutils.notebook.exit (....) Мне нужна аналогичная функция для получения вывода из основного класса jar. Спасибо!

Изображение моего трубопровода

1 Ответ

0 голосов
/ 17 января 2020

На самом деле нет встроенной функции для непосредственного выполнения jar-работы, насколько я знаю. Однако вы можете легко реализовать ее с помощью Azure Databricks Service.

Два способа в Azure Рабочая область блоков данных:

enter image description here

Если ваш jar - исполняемый файл jar, просто используйте Set JAR, который может установить основной класс и параметры:

enter image description here

И наоборот, вы можете попытаться использовать Notebook для выполнения dbutils.notebook.exit (....) или что-то еще.

Возвращаясь к АПД, АПД имеет Активность блоков данных , и вы можете получить выходные данные об этом для следующих шагов. Любая проблема, пожалуйста, дайте мне знать.


Обновления:

Нет аналогичной функции dbutils.notebook.exit (....) в активности Jar, насколько я знаю. Пока что я просто предоставляю обходной путь здесь: сохранение параметров в указанный файл c, который находится (например) в хранилище больших двоичных объектов внутри выполнения jar. Затем используйте LookUp активность после активации jar y, чтобы получить параметры для следующих шагов.


Обновления в 1.21.2020

Получены некоторые обновления от MSFT по ссылке github: https://github.com/MicrosoftDocs/azure-docs/issues/46347

Отправка вывода - это функция, которую поддерживают только рабочие тетради для рабочих процессов ноутбука, а не выполнения jar или python в блоках данных. Это должна быть функция, запрашивающая блоки данных, и только тогда ADF сможет ее поддержать.

Я бы порекомендовал вам отправить это в качестве отзыва о продукте на форуме Azure Databricks.

Кажется, что вывод из выполнения jar не поддерживается кирпичами данных azure, ADF естественным образом поддерживает только функции azure кирпичей данных. Хорошо ... вы можете получить sh соответствующий прогресс, связавшись с командой azure databricks. Я просто поделился здесь всеми своими знаниями.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...