Как загрузить библиотеки Python в пользовательскую активность фабрики данных Azure?

Question

Я понимаю, что вы можете использовать пакетное настраиваемое действие с настраиваемым образом виртуальной машины с предварительно загруженными библиотеками python для запуска ваших программ python через ADF.

Можем ли мы также использовать обычный образ виртуальной машины Linux и загружать библиотеки python как часть выполнения пользовательского действия? Я понимаю, что это может увеличить время выполнения, так как библиотеки должны быть установлены каждый раз, но я хочу узнать, как это делается. Объяснение / пример приветствуется.

Спасибо!

Answer 1

Вы можете использовать пакетное задание Azure для эффективной установки предопределенных библиотек.Все задания, отправленные с помощью пользовательской активности в один и тот же пул, будут иметь к ним доступ.

Кроме того, вы можете установить зависимые библиотеки, выполнив сценарии оболочки для узлов пула Linux, которые установят библиотеки и затем вызовут код Python.