Компилировать или проверять U-SQL программно

Question

У меня есть требование, при котором на основе определенных правил или условий создается сценарий U-SQL.Это делается с помощью шаблонов.Мне нужен какой-то способ проверки сгенерированного сценария U-SQL, похожий на функцию «сценарий компиляции» в коде Visual Studio (для расширения ADLA).

Я обнаружил, что есть несколько ссылок: Ссылка 1 Ref 2

Буду признателен, если кто-нибудь может указать, как к этому подойти.

Выбор языка программирования - Python 3

Answer 1

Я узнал, как использовать его с Python (3). ОС - это Windows. IDE используется VS Code.

Предполагая, что все расширения для Azure Data Lake (и связанные расширения) уже настроены в VS Code, загрузите Local Run Service и Local Run Package. Установите переменную env SCOPE_CPP_SDK (с правильным путем) в Windows (нет необходимости устанавливать ее как env системного уровня, вы также можете выбрать ее как переменную env уровня пользователя).

import subprocess

Local_Run_SDK_Path = 'C:\Users\batman\AppData\Roaming\LocalRunService\LocalRunHelper.exe'
Path_to_Usql_file = 'C:\\MyProj\Usqls\Create_Tables.usql'
Path_to_Dataroot = 'C:\\DataRoot'

cmd = [Local_Run_SDK_Path, 'compile', '-Script', Path_to_Usql_file, '-DataRoot',Path_to_Dataroot]
proc = subprocess.run(cmd, stdout=subprocess.PIPE)

assert proc.returncode == 0 # if successful, the usql compilation should return 0 to proc return code

Это должно сработать.

Answer 2

Azure Data Lake Tools поддерживает несколько пользовательских кодов.Вы можете разработать U-SQL с Python, R и C Sharp для Azure Data Lake Analytics в VS Code.

В этой статье показано, как использовать код Visual Studio (VSCode) для написания Python, R и C # кодируются с помощью U-SQL и отправляют задания в службу Azure Data Lake.

Подробнее см. Расширение сценариев U-SQL с помощью кода Python в Azure Data Lake Analytics

Надеюсь, это поможет.