Выполнить яйцо напрямую из фабрики данных Azure - PullRequest
Новая
       41

Выполнить яйцо напрямую из фабрики данных Azure

5 голосов
/ 19 марта 2020

Вопрос

Как выполнить файл яйца из Azure конвейера фабрики данных (AD)? В настоящее время я могу вызвать только записную книжку Databricks, из которой выполняется файл яйца. Любой способ сделать это напрямую?

Что было сделано

После этого ответа я получил следующее исключение: 

{
    "errorCode": "3201",
    "message": "Must specify one jar or maven library for jar task, either via jar_uri or libraries.",
    "failureType": "UserError",
    "target": "Execute Egg",
    "details": []
}

enter image description here

Код и структура

На моем локальном компьютере я могу выполнить python dist/hello_world-1.0-py2.7.egg, который напечатает 'Hello world!'

src
 |-__init__.py
 |-main.py
__main__.py
setup.py

setup.py 

from setuptools import setup, find_packages

setup(
    name='hello-world',
    version='1.0',
    packages=find_packages(),
    py_modules=['__main__']
)

__ main_ _.py 

from src.main import run

if __name__ == '__main__':
    run()

src / main.py 

def run():
    print('Hello world!')


if __name__ == '__main__':
    run()
...