Фабрика данных Azure, использующая кластер в блоках данных

Question

Я создал конвейер в фабрике данных Azure.Я создал рабочую область Databricks, записную книжку (с некоторым кодом) и кластер.Я создал соединение от ADF до БД.Я проверил соединение.Все огни зеленые.Я опубликовал трубопровод ADF.

Когда я запускаю работу, она говорит УСПЕХ.Но в Databricks ничего не происходит.В БД не создано ни одной работы.Код в ячейке записной книжки явно не выполняется.(Я знаю это, потому что код печатает текущее время.)

Кто-нибудь сделал это успешно?

Чтобы было ясно, я хочу, чтобы фабрика данных использовала кластер существующий в Databricks, а не создавала новый.Я назвал кластер в параметрах настройки конвейера.

Answer 1

решаемая. Проблема заключалась в том, что блокнот (содержащий мой код) находился в папке «Блокнот пользователя». У Data Factory не было разрешения на просмотр / использование моего ноутбука. Я создал ту же записную книжку в папке Shared, и все работает нормально.

Я укажу, что ADF должен выдавать сообщение об ошибке / предупреждение, если указанный ноутбук нельзя увидеть или использовать. Трубопровод АПД проверен нормально, сообщил об успешном запуске, но просто молча провалился.

Answer 2

Пожалуйста, обратитесь к этому руководству: Запустите блокнот Databricks с блокнотом Databricks в фабрике данных Azure .

В этом руководстве вы используете портал Azure для создания конвейера фабрики данных Azure, который выполняет записную книжку Databricks для кластера заданий Databricks. Он также передает параметры фабрики данных Azure в записную книжку Databricks во время выполнения.

В этом руководстве вы выполните следующие действия:

1. Создать фабрику данных.
2. Создание конвейера, использующего блокнот Databricks Activity.
3. Запуск трассы трубопровода.
4. Контролировать работу трубопровода.

Одно из отличий в том, что вам не нужно создавать new job cluster, выберите use an existing cluster.

Надеюсь, это поможет.