Как заставить потоки данных фабрики данных Azure использовать блоки данных

Question

Я работаю с фабрикой данных Azure и ее новой функцией потоков данных. Это графический интерфейс, который должен использовать блоки данных для преобразования данных без написания кода.

Пока все хорошо. У меня есть несколько примеров работы. Мои входные данные (из BLOB-объекта Azure) правильно преобразованы и объединены для создания выходных данных (в SQL Azure).

Проблема в том, что у меня нет ресурса Databricks . Я удалил это. Я также удалил соединитель фабрики данных в Databricks. Но я все еще получаю правильные ответы!

Я подозреваю, что мои входные наборы слишком малы, или мои преобразования слишком просты, поэтому фабрика данных просто обрабатывает их внутренне и знает, что ей не нужна мощь блоков данных. Но что мне нужно сделать, чтобы заставить фабрику данных использовать блоки данных? Я хочу проверить кое-что об этой операции.

Другая возможность состоит в том, что фабрика данных использует , используя Databricks, но делает это с собственным ресурсом Databricks, а не с пользователями ... ??

Answer 1

Потоки данных фабрики данных Azure всегда работают за кулисами данных за кулисами. Вы не можете заставить (или отключить) использование Databricks.

В раннем приватном предварительном просмотре вам приходилось настраивать и использовать собственный кластер Databricks. Позже он был изменен, и с мая 2019 года фабрика данных Azure будет управлять кластером за вас.

(Я слышал, что в какой-то момент они планируют повторно внедрить функцию "принеси свой кластер", но я не видел, чтобы это было публично подтверждено.)

Если вы включите режим отладки потока данных или выполните конвейер с задачей потока данных, вам будет выставлен счет за использование кластера в час vCore. Вы можете найти все детали в Цены на конвейер данных и FAQ .