Разница между DataFlow и конвейерами

Question

Я не понимаю разницы между потоком данных и конвейером в Azure Фабрике данных.

Я читал и вижу, что DataFlow может преобразовывать данные без написания какой-либо строчки кода.

Но я сделали пайплайн и это точно то же самое.

Спасибо

Answer 1

Конвейер является оркестратором и не преобразует данные. Он управляет серией из одного или нескольких действий, таких как копирование данных или выполнение хранимой процедуры. Поток данных является одним из этих типов действий и сильно отличается от конвейера.

Поток данных выполняет преобразования на уровне строк и столбцов, такие как анализ значений, вычисления, добавление / переименование / удаление столбцов, даже добавление или удаление строк . Во время выполнения поток данных выполняется в среде Spark, а не в среде выполнения фабрики данных.

Конвейер может работать без потока данных, но поток данных не может работать без конвейера.

Answer 2

Во-первых, действие потока данных должно выполняться в конвейере. Поэтому я подозреваю, что вы говорите об активности копирования и активности потока данных, поскольку они оба используются для передачи данных из источника в приемник.

Я прочитал и вижу, что DataFlow может преобразовывать данные без записи какой-либо строки кода.

Вы можете увидеть обзор потока данных. Поток данных позволяет инженерам по обработке данных разрабатывать графические логики преобразования данных c без написания кода. Все этапы передачи данных основаны на визуальных интерфейсах.

Я сделал конвейер, и это точно то же самое.

Копирование может использоваться для передачи данных. Однако у него есть много ограничений с отображением столбцов. Итак, если вам просто нужна простая и чистая передача данных, можно использовать Copy Activity. Для дальнейшего удовлетворения индивидуальных потребностей вы можете найти множество встроенных функций в действии потока данных. Например, производный столбец, агрегирование, сортировка и т. Д. c.