Когда использовать фабрику данных (копирование) вместо прямого извлечения SQL синапс - PullRequest
0 голосов
/ 03 августа 2020

Я просто просматриваю какой-то документ Microsoft и занимаюсь делами, связанными с инженерией данных. У меня есть несколько запросов для сценария - «скопируйте файл (ы) CSV из хранилища BLOB-объектов в аналитику Synapse (этапные таблицы):

Я читал, что мы можем выполнять прямое извлечение данных в Synapse с помощью процесса создания внешних таблиц. (https://docs.microsoft.com/en-us/azure/synapse-analytics/sql-data-warehouse/load-data-wideworldimportersdw)

Если это возможно, то в каких случаях мы используем Azure Копирование фабрики данных или метод потока данных? При работе с Azure фабрика данных, это хорошая идея использовать Polybase, потому что она снова будет использовать хранилище BLOB-объектов в качестве промежуточного в этом сценарии (т.е. я копирую файл только из Blob-объекта и снова использую BLOB-объект для подготовки)?

Я искал для ответов на мои вопросы, но пока не нашел удовлетворительного ответа.

1 Ответ

0 голосов
/ 04 августа 2020

Если вы просто загружаете данные из CSV в DW, используйте Копировать. Polybase рекомендуется, но не всегда требуется для небольших файлов.

Если вам нужно преобразовать эти данные или выполнить обновления, используйте потоки данных.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...