Каковы плюсы и минусы CREATE EXTERNAL TABLE по сравнению с CTAS?

Question

Я пытаюсь создать конвейер фабрики данных Azure, который получает данные из озера данных Azure и преобразует их.

Я хочу сохранить преобразованные данные в хранилище данных SQL Azure (как факты и измерения).

Я получил два решения для предоставления данных на складе:

1. Используйте CREATE EXTERNAL TABLE и ссылайтесь на преобразованные данные, которые находятся в озере, в .csv файлах;
2. Используйте CTAS , чтобы скопировать .csv файлы из озера в хранилище;

Вопрос

Мне не очевидно, какие компромиссы в игре. С одной стороны, мне кажется, что 1-й вариант позволяет избежать копирования на склад (правда?). Но второй вариант предлагает больше вариантов, таких как индексация.

Каковы плюсы и минусы CREATE EXTERNAL TABLE по сравнению с CTAS?

Answer 1

Основным преимуществом размещения данных в DW (с использованием CTAS) является то, что последующие запросы к этим данным будут значительно быстрее.Вы получите полное распределение данных по вашим узлам и дистрибутивам.Любые запросы, которые фильтруют или присоединяются к таблице, будут значительно быстрее.

Недостатком, как вы указали, является то, что вы сейчас храните другую копию данных ... при условии, что вы не удаляетефайл из вашего озера данных после загрузки.

Думайте о создании внешней таблицы как о простом отображении внешнего файла в структуру данных SQL.