Инкрементные нагрузки в Polybase

Question

Я создал ВНЕШНЮЮ ТАБЛИЦУ для PolyBase для загрузки данных из хранилища больших двоичных объектов в хранилище данных SQL Azure.У меня есть ниже вопросы, касающиеся загрузки файла.

1) Если происходит постепенный рост данных, то как будет работать PolyBase.Если есть ежедневный файл сэмпла, такой как

test_2019_02_01.incr
test_2019_02_02.incr

, тогда нужно ли нам каждый раз создавать и удалять внешнюю таблицу.если нет, то как мне сделать эту работу

CREATE EXTERNAL TABLE [dbo].[sample]
 (
 [social] varchar(30) NOT NULL,
 [address] varchar(30) NOT NULL
 )
 with (
 LOCATION='/TEST/',
 DATA_SOURCE=POLYTEST,
 FILE_FORMAT=POLY_TEST_HEADER,
 REJECT_TYPE=VALUE,
 REJECT_VALUE=0
 )

2) Могу ли я писать сценарии UNIX в хранилище больших двоичных объектов PolyBase Azure?

Пожалуйста, поделитесь своими мыслями по этому вопросу.

Answer 1

Вы можете создать таблицу в хранилище данных SQL Azure, в которой будут храниться данные, поступающие из файлов, затем создать список файлов, находящихся в хранилище Azure, и выполнять итерацию по этому списку, создавая и удаляя внешнюю таблицу для каждого элемента.в списке.Вы можете пометить каждый элемент, уже обработанный.Каждый раз, когда вы создаете внешнюю таблицу, вы загружаете данные в таблицу хранилища данных Azure, а затем удаляете внешнюю таблицу. Здесь вы найдете полный пример.