Импорт CSV с переменными столбцами в базу данных Sql с использованием Azure фабрики данных - PullRequest
0 голосов
/ 27 февраля 2020

Я пытаюсь импортировать CSV-файлы из хранилища BLOB-объектов в базу данных сервера sql с использованием Azure Фабрика данных. Эти CSV-файлы не имеют согласованного формата. Не все CSV-файлы имеют одинаковое количество столбцов.

Как проверить, существует ли столбец в файле csv и не просто ли он вставляет значение NULL для этого столбца в SQL базу данных сервера?

1 Ответ

0 голосов
/ 27 февраля 2020

Я предполагаю, что вы используете ADF v2.

Вы можете увидеть наличие столбца, нажав на действие ADF и перейдя на вкладку Mapping, это позволит вам сопоставить столбцы, присутствующие в файле CSV, с входной набор данных и оттуда вы сможете узнать, есть ли какие-либо пропущенные столбцы, поскольку сопоставление не дотягивает до столбцов из входного файла.

Если вы не видите никакого сопоставления, то вам нужно чтобы щелкнуть по схеме импорта, чтобы сопоставить столбцы файлов с входным набором данных.

Чтобы вставить значение NULL в базу данных, вы можете написать хранимую процедуру и вызвать ее через ADF, или же вы можете оставить столбец базы данных со значением по умолчанию как NULL, поэтому, если данные отсутствуют в файле для этого столбца, тогда автоматически он примет значение как NULL.

Дайте мне знать, если у вас есть какие-либо дополнительные вопросы.

Спасибо и С уважением,

Пратик Сомайя

...