Azure Фабрика данных Неправильное копирование значения ячейки при копировании данных из Azure Хранилище больших двоичных объектов в Azure SQLDB

Question

Я нахожусь в процессе создания приложения со списком продуктов с помощью Azure.

В настоящее время у меня есть функция azure, которая записывает json файлы в хранилище BLOB-объектов. Вот как выглядит мое текущее хранилище больших двоичных объектов: Когда Azure фабрика данных копирует данные в мою SQL БД, это выглядит так: Вот код, который я использую для создания моя таблица:

-- Create a new table called 'groceryitems' in schema 'grocerylistapp'
-- Drop the table if it already exists
IF OBJECT_ID('grocerylistapp.groceryitems', 'U') IS NOT NULL
DROP TABLE grocerylistapp.groceryitems
GO

CREATE SCHEMA grocerylistapp
GO

-- Create the table in the specified schema
CREATE TABLE grocerylistapp.groceryitems
(
    id INT IDENTITY(1,1), -- Primary Key column
    epoch DATE,
    [name] VARCHAR(50),
    PRIMARY KEY CLUSTERED([id] ASC)
    -- Specify more columns here
);
GO
1

Как ни странно, когда я первоначально делал это с Хранилищем данных / Synapse, я не сталкивался с этой проблемой, поэтому я предполагаю, что это как-то связано с SQL DB.

Я также хочу добавить, что он случайным образом решает исказить одну строку, если бы у меня было 3,4 или 5 элементов в хранилище BLOB-объектов, он выбрал бы одну строку и исказил ее, как показано на скриншоте. Это не всегда один и тот же предмет.

Спасибо.

Answer 1

Во-первых, убедитесь, что вы выбрали файл формата json в качестве набора данных Soure.

Вот шаги, которые я протестировал, и он хорошо работает.

Исходный набор данных (json формат) из хранилища BLOB-объектов:

Импортировать схему из набора исходных данных:

Настройки набора данных приемника:

Настройки отображения:

Запустить трубопровод:

Проверить данные в таблице grocerylistapp.groceryitems:

Надеюсь, это поможет.