Потоки данных ADF: неверное имя столбца

Question

Я хочу создать простой процесс фабрики данных Azure для чтения файла (CSV) из хранилища BLOB-объектов и записи его в базу данных SQL Azure с использованием потоков данных.

исходный набор данных содержит столбец с именем «myTime» типа «string».

Я добавил «производный столбец», чтобы добавить новый столбец с именем «customTime» с выражением «currentTimestamp ()»

наконец, в приемнике sql я сопоставил «customTime» с моим полем DateTime в базе данных.

Если я предварительно просматриваю данные в потоках данных, все выглядит хорошо, я вижу оба поля (myTime, customTime). Когда я отлаживаю конвейер, я получаю следующее исключение:

Activity myActivity failed: DF-SYS-01 at Sink 'sqlsink': java.sql.BatchUpdateException: Invalid column name 'myTime'

Есть идеи, почему приемник sql связан с "myTime", а не с "customTime"? Я не вижу никакой ссылки на «myTime», за исключением того, что это является частью схемы ввода.

Большое спасибо и наилучшие пожелания Michael

Answer 1

Эта ошибка вызвана отображением столбца. Вы создаете новый столбец "customTime", но в вашей таблице имя столбца - "myTime".

То, что я обнаружил, это то, что имя столбца файла CSV и схема должны совпадать с таблицей Sink, иначе при отладке будет выдано сообщение об ошибке:

Решение 1: : выберите «Восстановить таблицу» в Настройки раковины . Но это изменит схему вашей таблицы: с myTime на customTime.

Решение 2: Добавьте то же имя столбца с таблицей Sink в Настройки производного столбца .

Я тестирую с той же операцией, и она сработала успешно.

Я читаю файл (csv) из хранилища больших двоичных объектов и записываю его в базу данных SQL Azure, используя потоки данных. Я создаю таблицу Sink с той же схемой.

Это мой CSV-файл:

Мой поток данных:

Шаг 1: Настройки источника :

Шаг 2: Настройки производного столбца

Шаг 3: Настройка раковины:

Выполнение выполнено успешно:

Надеюсь, это поможет.