Есть ли способ использовать запрос соединения в Azure фабрике данных при копировании данных из источника Sybase

Question

Я пытаюсь загрузить данные из источника Sybase в Azure данные. Я принимаю несколько таблиц, используя таблицу водяных знаков с именами таблиц из источника Sybase. Теперь процесс работает нормально для полного импорта, однако мы пытаемся импортировать таблицы каждые 15 минут, чтобы заполнить панель мониторинга. Нам не нужно принимать всю таблицу целиком, поскольку нам не нужны все данные из нее.

Таблица не имеет dateModified или какого-либо инкрементного идентификатора для выполнения инкрементальной загрузки. Единственный способ отфильтровать нежелательные данные - это выполнить соединение с другой справочной таблицей в источнике, а затем использовать значение «filter» в предложении «Where».

Есть ли способ сделать это на фабрике данных Azure? Я приложил свой текущий скриншот конвейера, чтобы сделать его более понятным.

Answer 1

Большое спасибо за внимание к этому. Мне удалось найти решение. Я использовал таблицу водяных знаков, чтобы проглотить около 40 таблиц, используя один конвейер. Моя единственная проблема заключалась в том, как использовать объединение и «где» фильтр в моем запросе без жесткого кодирования в конвейере. Я добился этого, добавив поля «Присоединиться» и «Где» в таблицу водяных знаков, а затем передав в поле «Запрос» как @ {item () .Join} @ {item (). Где). Работало как волхв c.