Запрос Azure Stream Analytics - объединение

Question

Добрый день

У меня есть приложение, которое передает данные через Azure EventHub через Azure Stream Analytics в базе данных SQL Azure.Эти данные взяты из файла, который записывается из программного обеспечения Cost Recovery каждые несколько минут и содержит последний полный список учетных записей.

Я хочу убедиться, что при прохождении всех данных из файла через этот процесс возникает какая-либо форма MERGE, которая обновляет только существующие учетные записи и вставляет несуществующую учетную запись.Чтобы убедиться, что дубликаты учетных записей не созданы.

Я не уверен, является ли Stream Analytics лучшим вариантом для передачи данных из EventHub в SQL.

Пример процесса:

Answer 1

Используя Azure Stream Analytics и SQL Azure DB, это можно сделать следующим образом:

1. Вывод данных ASA в SQL в первую таблицу, это будет «посадочная таблица»
2. Создание в SQL триггера для слияния из целевой таблицы в финальную таблицу.

В качестве альтернативы, если вы используете в качестве выходных данных Cosmos DB, Azure Stream Analytics изначально поддерживает upsert, так что это можно сделать напрямую из ASA.

Сообщите нам, если у вас есть дополнительные вопросы и отзывы.

Спасибо,

JS

Answer 2

Исходя из вашего описания, вы все еще можете использовать фабрику данных Azure для реализации ваших требований в реальном времени.

1.Создание Триггера событий Event Azure Функция . Пожалуйста, посмотрите этот пример C # .

2.Создание конвейера в фабрике данных Azure.

3.В этом конвейере создайте Функция Azure Activity , чтобы настроить URL-адрес и параметры триггерной функции концентратора событий.

4.Создать Скопировать действие после действия функции Azure, чтобы сделать источник в качестве данных из вывода действия функции Azure.

5.Сделайте приемник как базу данных SQL и создайте хранимую процедуру для выполнения операции слияния. Пожалуйста, следуйте подробностям из этого блога .