SQL Server Integration Services - программно выбирайте, какие файлы импортировать

Question

Я не новичок в SQL Сервере, но am новичок в Integration Services, поэтому я хочу понять, полностью ли достижимо следующее требование в SSIS или мне нужно будет рассмотреть какой-то уровень из C# разработка дополняет:

У нас есть 25 Azure ВМ, работающая Windows Сервер 2016 Datacenter - на каждой ВМ есть тысячи файлов журналов в разных папках. Нам необходимо отслеживать все эти папки, и при создании любого нового файла с определенной строкой в ​​имени мы хотим, чтобы содержимое файла было экспортировано в таблицу на нашем Azure SQL сервере. База данных 2017 года.

Этот тип настраиваемой логики c настраивается в проекте SSIS или SSIS больше ориентирован на stati c определения файловых папок / имен файлов?

Answer 1

Я не думаю, что вы можете реализовать средство просмотра папок в пакете служб SSIS. Но вы можете достичь этого разными способами:

(1) - с помощью средства просмотра папок

Вам необходимо разработать пакеты служб SSIS, необходимые для импорта данных, а затем должен разработать средство наблюдения за папками, используя C#, чтобы прочитать изменения в папке, и если имя файла соответствует требованиям, вы должны запустить dtexe c утилиту (с использованием оболочки) для запуска соответствующий пакет служб SSIS.

(2) - использование SQL задания агента

Можно настроить задание агента сервера SQL для периодической проверки изменений файла и запуска пакет служб SSIS при необходимости.