Как мне организовать передачу данных между CSV и SQL?

Question

Я создаю серию пакетов служб SSIS, предназначенных для следующих действий:

1.) Импортировать несколько тысяч строк из файла CSV в серию таблиц SQL 2005 2.) экспортировать несколько тысяч строк в серию файлов CSV

У меня есть несколько проблем, прежде чем я погрузиться в:

a.) Прежде чем импортировать свои csv-файлы, я сначала хочу убедиться, что импортируемые файлы не открыты или не записываются в другое приложение. Есть ли способ сделать это в SSIS?

б.) Поскольку я собираюсь передавать данные через VPN, я обеспокоен тем, сколько времени потребуется, сначала перенести данные из файла CSV, а затем преобразовать данные в моем sql. столы. Это не просто импорт - мне нужно преобразовать некоторые столбцы в строках csv в допустимые значения для моей таблицы SQL, а также проверить, являются ли они вставками или обновлениями на основе существующих данных в моей БД. Должен ли я сначала посмотреть на передачу данных CSV во временные таблицы, а затем посмотреть на запись дальнейших преобразований в мои основные таблицы (я думаю, что это может быть более надежным, чем попытка выполнить 2 шага на лету.)

Ваш совет с благодарностью!

Answer 1

а. Вы можете проверить в потоке управления, используется ли ваш файл со сценарием.

б. Сначала скопируйте ваши файлы в локальную область, а затем импортируйте их из этого места. использование промежуточная база данных для импорта ваших файлов в rawtable, а затем преобразования и принятия решения о вставке ваших строк в table4update или table4insert после вставки этих таблиц, вы можете вставить / обновить целевую таблицу с помощью одного оператора sql (controlflow). Не забывайте думать партиями. Обрежьте свои промежуточные таблицы перед чтением.