Не думайте, что импортировать данные так же просто, как сбросить их в базу данных и заставить компьютер выполнять всю обработку. Как вы обнаружили, у автоматической загрузки могут быть проблемы.
Во-первых, процессы ELT базы данных обесценивают жесткий диск. Не размещайте данные в одной таблице до их вставки в исходную таблицу. Ваш процесс должен импортировать данные только один раз в собственную таблицу для защиты оборудования.
Во-вторых, вам не нужно стороннее программное обеспечение для посредничества в работе. Вам нужно control , чтобы вы не проверяли вручную, что было вставлено. Это означает, что ваш процесс должен сначала очистить / преобразовать данные перед импортом. Вы хотите предотвратить все проблемы перед загрузкой путем очистки, структурирования и даже обработки данных. Загрузка должна быть только сценарием вставки SQL. Я разорвал много скриптов T- SQL, где кто-то посчитал удобным интегрировать обработку с командами базы данных. Не делайте этого.
Вот как я управляю импортом из электронных отчетов. Формулы Excel лучше, чем изучение инструментов ETL, таких как SSIS. Я использую формулы ячеек, чтобы проверить, является ли запись действительной для go в нашей системе. Этот результат представляет собой собственный столбец, а затем, если этот столбец имеет значение true, в столбце конкатенации отображается сценарий вставки.
=if(J1, concatenate("('", A1, "', ", B1, "),"), "")
Если столбец имеет значение false, в столбце concat ничего не отображается. Это позволяет мне копировать / вставлять вставки в SSMS и проводить массовые вставки с помощью сценариев «вставки в табличные значения».
Если это фактически обновляет существующие записи, как, по-видимому, предлагает ваш комментарий, то вам нужно освоить данные, систематизирующие то, что изменилось в журналах для ваших пользователей.
Шаги синхронизации:
Записывайте, что там есть до обновления
Загрузка и сравнение локальных и удаленных копий на предмет различий; вы не можете сравнивать их без а) наличия обоих в одном физическом месте или б) управления другой системой
Записывайте, что вы обновляете, и отметку времени при обновлении it
Сохраните и закройте журналы
Только после завершения 1-4 вы должны опубликовать обновление для продукции
Мое руководство по синхронизации источников данных и обработке Создает / Обновляет / Удаляет: syn c локальные файлы с файлами сервера