Перемещение данных с локального сервера MSSQL на удаленную базу данных MYSQL - PullRequest
2 голосов
/ 11 июня 2019

Я использую SSIS для перемещения данных между локальной таблицей сервера MSSQL в удаленную таблицу MYSQL (поток данных, источник OLEdb и назначение ODBC). это работает нормально, если я только перемещаю 2 строки данных, но очень медленно при использовании таблицы, которую я хочу, которая имеет 5000 строк, которая помещается в CSV около 3 МБ, в настоящее время это занимает около 3 минут, используя параметры ssis, однако, выполняя шаги ниже можно сделать максимум за 5 секунд).

Я могу экспортировать данные в файл csv, скопировать их на удаленный сервер, а затем запустить скрипт для импорта прямо в БД, но это требует гораздо большего количества шагов, которые я хотел бы, так как у меня есть несколько таблиц, которые я хочу выполнить шаги.

Я пробовал построчную и пакетную обработку, но по сравнению с ними оба выполняются очень медленно.

Я знаю, что могу использовать описанные выше шаги, но мне нравится использовать графический интерфейс SSIS, и я подумал бы, что есть лучший способ решения этой проблемы.

Я много раз гуглял, но не нашел ничего подходящего, поэтому обращаюсь к внешним мнениям.

Я понимаю, что у SSIS есть свои ограничения, но я надеюсь, что есть лучший и более быстрый способ достижения того, что я пытаюсь сделать. Если SSIS настолько плох, я могу просто переписать все в сценарий и покончить с этим, но мне нравится внешний вид Gui, и я хотел бы переместить мои данные таким приятным дружественным способом увидеть, как все происходит.

любые предложения или мнения будут оценены.

спасибо за ваше время.

Как и выше, пробовал опции ssis, включая сторонний вариант cozyroc, но он время от времени отправлял некоторые данные с ошибками (разделение по столбцам казалось отключенным), копировалось разное количество строк и было достаточно проблем, чтобы я не доверял данным.

...