SQL Server - ETL подход - PullRequest
       4

SQL Server - ETL подход

0 голосов
/ 15 марта 2011

Мы ежедневно получаем файлы, которые необходимо загрузить в нашу базу данных. Файлы будут доставлены на отдельный сервер, чем база данных. Какой из двух подходов лучше для ETL с точки зрения производительности?

  1. Передача файлов с сервера доставки на сервер базы данных. Делать объемную загрузку.
  2. Открыть соединение с БД с сервера доставки и загрузить

Отредактировано для добавления: все серверы находятся в одной сети.

Ответы [ 3 ]

1 голос
/ 15 марта 2011

Зависит от того, являются ли исходные серверы серверами SQL или другой технологией, используется ли драйвер (если это оракул, драйвер Microsoft будет плохо работать, оракул лучше), количество накладных расходов базы данных, которые вы хотите наложить (пока один сервер работаетс другой стороны, они, вероятно, связаны с IO), дисковая раскладка у вас (т.е. чтение из одного рейда и запись в другой, сжатие и передача через 1 гигабайт или 100 Мб может быть более эффективным. Обычно дампы сжимаются хорошо, но, как заметила Бет,протестируйте его.

С помощью дампов Вы можете злоупотреблять параллельными преобразованиями (например, использование нескольких дисковых ресурсов и использование нескольких процессоров для сжатия - используйте период 7zip). С Ethernet вы, вероятно, не будете злоупотреблять большим количеством параллелизма. То же самое влияет на целевой сервер.

В общем, как обычно, с производительностью, тест, количественно, тест, количественно, повторить:)

0 голосов
/ 16 марта 2011

Универсальный ответ «Это зависит». Это зависит, в частности, от того, какую технологию ETL вы используете. Если ваш ETL привязан к серверу базы данных из-за его вычислительной мощности (SSIS, BODI (в меньшей степени)), вам необходимо как можно быстрее вывести свои файлы на сервер базы данных. Если у вас есть пакет ETL с большим количеством файлов (Abinitio, Informatica) затем вы можете выполнить преобразование на сервере доставки, а затем переместить «готовые к загрузке» данные на сервер базы данных для массовой загрузки.

0 голосов
/ 15 марта 2011
  1. во всех случаях.Особенно, если файлы очень большие, вы можете сжать файлы данных перед передачей по сети.
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...