Определение оптимального размера пакета записи в задаче копирования фабрики данных Azure - PullRequest
0 голосов
/ 01 марта 2019

Я смотрел на оптимизацию некоторых конвейеров, которые мы получили, и как часть этого, также смотрел на опцию Write batch Size для задач копирования.Я понимаю, как это в основном работает и его важность.Цитата MSDN:

Копировать Активность вставляет данные в серии пакетов.Вы можете установить количество строк в пакете, используя свойство writeBatchSize.Если ваши данные имеют небольшие строки, вы можете установить для свойства writeBatchSize более высокое значение, чтобы получить выгоду от меньших издержек пакета и более высокой пропускной способности.Если размер строки ваших данных большой, будьте осторожны при увеличении writeBatchSize.Высокое значение может привести к ошибке копирования, вызванной перегрузкой базы данных.

Но как правильно определить идеальную метрику.Я подготовил лист Excel с именами таблиц, их размером (в МБ) и количеством записей в нем.Какими должны быть мои дальнейшие шаги, учитывая, что у меня нет времени на обширные испытания?Любые указатели будут высоко оценены!Спасибо.

Если это имеет значение, я нахожусь на P4 Azure SQL DB и извлекаю данные из таблиц Oracle ERP.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...