Копирование фабрики данных Azure выполняется медленно - PullRequest
0 голосов
/ 26 октября 2018

Исходная база данных: PostgreSQL, размещенный на виртуальной машине Azure D16s_v3. База данных назначения: выпуск для разработчиков SQL Server, размещенный на виртуальной машине Azure D4s_v3 Размер исходной базы данных составляет около 1 ТБ. База данных назначения пуста с существующей схемой, идентичной исходной базе данных

Пропускная способность составляет всего 1 МБ / с. Ничего не помогает (Я выбрал максимальное DIU). На данный момент в SQL Server нет ключей или индексов.

Размер партии составляет 10000

Смотрите скриншот: enter image description here

Ответы [ 3 ]

0 голосов
/ 12 февраля 2019

Если вы используете опцию TableName, то у вас должна быть эта таблица внутри выпадающего списка Dataset.Если вы выполняете извлечение с помощью SQL-запроса, проверьте подключение к набору данных, нажмите кнопку «Изменить» и удалите имя таблицы.

Я столкнулся с той же проблемой.Если вы выберете опцию запроса и предоставите имя таблицы в наборе данных, то вы запутаете Azure Datafactory и сделаете неоднозначным решение о том, какой вариант.

0 голосов
/ 14 апреля 2019

Меня смутило нечто подобное, когда я использовал ADF для копирования данных из локального источника Oracle в приемник базы данных SQL Azure.Точно такая же работа, выполняемая через SSIS, была примерно в 5 раз быстрее.Мы начали подозревать, что с типами данных что-то не так, потому что проблема исчезла, если мы приведем все наши высокоточные столбцы Oracle NUMBER к меньшей точности или к чему-то вроде целого числа.

Это стало настолько плохо, что мыоткрыли дело в Microsoft по этому поводу, и наши худшие опасения подтвердились.

Десятичный тип среды выполнения фабрики данных Azure имеет максимальную точность 28. Если десятичное / числовое значение из источника имеет более высокую точность, ADFбудет сначала привести его к строке.Производительность кода приведения строки ужасна.

Проверьте, есть ли в вашем источнике высокоточные числовые данные или если вы не определили явным образом схему, проверьте, возможно, вы случайно использовали строку.

0 голосов
/ 26 октября 2018

Увеличьте размер партии до 1000000.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...