Нужен более быстрый метод для импорта большого CSV-файла на Azure SQL Сервер БД

Question

Нужны предложения в следующем сценарии:

Нам необходимо импортировать данные из больших файлов CSV (> = 1 ГБ) в целевую Azure SQL БД.

В настоящее время используется SQL это можно сделать с помощью утилиты «Импорт и экспорт данных» на сервере 2012 года.

Проблема: 1. Скорость импорта очень низкая. Он импортирует 1,6 миллиона записей (256 МБ CSV) за 5 с половиной часов, что дорого по времени и стоимости.

Есть ли предложения по более быстрой загрузке данных в формате csv?

Примечание: 1. Файлы CSV содержат (,) в данных с (") в качестве разделителя текстовых полей

Источник имеет все типы данных - дата, целое число, десятичное число

Заранее спасибо!

Answer 1

Лучший способ для вас - использовать Фабрика данных . Он имеет хорошую производительность для передачи больших данных.

Вы можете сохранить CSV-файл во многих хранилищах данных (поддерживается фабрикой данных):

Затем скопируйте файл CSV в базу данных Azure SQL.

Возможно, вам потребуется ссылки на эти учебные пособия:

1. Копирование и преобразование данных в Azure SQL База данных с использованием Azure Фабрика данных
2. Копирование и преобразование данные в Azure хранилище BLOB-объектов с использованием Azure фабрика данных

обновление:

Ваш CSV-файл содержит данные столбца, которые содержат запятую ",".

У многих людей есть те же вопросы, которые я также задавал Azure Поддержка подсказок, у которых есть то же предложение, что @Jacob H сказал вам в комментарии: измените файл csv или попробуйте другие способы.

Надеюсь, это поможет.