Самый быстрый способ импортировать большой (50 ГБ) CSV-файл в базу данных azure

Question

Я только что объединил 100 csv.files в один файл монстра общим размером около 50 ГБ.

Теперь мне нужно загрузить это в мою базу данных azure. Учитывая, что я уже создал свою таблицу в базе данных, какой самый быстрый способ для меня получить этот единственный файл в таблицу?

Методы, о которых я читал, включают: Импорт плоского файла, хранилище больших двоичных объектов / фабрика данных, BCP.

Я ищу самый быстрый способ, который кто-то может порекомендовать, пожалуйста?

Answer 1

Azure фабрика данных должна хорошо подходить для этого сценария, поскольку она предназначена для обработки и преобразования данных, не заботясь о масштабе.

Предполагая, что у вас есть большой CSV-файл, хранящийся где-то на диске, вы не хотите перемещать его в какое-либо внешнее хранилище (чтобы сэкономить время и средства) - было бы лучше, если бы вы просто создали среду выполнения самостоятельной интеграции указывая на ваш компьютер, на котором размещен ваш CSV-файл, и создайте связанную службу в ADF, чтобы прочитать файл. Как только это будет сделано, просто загрузите файл и укажите его в приемник, который является вашей SQL Azure базой данных.

https://docs.microsoft.com/en-us/azure/data-factory/connector-file-system