Разделите файл размером 1 ТБ, используя Azure Data Lake Analytics / U- SQL

Question

У меня есть текстовый файл размером 1 ТБ, в котором есть текстовые данные. Я хочу разбить его на более мелкие фрагменты данных, используя Azure Data Lake Analytics / U- SQL.

Как я могу этого добиться?

Answer 1

Я рекомендую использовать функцию сопоставления потока данных ADF, которая построена на Spark в облаке.

1. Создайте новый поток данных

2. Добавьте исходный файл

3. Добавьте папку Sink, указав разделение

4. Сохраните поток данных

5. Затем добавьте действие Execute Data Flow и выберите новый поток данных разделения файлов