Для тех, кто спотыкается об этом ответе, Apache Parquet - это проект, в котором указан столбчатый формат файла, используемый Had oop и другими Apache проектами.
Если только вы найдите пользовательский компонент или напишите какой-нибудь код. NET, чтобы сделать это, вы не сможете экспортировать данные с сервера SQL в файл Parquet. Компоненты больших данных KISSWAYSoft SSIS могут предложить один такой пользовательский компонент, но я не знаком с ним.
Если вы экспортируете в Azure, у вас будет два варианта:
Используйте компонент Flexible File Destination (входит в состав пакета функций Azure), который экспортируется в файл Parquet, размещенный в Azure Blob или Data Lake Gen2 хранилище. ,
Использование PolyBase, SQL Серверная функция. Это позволяет вам экспортировать в файл Parquet с помощью внешней таблицы 1020 *. Однако этот файл должен быть расположен в указанном месте здесь . К сожалению, S3 не подходит.
Если бы это был я, я бы переместил данные на S3 в виде файла CSV, а затем использовал бы Athena для преобразования файла CSV в Pqrquet. Здесь есть изящная статья, в которой говорится об Афинах:
https://www.cloudforecast.io/blog/Athena-to-transform-CSV-to-Parquet/
Net - net, вам нужно потратить немного деньги, проявите творческий подход, переключитесь на Azure или выполните преобразование в AWS.