Как написать файлы Parquet на HDFS с использованием C ++?

Question

Мне нужно записать записи данных в памяти в файл HDFS в формате Parquet с использованием языка C ++. Я знаю, что на github есть библиотека parquet-cpp, но я не могу найти пример кода.

Может ли кто-нибудь поделиться копией или ссылкой на пример кода, если он у вас есть? Спасибо.

Answer 1

Примеры использования parquet-cpp в репозитории github находятся в каталоге examples. Однако они имеют дело только с Parquet и не требуют доступа к HDFS.

Для доступа к HDFS из C ++ вам потребуется libhdfs из Apache Hadoop. Или вы можете использовать Apache Arrow, который имеет интеграцию HDFS, как описано здесь .