Я хотел бы настроить агент Flume, который должен читать из раздела Kafka, и сохранить данные в формате Parquet. Как мне это сделать? Я не смог найти решение для прямой записи данных в формате Parquet
Приемник Flume HDFS по умолчанию не записывает данные в паркет, поскольку в него нельзя добавлять строки. Лучше всего писать файлы avro с помощью Flume и запускать задание MapReduce или Impala, когда файл готов для выполнения Avro to Parquet.