Как добавить вывод потребителя кафки в файл (паркет) в HDFS, используя Java / Scala?

Question

Это пакетный процесс Кафки. Я хочу прочитать локальный CSV-файл и записать его в топик Кафки c.

Затем потребитель должен получить данные из топи c, на которые он подписан.

Ожидается : Я хочу, чтобы использованные данные были добавлены в файл в формате Parquet в HDFS. Пожалуйста, помогите мне добиться этого эффективным способом.

Кафка Вход производителя:

Кафка Потребительский выпуск:

Я хочу, чтобы значение добавлялось в файл в HDFS.

Answer 1

Сделать это с нуля было бы довольно сложно.

Вы можете использовать HDFS-коннектор Kafka для подключения приемника, который обрабатывает выходной формат в виде паркетного короба (хотя для этого потребуется немного предварительно обработать ваши записи). они в правильном формате, например json со схемой и c ..).

Более подробная информация здесь: https://docs.confluent.io/current/connect/kafka-connect-hdfs/index.html