Как записать данные флинка потока данных в реальном времени в формате файла паркета в HDFS - PullRequest
0 голосов
/ 11 июля 2020

1.Как записать данные в формате паркета в HDFS с помощью обработки потока данных flink.

2. Кроме того, при указании пути для состояния с помощью Rockdb папка создается по указанному пути HDFS, но ничего не записывается , размер равен нулю. Нужно ли мне указывать какие-либо другие конфигурации вместе с "env.setStateBackend (new RocksDBStateBackend (" HDFS: // path ", true)); true - для инкрементной записи.

Для контрольной точки указан путь к каталогу HDFS, создаются только общие папки и папки, принадлежащие задачам, без папки контрольной точки.

Может ли кто-нибудь помочь с этими проблемами с кодом или если я что-то делаю не так.

...