Записать несколько файлов на GS в потоке данных на основе группировки ключей в конвейере - PullRequest
0 голосов
/ 30 ноября 2018

У меня есть коллекция KV, созданная путем группировки, и цель состоит в том, чтобы записать каждое V в другой файл (V - это список строк).Ссылаясь на этот код, Как использовать FileIO.writeDynamic () в Apache Beam 2.6 для записи в несколько путей вывода? , я понимаю, что запись FileIO.dynamic решит эту задачу.Однако учитывает ли он раздувание горячих клавиш в группировке?Каков наилучший способ записи в несколько файлов на основе ключей?Также имя файла должно быть ключом со значениями, записанными в нем.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...