Я записываю данные (около 1 миллиарда строк) в файл в формате паркета, используя луч Apache. Я хочу добавить строку no / line no к каждой строке во время записи. Как я могу добиться этого, используя Apache beam?
Я пытался использовать,
@StateId("index")
private final StateSpec<ValueState<Long>> indexSpec = StateSpecs.value(VarLongCoder.of());
Но это снизило производительность, замедлило программу.
Пожалуйста, ведите меня. Заранее спасибо.