У меня есть 100k записей для обработки, и мне нужно каждый раз получать 10k, обрабатывать их и извлекать еще 10k, пока я не обработаю все записи 100k, которые я называю размером пакета, чтобы уменьшить накладные расходы обработки каждый раз, выбирая все записиоднажды.
Любые предложения о том, как этого добиться, используя Apache beam
Я использую искровой разрядник.