Я бы хотел вручную настроить размер своих мини-пакетов (с точки зрения количества элементов). Было бы достаточно установить максимальное количество событий, но если есть способ установить максимальное / минимальное значение, это было бы лучше.
Причина, по которой я хочу возиться с этим, заключается в том, что я точно знаю, что мой код обработки не масштабируется линейно.
В моем конкретном случае я не занимаюсь агрегацией по времени, поэтому меня не волнует агрегация по таймфреймам, а как можно скорее происходит удаление «входной очереди» (подсказав двигателю, сколько элементов обрабатывать за один раз).
Однако, если нет способа установить максимальную / минимальную мощность пакета напрямую, я, вероятно, мог бы обойти ограничение, используя метод агрегирования времени, отметив мои входные данные до того, как Spark их использует.
Спасибо