Я изучаю KeyValueGroupedDataset.flatMapGroupsWithState для произвольной агрегации с отслеживанием состояния в Spark Structured Streaming.
Сигнатура оператора KeyValueGroupedDataset.flatMapGroupsWithState выглядит следующим образом:
flatMapGroupsWithState[S: Encoder, U: Encoder](
outputMode: OutputMode,
timeoutConf: GroupStateTimeout)(
func: (K, Iterator[V], GroupState[S]) => Iterator[U]): Dataset[U]
Какова цельаргумент OutputMode?
При просмотре исходного кода ( FlatMapGroupsWithStateExec , который является базовым физическим оператором), я не смог найти место, где будет использоваться OutputMode.