Apache Flink - набор данных api - боковые выходы

Question

Поддерживает ли Flink функцию боковых выходов в наборе данных (Batch Api)? Если нет, как обрабатывать действительные и недействительные записи при загрузке из файла?

Answer 1

Вы всегда можете сделать что-то вроде этого:

DataSet<EventOrInvalidRecord> goodAndBadTogether = input.map(new CreateObjectIfPossible())
goodAndBadTogether.filter(new KeepOnlyGood())...
goodAndBadTogether.filter(new KeepOnlyBad())...

В некоторых случаях разумным вариантом является go вперед и использование API DataStream, даже если у вас нет потоковых источников.