Как создать динамический путь в наборе данных во время метода вывода

Question

Есть ли способ создать динамический выходной путь DataSink во Flink?

DataSet имеет тип данных как Tuple2<String, String>

Когда мы пытались использовать поток, у меня был способ генерировать динамическую ванну, используя пользовательский Bucketer, как показано ниже

@Override
    public Path getBucketPath(Clock clock, Path basePath, Tuple2<String, String> element) {
        return new Path(basePath + "/schema=" + element.f0.toLowerCase().trim() + "/");
    }

Я хотел бызнать, есть ли аналогичный способ обработки в DataSet для генерации пользовательского пути.

Answer 1

Я немного поковырялся и не нашел ничего похожего для пакетной обработки.Это означает, что я думаю, что вам нужно создать свой собственный класс OutputFormat, который оборачивает обычный FileOutputFormat и выполняет группирование, используя тот же интерфейс Bucketer.