Дополнительная конфигурация для кластера HDFS в Apache Beam

Question

Кто-нибудь знает, есть ли способ указать дополнительные xml файлы конфигурации для HDFS в Apache Beam? Как я вижу, у него есть две опции:

1. Свойство hdfsConfiguration в команде запуска.
2. core-site. xml и hdfs-site. xml файлы, загружаемые HadoopFileSystemOptions # ConfigurationLocator , если не указан первый параметр

Может быть, есть еще что-то, чего мне не хватает, что может указать другие файлы?

Answer 1

Мне удалось решить проблему с таким подходом:

    PipelineOptions po = ???
    List<Configuration> configs = ???
    HadoopFileSystemOptions options = po.as(HadoopFileSystemOptions.class);
    options.setHdfsConfiguration(configs);
    org.apache.beam.sdk.io.FileSystems.setDefaultPipelineOptions(options);