У меня есть проект, написанный на Java, с несколькими конвейерными лучами внутри него, который я компилирую в файл JAR для выполнения на сервере. Сейчас все работает, где я просто читаю из ресурсов GCP, но я просто добавил конвейер, который пишет в S3. Часть S3 работает независимо, но теперь, когда я пытаюсь запустить другие конвейеры, которые просто используют GCP, она выдает исключение, потому что я не предоставляю опции S3 (даже если они мне не нужны) - сообщение об ошибке ниже. Кажется немного странным, что мне нужно указать регион AWS, когда я использую только ресурсы GCP (или, возможно, я делаю что-то не так). Есть ли способ зарегистрировать только те файловые системы, которые я использую для конкретного конвейера, а не общий регистр всех файловых систем при инициализации?
INFO: The AWS S3 Beam extension was included in this build, but the awsRegion flag was not specified. If you don't plan to use S3, then ignore this message.
Выдает это (выше) информационное предупреждение, как если бы можно было игнорировать его в области AWS, но затем выдает исключение (ниже).
Exception in thread "main" com.amazonaws.SdkClientException: Could not find region information for 'null' in SDK metadata.
Я упаковываю свой Jar-файл, используя Maven, затем выполняю конвейер, передавая конкретную главную для этого конвейера (т.е.). Вот трассировка стека, которую я получаю, когда пытаюсь запустить свой конвейер, который вообще не использует AWS или S3, только GCP.
Jan 08, 2019 4:14:00 PM org.apache.beam.sdk.io.aws.s3.S3FileSystem <init>
INFO: The AWS S3 Beam extension was included in this build, but the awsRegion flag was not specified. If you don't plan to use S3, then ignore this message.
Exception in thread "main" com.amazonaws.SdkClientException: Could not find region information for 'null' in SDK metadata.
at com.amazonaws.client.builder.AwsClientBuilder.getRegionObject(AwsClientBuilder.java:256)
at com.amazonaws.client.builder.AwsClientBuilder.withRegion(AwsClientBuilder.java:243)
at org.apache.beam.sdk.io.aws.s3.DefaultS3ClientBuilderFactory.createBuilder(DefaultS3ClientBuilderFactory.java:42)
at org.apache.beam.sdk.io.aws.s3.S3FileSystem.<init>(S3FileSystem.java:112)
at org.apache.beam.sdk.io.aws.s3.S3FileSystemRegistrar.fromOptions(S3FileSystemRegistrar.java:39)
at org.apache.beam.sdk.io.FileSystems.verifySchemesAreUnique(FileSystems.java:489)
at org.apache.beam.sdk.io.FileSystems.setDefaultPipelineOptions(FileSystems.java:479)
at org.apache.beam.sdk.PipelineRunner.fromOptions(PipelineRunner.java:47)
at org.apache.beam.sdk.Pipeline.create(Pipeline.java:145)
at foo.GCSPipeline.runGCSPipeline(GCSPipeline.java:192)
at foo.GCSPipeline.main(GCSPipeline.java:239)