Ошибка аутентификации при создании конвейера шаблона потока данных с балкой 2.0 - PullRequest
Новая
       24

Ошибка аутентификации при создании конвейера шаблона потока данных с балкой 2.0

0 голосов
/ 21 апреля 2020

Пожалуйста, обратитесь к этой ссылке, чтобы узнать, как запустить облачный поток данных на основе Java - https://cloud.google.com/dataflow/docs/quickstarts/quickstart-java-maven

Созданный шаблон с использованием приведенной ниже команды 

mvn archetype:generate \
      -DarchetypeGroupId=org.apache.beam \
      -DarchetypeArtifactId=beam-sdks-java-maven-archetypes-examples \
      -DarchetypeVersion=2.16.0 \
      -DgroupId=org.example \
      -DartifactId=word-count-beam \
      -Dversion="0.1" \
      -Dpackage=org.apache.beam.examples \
      -DinteractiveMode=false

, а затем Чтобы запустить задание с помощью DataflowRunner, выполнили следующую команду 

mvn -Pdataflow-runner compile exec:java \
      -Dexec.mainClass=org.apache.beam.examples.WordCount \
      -Dexec.args="--project=<PROJECT_ID> \
      --stagingLocation=gs://<STORAGE_BUCKET>/staging/ \
      --output=gs://<STORAGE_BUCKET>/output \
      --runner=DataflowRunner"

Но при попытке выполнить вышеуказанную команду получаю следующую ошибку java .lang.RuntimeException: Не удалось создать экземпляр из метода фабрики DataflowRunner # fromOptions (interface орг. apache .beam.sdk.options.PipelineOptions)

1 Ответ

0 голосов
/ 04 мая 2020

Как было сказано в комментарии, чтобы устранить ошибку java.lang.RuntimeException, необходимо выполнить , прежде чем начинать шаги для Java и Apache Maven перед запуском заданий Dataflow. Шаги включают:

  1. Настройка аутентификации и переменной среды GOOGLE_APPLICATION_CREDENTIALS к пути к файлу JSON, который содержит ключ учетной записи службы
  2. Создание корзины облачного хранилища
  3. Установка Java Development Kit (JDK) и Apache Maven. Убедитесь, что переменная среды JAVA_HOME установлена ​​и указывает на установку JDK.
...