Настройка и использование GCP предоставленного шаблона DataFlow pub-sub-to-big-query

Question

Я пытаюсь передать сообщения pub / sub в таблицу BigQuery с соответствующей схемой. Я хочу использовать предоставленный GCP шаблон PubSubToBigQuery для этого, но не могу установить его успешно.

Вот что я пробовал до сих пор

1. Я создал экземпляр GCE с разрешениями на запись в GS ( полезная ссылка )

2. Источник клонов GCP от git git clone https://github.com/GoogleCloudPlatform/DataflowTemplates

3. Как указано здесь , работает: mvn compile exec:java -Dexec.mainClass=com.google.cloud.teleport.templates.PubSubToBigQuery...

4. В процессе были созданы все jar-файлы, созданные в /staging корзинах. Он должен был генерировать информацию о шаблоне в /templates корзине, но это не так.

Что мне здесь не хватает?

Answer 1

Я пытался выполнить эту команду в корне проекта:

#!/bin/bash
PROJECT_ID=XXX
BUCKET_NAME=XXX
PIPELINE_FOLDER=gs://YYY/dataflow/pipelines/pubsub-to-bigquery

# Set the runner
RUNNER=DataflowRunner

# Build the template
mvn compile exec:java \
-Dexec.mainClass=com.google.cloud.teleport.templates.PubSubToBigQuery \
-Dexec.cleanupDaemonThreads=false \
-Dexec.args=" \
--project=${PROJECT_ID} \
--stagingLocation=${PIPELINE_FOLDER}/staging \
--tempLocation=${PIPELINE_FOLDER}/temp \
--templateLocation=${PIPELINE_FOLDER}/template \
--runner=${RUNNER}"

И он успешно сгенерировал файл шаблона:

$gsutil ls -lh gs://YYY/dataflow/pipelines/pubsub-to-bigquery/template
228.33 KiB  2019-01-14T05:54:01Z  gs://YYY/dataflow/pipelines/pubsub-to-bigquery/template
TOTAL: 1 objects, 233805 bytes (228.33 KiB)

Не могли бы вы вставить несколько журналов на вашей стороне?