Есть ли какой-либо шаблон потока данных GCP для "Pub / Sub to Cloud Spanner"

Question

Я пытаюсь выяснить, существует ли какой-либо шаблон потока данных GCP, доступный для загрузки данных с помощью "Pub / Sub to Cloud Spanner".Я обнаружил, что уже существует шаблон потока данных GCP по умолчанию, доступный на примере - «Cloud Pub / Sub to BigQuery».Итак, мне интересно посмотреть, смогу ли я принять данные в гаечный ключ в потоковом или пакетном режиме и как это будет выглядеть

Answer 1

На самом деле я пытался сделать что-то вроде использования "projects / pubsub-public-data / themes / taxirides-realtime" и "gs: // dataflow-templates / latest / Cloud_PubSub_to_Avro", чтобы загрузить образец файла данных в мое хранилище gcp,Затем я остановил это потоковое задание и создал другое пакетное задание с шаблоном "gs: // dataflow-templates / latest / GCS_Avro_to_Cloud_Spanner".Но пакетное задание не удалось с ошибкой ниже:

java.io.FileNotFoundException: No files matched spec: gs://cardataavi/archive/spanner-export.json at org.apache.beam.sdk.io.FileSystems.maybeAdjustEmptyMatchResult(FileSystems.java:166) at org.apache.beam.sdk.io.FileSystems.match(FileSystems.java:153) at org.apache.beam.sdk.io.FileIO$MatchAll$MatchFn.process(FileIO.java:636)

Кажется, сейчас гаечный ключ поддерживает только формат данных Avro, который имеет специфический для Spanner формат.Правильно ли понимание?

Answer 2

Существует шаблон потока данных для импорта файлов Avro в пакетном режиме, который вы можете использовать, следуя этим инструкциям .К сожалению, шаблон потокового вещания Cloud Pub / Sub пока недоступен.При желании вы можете подать запрос на добавление функции .