Ниже приводится сообщение об ошибке, сгенерированное при попытке запустить задание dataflow
.Более конкретно, я выполняю задание потока данных, используя шаблон, который создается путем выполнения потока в dataprep
.
Команда, которую я запускаю в оболочке gcloud:
gcloud dataflow jobs run_template
--gcs-location gs://[bucket]/templates/sample_template
--parameters
inputLocations=gs://[bucket]/input/input_file.csv,
outputLocations=gs://[bucket]/output/my _output
"java.lang.RuntimeException: Невозможно получить значение для location1"
- Подробное описание ошибки:
"Вызвано: com.fasterxml.jackson.core.JsonParseException: нераспознанный токен «gs»: ожидал («истина», «ложь» или «ноль») в [Source: (String) "gs: // [bucket] /input_file.csv "]
Итак, я хотел бы знать правильную команду для запуска задания?
Примечание :
Когда я использовалinputFile
и outputFile
в --parameters
, как упомянуто в документации ниже, это выдало мне ошибку. Поэтому вместо этого я использовал inputLocations
и outputLocations
, которые устранили ошибку.
https://cloud.google.com/dataflow/docs/guides/templates/executing-templates#example-1-custom-template-batch-job_1