Перенаправление вывода запроса Google Datapro c в текстовый файл

Question

У меня есть требование, в котором мне нужен вывод Google Datapro c в текстовом файле.

Например, у меня есть запрос ниже:

gcloud dataproc jobs submit hive --cluster=$CLUSTER --region=$REGION \
    --execute="select count(*) from db.table;"

Мне просто нужно информация о количестве записей в плоском файле.

Я использую что-то вроде ниже (оператор перенаправления). Тем не менее, он дает мне все данные, которые печатаются в консоли.

gcloud dataproc jobs submit hive --cluster=$CLUSTER --region=$REGION \
    --execute="select count(*) from db.table;" > text.csv

Желаемый вывод для меня будет:

724

, где 724 - общее количество записей в моей таблице.

Обходное решение :

gcloud datapro c заданий отправить hive --cluster = $ CLUSTER --region = $ REGION \ --execute = "select count (*) from db.table;" &> text.csv

Используйте "&" перед перенаправлением. Он перенаправит весь вывод в файл test.csv.

Answer 1

Это не поддерживается Datapro c Jobs API. Вам, вероятно, придется выполнить некоторый анализ перед перенаправлением. Я подал запрос на добавление функций stdout и stderr в выходные данные API Jobs. Спасибо за отзыв.