BigQuery не возвращает строки с большим значением --max_rows - PullRequest
0 голосов
/ 29 января 2019

При использовании инструмента командной строки bq, если я установил --max_rows на большое число, ничего не возвращается.

Я пытаюсь использовать инструмент командной строки bq для сбора данных,Я сопоставил свой запрос, теперь мне просто нужно иметь возможность программно возвращать результаты в сценарии.Я хочу сделать что-то похожее на следующее:

cat query_file | bq --bigqueryrc=/path/to/file --format=json --headless -q query --use_legacy_sql=false --max_rows=100000 > /path/to/file.json

Приведенный выше запрос отлично работает на моем локальном компьютере, однако, когда я пытаюсь выполнить тот же запрос с учетной записью службы, в файл ничего не выводится.

Если я установлю --max_rows на что-то меньшее, например 1000, запрос будет работать и вернет 1000 строк.Но он не вернет ничего, если установить большое значение, например, 10 000.

Есть ли что-то другое в учетных записях служб, которое может повлиять на настройку --max_rows?Я не могу понять, почему он работает нормально локально, но не с учетной записью службы.

Дополнительная информация

  • Локальный компьютер - это OSX, использующий bq из инструментов командной строки gcloud, BigQuery CLI 2.0.40.

  • Компьютер, на котором запущена учетная запись службы, - это Ubuntu 18.04, использующий bq из gcloudинструменты командной строки, BigQuery CLI 2.0.40.

Редактировать

Я смог использовать служебную учетную запись локально и правильно с ней работать--max_rows поэтому проблема, по-видимому, специфична для среды, в которой выполняется запрос.

1 Ответ

0 голосов
/ 29 января 2019

Проблема решена!Я выполнял команду bq в бобе Kubernetes, и процесс молча прерывался из-за ограничений памяти.Увеличение количества запросов памяти позволило команде успешно завершиться.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...