Клиентская библиотека BQ PY :: Итерация больших результатов с разбивкой на страницы - PullRequest
0 голосов
/ 05 июля 2018

Я изучаю [Клиентские библиотеки BQ PY], CLs 1

мой запрос возвращает большие результаты (> 1 млн строк) и хотел бы разбить результаты на страницы (например, извлекать 100K результатов за раз, вместо этого все 1M строк грешат за один раз!)

Я проверил REST APIs doc , и кажется, что параметр maxResults может быть использован для достижения этой цели (установка желаемого числа строк в каждой выборке страницы?!)

Кажется, методы клиентской библиотеки еще не поддерживают этот параметр?

  • Я использую метод job.result() для получения результатов (после изменения состояния запроса на DONE), а код GH не упоминает никаких параметров для достижения этого. Глядя на HTTP-запрос, CL, кажется, делает запрос с ?maxResults=0

  • Я также пытался job.result().pages (чтобы получить итератор страниц) и перебирать страницы ... но каждая страница, кажется, имеет произвольное количество строк (близко к 55 КБ) (как CL решает это?) указать любое значение параметра для контроля # строк на странице? Это не так ..

как перебирать страницы, используя собственное значение maxResults

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...