паб / саб на ежедневном столе - PullRequest
0 голосов
/ 09 апреля 2020

Я хочу реализовать подключение pub / sub и Dataflow от моего AppEngine к Bigquery, поскольку я пытаюсь понять, как именно его определить

Моя проблема в том, что у меня есть ежедневная таблица - новая таблица в Bigquery, которая открывается один раз в день, когда я пытаюсь установить поток данных, он дает мне возможность выбрать только одну таблицу

1 Ответ

0 голосов
/ 09 апреля 2020

Исходя из того, что вы сказали в разделе комментариев, вы можете использовать Таблицы ежедневных осколков или Секционированные таблицы времени / дня .

Согласно документации , вы можете транслировать оба типа. Тем не менее, я должен указать на некоторые различия, которые вы должны рассмотреть.

Таблицы секционирования по времени / дню:

  • Эти таблицы внутренне разделены на сегменты / разделы, которые упрощают управление и повышают производительность запросов. , Вы можете получить больше информации об этом здесь .

  • Есть квоты , например, максимальное количество разделов в таблице, которые вы должны проверить, если они соответствуют вашим потребностям.

  • При запросе к разделенным на день / время таблицам вы можете использовать псевдостолбцы _PARTITIONTIME или _PARTITIONDATE, каждый из которых имеет свой собственный формат, который вы можете прочитать подробнее здесь .

  • Вы можете выполнять потоковую передачу отдельных строк, используя insertAll запросов.

  • Согласно документации , Секционированные таблицы работают лучше, чем сегментированные таблицы, поскольку вам не требуется копия метаданных и проверка разрешений для каждой таблицы.

Таблица ежедневных сегментированных файлов:

  • Не существует псевдостолбца, который можно использовать для управления / запроса вашей базы данных.

  • Не существует ограничения на количество Таблицы, которые вы можете создать, вы можете узнать больше о квотах здесь .

  • Вы создаете ежедневные таблицы, используя шаблоны , такие как <targeted_table_name> + <templateSuffix>, все с одной и той же схемой.

Если вы выберете таблицу разделов, вы можете создать таблицу разделов дат и направить ее в нее. Хотя, если вы предпочитаете Sharded table, вы можете использовать шаблон для создания таблиц.

Кроме того, я бы посоветовал вам прочитать больше о различиях и характеристиках каждого из здесь .

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...