Проблемы с загрузкой кластерной таблицы BQ - PullRequest
0 голосов
/ 06 января 2020

Когда я пытаюсь загрузить данные из существующей разделенной таблицы в новую кластеризованную таблицу в Bigquery, я вижу ошибку ниже.

Failed to copy Natural partitioned table to Natural partitioned clustering table: not supported

Любые входные данные, пожалуйста.

Ответы [ 2 ]

0 голосов
/ 06 января 2020

Согласно https://cloud.google.com/bigquery/docs/creating-clustered-tables вы можете создать таблицу следующим образом:

CREATE TABLE
   mydataset.myclusteredtable
 PARTITION BY
   DATE(timestamp)
 CLUSTER BY
   clustering_column AS
 SELECT
   *
 FROM
   `mydataset.mytable`

ПРИМЕЧАНИЕ. Только стандартный SQL поддерживается для запросов к кластеризованным таблицам и для записи результатов запросов в кластеризованные таблицы.

0 голосов
/ 06 января 2020

Примечание. BigQuery поддерживает несколько типов разделов :

  • Время загрузки: таблицы разбиты на основе даты поступления (загрузки) данных или даты прибытия.
  • Дата / отметка времени: таблицы разбиты на основе столбцов TIMESTAMP или DATE.
  • Целочисленный диапазон: эта функция находится в состоянии перед выпуском

Таблицы могут быть разбиты только одно поле, которое должно быть меткой времени или столбцом даты и кластеризованное одним набором столбцов.

Предварительные условия:

  • При выполнении этого процесса необходимо иметь разрешения, указанные в Документация BigQuery .
  • Когда вы используете функцию кластеризованной таблицы с многораздельной таблицей, вы должны соблюдать ограничения для многораздельных таблиц .
  • Квоты и ограничения также применяются к различным типам заданий, которые вы можете запускать с кластеризованными таблицами, включая загрузка данных (загрузка заданий), что происходит в вашем случае.
  • Обратите внимание на создание кластеризованных таблиц в BigQuery.

Если все исходные таблицы являются секционированными таблицами, спецификации секций для всех исходных таблиц должны соответствовать спецификации секций целевой таблицы. Исходная и целевая таблицы должны находиться в наборах данных в одном месте.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...