Как превратить метаданные раздела, сохраняющие таблицу больших запросов? - PullRequest
Новая
       40

Как превратить метаданные раздела, сохраняющие таблицу больших запросов?

0 голосов
/ 10 января 2019

У меня есть таблица больших запросов, разделенная по времени приема. Я хочу поворачивать эту таблицу каждый раз, когда загружаю данные в эту таблицу.

Я использую Python, а ниже приведен код sinnpet: 

(success_records
 | 'Extracting row from tagged row {}'.format(url) >> beam.Map(lambda row: row['row'])
 | 'Write to BigQuery table for {}'.format(url) >> beam.io.WriteToBigQuery(
            table=data_ingestion.get_table(tmp=TEST, run_date=data_ingestion.run_date),
            create_disposition=beam.io.BigQueryDisposition.CREATE_NEVER,
            write_disposition=beam.io.BigQueryDisposition.WRITE_TRUNCATE,
            )
)

После этой операции информация о разделах таблицы теряется. Пользовательский интерфейс bigquery не показывает метаданные раздела.

Также я использую Apache Beam для этого, Что я пробовал 1. Передавая имя таблицы с $ YYYYMMDD, но в конце луча выдает эту ошибку. 

Invalid table ID \"review_raw$20190111\". Table IDs must be alphanumeric (plus underscores) and must be at most 1024 characters long. Also, Table decorators cannot be used.
  1. Передача таблицы без $ YYYYMMDD, удаление разделов в конце концов.
...