Logsink к разделу bigquery не работает

Question

Я создал logsink на уровне папок, поэтому он аккуратно передает все журналы в Bigquery. В конфигурации logsink я указал следующие параметры, чтобы позволить потоку logsink разделяться (ежедневно):

"bigqueryOptions": {
  "usePartitionedTables": true,
  "usesTimestampColumnPartitioning": true # output only
}

Согласно документация bigquery и тип ресурса bigquery Я бы предположил, что это автоматически создаст разделы, но это не так. Я проверил, что он не создал разделы с помощью следующего запроса:

#LegacySQL
SELECT table_id, partition_id from [dataset1.table1$__PARTITIONS_SUMMARY__];

Дает мне:

[
  {
    "table_id": "table1",
    "partition_id": "__UNPARTITIONED__"
  }
]

Есть что-то, что я здесь упускаю? Он должен был быть разбит по дате.

Answer 1

Проблема заключалась в том, что я не ожидал, пока первый раздел станет активным. По сути, logsink передает данные как разделенные. Через некоторое время данные разбиваются по дате, что видно только через несколько часов для сегодняшнего раздела. Проблема решена!