Google BigQuery: дата последнего изменения строки - PullRequest
0 голосов
/ 07 ноября 2018

Я пытаюсь измерить продолжительность конвейера Dataflow, который извлекает сообщения из Pub / Sub и загружает их в таблицу BigQuery. Я не могу найти, как получить время последнего изменения строки в таблице BigQuery, хотя есть дата последнего изменения времени таблицы. Кто-нибудь знает, как установить дату последнего изменения времени в строке таблицы BigQuery?

1 Ответ

0 голосов
/ 07 ноября 2018

Вы должны включить текущую временную метку в приложение, которое создает структуру выходных данных. В некотором смысле это будет время события (вы можете добавить больше детализации, добавив время события на клиенте или на сервере в зависимости от того, как происходят ваши события).

Тогда вы, возможно, захотите записать время перед обработкой (сразу после прочтения сообщения из Pub / Sub). Затем вы хотите записать время прямо перед тем, как писать в BigQuery.

Вы можете сделать оба этих действия с DoFn в качестве дополнительного шага или включить его в качестве первого действия в первом преобразовании и последнего действия в последнем преобразовании, которое у вас есть в вашем конвейере.

Включить эти новые столбцы соответственно в схему таблицы выходной таблицы BigQuery.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...