Как получить MessageID для отдельного PubsubMessage, чтобы сохранить его в BigQuery для задания потока данных события PubsubToBigQuery?

Question

Я создал поток данных PubsubToBigQuery для хранения моего журнала событий с помощью шаблонов Google для того же Шаблон потока данных PubsubToBigQuery .
Я провел некоторые преобразования и успешно сохранил журнал в BigQuery.Но у меня есть требование сохранить уникальный MessageID (PubsubMessage.getMessageId()) сообщения Pubsub в таблице BigQuery для дальнейшего использования.
Как этого достичь?

Answer 1

Чтобы сохранить MessageID в BigQuery, вам нужно сохранить его в DoFn, который преобразует PubsubMessages в Bigtable Rows.

Если вы хотите использовать этот шаблон, похоже, что это происходит в ProcessUdf, где проверяется только полезная нагрузка . Вам нужно будет отредактировать это, чтобы передать идентификатор сообщения в UDF javascript (или иным образом включить его в возвращаемый (в формате json) результат). Если вам не нужно что-то сверхобобщенное, возможно, было бы более эффективно и проще просто предоставить DoFn<PubsubMessage, TableRow> и пропустить весь материал json / javascript.