Есть ли способ настроить предоставляемые Google шаблоны облачных потоков данных?

Question

У меня есть требование, при котором мне нужно создать задание потока данных, которое будет передавать данные из тем Google PubSub в таблицы BigQuery путем фильтрации сообщений на основе некоторого атрибута, который будет частью данных json.Используя предоставленные Google шаблоны, я могу использовать предоставленный Google шаблон «PubSub to BigQuery», но это не позволяет фильтровать данные.

Есть ли способ настроить шаблон "PubSub to Bigquery"?Если да, то любые ссылки или примеры того, как это сделать, действительно помогут.

Answer 1

Все должно быть опубликовано на GitHub - не стесняйтесь клонировать и изменять.

Шаблоны:

• https://github.com/GoogleCloudPlatform/DataflowTemplates

Pub / Sub toBQ:

• https://github.com/GoogleCloudPlatform/DataflowTemplates/blob/master/src/main/java/com/google/cloud/teleport/templates/PubSubToBigQuery.java

Также обратите внимание, что шаблон поддерживает пользовательские функции JS, которые можно использовать для настройки преобразований и фильтрации без необходимости изменения шаблона.

Например, этот предоставляет преобразования и фильтрацию:

• https://github.com/GoogleCloudPlatform/DataflowTemplates/blob/master/src/test/resources/JavascriptTextTransformerTest/transform.js