Пропуск записей в потоке данных JavaScript UDF

Question

Я импортирую некоторые данные из GCS в BigQuery, используя предопределенный шаблон Dataflow GCS to BigQuery.Данные обрабатываются с помощью JavaScript UDF.

Я хотел бы исключить некоторые записи из вставки в BigQuery.Есть ли способ сделать это с помощью JavaScript UDF?

Answer 1

Для записей, которые вы хотели бы пропустить, вы можете выдавать undefined из UDF, и эти записи больше не будут включаться в вывод.

Пример этой функции можно посмотреть здесь: https://github.com/GoogleCloudPlatform/DataflowTemplates#filtering-records

/**
 * A transform function which only accepts 42 as the answer to life.
 * @param {string} inJson
 * @return {string} outJson
 */
function transform(inJson) {
  var obj = JSON.parse(inJson);
  // only output objects which have an answer to life of 42.
  if (obj.hasOwnProperty('answerToLife') && obj.answerToLife === 42) {
    return JSON.stringify(obj);
  }
}