Как предварительно обработать данные BigQuery, поступающие из Stackdriver

Question

В настоящее время я экспортирую журналы из Stackdriver в BigQuery с использованием приемников. Но я заинтересован только в jsonPayload . Я хотел бы игнорировать почти все остальное. Но так как создание таблицы и вставка данных происходит автоматически, я не смог этого сделать. Есть ли способ предварительной обработки данных, поступающих из сток , для хранения только того, что имеет значение? Если ответ «нет», есть ли способ запускать задание cron каждый день, чтобы скопировать вчерашние данные в отдельную таблицу и затем удалить ее? (зная, что таблицы именуются с использованием отметок времени , что позволяет запрашивать их по дням)

Answer 1

Насколько я знаю, оба упомянутых варианта в настоящее время невозможны на платформе GCP. Со своей стороны, я также попытался создать внутреннее воспроизведение вашего запроса и заметил, что нет способа фильтровать только jsonPayload.

Поэтому я бы предложил создать запрос на добавление функции в отношении вашего запроса. на следующий общедоступный трекер ссылка . Обратите внимание, что у запросов на функции нет ETA относительно того, когда они будут обрабатываться или будут ли они реализованы.