Как очистить данные, прочитанные из CSV-файла, перед паровой вставкой в ​​таблицу больших запросов?

Question

У меня есть файл csv (разделитель | вместо) в хранилище облачного хранилища, в котором форматы данных имеют значение 10022019 как ДАТА, однако мне нужно преобразовать его в принятый формат ДАТЫ 2019-02-10 в bigquery, я могу добиться этого с помощью функции Могут, которая читает и преобразовывает данные одновременно, прежде чем потоки вставляют данные в таблицу больших запросов?

Спасибо.

С уважением,

Answer 1

Поскольку ваши данные хранятся в облачном хранилище, вы можете использовать облачную функцию для настройки качества данных перед потоковой передачей / загрузкой в ​​BigQuery.

Если вы использовали загрузку BigQury API, вы можете учитывать качество данных на базе безсерверных правил. корректировка с помощью StorageMirror с последующей загрузкой базы данных правил с помощью BqTail