Dataprep: создание столбца для преобразования в тип отметки времени Big Query

Question

Я безумно пытался создать столбец из существующего типа столбца Datetime, который бы "публиковался" в столбце "Timestamp" большого запроса. Я пробовал все перестановки функций "unixtime" и "unixtimeformat" из Dataprep безрезультатно: я всегда заставляю Dataprep публиковать данные либо в столбце типа "string", либо в "datetime".

Обновление: Мой рабочий процесс следующий: GCS .csv файлы ==> Dataprep ==> BQ.

Пожалуйста, помогите! Спасибо !!!

РЕШЕНИЕ : Ребята из Trifacta (из которых Cloud Dataprep) предложили решение. Создайте таблицу BQ со столбцом типа «Timestamp» (скажем, с именем «dt») и используйте функцию публикации «Append» в Dataprep вместе с исходным типом столбца «Datetime» (с тем же именем «dt»).

Answer 1

Проверка Cloud Dataprep Поддерживаемые типы данных , тип данных "timestamp" не поддерживается как есть.

Однако, если столбец в Dataprep имеет тип Datetime (timestamp), то при записи в BigQuery он будет сохранять тип Timestamp (см. Преобразования типов данных BigQuery )

Вот фиктивный пример:

1. Импорт набора данных из BigQuery в таблицу со схемой.

2. Добавить рецепт и запустить задание:

3. Экспорт результатов в GCS и загрузка их обратно в BigQuery.
   • «dataformatt_timestamp_col» имеет тип STRING, но
   • «datetime_col» можно «опубликовать» в столбце Big Query TIMESTAMP.