Я использую Подготовка данных (DP) Google Cloud Platforms (GCP) для перемещения данных в Big Query (BQ) через файлы AVRO. Я беру данные прямо из файла CSV в файл AVRO, используя один рецепт DP без преобразований. В DP тип моего столбца CreatedDate равен date/time, как показано на этом рисунке:
ПРИМЕЧАНИЕ. Год (в формате YYYY-) закрашен.
Когда я публикую данные в файл AVRO, используя следующие настройки:
Полученная схема AVRO выглядит следующим образом:
{"name":"CreatedDate","type":["null","string"],"default":null}
А при импорте в BQ также есть столбец типа string
Однако, если я опубликую данные прямо в BQ, используя опцию Replace-BigQuery publish в DP, столбец CreatedDate будет иметь тип DATETIME и будет NULLABLE, что именно то, что я хочу.
Я огляделся и не смог найти никаких известных проблем публикации из DP в файл AVRO, который превратил бы поля даты и времени в строковые поля.
Я что-то пропустил?
AVRO не поддерживает datetime или datetime в этом формате, как BQ?
Да, мне нужно, чтобы DP опубликовал файл AVRO. Я только что сделал прямую публикацию в BQ в качестве теста. Я не могу сделать это на длительный срок.
Любые другие предложения / помощь будут замечательными!