Для перемещения данных из таблицы BigQuery (BQ), которая находится в США, я хочу экспортировать таблицу в корзину Cloud Storage (GCS) в США, скопировать ее в корзину EU и оттуда импортировать снова .
Проблема в том, что AVRO не поддерживает DATE типы, но для нас это крайне важно, поскольку мы используем новую функцию разделения , которая не зависит от времени приема, а содержит столбец в таблице. сам по себе.
Файлы AVRO содержат столбец DATE как STRING и, следовательно,
Field date has changed type from DATE to STRING выдается ошибка при попытке загрузить файлы через bq load.
Был аналогичный вопрос , но он касается временных меток - в моем случае это обязательно должен быть DATE, поскольку даты не содержат информацию о часовом поясе, а временные метки всегда интерпретируются в UTC как BQ.
Работает при использовании NEWLINE_DELIMITED_JSON, но возможно ли это сделать с файлами AVRO?