Я экспортирую данные из таблицы BigQuery, столбец с именем prop12 определен как тип данных NUMERIC.Обратите внимание, что форматом назначения является AVRO, и его нельзя изменить.
bq extract --destination_format AVRO datasetName.myTableName /path/to/file-1-*.avro
Когда я читаю данные avro, используя spark, он не может преобразовать этот числовой тип данных в Integer.
--prop12: binary (nullable = true)
cannot resolve 'CAST(`prop12` AS INT)' due to data type mismatch: cannot cast BinaryType to IntegerType
Есть ли способ указать, что prop12 должен быть экспортирован как Integer при выполнении bq extract?
ИЛИ
Если это невозможно во время экспорта bq, могу ли я оставить только параметрчтения двоичных данных в спарк?