Я пытался загрузить данные с типом данных avro в кирпичи данных, используя формат "com.databricks.spark.avro".это уже успех, но когда я попытался просмотреть данные
df_data.head(5)
я получил ошибку:
org.apache.spark.SparkException: Job aborted due to stage failure: Task 57 in stage 253.0 failed 4 times, most recent failure: Lost task 57.3 in stage 253.0 (TID 173637, 192.166.221.76, executor 8): com.databricks.spark.avro.SchemaConverters$IncompatibleSchemaException: Cannot convert Avro schema to catalyst type because schema at path new_id is not compatible (avroType = STRING, sqlType = LongType)
Я подумал, может быть, потому что данные являются строкой, и мне нужно изменить их, но этонет.new_id = long
Почему это происходит и как это исправить?