Ошибка загрузки данных Avro: схема не совместима - PullRequest
0 голосов
/ 26 февраля 2019

Я пытался загрузить данные с типом данных avro в кирпичи данных, используя формат "com.databricks.spark.avro".это уже успех, но когда я попытался просмотреть данные

df_data.head(5)

я получил ошибку:

org.apache.spark.SparkException: Job aborted due to stage failure: Task 57 in stage 253.0 failed 4 times, most recent failure: Lost task 57.3 in stage 253.0 (TID 173637, 192.166.221.76, executor 8): com.databricks.spark.avro.SchemaConverters$IncompatibleSchemaException: Cannot convert Avro schema to catalyst type because schema at path new_id is not compatible (avroType = STRING, sqlType = LongType)

Я подумал, может быть, потому что данные являются строкой, и мне нужно изменить их, но этонет.new_id = long

Почему это происходит и как это исправить?

...