Я использую spark и scala и пытаюсь читать папки avro с помощью com.databricks - spark-avro_2.11.Все папки были успешно прочитаны, за исключением одной папки, которая завершилась сбоем со следующим исключением.(прилагается)
Я проверил файлы вручную, и все они выглядят нормально и не повреждены.В чем может быть проблема?
Причина: org.apache.avro.AvroRuntimeException: java.io.IOException: Размер блока недопустим или слишком велик для этой реализации: -26 в org.apache.avro.file.DataFileStream.hasNextBlock (DataFileStream.java:275) в org.apache.avro.file.DataFileStream.hasNext (DataFileStream.java:197)