ошибка чтения avro-файла из scala в блокноте блоков данных на AWS / s3 - PullRequest
Новая
       6

ошибка чтения avro-файла из scala в блокноте блоков данных на AWS / s3

0 голосов
/ 09 ноября 2019

Я хотел бы прочитать файл avro, сохраненный в AWS / s3. Я получаю доступ к s3 из блокнота данных.

мой код scala: 

  import org.apache.spark.sql.SparkSession

  val ss = SparkSession
             .builder()
             .appName("avro2csv")
             .enableHiveSupport()
             .getOrCreate()

 val avro_file = "s3://my_bucket/my_file.avro"
 val avro_input = ss.read
                 .format("avro")
                 .load(avro_file)

Но, когда я проверяю фрейм данных, avro_input: 

    avro_input.isEmpty

Я получил: 

   true

для: 

    avro_input.count

Я получил: 

     0

Я проверил файл avro в s3, его размер составляет 2 МБ.

Я сделал что-то не так ?

спасибо

...