невозможно просмотреть вновь созданную дельта-таблицу через DeltaTable.forPath - PullRequest
Новая
       102

невозможно просмотреть вновь созданную дельта-таблицу через DeltaTable.forPath

0 голосов
/ 18 апреля 2020

Я создал такую ​​таблицу и вставил некоторые данные 

spark.sql(s"create table if not exists test " +
"(key String," +
"name String," +
"address String," +
"inserted_at TIMESTAMP) " +
s"  using delta  LOCATION 's3://test/user/'")

Я могу просмотреть таблицу с помощью 

spark.table("test").show()

Но когда я сделаю 

DeltaTable.forPath(spark,"s3://test/user/" ).toDF.show(false)

Я не могу видеть данные. Но когда я попробую этот метод 

DeltaTable.isDeltaTable("s3://test/user/")

, это правда. Может кто-нибудь объяснить, что мне не хватает?

Далее, когда я хочу выполнить операцию слияния, я получаю эту ошибку. 

[error] ! 
[error]  java.lang.UnsupportedOperationException: null (DeltaTable.scala:639)
[error] io.delta.tables.DeltaTable$.forPath(DeltaTable.scala:639)
...