Hive Table создается, но не может видеть, используя оболочку улья

Question

Привет, я сохраняю свой фрейм данных в виде таблицы улья, используя spark- sql.

    mydf.write().format("orc").saveAsTable("myTableName")

Я вижу, что таблица создается с использованием

    hadoop fs -ls /apps/hive/warehouse\dbname.db

Также можно просматривать данные, используя spark-shell

    spark.sql(use dbname)
    spark.sql(show tables).show(false)

, но те же таблицы, которые я не могу увидеть, используя hive shell. Я разместил свой файл сайта улья. xml, используя.

    sudo cp /etc/hive/conf.dist/hive-site.xml /etc/spark/conf/

, но все еще не могу видеть. Может ли кто-нибудь, пожалуйста, направить мой, что еще мне нужно сделать? Я использую HDP.

Answer 1

Ваше заявление о записи неверно, оно должно быть:

 mydf.write.format("orc").saveAsTable("myTableName")

org. apache .spark. sql .DataFrameWriter [org. apache .spark. sql .Row] не принимает параметры

Кроме того, при написании вы должны попытаться использовать «DBName.TableName» вместо просто «TableName», поскольку это считается хорошей практикой.

Проверьте, поможет ли это.