мы установили наш кластер через cdh6.2.используйте pyspark, создайте фрейм данных, затем сохраните его в куст.
файл правильно создан на складе, но его нельзя найти в кусте или импале с помощью show tables.
его можно найти с помощью spark sql с помощью sql. ('Show tables').Но он только показывает, что таблица была создана с помощью кода спарк раньше, а это значит, что он не может видеть таблицы, созданные с помощью консоли Hive или Impala.
, поэтому я думаю, что, возможно, код спарк не собирается в Hive Metastoreсервер.
но я не знаю, как настроить его для сервера Hive Metastore.