Как записать результат структурированного запроса в формате улья?

Question

Я пытаюсь вставить в таблицу данных улья класс DataStreamWriter в формате hive.

  rdf.writeStream.format("hive").partitionBy("date")
    .option("checkpointLocation", "/tmp/")
    .option("db", "default")
    .option("table", "Daily_summary_data")
    .queryName("socket-hive-streaming")
    .start()

Выдает следующую ошибку:

org.apache.spark.sql.AnalysisException: источник данных Hive можно использовать только с таблицами, нельзя напрямую записывать файлы источника данных Hive.;

Как решить эту проблему?

Answer 1

Невозможно записать результат структурированного запроса с использованием источника данных hive (за исключением того, что вы можете найти здесь ).

Вы можете написать, используя parquet формат, который может быть опцией.