Получение значений разделов пустых строк в журнале при записи фрейма данных в мое собственное местоположение - PullRequest
0 голосов
/ 21 января 2019

Я записываю фрейм данных в своем коде с

, опция 1:

finaloutput.repartition(200).write.format("com.hortonworks.spark.sql.hive.llap.HiveWarehouseConnector")
           .option("table", "sta040_advice_transaction_final")
           .option("partition", "file_date").mode("append").save()

, опция 2:

finaloutput.write.format("com.hortonworks.spark.sql.hive.llap.HiveWarehouseConnector")
           .option("table", "sta040_advice_transaction_final")
           .option("partition", "file_date").mode("append").save()

, но когда я захожу в журнал, я вижуПод строкой в ​​журнале исполнителя.

finaloutput.repartition(200).write.format("com.hortonworks.spark.sql.hive.llap.HiveWarehouseConnector")
           .option("table", "sta040_advice_transaction_final")
           .option("partition", "file_date").mode("append").save()

У меня есть раздел по столбцам, и я записываю эти данные в таблицу кустов в моем собственном местоположении, а не в / warehouse.Это связано с местоположением?Как я получаю пустую строку сообщения в обоих случаях.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...