Как усечь таблицу улья, используя Spark sql в HDP 3.x - PullRequest
Новая
       106

Как усечь таблицу улья, используя Spark sql в HDP 3.x

0 голосов
/ 22 апреля 2020

Привет, у меня есть несколько CSV-файлов в моей таблице кустов, это временная (промежуточная таблица), поэтому каждый раз, когда она усекается и загружается, я не хочу использовать перезапись в load commnad, потому что в одной загрузке я загружу 3 4 файла из путь, который он будет перезаписывать в более ранних файлах records.so я пишу truncate commnad перед командой загрузки в spark sql, но не могу выполнить эту команду, ее отображение не удалось выполнить для запроса: имя таблицы усеченной таблицы;

ниже - код ( HDP 3.x) 

    //sparksession
    val dbSession = HiveWarehouseSession.session(sparksession).build()
    dbSession.setDatabase("dbname")
    var a="truncate table tablename"
    var b=dbSession.executeUpdate(a)

Может кто-нибудь подсказать мне, почему не работает усечение. Из-за некоторых условий я не могу использовать перетаскивание и воссоздание. Есть ли способ сделать ту же задачу.

...