Невозможно записать данные в таблицу ACID улья из окончательного фрейма данных. - PullRequest
Новая
       22

Невозможно записать данные в таблицу ACID улья из окончательного фрейма данных.

0 голосов
/ 11 октября 2019

Я пытался записать фрейм данных искры в таблицу Hive ACID, используя Hive Data Хранилище данных (HWC), но он завис и не обнаружил никаких ошибок.

Я использую spark 2.3 и hive 3.1 на HDP 3.x. Это происходит только тогда, когда я пытаюсь записать данные в существующую таблицу улья. А также заметил эксклюзивную блокировку на том же столе.

scala> df.write.format(HIVE_WAREHOUSE_CONNECTOR).mode("Overwrite").option("database", "default").option("table", "MyTable").save()

log: зависает после 29 этапа: 

19/10/11 19:28:29 WARN TaskSetManager: Stage 26 contains a task of very large size (474 KB). The maximum recommended task size is 100 KB.
[Stage 29:============>                                          (89 + 2) / 403]19/10/11 19:28:37 WARN TaskSetManager: Stage 29 contains a task of very large size (477 KB). The maximum recommended task size is 100 KB.```
...