Как вставить данные столбцов 11k в таблицу улья, в формате паркета? - PullRequest
Новая
       17

Как вставить данные столбцов 11k в таблицу улья, в формате паркета?

1 голос
/ 06 июня 2019

Я запускаю искровое задание, в котором я пытаюсь вставить данные из 11 тыс. Столбцов в таблицу после выбора из набора данных ds в формате паркета. 

ds.repartition(123).write().mode("overwrite").format("parquet").option("spark.sql.parquet.compression.codec", "snappy").insertInto("db.iParquetTable");

Размер данных составляет 1232 МБ. Использование нижеприведенной конфигурации для запуска искрового задания. 

spark-submit -v \
--driver-memory 3g \
--master yarn \
--deploy-mode client \
--num-executors 3 \
--executor-cores 2 \
--executor-memory 2g
--class com.package.Driver \
/user/home/mohit/testRun.jar

Но задание застряло при вставке данных в parquetTable, и не было видно ни одного исполнителя, работающего в пользовательском интерфейсе YARN. Не уверен, что все проблемы с производительностью, с которыми я сталкиваюсь здесь. Любая помощь будет принята с благодарностью.

...