Как проверить, работает ли векторизация орков в приложении Spark? - PullRequest
Новая
       22

Как проверить, работает ли векторизация орков в приложении Spark?

0 голосов
/ 23 мая 2018

Я включил перечисленные ниже конфигурации в мое приложение для потоковой передачи искры, но я не смог оценить выигрыш в производительности после установки этих параметров. Если кто-либо из вас знает какие-либо средства для проверки правильности работы векторизации как исключенной / включенной!

Примечание. Я использую Spark 2.3 и преобразовал все данные в своем приложении в стандартную версию формата orc 1.4.

sparkSqlCtx.setConf("spark.sql.orc.filterPushdown", "true") 
sparkSqlCtx.setConf("spark.sql.orc.enabled", "true") 
sparkSqlCtx.setConf("spark.sql.hive.convertMetastoreOrc", "true") 
sparkSqlCtx.setConf("spark.sql.orc.char.enabled", "true") 
sparkSqlCtx.setConf("spark.sql.orc.impl","native") 
sparkSqlCtx.setConf("spark.sql.orc.enableVectorizedReader","true")

1 Ответ

0 голосов
/ 17 августа 2018

Вам необходимо установить, как показано ниже 

spark.sql("set spark.sql.orc.impl=native")

Вы можете подтвердить с помощью 

spark.sql("set spark.sql.orc.impl").show
...