Я пытаюсь сделать много объединений для некоторых фреймов данных, используя spark в scala.Когда я пытаюсь получить счетчик итогового кадра данных, который я генерирую здесь, я получаю следующее исключение.Я запускаю код, используя spark-shell.
Я пробовал некоторые параметры конфигурации, например, следующие при запуске spark-shell.Но никто из них не работал.Есть что-то, что я здесь скучаю?:
--conf "spark.driver.extraLibraryPath=/usr/hdp/2.6.3.0-235/hadoop/lib/native/"
--jars /usr/hdp/current/hadoop-client/lib/snappy-java-1.0.4.1.jar
Причина: java.lang.RuntimeException: собственная библиотека snappy недоступна: эта версия libhadoop была собрана без поддержки snappy.в org.apache.hadoop.io.compress.SnappyCodec.checkNativeCodeLoaded (SnappyCodec.java:65) в org.apache.hadoop.io.compress.SnappyCodec.getDecompressorType (SnappyCodec.java:193)