ошибка не найдена значение искра импорт spark.implicits._ import spark.sql - PullRequest
Новая
       39

ошибка не найдена значение искра импорт spark.implicits._ import spark.sql

0 голосов
/ 05 ноября 2019

Я использую hadoop 2.7.2, hbase 1.4.9, spark 2.2.0, scala 2.11.8 и java 1.8 на кластере hadoop , который состоит из одного мастераи два ведомых.

, когда я запускаю spark-shel l после запуска кластера, все работает нормально. Я пытаюсь подключиться к hbase, используя scala , следуя этому уроку: [https://www.youtube.com/watch?v=gGwB0kCcdu0][1].

Но когда я пытаюсь, как он, запускает spark-shell, добавляя теjars, как аргумент У меня есть эта ошибка:

spark-shell --jars "hbase-annotations-1.4.9.jar, hbase-common-1.4.9.jar, hbase-protocol-1.4. 9.jar, htrace-ядро-3,1,0-incubating.jar,-3.4.6.jar зоопарка, HBase-клиент-1.4.9.jar, HBase-hadoop2-Compat-1.4.9.jar, метрики-json-3.1.2.jar, hbase-server-1.4.9.jar "

<console>:14: error: not found: value spark
       import spark.implicits._
              ^
<console>:14: error: not found: value spark
       import spark.sql
              ^

, и после этого даже я выхожу из системы и запускаю spark-shell в другой раз, когда у меня возникает такая же проблема. Может кто-нибудь сказать мне, пожалуйста, в чем причина и как это исправить.

1 Ответ

0 голосов
/ 05 ноября 2019

В вашем операторе импорта spark должен быть объект типа SparkSession. Этот объект должен был быть создан ранее для вас. Или вам нужно создать его самостоятельно (читай документацию спарк). Я не смотрел ваше учебное видео.

Дело в том, что его не нужно называть spark. Например, он может называться sparkSession, а затем вы можете сделать import sparkSession.implicits._

...