Я пытаюсь использовать искру в ноутбуке Jupyter. Вот мой код и ошибки. Спасибо.
spark = SparkSession.builder \
.master("local") \
.appName("Image Retrieval") \
.config("spark.some.config.option", "some-value") \
.getOrCreate()
Журнал ошибок:
Py4JJavaError: Произошла ошибка при вызове o27.sessionState. : java .lang.NoSuchMethodError: org. apache .spark. sql .catalyst.parser.AbstractSqlParser. (Lorg / apache / spark / sql / internal / SQLConf;) V в орг. apache .spark . sql .execution.SparkSqlParser. (SparkSqlParser. scala: 42) в org. apache .spark. sql .internal.BaseSessionStateBuilder.sqlParser $ lzycompute (BaseSessionStateBuilder. scala: 117) в apache .spark. sql .internal.BaseSessionStateBuilder.sqlParser (BaseSessionStateBuilder. scala: 116) в org. apache .spark. sql .internal.BaseSessionStateBuilder.build (BaseSessionStateBuilder. scala ) в организации. apache .spark. sql .SparkSession $ .org $ apache $ spark $ sql $ SparkSession $$ instantiateSessionState (SparkSession. scala: 1104) в организации. apache .spark. sql .SparkSession $$ anonfun $ sessionState $ 2.apply (SparkSession. scala: 145) в орг. apache .spark. sql .SparkSession $$ anonfun $ sessionState $ 2.apply (SparkSession. scala: 144) в scala .Option.getOrElse (Опция. scala: 121) в орг. apache .spark. sql .SparkSession.sessionState $ lzycompute (SparkSession. scala: 144) в орг. * 103 9 * .spark. sql .SparkSession.sessionState (SparkSession. scala: 141) в sun.reflect.NativeMethodAccessorImpl.invoke0 (собственный метод) в sun.reflect.NativeMethodAccessorImpl.invoke * (NativeMetmplor) at sun.reflect. 1046 *: 244) в py4j.reflection.ReflectionEngine.invoke (ReflectionEngine. java: 357) в py4j.Gateway.invoke (Gateway. java: 282) в py4j.commands.AbstractCommand.invokeMethod (AbstractCommand. * 1049) *: 132) в py4j.commands.CallCommand.execute (CallCommand. java: 79) в py4j.GatewayConnection.run (GatewayConnection. java: 238) в java .lang.Thread.run (поток. java: 748)