У меня есть экземпляр IBM Analytics Engine (IAE), я добавил его в мой проект Watson Studio в качестве связанной службы и создал на его основе Environment. Затем я создал записную книжку python и установил для нее вышеупомянутую среду.
Я запустил простой скрипт pyspark в записной книжке и заметил, что он использует локальный экземпляр вместо IAE.
from pyspark.sql import SparkSession
spark = SparkSession.builder.getOrCreate()
spark
вывод:
SparkSession - in-memory
SparkContext
Spark UI
Version
v2.4.5
Master
local[*]
AppName
pyspark-shell
Что я делаю не так?