Как переслать искровой журнал в ноутбук Jupyter? - PullRequest
Новая
       10

Как переслать искровой журнал в ноутбук Jupyter?

1 голос
/ 24 апреля 2019

Я знаю, что могу установить уровень журнала через spark.sparkContext.setLogLevel('INFO') В терминале появляются журналы, подобные следующим, но не в блокноте jupyter. 

2019-03-25 11:42:37 WARN  NativeCodeLoader:62 - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
2019-03-25 11:42:37 WARN  SparkConf:66 - In Spark 1.0 and later spark.local.dir will be overridden by the value set by the cluster manager (via SPARK_LOCAL_DIRS in mesos/standalone and LOCAL_DIRS in YARN).
2019-03-25 11:42:38 WARN  Utils:66 - Service 'SparkUI' could not bind on port 4040. Attempting port 4041.

Сеанс искры создается в локальном режиме в ячейке ноутбука Jupyter. 

spark = SparkSession \
    .builder \
    .master('local[7]') \
    .appName('Notebook') \
    .getOrCreate()

Есть ли способ переслать логи в блокнот jupyter?

...