Поддержка Papermill PySpark - PullRequest
3 голосов
/ 19 марта 2019

Я ищу способ легко выполнить параметризованный прогон ноутбуков Jupyter, и я нашел проект Papermill (https://github.com/nteract/papermill/)

Этот инструмент, кажется, соответствует моим требованиям, но я не могу найти ссылку на поддержку ядра PySpark.

Поддерживаются ли ядра PySpark при работе на бумажной фабрике?

Если это так, нужно ли настроить его для подключения к кластеру Spark, используемому Jupyter?

Заранее спасибо за поддержку, Маттиа

1 Ответ

0 голосов
/ 25 апреля 2019

Papermill будет работать с ядрами PySpark, если они реализуют спецификацию ядра Jupyter.

Настройка вашего ядра будет зависеть от рассматриваемого ядра. Обычно они считывают файлы spark.conf и / или spark.properties для настройки параметров кластера и времени запуска Spark.

...