Как подключиться к свече, работающей в экземпляре докера

Question

Я пытаюсь установить Spark в экземпляре Docker, а затем подключиться к нему из внешнего процесса Python.

Контекст: эта настройка важна для CI / CD кода на основе Spark в Travis.Я также надеюсь использовать его для создания согласованной среды разработки для распределенной команды.

Как мне это сделать?

Этот образ докера прекрасно подходит для запуска искры: https://hub.docker.com/r/jupyter/pyspark-notebook/

Подключение через докернизированный ноутбук работало прямо из коробки.(Помимо отладки, я на самом деле не использую ноутбуки, поэтому я могу удалить их позже. На данный момент они являются хорошим инструментом отладки.)

Я не смог подключиться с внешнего питонапроцесс (записная книжка или иное). Есть ли переменная окружения, которую мне нужно установить при запуске python или создании экземпляра SparkContext?

Answer 1

Правильно ли вы выставили свечи?Глядя на ссылку, которой вы поделились (https://hub.docker.com/r/jupyter/pyspark-notebook/) Я не могу понять, как вы запускаете контейнеры. Вам нужно предоставить основной порт spark для хоста, а затем использовать его из своего кода Python. Можете ли вы поделиться командой, которую выиспользуется для запуска контейнеров (или вашего docker-compose.yml). Также поделитесь URL, который вы используете из кода Python.