В настоящее время я пытаюсь настроить сервер JupyterLab в контейнере Docker, который необходимо подключить к кластеру YARN. Основной вариант использования - дать пользователям возможность интерактивно запускать задания Spark в среде ноутбука Jupyter. Пока что я настроил свои ядра и соответствующие сценарии запуска run. sh, чтобы указать правильную конфигурацию кластера. Мой успех касается связи с ядром Jupyter и кластером YARN, но всякий раз, когда я запускаю кластер, кажется, что он просто зависнет в состоянии ACCEPTED, пока не истечет время ожидания / не будут использованы все его попытки.
Я подумываю попробовать Jupyter Enterprise Gateway, но это, похоже, большая дополнительная работа, которая, вероятно, потребует дополнительной настройки инфраструктуры, которой у нас сейчас нет.
Кому-нибудь посчастливилось получить докеризированные ноутбуки Jupyter, чтобы играть в приятные и внешние кластеры YARN? Если да, то как вам удалось его настроить?