Удаленная отладка Scala Spark Jobs с VsCode - PullRequest
Новая
       37

Удаленная отладка Scala Spark Jobs с VsCode

2 голосов
/ 02 февраля 2020

Мне бы хотелось иметь возможность удаленной отладки задания Spark, написанного на Scala, работающего в контейнере docker с VsCode. Это то, что у меня есть,

  1. VsCode с scala -металлами v0.8 установлен
  2. Эта конфигурация запуска отладки
  3. Я запускаю искровой кластер с помощью docker -составить
  4. Я отправляю задание зажигания в кластер, запущенный выше, с помощью следующей команды 
docker exec -it -e SPARK_SUBMIT_OPTS=-agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=4000 -w /spark spark-job-starter_master_1 bin/spark-submit --class example.StarterSparkJob /build/example.jar

После этого я вижу вывод Listening for transport dt_socket at address: 4000

Я пытаюсь запустить отладчик из VsCode, но получаю ошибку. 
Debugger failed to attach: handshake failed - received >Content-Length< - expected >JDWP-Handshake<

Полная информация о коде приведена здесь https://github.com/aedenj/spark-job-starter/tree/vscode-debug-setup. Ваше руководство приветствуется.

...