Как настроить DSE Spark для удаленной отладки

Question

Я использую DataStax и пытаюсь настроить Spark для удаленной отладки.

Я выполнил следующие шаги: a) Зашел в dse-5.1 / resources / spark / conf / dse-spark-env.sh b) Добавлен фрагмент ниже, чтобы запускать драйвер спарка в режиме отладки

export SPARK_SUBMIT_OPTS="-agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=4000 "

Но спарк больше не запускается при отладке. Пожалуйста, предложите ссылку / шаги, которым нужно следовать.

$ netstat -na | grep "7080"

tcp        0      0 0.0.0.0:7080            0.0.0.0:*               LISTEN

$netstat -na | grep "4000"

$

Answer 1

Приложение Spark состоит из программы драйвера и количества исполнителей, для них следует использовать разные опции: Отладка Spark Applications

Для упрощения вещей вы можете запустить приложение в локальном режиме. Будет только одна JVM для водителя и исполнителей. Вот пример DSE для этого:

dse spark --master local[1] --driver-java-options -agentlib:jdwp=transport=dt_socket,server=y,suspend=n,address=4000