Я пытаюсь отладить программу Spark, запущенную на удаленной машине, с помощью удаленного отладчика intelij IDEA. Это то, что я сделал.
Установить опцию отправки спарка
export SPARK_SUBMIT_OPTS=-agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=5050
Я могу увидеть следующую строку, когда подаю заявку на искру
Listening for transport dt_socket at address: 5050
Я вижу, что порт также открыт на удаленной машине
[gshah03@my_hoste spark_ingestion_framework]$ netstat -tulpn | grep LISTEN | grep 5050
(Not all processes could be identified, non-owned process info
will not be shown, you would have to be root to see it all.)
tcp 0 0 0.0.0.0:5050 0.0.0.0:* LISTEN 27483/java
Затем я настраиваю свой удаленный отладчик на привязку к удаленной машине. и запустить отладчик. Я пробовал как с IP, так и с Host. С обоими я получаю следующую ошибку.
Error running 'uat_ingestion': Unable to open debugger port (my_ip:5050): java.net.ConnectException "Connection timed out: connect"