Как я могу устранить проблему, связанную с сетевым приложением (hadoop)?

Question

Привет, ребята. У меня есть некоторые проблемы с сетью в кластере Hadoop, и я думаю, что мне нужно знать несколько основных советов и приемов, чтобы ускорить процесс выяснения, почему мое приложение не работает.

Вот 4 основных сетевых вопроса, которые у меня есть:

1) Как я могу использовать netstat, чтобы узнать, какие порты открыты?

2) Что означает, что порт «открыт» против «закрыт»?

3) Как я могу узнать, какие порты, которые открыты, к каким приложениям подключены, по имени?

4) Как узнать, какие java-приложения подключены к каким портам?

Контекст: у меня есть виртуальная машина в hadoop - и кажется, что моя Java-программа, пытающаяся писать / читать из hdfs, не может видеть или не может получить доступ к hdfs через hftp (связанный вопрос здесь Как я могу получить доступ к hadoop через протокол hdfs из Java? ).

Answer 1

Список всех прослушиваемых портов (вы можете подключиться к ним с помощью telnet):

1. netstat -nap | grep LISTEN

2. Здесь открыто, вероятно, означает, что какой-то процесс прослушивает соединения в этом порту.

3. netstat -nap | grep LISTEN перечисляет идентификатор процесса в одном столбце.

4. Однако все java-процессы показывают только java в качестве хост-процесса (они не показывают, какое Java-приложение они используют). Если вы хотите увидеть, какой процесс приложения Java работает, вы можете сделать ps -aux | grep XXX, где XXX - идентификатор процесса.