Почему Hadoop имеет разные механизмы связи для связи между датанодами и датано-наменодами?

Question

Связь datanode-namenode использует пакет org.apache.hadoop.ipc;в то время как связь между датодами основана на простой связи через сокеты.

Какова мотивация такого дизайна?

Answer 1

Существуют две разные задачи в зависимости от их требований, поэтому две разные реализации можно объяснить желанием лучше удовлетворить требования.
Связь DataNode -> NameNode более сложна, чем связь DataNode-DataNode, и, следовательно, оправдывает RPC.
Связь DataNode-DataNode чрезвычайно проста с одной стороны и требует эффективной транспортировки большого количества данных. Можно констатировать, что сокеты являются наиболее эффективным решением для этого случая.

Answer 2

Согласно JavaDoc, оба DatanodeProtocol и InterDatanodeProtocol получены из org.apache.hadoop.ipc.VersionedProtocol.

Сказав это, основываясь на документациипохоже, что DataNode (который реализует DatanodeProtocol) делает намного больше (соединения с Namenode, другими узлами данных и клиентами).Где в качестве связи между узлами данных (через InterDataNodeProtocol) указывается простая связь.