Мое впечатление от очень простых тестов между двумя узлами состоит в том, что тот факт, что HDFS написана как слой Java над нативной FS, делает Hadoop довольно медленным.
Я знаю, что в игру вступают многие факторы, такие как сетевое взаимодействие, но я легко наблюдаю фактор 4 между довольно большой копией файла в HDFS и эквивалентной копией файла между двумя файловыми системами с scp.
Так стоит ли писать HDFS FS для ядра Linux?