Hadoop: разница между "местным" и "пряжей" - PullRequest
Новая
       13

Hadoop: разница между "местным" и "пряжей"

0 голосов
/ 25 марта 2019

Я проверил много постов здесь, но не могу найти правильный ответ на свой вопрос.

На самом деле я не совсем понимаю, в чем разница между "локальным" режимом и "Hadoop"пряжа "режим.

  • yarn обозначает версию MR
  • classic для версии MR 1
  • local для локальных прогонов заданий MR

Но здесь локальный означает MR версии 1 или версии 2?

Когда я запускаю Hadoop Framework и проверяю, используя jps (инструмент JVM), всякий раз, когда я использую режим local или *В режиме 1020 * всегда запускаются процессы ResourceManager и JobTracker.Однако не должно быть ResourceManager для MapReduce 1.0 (то есть local) и не должно быть JobTracker для режима пряжи.Это первое, что я не понимаю.

Во-вторых, я не совсем понимаю, почему для обоих режимов в моем выводе есть раздел случайного воспроизведения? 

Shuffle Errors
    BAD_ID=0
    CONNECTION=0
    IO_ERROR=0
    WRONG_LENGTH=0
    WRONG_MAP=0
    WRONG_REDUCE=0

В-третьих, если язапустить hadoop в локальном режиме, это повлияет на работу Spark?Насколько я знаю, Spark также использует YARN для управления ресурсами.Итак, могу ли я сказать, что если я использую «локальный» режим для Hadoop, то Spark работает без пряжи?

Спасибо.

...