Я установил Hadoop версии 2.8.3 в моей среде Windows 10 (псевдораспределенный режим), и она работает нормально. После этого я пытаюсь установить спарк 2.3.2 поверх него. Я пишу искровую работу в pyspark. Поэтому, когда я отправляю задание spark (файл python) с помощью spark-submit и пытаюсь увидеть задание в пользовательском интерфейсе yarn, оно появляется на вкладке ACCEPTED в пользовательском интерфейсе YARN, после чего происходит сбой.
Ошибка:
Exception in thread "main" java.lang.NoSuchMethodError: io.netty.buffer.PooledByteBufAllocator.metric()Lio/netty/buffer/PooledByteBufAllocatorMetric;
Я прикрепил изображение контейнера для пряжи.
Работа работает нормально, когда я предоставляю local [*] вместо пряжи в качестве master.
Небольшое предложение очень поможет.