Spark 2.3 java.lang.NoSuchMethodError: io.netty.buffer.PooledByteBufAllocator.metric

Question

SPARK 2.3 выбрасывает следующее исключение. Может кто-нибудь, пожалуйста, помогите! Я попытался добавить JAR

308 [Driver] ERROR org.apache.spark.deploy.yarn.ApplicationMaster - Исключение класса пользователя: исключение: java.lang.NoSuchMethodError: io.netty.buffer.PooledByteBufAllocator.metric () Lio / netty / buffer / PoobBoobPu java.lang.NoSuchMethodError: io.netty.buffer.PooledByteBufAllocator.metric () Lio / netty / buffer / PooledByteBufAllocatorMetric; в org.apache.spark.network.util.NettyMemoryMetrics.registerMetrics (NettyMemoryMetrics.java:80) в org.apache.spark.network.util.NettyMemoryMetrics. (NettyMemoryMetrics.java:76) в org.apache.spark.network.client.TransportClientFactory. (TransportClientFactory.java:109) в org.apache.spark.network.TransportContext.createClientFactory (TransportContext.java:99) в org.apache.spark.rpc.netty.NettyRpcEnv. (NettyRpcEnv.scala: 71) в org.apache.spark.rpc.netty.NettyRpcEnvFactory.create (NettyRpcEnv.scala: 461) в org.apache.spark.rpc.RpcEnv $ .create (RpcEnv.scala: 57) в org.apache.spark.SparkEnv $ .create (SparkEnv.scala: 249) в org.apache.spark.SparkEnv $ .createDriverEnv (SparkEnv.scala: 175) в org.apache.spark.SparkContext.createSparkEnv (SparkContext.scala: 256) в org.apache.spark.SparkContext. (SparkContext.scala: 423) в org.apache.spark.api.java.JavaSparkContext. (JavaSparkContext.scala: 58) в com.voicebase.etl.HBasePhoenixPerformance2.main (HBasePhoenixPerformance2.java:55) at sun.reflect.NativeMethodAccessorImpl.invoke0 (собственный метод) at sun.reflect.NativeMethodAccessorImpl.invoke (NativeMethodAccessorImpl.java:62) at sun.reflect.DelegatingMethodAccessorImpl.invoke (DelegatingMethodAccessorImpl.java:43) в java.lang.reflect.Method.invoke (Method.java:498) в org.apache.spark.deploy.yarn.ApplicationMaster $$ anon $ 4.run (ApplicationMaster.scala: 706) 315 [main] ОШИБКА org.apache.spark.deploy.yarn.ApplicationMaster - необработанное исключение: org.apache.spark.SparkException: исключение, генерируемое в awaitResult: в org.apache.spark.util.ThreadUtils $ .awaitResult (ThreadUtils.scala: 205) в org.apache.spark.deploy.yarn.ApplicationMaster.runDriver (ApplicationMaster.scala: 486) на org.apache.spark.deploy.yarn.ApplicationMaster.org $ apache $ spark $ deploy $ yarn $ ApplicationMaster $$ runImpl (ApplicationMaster.scala: 345) в org.apache.spark.deploy.yarn.ApplicationMaster $$ anonfun $ run $ 2.apply $ mcV $ sp (ApplicationMaster.scala: 260) в org.apache.spark.deploy.yarn.ApplicationMaster $$ anonfun $ run $ 2.apply (ApplicationMaster.scala: 260) в org.apache.spark.deploy.yarn.ApplicationMaster $$ anonfun $ run $ 2.apply (ApplicationMaster.scala: 260) в org.apache.spark.deploy.yarn.ApplicationMaster $$ anon $ 5.run (ApplicationMaster.scala: 800) at java.security.AccessController.doPrivileged (собственный метод) в javax.security.auth.Subject.doAs (Subject.java:422) в org.apache.hadoop.security.UserGroupInformation.doAs (UserGroupInformation.java:1836) в org.apache.spark.deploy.yarn.ApplicationMaster.doAsUser (ApplicationMaster.scala: 799) в org.apache.spark.deploy.yarn.ApplicationMaster.run (ApplicationMaster.scala: 259) в org.apache.spark.deploy.yarn.ApplicationMaster $ .main (ApplicationMaster.scala: 824) в org.apache.spark.deploy.yarn.ApplicationMaster.main (ApplicationMaster.scala) Вызвано: java.util.concurrent.ExecutionException: ошибка в штучной упаковке

Answer 1

Я нашел решение.Это потому, что двоичные файлы hadoop скомпилированы со старой версией, и нам нужно просто заменить их.Я не столкнулся ни с какой проблемой с hadoop, заменяя их.

вам нужно заменить netty-3.6.2.Final.jar и netty-all-4.0.23.Final.jar из пути $HADOOP_HOME\share\hadoop на netty-all-4.1.17.Final.jar и netty-3.9.9.Final.jar

Это решило мою проблему.Если у вас есть альтернативное решение, пожалуйста, поделитесь.