Окружающая среда:
- Hadoop: 2.5.3.0-37
- Spark: 1.6.2
- Scala: 2.10.5
- Java: 1.8
Краткое резюме: толстый jar spark-assembly-1.6.2.2.5.3.0-37-hadoop2.7.3.2.5.3.0-37.jar включаетфайлы классов из jar-файла BouncyCastle и удаляют подпись BouncyCastle;в результате BouncyCastleProvider нельзя использовать в качестве кодека, поскольку эта логика ожидает, что содержащийся jar-файл будет проверен с правильной подписью.
Трассировка стека:
java.security.NoSuchProviderException: JCE cannot authenticate the provider BC
at javax.crypto.JceSecurity.getInstance(JceSecurity.java:100)
at javax.crypto.SecretKeyFactory.getInstance(SecretKeyFactory.java:204)
at ai.by247.MainJob$.scrapeLogs(MainJob.scala:57)
at ai.by247.MainJob$.main(MainJob.scala:26)
at ai.by247.MainJob.main(MainJob.scala)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:498)
at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:738)
at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:181)
at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:206)
at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:121)
at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
Caused by: java.util.jar.JarException: file:/hdp/2.5.3.0-37/spark/lib/spark-assembly-1.6.2.2.5.3.0-37-hadoop2.7.3.2.5.3.0-37.jar has unsigned entries - org/apache/spark/SparkConf$$anonfun$5.class
at javax.crypto.JarVerifier.verifySingleJar(JarVerifier.java:500)
at javax.crypto.JarVerifier.verifyJars(JarVerifier.java:361)
at javax.crypto.JarVerifier.verify(JarVerifier.java:289)
at javax.crypto.JceSecurity.verifyProviderJar(JceSecurity.java:159)
at javax.crypto.JceSecurity.getVerificationResult(JceSecurity.java:185)
at javax.crypto.JceSecurity.getInstance(JceSecurity.java:97)
... 13 more
Логика ScalaЭто вызывает простую ошибку:
Security.insertProviderAt(new BouncyCastleProvider(), 1)
SecretKeyFactory.getInstance("PBEWITHSHA256AND256BITAES-CBC-BC", "BC")
После прочтения нескольких статей я попытался обойти проблему с различными вариантами конфигурации, но пока безрезультатно.Например:
--conf spark.driver.extraJavaOptions="-Djava.security.properties=file:/path/to/my.java.security -Djava.security.policy=file:/path/to/my.security.policy"
, где my.java.security равно:
security.provider.10=org.bouncycastle.jce.provider.BouncyCastleProvider
и my.security.policy равно:
grant {
// There is no restriction to any algorithms.
permission javax.crypto.CryptoAllPermission;
};
Возможно, я мог бы решить эту проблему, принудив spark-submit назначить приоритет подписанной версии jar-файла BouncyCastle в classpath для логики драйвера и исполнителя.Из документов, которые я читал, не ясно, что это возможно.
В целом: я подозреваю, что включение BouncyCastle или содержимого любого другого подписанного jar-файла в spark-assembly-hadoop.jar это просто ошибка.То есть, если при компиляции толстого баночка удаляется подпись включенных подписанных jar-файлов, то возникает вопрос, есть ли какая-либо полезность для этой логики, находящейся в толстом банке.(Я понимаю, что эта версия Spark, 1.6.2, является устаревшей версией, поэтому, возможно, эта проблема уже была рассмотрена в более поздних снимках.)
Как обойти эту проблему?