Ошибка версии при сборке Spark - PullRequest
0 голосов
/ 19 ноября 2018

Моя версия Spark 2.1.0, версия Hadoop 2.6.0-cdh5.7.0, JDK версия 1.7, maven версия 3.3.9

И добавить в pom.xml:

<repository> <id>cloudera</id> <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url> </repository>

Когда я строил исходный код как ./dev/make-distribution.sh --name 2.6.0-cdh5.7.0 --tgz -Pyarn -Phadoop-2.6 -Phive -Phive-thriftserver -Dhadoop.version=2.6.0-cdh5.7.0

И я получил

[japson@localhost spark-2.1.0]$ ./dev/make-distribution.sh --name 2.6.0-cdh5.7.0 --tgz  -Pyarn -Phadoop-2.6 -Phive -Phive-thriftserver -Dhadoop.version=2.6.0-cdh5.7.0 -X
+++ dirname ./dev/make-distribution.sh
++ cd ./dev/..
++ pwd
+ SPARK_HOME=/home/japson/app/spark-2.1.0
+ DISTDIR=/home/japson/app/spark-2.1.0/dist
+ MAKE_TGZ=false
+ MAKE_PIP=false
+ MAKE_R=false
+ NAME=none
+ MVN=/home/japson/app/spark-2.1.0/build/mvn
+ ((  9  ))
+ case $1 in
+ NAME=2.6.0-cdh5.7.0
+ shift
+ shift
+ ((  7  ))
+ case $1 in
+ MAKE_TGZ=true
+ shift
+ ((  6  ))
+ case $1 in
+ break
+ '[' -z /home/japson/software/jdk1.7.0_79 ']'
+ '[' -z /home/japson/software/jdk1.7.0_79 ']'
++ command -v git
+ '[' ']'
++ command -v /home/japson/app/spark-2.1.0/build/mvn
+ '[' '!' /home/japson/app/spark-2.1.0/build/mvn ']'
++ tail -n 1
++ grep -v INFO
++ /home/japson/app/spark-2.1.0/build/mvn help:evaluate - 
 Dexpression=project.version -Pyarn -Phadoop-2.6 -Phive -Phive-thriftserver -Dhadoop.version=2.6.0-cdh5.7.0 -X
+ VERSION='[ERROR] [Help 3] http://cwiki.apache.org/confluence/display/MAVEN/UnresolvableModelException'

Итак, есть ли какое-нибудь решение? Спасибо!

1 Ответ

0 голосов
/ 24 января 2019

См. это , решение:

  1. В вашей директории (из которой вы выполняете команду mvn) добавьте директорию:

    .mvn (с cmd mkdir .mvn)

  2. В нем создать файл

    jvm.config

  3. Поставить следующеелиния к jvm.config

    -Dhttps.protocols=TLSv1.2

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...