Как исправить WARN BLAS: не удалось загрузить реализацию из: com.github.fommil.netlib.NativeSystemBLAS в intellij на окнах - PullRequest
Новая
       65

Как исправить WARN BLAS: не удалось загрузить реализацию из: com.github.fommil.netlib.NativeSystemBLAS в intellij на окнах

0 голосов
/ 03 июня 2019

Я пытаюсь запустить версию spark-mllib с коллективной фильтрацией на моем компьютере, используя Intellij Community Edition 2018.1, работающую на Windows.Я использовал ту же структуру для многих других скриптов без spark-mllib, и все работает хорошо.У меня проблема только при импорте библиотеки spark-mllib.

код, который я использую: 

   var okrating = List[Rating]()
   var r = new Random()
    for( u <- 1 to 10){
      for(p <- 1 to 10){
        if(r.nextBoolean()){
          var rt = new Rating(u, p, 5*r.nextDouble())
          okrating = okrating :+ rt
        }
      }
    }
    ratings = sc.parallelize(okrating)
    println(ratings.collect().mkString("\n"))

    val model = ALS.train(ratings, 10, 100, 0.01)

зависимости: 

<dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.11</artifactId>
            <version>2.4.3</version>

        </dependency>

        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-mllib_2.11</artifactId>
            <version>2.4.3</version>
        </dependency>

Текущийсообщение об ошибке: 

19/06/03 18:04:44 WARN BLAS: Failed to load implementation from: com.github.fommil.netlib.NativeSystemBLAS
19/06/03 18:04:44 WARN BLAS: Failed to load implementation from: com.github.fommil.netlib.NativeRefBLAS
19/06/03 18:04:45 WARN LAPACK: Failed to load implementation from: com.github.fommil.netlib.NativeSystemLAPACK
19/06/03 18:04:45 WARN LAPACK: Failed to load implementation from: com.github.fommil.netlib.NativeRefLAPACK
Exception in thread "main" org.apache.spark.SparkException: Job aborted due to stage failure: Task 1 in stage 71.0 failed 1 times, most recent failure: Lost task 1.0 in stage 71.0 (TID 515, localhost, executor driver): java.lang.StackOverflowError
    at java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1567)
    at java.io.ObjectInputStream.defaultReadFields(ObjectInputStream.java:2245)
    at java.io.ObjectInputStream.readSerialData(ObjectInputStream.java:2169)
    at java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:2027)
    at java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1535)
    at java.io.ObjectInputStream.readObject(ObjectInputStream.java:422)
    at scala.collection.immutable.List$SerializationProxy.readObject(List.scala:479)
    at sun.reflect.GeneratedMethodAccessor5.invoke(Unknown Source)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
...

Есть идеи о происхождении этой ошибки?и как на нем ездить?

Спасибо.

...