Pyspark в Windows: WARN Не удалось загрузить NativeSystemBLAS и NativeRefBLAS - PullRequest
Новая
       22

Pyspark в Windows: WARN Не удалось загрузить NativeSystemBLAS и NativeRefBLAS

0 голосов
/ 13 мая 2018

Я новичок в Искре. Я установил Spark 2.3.0 в Windows 10, чтобы использовать PySpark. Я написал код, используя Pyspark, и затем, когда я его запускаю, он выдает мне следующие предупреждения: 

WARN  BLAS:61 - Failed to load implementation from: com.github.fommil.netlib.NativeSystemBLAS
WARN  BLAS:61 - Failed to load implementation from: com.github.fommil.netlib.NativeRefBLAS

Я искал в сети и нашел некоторые решения, но шаги для меня не ясны, и в основном они для Ubuntu, а не для Windows ..

Я думаю, что решение заключается в установке BLAS и LAPACK, я скачал бинарные пакеты OpenBLAS отсюда https://sourceforge.net/projects/openblas/files/

Но я не знаю, что делать дальше, чтобы установить их для использования Spark?

1 Ответ

0 голосов
/ 19 июля 2018

Эту проблему можно решить, внимательно прочитав руководство по адресу https://github.com/fommil/netlib-java/.

Скорее всего, это одна из следующих причин или обе:

  1. Вы не скомпилировали Apache spark с -Pnetlib-lgpl или не добавили com.github.fommil.netlib:all:1.1.2 в качестве зависимости. Без этого никакие внешние библиотеки не будут использоваться. Сборка прямая, см. Не удалось загрузить реализацию NativeSystemBLAS HiBench
  2. Ваша система не знает, где найти библиотеки. Убедитесь, что они на %PATH%, чтобы netlib мог их найти.

Опять же, имеет смысл прочитать руководство на https://github.com/fommil/netlib-java/

...