Apache Spark -Не удается загрузить библиотеку native-hadoop для вашей платформы ... с использованием встроенных java-классов, где это применимо "и завершить выполнение

Question

Я использую Apache Spark на 64-битной машине с Windows 10.Я установил Java, Python 3.6, spark-2.3.1-bin-hadoop2.7.Я использую редактор VSCode для кодирования PySpark.

Когда я выполняю код зажигания Python в VSCode с использованием spark-submit, он показывает

Невозможно загрузить библиотеку native-hadoopдля вашей платформы ... используя встроенные java классы, где это применимо

и завершает выполнение.

Соответствующий код:

from pyspark import SparkContext, SparkConf 
if name == "main": 
    conf = SparkConf().setAppName("word count").setMaster("local[2]") 
    sc = SparkContext(conf=conf) 
    lines = sc.textFile("in/word_count.text") 
    words = lines.flatMap(lambda line: line.split(" ")) 
    wordcounts = words.countByValue() 
    for word, count in wordcounts.items(): 
        print("{} : {}".format(word,count))

SparkОшибка выполнения:

Answer 1

Вы можете спокойно игнорировать предупреждение, так как оно не является причиной вашего вызова. Согласно документации :

Собственная библиотека hadoop поддерживается только на платформах * nix. Библиотека не работает с Cygwin или платформой Mac OS X.

Собственная библиотека hadoop в основном используется на платформе GNU / Linus и была протестирована на следующих дистрибутивах:

RHEL4 / Fedora Ubuntu Gentoo Во всех вышеперечисленных дистрибутивах 32/64 битная нативная библиотека hadoop будет работать с соответствующим 32/64 битным jvm.