Предупреждение Hadoop «Невозможно загрузить библиотеку native-hadoop для вашей платформы»

Question

Я использую PySpark и не устанавливал Hadoop как таковой.Я получаю это предупреждение Hadoop “Unable to load native-hadoop library for your platform” warning.

Нужно ли устанавливать Hadoop, если да, то как мне продолжить, если я установил PySpark в своей системе?

Обратите внимание, что я новичок в экосистеме Hadoop.

Answer 1

Это всего лишь предупреждение, вы можете его игнорировать.Spark и pyspark можно использовать без hadoop.

Вы можете взять цикл по этой ссылке:

https://community.hortonworks.com/questions/19897/apache-spark-error-unable-to-load-native-hadoop-li.html