[PyCharm / PySpark Error] Ошибка ниже в PyCharm: WARN NativeCodeLoader: невозможно загрузить нативную библиотеку oop для вашей платформы ... с использованием встроенных java классов, где это применимо, с использованием Spark по умолчанию log4j профиль: org / apache / spark / log4j-defaults.properties Я использую PyCharm на Windows P C.
Код:
from pyspark import SparkConf, SparkContext
sc = SparkContext(master="local", appName="Spark Demo")
print(sc.textFile("C:\\Spark Demo.txt").first())
Результат
20/04/29 00:22:50 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
Spark Demo